[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4398282B2 - Pantograph slip board inspection device. - Google Patents

Pantograph slip board inspection device. Download PDF

Info

Publication number
JP4398282B2
JP4398282B2 JP2004058353A JP2004058353A JP4398282B2 JP 4398282 B2 JP4398282 B2 JP 4398282B2 JP 2004058353 A JP2004058353 A JP 2004058353A JP 2004058353 A JP2004058353 A JP 2004058353A JP 4398282 B2 JP4398282 B2 JP 4398282B2
Authority
JP
Japan
Prior art keywords
pantograph
camera
illumination
sliding plate
plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004058353A
Other languages
Japanese (ja)
Other versions
JP2005249503A (en
JP2005249503A5 (en
Inventor
一義 岸田
浩二 弘中
慎一 渡部
富士雄 田島
Original Assignee
日立交通テクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立交通テクノロジー株式会社 filed Critical 日立交通テクノロジー株式会社
Priority to JP2004058353A priority Critical patent/JP4398282B2/en
Publication of JP2005249503A publication Critical patent/JP2005249503A/en
Publication of JP2005249503A5 publication Critical patent/JP2005249503A5/ja
Application granted granted Critical
Publication of JP4398282B2 publication Critical patent/JP4398282B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Current-Collector Devices For Electrically Propelled Vehicles (AREA)
  • Image Analysis (AREA)

Description

本発明は、電気車の屋根上に取り付けられたパンタグラフのすり板の摩耗量等を検査するパンタグラフのすり板検査装置に関する。   The present invention relates to a pantograph slip plate inspection device for inspecting the wear amount and the like of a pantograph slide plate mounted on a roof of an electric vehicle.

従来のパンタグラフの検査装置としては超音波センサを用いて検査する装置や、カメラを用いて検査する検査装置が提案されている。特許文献1の従来技術には、テレビカメラを用いてパンタグラフに撮像時に光を照射して、テレビカメラでパンタグラフをモニタに映し出し、監視員がその画像からパンタグラフの状態を見て異常判断する事が記載されている。なお、本特許文献1では、従来人がパンタグラフの状態を監視していたものを、自動的に、画像処理技術を用いてパンタグラフすり板の厚みを求める測定装置が開示されている。この装置は、周囲の照度を測定する照度計を設置し、パンタグラフをランダムシャッタカメラにて撮像し、その時の周囲の照度に応じて、カメラの輝度を自動調整する物である。 As a conventional pantograph inspection device, an inspection device using an ultrasonic sensor and an inspection device using a camera have been proposed. In the prior art of Patent Document 1, a pantograph is irradiated with light when imaged using a television camera, the pantograph is projected on the monitor by the television camera, and the observer looks at the state of the pantograph from the image and determines an abnormality. Are listed. In addition, this patent document 1 discloses a measuring apparatus that automatically obtains the thickness of a pantograph sliding plate using an image processing technique from what a conventional person has monitored the state of the pantograph. This device is an object in which an illuminance meter for measuring ambient illuminance is installed, a pantograph is imaged by a random shutter camera, and the brightness of the camera is automatically adjusted according to the ambient illuminance at that time.

特開平9−265524号公報JP-A-9-265524

特許文献1の方法では、照明はパンタグラフのエッジ検出が出来る照度で、カメラ設置位置付近から光を照射する構成としている。この場合、画像処理を行うための高輝度の照明を当てるため、モニタ画面でパンタグラフの状態を監視するには不向きである。パンタグラフの状態の監視には、画像処理技術を用いて自動的にすり板等の摩耗状態を検出すると共に、異常を検知した場合に、監視者に通報すると共に、監視者がモニタ画面にて、確認出来るようにすることが要求されている。そのため、パンタグラフ周囲の照度と、実際に画像処理する部分の照度を変えてパンタグラフを撮像する必要がある。   In the method of Patent Document 1, the illumination is configured to irradiate light from the vicinity of the camera installation position with an illuminance that can detect the edge of the pantograph. In this case, since high-intensity illumination for performing image processing is applied, it is not suitable for monitoring the state of the pantograph on the monitor screen. To monitor the state of the pantograph, automatically detect the wear state of the scraper etc. using image processing technology, and notify the supervisor when an abnormality is detected. It is required to be able to confirm. For this reason, it is necessary to change the illuminance around the pantograph and the illuminance at the part where image processing is actually performed to capture the pantograph.

そこで、本発明の目的は、パンタグラフの二値化等の処理をしてエッジ検出が可能な照明と、モニタ画面に画像を映し出して、監視員が状態を判断できるようにカメラと照明を配置して、パンタグラフの異常を検出できる装置を適用する事にある。   Therefore, the object of the present invention is to arrange lighting such that binarization of the pantograph and the like can be detected and a camera and lighting so that the monitor can judge the state by displaying an image on the monitor screen. Therefore, a device that can detect anomalies of pantographs is applied.

上記目的を達成するために、本発明では、車両の進入を検知する進入検知センサと、パンタグラフが撮像領域に進入してきたことを検出するパンタグラフ検知センサと、パンタグラフ検知センサがパンタグラフを検知するとパンタグラフすり板上面に光りを照射する上面照射用フラッシュ照明と、撮像用カメラ側に設置されパンタグラフすり板側面側を照射用のフラッシュ照明を照射し同時にカメラを動作させてパンタグラフを撮像するように構成し、前記すり板上面を照射するフラッシュ光に対してパンタグラフすり板側面照射用フラッシュ光の光量を小さくしたことを特徴とする。 In order to achieve the above object, in the present invention, an intrusion detection sensor that detects the entry of a vehicle, a pantograph detection sensor that detects that a pantograph has entered the imaging region, and a pantograph slip when the pantograph detection sensor detects a pantograph It is configured to illuminate the top surface with flash illumination for illuminating the top surface of the plate, and to illuminate the side of the pantograph slide plate installed on the imaging camera side with illumination flash illumination and simultaneously operate the camera to capture the pantograph, The amount of flash light for illuminating the pantograph slab side is reduced with respect to the flash light irradiating the top surface of the slid plate.

パンタグラフのすり板の上面と側面を夫々照射する光量を変えて撮像することによって、エッジを確実に抽出することができ、すり板の摩耗量を正確に把握できると共に、撮像した画像をモニタにそのまま映写して監視員が画像によっても確認できるようにした。   By changing the amount of light applied to the top and side surfaces of the pantograph's sliding plate, the edges can be extracted reliably, the wear amount of the sliding plate can be accurately grasped, and the captured image is directly displayed on the monitor. The video was projected so that the observer could check the image.

パンタグラフのすり板の状態を画像処理を用いて検査する場合は、斜め上方からパンタグラフ全体を撮像し、パンタグラフの変形や破損、及び摩耗の状態を自動的に検出できるようにすることが必要である。特に、すり板部は摩耗や破損が多いために重点的に監視する必要がある。すり板部の摩耗や損傷を画像処理によって検出するためには、すり板上面部とすり板側面部とで十分にコントラスト(輝度差)がある画像を得る必要がある。   When inspecting the state of the pantograph sliding plate using image processing, it is necessary to capture the entire pantograph from diagonally upward so that the deformation, breakage, and wear state of the pantograph can be automatically detected. . In particular, the sliding plate portion is frequently worn and damaged, so it is necessary to monitor it intensively. In order to detect wear and damage of the sliding plate portion by image processing, it is necessary to obtain an image having a sufficient contrast (luminance difference) between the upper surface portion of the sliding plate and the side surface portion of the sliding plate.

そこで、本発明では、特にすり板上面と側面とでコントラストの大きな映像を得るための照明の配置を提案するものである。   Therefore, the present invention proposes an arrangement of illumination for obtaining an image with a large contrast between the upper surface and side surfaces of the sliding plate.

以下図面を用いて実施例を説明する。   Embodiments will be described below with reference to the drawings.

図1にパンタグラフのすり板検査装置の全体構成図を示す。   FIG. 1 is an overall configuration diagram of a pantograph slip plate inspection apparatus.

図1に示すようにパンタグラフのすり板4を、斜め上方から撮像するように線路に並行して設けた支柱16に線路15を跨ぐように設けた梁17と線路と平行に梁18を設けてある。その梁17に複数のカメラ2とフラッシュ照明10(ストロボ照明と言う場合もある)を設けてある。また、同支柱16又は梁17から車両進入方向と退出方向とにそれぞれ腕19を伸ばして、その腕19部にパンタグラフ検出センサ5とパンタグラフの上部(すり板表面)を照らすためのフラッシュ照明20が設けてある。また、梁18には、パンタグラフ以外の車体屋根上機器の状態を監視するための複数の屋根上機器監視用照明(ハロゲンランプ)11が線路を挟むように設置されている。また、屋根上機器監視用カメラ3が進入側梁17の両端部側と、退出側梁17の中央とに設けてある。   As shown in FIG. 1, a pantograph sliding plate 4 is provided with a beam 17 parallel to the track and a beam 17 provided so as to straddle the track 15 on a column 16 provided in parallel to the track so as to image from obliquely above. is there. The beam 17 is provided with a plurality of cameras 2 and flash illumination 10 (sometimes referred to as strobe illumination). Further, the arm 19 is extended from the column 16 or the beam 17 in the vehicle approach direction and the exit direction, respectively, and the pantograph detection sensor 5 and the flash illumination 20 for illuminating the pantograph upper part (slide plate surface) are provided on the arm 19 part. It is provided. Further, a plurality of roof equipment monitoring lights (halogen lamps) 11 for monitoring the state of the vehicle roof equipment other than the pantograph are installed on the beam 18 so as to sandwich the track. The rooftop equipment monitoring cameras 3 are provided at both ends of the entrance side beam 17 and at the center of the exit side beam 17.

別設の車両25の進入を検知する車両進入検知センサ6が動作すると、本図には図示していない検査装置の電源が入り、その後パンタグラフ検出センサ5がパンタグラフすり板4を検出すると、梁17上の車両進入方向のフラッシュ照明10a及びパンタグラフ検知センサ5に併設され、パンタグラフすり板面を照らすフラッシュ照明20aが点灯され、同時に同方向のカメラ2aがパンタグラフのすり板付近を撮像する。その後、車両退出方向のパンタグラフ検出センサ7がパンタグラフの通過を検知すると、車両退出方向のフラッシュ照明10b及びパンタグラフ検出センサに併設されたフラッシュ照明20bが点灯され、同時に退出方向のカメラ2bがパンタグラフのすり板付近を撮像する。なお、車両の地上側には、編成番号等の車両情報を受信するための受信機9が、車両の先頭部には編成番号等の車両情報を発信する発信機8が設けてある。   When the vehicle entry detection sensor 6 for detecting the entry of the separately installed vehicle 25 is operated, the inspection device (not shown) is turned on. After that, when the pantograph detection sensor 5 detects the pantograph sliding plate 4, the beam 17 The flash illumination 20a in the upper vehicle approach direction and the pantograph detection sensor 5 are provided side by side, and the flash illumination 20a that illuminates the pantograph slide plate surface is turned on. At the same time, the camera 2a in the same direction images the vicinity of the pantograph slide plate. Thereafter, when the pantograph detection sensor 7 in the vehicle exit direction detects passage of the pantograph, the flash illumination 10b in the vehicle exit direction and the flash illumination 20b attached to the pantograph detection sensor are turned on, and at the same time, the camera 2b in the exit direction slides the pantograph. Image near the plate. A receiver 9 for receiving vehicle information such as a formation number is provided on the ground side of the vehicle, and a transmitter 8 for transmitting vehicle information such as a formation number is provided at the head of the vehicle.

前述の様に車両の進入側と退出側の2ヶ所でパンタグラフを撮像する事によって、架線の陰になって撮像できなかった部分のパンタグラフすり板部分を補正する事が出来る。これは一般に架線が線路に平行に張られているものではなく、すり板部分にまんべんなく接触摺動するように所定の角度で蛇行するように張られているためこれを利用したものである。また車両進入時と退出時の2度の撮像を行いそれぞれを画像処理することで、検出精度を向上できる効果もある。例えば、車両進入時と退出時とでパンタグラフすり板と架線との接触摺動状態が異なるため、すり板エッジでは偏摩耗が生じる場合がある。両側エッジを測定できるためすり板の摩耗状況をより正しく検査できる。   As described above, by imaging the pantograph at the two places on the entry side and the exit side of the vehicle, it is possible to correct the portion of the pantograph slide plate that cannot be imaged due to the shadow of the overhead line. In general, the overhead wire is not stretched parallel to the track, but is used to meander at a predetermined angle so as to slide in contact with the sliding plate portion evenly. In addition, there is an effect that the detection accuracy can be improved by imaging twice when entering and leaving the vehicle and processing each of them. For example, since the contact sliding state between the pantograph sliding plate and the overhead wire is different when the vehicle enters and exits, uneven wear may occur at the sliding plate edge. Since both side edges can be measured, the wear state of the sliding plate can be inspected more correctly.

次に、フラッシュ照明とカメラの設置位置の関係を、図2を用いて説明する。   Next, the relationship between the flash illumination and the installation position of the camera will be described with reference to FIG.

図2はフラッシュ照明とカメラの配置の一例を示したものである。   FIG. 2 shows an example of the arrangement of flash illumination and cameras.

従来の、パンタグラフのすり板の厚み測定装置では、パンタグラフを撮像する場合に、撮像するカメラとフラッシュ照明の位置を略同じ位置に配置し、パンタグラフを斜め上部から撮像している。この時、フラッシュ照明の照射光はパンタグラフに対して斜め上方から当たる事になり、すり板上面部分とすり板側面部分とで輝度差が小さくエッジ検出が難しかった。そこで、すり板上部を直接照射して輝度を上げると共に、フラッシュ照明を配置すると、エッジ検出精度が格段に向上した。しかし、この撮像画面をモニタに映し出すと、舟体部分が暗くなりすぎて、すり板の状態を目視にて観察するのには適さなかった。   In a conventional pantograph sliding plate thickness measuring device, when a pantograph is imaged, the camera to be imaged and the position of the flash illumination are arranged at substantially the same position, and the pantograph is imaged obliquely from above. At this time, the irradiation light of the flash illumination hits the pantograph obliquely from above, and the difference in luminance between the top surface portion of the sliding plate and the side surface portion of the sliding plate is small, making it difficult to detect the edge. Therefore, the edge detection accuracy was greatly improved by directly irradiating the upper part of the sliding plate to increase the brightness and arranging the flash illumination. However, when this imaging screen is displayed on the monitor, the hull portion becomes too dark, which is not suitable for visually observing the state of the sliding plate.

そこで、本発明では、車両の進入方向に対向する斜め上部からの照明と、パンタグラフに上部から照射するフラッシュ照明を配置する構成とした。その場合、上部から照射するものと、斜め前方または斜め後方から照射するそれぞれのフラッシュ照明の光量を変えて照射するようにした。すなわち、光量を変えるために、同じ発光量のフラッシュ照明を図2に示すように照射する距離を変えて配置した。例えば、高さ方向の距離は同じ距離hに設定し、幅方向(線路間方向)はパンタグラフ上面を照射する側を、パンタグラフ正面から照射する側の距離Wの半分の距離0.5Wとし、パンタグラフ上部を照明するフラッシュ照明の位置から照射するパンタグラフまでの距離(車両走行方向距離)Lに対して、カメラ側に配置したフラッシュ照明からパンタグラフ撮像位置までの距離(車両双方向距離)が略5.5倍の5.5Lになるように配置した。なおこの車両走行方向距離に関して及び幅方向の配置に関しては、パンタグラフの種類等により若干異なるが、4.6〜6.5倍及び1倍〜4倍程度の位置関係に入るように配置すれば問題ない事を確認してある。この様な配置でパンタグラフすり板部を照明しながら撮像すると、すり板上面は明るく、すり板側面は多少暗く撮像することができエッジ部を確実に分離でき、かつ目視でも十分摩耗の状態を判別する事ができた。   Therefore, in the present invention, illumination from an oblique upper part facing the vehicle approach direction and flash illumination to irradiate the pantograph from above are arranged. In that case, the amount of light of each flash illumination irradiated from the upper part and from obliquely forward or obliquely rearward was changed for irradiation. That is, in order to change the amount of light, the flash illumination with the same light emission amount was arranged at different irradiation distances as shown in FIG. For example, the distance in the height direction is set to the same distance h, and in the width direction (inter-track direction), the side that irradiates the top surface of the pantograph is 0.5 W, which is half the distance W from the front side of the pantograph. 4. The distance (vehicle bidirectional distance) from the flash illumination arranged on the camera side to the pantograph imaging position is approximately 5 with respect to the distance (vehicle traveling direction distance) L from the position of the flash illumination that illuminates the upper part to the irradiation pantograph. It arrange | positioned so that it might be 5.5L of 5 times. The vehicle travel direction distance and the width direction are slightly different depending on the type of pantograph, but there is a problem if they are arranged so as to be in a positional relationship of about 4.6 to 6.5 times and about 1 to 4 times. I have confirmed that there is nothing. If you take an image while illuminating the pantograph sleeve plate in such an arrangement, the upper surface of the slide plate is bright and the side of the slide plate can be taken slightly darker, the edges can be reliably separated, and the state of wear can be determined visually. I was able to do it.

前述の様に、カメラでパンタグラフを撮像する瞬間に照射するフラッシュ光をパンタグラフ上面側が、明るく、側面側は多少暗くなるように照射する事で、画像処理時のエッジ検出が確実に行えると共にモニタに撮像した画像を直接映し出しても細部まで観測できるようになった。   As mentioned above, the flash light that is emitted at the moment of capturing the pantograph with the camera is irradiated so that the upper side of the pantograph is bright and the side is slightly darker, so that edge detection during image processing can be performed reliably and the monitor Even if the captured image is directly projected, it has become possible to observe details.

なお、図2の構成では発行するフラッシュ光の光量(100〜200J/F(ジュール/フラッシュ))は同じとして、距離による光量の低下を利用した照明配置としたが、パンタグラフの位置に対するフラッシュ照明の位置を同じ距離として、フラッシュ照明の発光光量を変えることでも対応できる。   In the configuration of FIG. 2, the amount of flash light to be issued (100 to 200 J / F (joule / flash)) is assumed to be the same, and the illumination arrangement using the decrease in the amount of light with distance is used. This can also be handled by changing the amount of light emitted by the flash illumination at the same distance.

図3に図1の各機器の制御システム構成の概要を示す。図に示すように、本システムでは、大きく区分するとパンタグラフすり板計測装置35と屋根上機器撮像装置45と前記2つの装置からの情報を受取りすり板の厚みを求めたり、屋根上機器の状態を監視する画像を蓄積する情報処理装置50から構成されている。   FIG. 3 shows an outline of the control system configuration of each device in FIG. As shown in the figure, in this system, when roughly classified, the information from the pantograph slide board measuring device 35, the roof equipment imaging device 45 and the two devices is received, the thickness of the slide board is obtained, and the state of the roof equipment is determined. The information processing apparatus 50 stores an image to be monitored.

パンタグラフすり板計測装置35は主に、先に述べたようにパンタグラフすり板部を撮像するための複数台のすり板撮像カメラ2a、2bと、パンタグラフに所定のタイミングで光を照射する複数台のフラッシュ照明10a、10b及びすり板上面照射用フラッシュ照明20a、20bと、所定の位置でパンタグラフの通過を検出するパンタグラフ検知センサ5と前記すり板撮像カメラ2やフラッシュ照明10a、10b、20a、20bを制御するためのパンタグラフすり板厚計測用制御装置30からなる。制御装置30にはこの他に、車両進入検知センサ6、7の信号及び車両情報受信機9からの信号を受信できるようになっている。なお図5に車両進入検知センサの配置を示す。 As described above, the pantograph sliding plate measuring device 35 mainly includes a plurality of sliding plate imaging cameras 2a and 2b for imaging the pantograph sliding plate unit, and a plurality of units that irradiate the pantograph with light at a predetermined timing. The flash illuminations 10a and 10b and the flash illuminations 20a and 20b for illuminating the top surface of the slide plate, the pantograph detection sensor 5 for detecting the passage of the pantograph at a predetermined position, and the slide plate imaging camera 2 and the flash illuminations 10a, 10b, 20a and 20b It consists of a control device 30 for pantograph slip plate thickness measurement for control . In addition to this, the control device 30 can receive signals from the vehicle approach detection sensors 6 and 7 and a signal from the vehicle information receiver 9. FIG. 5 shows the arrangement of the vehicle approach detection sensor.

また、屋根上機器撮像装置45は、屋根上機器撮像用の複数台の屋根上機器監視用カメラ3と、車両屋根上を照らし出すための複数のハロゲンランプからなる屋根上機器監視用照明11と屋根上監視制御装置40とからなる。さらに、先のパンタグラフすり板計測装置35でも用いているパンタグラフ検知センサ5と車両検知センサ6、7及び車両情報受信機9を共用して、それらが信号ケーブル等で屋根上監視制御装置40に接続されている。また、パンタグラフすり板計測装置35と屋根上機器撮像装置45とは情報処理装置50に光ケーブルで接続されている。   The roof equipment imaging device 45 includes a plurality of roof equipment monitoring cameras 3 for roof equipment imaging, and a roof equipment monitoring illumination 11 including a plurality of halogen lamps for illuminating the vehicle roof. It consists of a rooftop monitoring control device 40. Furthermore, the pantograph detection sensor 5, the vehicle detection sensors 6, 7 and the vehicle information receiver 9 used in the previous pantograph sliding plate measuring device 35 are shared, and these are connected to the rooftop monitoring control device 40 by a signal cable or the like. Has been. Further, the pantograph slide board measuring device 35 and the on-roof equipment imaging device 45 are connected to the information processing device 50 by an optical cable.

この情報処理装置50では、パンタグラフすり板計測装置35から画像情報に基づいて、摩耗量を求め、異常摩耗を起こしたすり板を検出すると警報を発してすり板交換を促すと共に、摩耗状態からすり板の交換時期を予測し、監視者に報知する機能を備えている。また、屋根上機器撮像装置45からの画像信号に車両編成番号に合わせて、撮像日時を加えて保存する機能を有している。なお、監視者は動画の状態で屋根上機器の状態を監視もできる機能を備えている。   In this information processing device 50, the wear amount is obtained based on the image information from the pantograph wear plate measuring device 35, and when a wear plate that has caused abnormal wear is detected, an alarm is issued to prompt the change of the wear plate, and the wear state is rubbed. It has a function to predict the replacement time of the plate and notify the monitor. In addition, the image signal from the rooftop apparatus imaging device 45 has a function of adding and storing the imaging date and time in accordance with the vehicle organization number. The monitor has a function that can also monitor the state of the equipment on the roof in a moving image state.

次に、それぞれの装置の動作の詳細を説明する。   Next, details of the operation of each device will be described.

まず、パンタグラフすり板計測装置35では、まず計測位置に車両25の進入を車両進入検知センサ6が検知すると、パンタグラフ検知センサ5がパンタグラフすり板4の有無の検出を開始し、パンタグラフすり板測定用のカメラ2も同時に撮像可能状態になる。そして、車両進入側のパンタグラフ検知センサ5がパンタグラフすり板4を検出すると、車両進入側のフラッシュ照明10a及びパンタグラフすり板上部照射用フラッシュ照明20aを発光させ、同時に複数のパンタグラフすり板撮像カメラ2aがパンタすり板部の撮像を行い、撮影した画像を制御装置30のメモリに取り込む。取り込まれた画像データは、制御装置30で画像処理される。その後、車両退出側のパンタグラフ検知センサ5がパンタグラフすり板4を検出すると車両退出側のフラッシュ照明10b及びすり板上面照射用フラッシュ照明20bが発光し、同時に同方向のパンタグラフすり板部を撮像するためのパンタグラフすり板撮像カメラ2bがパンタグラフすり板部の撮影を行い、撮影した画像を制御装置30のメモリに取り込む。そして、前方側と同じく制御装置30で画像処理される。このように、同じパンタグラフのすり板部を前後2回撮像して画像処理することで、パンタグラフ撮像時における架線のすり板に接触している位置が異なるために、架線の影響を除去することができる。   First, in the pantograph sliding plate measurement device 35, when the vehicle entry detection sensor 6 first detects the entry of the vehicle 25 at the measurement position, the pantograph detection sensor 5 starts detecting the presence or absence of the pantograph sliding plate 4, and for pantograph sliding plate measurement. These cameras 2 are also ready for imaging. When the pantograph detection sensor 5 on the vehicle entry side detects the pantograph slide plate 4, the flash illumination 10a on the vehicle entry side and the flash illumination 20a for pantograph slide plate upper irradiation are emitted, and a plurality of pantograph slide image pickup cameras 2a are simultaneously provided. An image of the pantast plate is captured, and the captured image is taken into the memory of the control device 30. The captured image data is subjected to image processing by the control device 30. Thereafter, when the pantograph detection sensor 5 on the vehicle exit side detects the pantograph slide plate 4, the flash illumination 10 b on the vehicle exit side and the flash illumination 20 b for illuminating the top surface of the slide plate emit light and simultaneously image the pantograph slide plate portion in the same direction. The pantograph-slip board imaging camera 2b takes a picture of the pantograph-slip board part, and takes the taken image into the memory of the control device 30. Then, the image processing is performed by the control device 30 as in the front side. In this way, by capturing and processing the same pantograph slide plate part twice before and after, the position of the overhead wire in contact with the slide plate at the time of pantograph imaging is different, so the influence of the overhead wire can be removed. it can.

画像処理の大まかな手順を下記に述べる。   A rough procedure for image processing is described below.

まず、表示された画像領域からパンタグラフの大まかな位置を抽出する。そのために、表示された画像領域を指定した閾値範囲により、グレイ領域の抽出を行う。この閾値範囲の設定は、表示画像全体の平均グレイ値と標準偏差を求め、その値に基づいて行っている。なお、この抽出においては、一部の輝き部分によって値が振られるために、輝いている部分はあるグレイ値に置きなおしている。   First, the approximate position of the pantograph is extracted from the displayed image area. For this purpose, a gray area is extracted based on a threshold range that designates the displayed image area. The threshold range is set based on the average gray value and standard deviation of the entire display image. In this extraction, since the value is shifted by a part of the shining part, the shining part is replaced with a certain gray value.

グレイ領域が抽出されると、この領域にはパンタグラフのみが存在すればよいが、パンタグラフ以外の屋根上機器が存在する場合が多い。そのため、横方向に長い矩形構造要素を用いて、抽出したグレイ領域の膨張、収縮処理を繰り返し行うことでパンタグラフ領域と屋根上機器領域とを分離する。分離された領域から、面積、位置等の形状特徴量に基づきパンタグラフ領域を選択する。   When a gray area is extracted, only the pantograph needs to exist in this area, but there are many cases where there is equipment on the roof other than the pantograph. Therefore, the pantograph region and the rooftop device region are separated by repeatedly performing expansion and contraction processing of the extracted gray region using a rectangular structural element that is long in the horizontal direction. A pantograph region is selected from the separated regions based on shape feature amounts such as area and position.

選択された領域を囲む最小の矩形位置を求め、それを画像全体に対するパンタグラフ位置とする。   A minimum rectangular position surrounding the selected area is obtained and set as a pantograph position for the entire image.

次に、抽出された領域内の横方向に長い線分を抽出し、傾きがあれば、大まかに回転して略水平位置にする。この処理は下記のようにして行う。   Next, a long line segment in the horizontal direction in the extracted area is extracted, and if there is an inclination, it is roughly rotated to a substantially horizontal position. This process is performed as follows.

まず、先に選択された領域をパンタグラフ領域として、この領域内の横方向に長い線分の抽出を行う。横方向の線分抽出は、横方向線分を強調するため、横方向に大きなフィルタを用いて平滑化処理を行う。これにより領域内の横方向線分を抽出する。抽出するための閾値は、領域内の画像の平均グレイ値と標準偏差を求めて、その値に基づいて設定する。   First, the previously selected area is set as a pantograph area, and a line segment long in the horizontal direction in this area is extracted. In the horizontal line segment extraction, a smoothing process is performed using a large filter in the horizontal direction in order to emphasize the horizontal line segment. As a result, a horizontal line segment in the region is extracted. The threshold for extraction is set based on the average gray value and standard deviation of the image in the area.

上記処理によって、複数個の線分が抽出される場合があり、その場合は長さ、位置と言った特性に基づき一つの線分を選択する。次に、選択した線分の傾きのある画像を回転することで大まかに水平にする。   A plurality of line segments may be extracted by the above processing. In this case, one line segment is selected based on characteristics such as length and position. Next, the selected line segment with an inclination is rotated to make it roughly horizontal.

次に回転させた画像において、基準となる正確な位置を求めるために、パンタグラフの特徴的な部位を検出する。本実施例では、パンタグラフ舟体側面に設けてあるリベット位置を求めることとした。但し、リベットの設けていないものもありえるため、舟体の端部を検出する方法としてもよい。先ず検索領域を平滑化して画像を滑らかにする。滑らかにした画像から所定の閾値で線分を抽出する。抽出した線分中から円弧と直線に分割して、円弧のみを抽出する。抽出された円弧は複数個抽出される場合があるため、長さ、丸み、位置と言う特性に基づいてリベットであることを判断して、リベットを選択する。このリベット位置に基づいて基準線検索領域を設定する。この設定された領域内の横方向の線分を検索する。そのためには、先の大まかなパンタグラフ位置の抽出と同様に、横方向に大きなフィルタを用いて平滑化処理を実施する。   Next, in order to obtain an accurate position as a reference in the rotated image, a characteristic part of the pantograph is detected. In this embodiment, the rivet position provided on the side surface of the pantograph boat body is determined. However, since some rivets may not be provided, a method for detecting the end of the hull may be used. First, the search area is smoothed to smooth the image. A line segment is extracted from the smoothed image with a predetermined threshold. Divide into arcs and straight lines from the extracted line segments and extract only arcs. Since a plurality of extracted arcs may be extracted, it is determined that the rivet is based on the characteristics of length, roundness, and position, and the rivet is selected. A reference line search area is set based on the rivet position. A horizontal line segment in the set area is searched. For this purpose, the smoothing process is performed using a large filter in the horizontal direction as in the previous extraction of the rough pantograph position.

次に、基準線検索領域内の横方向に長い線分を抽出する。抽出のための閾値は、検索領域内の画像の平均グレイ値と標準偏差を求め、その値に基づいて設定している。抽出される線分は複数個ある場合があり、この時は、長さと位置と言った特性に基づき舟体とすり板の接合面の線分を抽出する。   Next, a line segment long in the horizontal direction in the reference line search area is extracted. The threshold for extraction is set based on the average gray value and standard deviation of the images in the search area. There may be a plurality of line segments to be extracted. At this time, the line segment of the joint surface between the hull and the sliding board is extracted based on characteristics such as length and position.

次に、抽出された線分(基準線)の傾きを求め、その傾きが0となるように画像を回転処理する。そして、回転させた画像において、舟体とすり板の接合面の線分を囲む最小の矩形の位置を計算により求め、その位置を基準線の位置とする。   Next, the inclination of the extracted line segment (reference line) is obtained, and the image is rotated so that the inclination becomes zero. Then, in the rotated image, the position of the minimum rectangle surrounding the line segment of the joint surface between the boat body and the sliding board is obtained by calculation, and the position is set as the position of the reference line.

基準線位置が決まると次にエッジ検出処理を実行する。   When the reference line position is determined, the edge detection process is executed next.

パンタグラフに設けてあるすり板表面は、架線との接触により傷や汚れが多い部分である。そのため細かな輝度差が多く発生しており、単純にエッジ検出を行うと多くのエッジがあるように認識してしまう。そこで、エッジ検出領域を予め2値化処理をして、白と黒の領域に分けて、すり板上面が白領域にすり板側面が黒領域になり、この求めた領域の最下点を求める。そして、求めた最下点を結ぶ線分をエッジとした。この求めたエッジと基準線との間をすり板厚みとして抽出する。   The surface of the sliding plate provided in the pantograph is a portion where there are many scratches and dirt due to contact with the overhead wire. For this reason, many small luminance differences are generated, and if edges are simply detected, it is recognized that there are many edges. Therefore, the edge detection area is binarized in advance to divide it into white and black areas, and the top surface of the slab plate becomes a white region and the side surface of the slab plate becomes a black region. . And the line segment which connected the calculated | required lowest point was made into the edge. A space between the obtained edge and the reference line is extracted as the thickness of the ground plate.

以上のように、画像処理によりすり板各部の厚みを求めて摩耗状態を判定し、所定量以上の摩耗を検出するとすり板の交換時期である事を監視者に報知すると同時に、摩耗量等のデータと一緒に画像処理前の原画を表示して監視者が摩耗の状態を確認出来るようにしている。   As described above, the wear state is determined by obtaining the thickness of each part of the sliding plate by image processing, and when the wear of a predetermined amount or more is detected, the watcher is notified that it is time to replace the sliding plate, and at the same time, the wear amount, etc. The original image before image processing is displayed together with the data so that the monitor can check the state of wear.

上記の構成は、太陽光などの影響を受けない位置に配置した場合であるが、太陽光の影響を受ける位置に配置した場合は、太陽光の有無によって照度やカメラの絞り等を切り替えて撮像する必要がある。そこで、太陽光の影響を受ける屋外に本装置を配置した場合の、フラッシュ照明及びカメラの配置の一実施例を説明する。   The above configuration is the case where it is placed at a position that is not affected by sunlight, etc., but when it is placed at a position that is affected by sunlight, the illuminance and camera aperture are switched depending on the presence or absence of sunlight. There is a need to. Therefore, an example of the arrangement of the flash illumination and the camera when the present apparatus is arranged outdoors affected by sunlight will be described.

図4にカメラを切り替えて撮像する場合のカメラの配置を示す。   FIG. 4 shows the arrangement of cameras when the camera is switched for imaging.

昼間撮像する場合のカメラ2”の2台の配置は高さ方向をフラッシュ照明設置高さと同じくhとし、線路幅方向をWとすると、フラッシュ照明の線路幅方向間隔は1.9Wとし、カメラの絞りを4、フォーカスを1.5m、視野サイズを650に設定し、夜間撮像用のカメラ2の高さを約1.3倍の1.3hに設定し、幅方向を0.65Wの位置に配置し、そのカメラの絞りを2、フォーカスを1.6m、視野サイズを670に設定した。   In the case of daytime imaging, the two cameras 2 ″ are arranged so that the height direction is the same as the flash illumination installation height and h and the track width direction is W. The distance between the flash illuminations in the track width direction is 1.9 W. The aperture is set to 4, the focus is set to 1.5 m, the visual field size is set to 650, the height of the camera 2 for night imaging is set to 1.3 h that is about 1.3 times, and the width direction is set to a position of 0.65 W The aperture of the camera was set to 2, the focus was set to 1.6 m, and the field size was set to 670.

このそれぞれのカメラ(昼用と夜間用カメラ)を用いて標準の画像を撮像して、所望の画像が得られる方のカメラを用いて検査するパンタグラフを撮像するものである。この方法では、周囲の明るさ、または所定の時間にそれぞれのカメラで標準画像を撮像し、画像処理する閾値の輝度が得られる方のカメラを選択するように検出器側に選択手段を設けてある。この選択手段は、昼と夜の判別のために、時刻(日照時間に応じて所定幅を有している)、及び当日の天候に応じて選択判別を実行することで、判別を実行する回数を低減して、処理の高速効果を図っている。   A standard image is imaged using each of these cameras (daytime and nighttime cameras), and a pantograph to be inspected is imaged using a camera that can obtain a desired image. In this method, a selection unit is provided on the detector side so that a standard image is captured by each camera at ambient brightness or at a predetermined time, and a camera having a threshold brightness for image processing is selected. is there. The selection means performs the selection determination according to the time (having a predetermined range according to the sunshine time) and the weather of the day for the determination of day and night, and the number of times the determination is performed. Is reduced to achieve a high-speed processing effect.

このように、太陽光の影響を受ける日中と夜間で撮像するカメラを切換えることで、太陽光の影響を取り除き高精度の画像を得ることが可能となる。   In this way, by switching between cameras that capture images during the daytime and at night that are affected by sunlight, it is possible to remove the effects of sunlight and obtain highly accurate images.

パンタグラフ及び屋根上機器監視のためのカメラと照明の配置を示す図である。It is a figure which shows the arrangement | positioning of the camera and illumination for a pantograph and equipment on a roof. パンタすり板検査用のカメラと照明の配置を説明するための図である。It is a figure for demonstrating arrangement | positioning of the camera for a panta slip board, and illumination. 本発明の屋根上機器検査システムのブロック線図である。It is a block diagram of the roof top equipment inspection system of the present invention. 昼用と夜間用のカメラを切換えて撮像する場合の機器配置図である。FIG. 5 is a device layout diagram when imaging is performed by switching between daytime and nighttime cameras. 車両進入検知装置の配置を示す図である。It is a figure which shows arrangement | positioning of a vehicle approach detection apparatus.

符号の説明Explanation of symbols

2…パンタグラフ撮像用カメラ、3…屋根上機器監視用カメラ、4…パンタグラフすり板、5…パンタグラフ検知センサ、6、7…車両進入検知センサ、8…車両情報発信機、9…車両情報受信機、10…フラッシュ照明、20…すり板上面用フラッシュ照明。
DESCRIPTION OF SYMBOLS 2 ... Camera for pantograph imaging, 3 ... Camera for equipment monitoring on roof, 4 ... Pantograph slide board, 5 ... Pantograph detection sensor, 6, 7 ... Vehicle approach detection sensor, 8 ... Vehicle information transmitter, 9 ... Vehicle information receiver 10: Flash illumination, 20: Flash illumination for the upper surface of the sliding plate.

Claims (5)

電気車用パンタグラフのすり板の摩擦状態を測定するパンタグラフのすり板検査装置において、
前記パンタグラフのすり板を撮像するカメラと、
前記カメラと対向する位置に配置され、前記すり板の上面を照射する第1の照明と、
前記カメラ側に配置され、前記すり板の側面を照射する第2の照明と、を備え、
前記第1の照明の光量を前記第2の照明の光量よりも大きくするか、または、前記パンタグラフが撮像領域に進入し前記すり板が前記第2の照明よりも前記第1の照明に近い位置になったときに前記パンタグラフのすり板を自動で撮像するように前記カメラを設定したことを特徴とするパンタグラフのすり板検査装置。
In the pantograph sliding plate inspection device for measuring the friction state of the pantograph sliding plate for electric vehicles,
A camera for imaging the pantograph slide plate;
A first illumination which is disposed at a position facing the camera and irradiates the upper surface of the sliding plate;
A second illumination that is disposed on the camera side and illuminates a side surface of the sliding plate,
The amount of light of the first illumination is made larger than the amount of light of the second illumination , or the pantograph enters the imaging region and the slide plate is closer to the first illumination than the second illumination An apparatus for inspecting a pantograph slide board , wherein the camera is set so as to automatically pick up an image of the pantograph slide board.
請求項1記載のパンタグラフのすり板検査装置において、
前記カメラを昼用の撮像カメラと、夜用の撮像カメラを2種類設け、両種のカメラで撮像した結果を用いて使用するカメラを選択する選択手段を設けたことを特徴とするパンタグラフのすり板検査装置。
In the pantograph slip board inspection device according to claim 1,
A pantograph slide characterized in that the camera is provided with two types of imaging cameras for daytime and two for nighttime, and a selection means for selecting a camera to be used by using the results of imaging with both types of cameras is provided. Board inspection device.
電気車用パンタグラフのすり板の摩擦状態を測定するパンタグラフのすり板検査装置において、
前記パンタグラフのすり板を撮像する第1のカメラと、
前記第1のカメラと対向する位置に配置され、前記すり板の上面を照射する第1の照明と、
前記第1のカメラ側に配置され、前記すり板の側面を照射する第2の照明と、
前記第1のカメラが前記電気車の進入側から前記すり板を撮像する場合は、前記電気車の退出側から前記すり板を撮像し、前記第1のカメラが前記電気車の退出側から前記すり板を撮像する場合は、前記電気車の進入側から前記すり板を撮像する第2のカメラと、を備え、
前記第1の照明の光量を前記第2の照明の光量よりも大きくするか、または、前記パンタグラフが撮像領域に進入し前記すり板が前記第2の照明よりも前記第1の照明に近い位置になったときに前記パンタグラフのすり板を自動で撮像するように前記第1のカメラを設定したことを特徴とするパンタグラフのすり板検査装置。
In the pantograph sliding plate inspection device for measuring the friction state of the pantograph sliding plate for electric vehicles,
A first camera that images the pantograph slide plate;
A first illumination which is disposed at a position facing the first camera and irradiates the upper surface of the sliding plate;
A second illumination disposed on the first camera side and illuminating a side surface of the sliding plate;
When the first camera images the sliding plate from the entrance side of the electric vehicle, the sliding plate is imaged from the exit side of the electric vehicle, and the first camera is configured to capture the slide plate from the exit side of the electric vehicle. A second camera that images the sliding plate from the entry side of the electric vehicle when imaging the sliding plate;
The amount of light of the first illumination is made larger than the amount of light of the second illumination , or the pantograph enters the imaging region and the slide plate is closer to the first illumination than the second illumination An apparatus for inspecting a pantograph slide plate , wherein the first camera is set so that the pantograph slide plate is automatically imaged when the pantograph slips.
電気車用パンタグラフのすり板の摩擦状態を測定するパンタグラフのすり板検査装置において、
前記パンタグラフのすり板を撮像する第1のカメラと、
前記第1のカメラと対向する位置に配置され、前記すり板の上面を照射する第1の照明と、
前記第1のカメラ側に配置され、前記すり板の側面を照射する第2の照明と、
前記第1のカメラとは異なるタイミングで前記すり板を撮像する第2のカメラと、を備え、
前記第1の照明の光量を前記第2の照明の光量よりも大きくするか、または、前記パンタグラフが撮像領域に進入し前記すり板が前記第2の照明よりも前記第1の照明に近い位置になったときに前記パンタグラフのすり板を自動で撮像するように前記第1のカメラを設定したことを特徴とするパンタグラフのすり板検査装置。
In the pantograph sliding plate inspection device for measuring the friction state of the pantograph sliding plate for electric vehicles,
A first camera that images the pantograph slide plate;
A first illumination which is disposed at a position facing the first camera and irradiates the upper surface of the sliding plate;
A second illumination disposed on the first camera side and illuminating a side surface of the sliding plate;
A second camera that images the sliding plate at a different timing from the first camera,
The amount of light of the first illumination is made larger than the amount of light of the second illumination , or the pantograph enters the imaging region and the slide plate is closer to the first illumination than the second illumination An apparatus for inspecting a pantograph slide plate , wherein the first camera is set so that the pantograph slide plate is automatically imaged when the pantograph slips.
請求項4記載のパンタグラフのすり板検査装置において、
前記第2のカメラは、前記第1のカメラが前記電気車の進入側から前記すり板を撮像する場合には、前記電気車の退出側から前記すり板を撮像する位置に配置され、前記第1のカメラが前記電気車の退出側から前記すり板を撮像する場合には、前記電気車の進入側から前記すり板を撮像する位置に配置されることを特徴とするパンタグラフのすり板検査装置。
In the pantograph slip board inspection device according to claim 4,
When the first camera images the sliding plate from the entry side of the electric vehicle, the second camera is disposed at a position for imaging the sliding plate from the exit side of the electric vehicle. When the camera of 1 picks up the slide plate from the exit side of the electric vehicle, the pantograph slide plate inspection device is arranged at a position to pick up the slide plate from the entrance side of the electric vehicle. .
JP2004058353A 2004-03-03 2004-03-03 Pantograph slip board inspection device. Expired - Lifetime JP4398282B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004058353A JP4398282B2 (en) 2004-03-03 2004-03-03 Pantograph slip board inspection device.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004058353A JP4398282B2 (en) 2004-03-03 2004-03-03 Pantograph slip board inspection device.

Publications (3)

Publication Number Publication Date
JP2005249503A JP2005249503A (en) 2005-09-15
JP2005249503A5 JP2005249503A5 (en) 2006-01-05
JP4398282B2 true JP4398282B2 (en) 2010-01-13

Family

ID=35030119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004058353A Expired - Lifetime JP4398282B2 (en) 2004-03-03 2004-03-03 Pantograph slip board inspection device.

Country Status (1)

Country Link
JP (1) JP4398282B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5475509B2 (en) * 2010-03-03 2014-04-16 東海旅客鉄道株式会社 Pantograph monitoring device
JP6484084B2 (en) * 2015-03-31 2019-03-13 シャープ株式会社 Wear amount measuring apparatus, wear amount measuring method, and wear amount measuring program
JP6577733B2 (en) * 2015-03-31 2019-09-18 シャープ株式会社 Measuring system
WO2018025329A1 (en) * 2016-08-02 2018-02-08 東海旅客鉄道株式会社 Current collector monitoring system
TWI737624B (en) * 2016-08-02 2021-09-01 日商東海旅客鐵道股份有限公司 Collector monitoring system
JP7013234B2 (en) * 2017-12-27 2022-01-31 東海旅客鉄道株式会社 Slip plate shape calculation device
JP7024669B2 (en) * 2018-09-05 2022-02-24 株式会社明電舎 Overhead line wear inspection device
CN112781491B (en) * 2020-12-25 2023-05-12 江苏集萃智能光电系统研究所有限公司 On-line detection equipment and method for abrasion of pantograph slide plate of train based on laser projection
CN114234822A (en) * 2021-12-23 2022-03-25 东莞市诺丽电子科技有限公司 Pantograph thickness detection method and system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353024B2 (en) * 1996-03-28 2002-12-03 三菱電機株式会社 Pantograph slide thickness measuring device
JP3403385B2 (en) * 2000-11-14 2003-05-06 近畿日本鉄道株式会社 Pantograph monitoring device
JP2002365017A (en) * 2001-06-05 2002-12-18 Mitsubishi Heavy Ind Ltd Method and apparatus of dimension accuracy measurement of corrugated cardboard, adjusting method for box producing machine and box producing machine

Also Published As

Publication number Publication date
JP2005249503A (en) 2005-09-15

Similar Documents

Publication Publication Date Title
JP6608042B2 (en) Apparatus and method for diagnosis of electric power equipment using thermal image camera
RU2445571C1 (en) Apparatus for measuring parameters of intersections
US10859468B2 (en) Method and device for tyre condition analysis
AU2006333500B2 (en) Apparatus and methods for inspecting a composite structure for defects
RU2416068C2 (en) Measuring device of wear of contact wire line
US7801333B2 (en) Vision system and a method for scanning a traveling surface to detect surface defects thereof
JP4177288B2 (en) Equipment for monitoring and measuring on-roof equipment for railway vehicles
KR101679205B1 (en) Device for detecting defect of device
KR100742003B1 (en) Surface defect inspecting method and device
JP4816567B2 (en) Trolley wire wear measuring device by image processing
JP4398282B2 (en) Pantograph slip board inspection device.
JPH0879904A (en) Abnormality detector for pantograph
JP2000193601A (en) Surface defect inspecting device
JP4567533B2 (en) Pantograph sliding plate inspection device
JP5298929B2 (en) Overhead line inspection device
WO2005100960A1 (en) Surface defect examining device
JP5481232B2 (en) Pantograph monitoring device
JP5629478B2 (en) Pantograph monitoring device
JP2004312832A (en) Rooftop equipment monitoring/measuring device for railway car
JP4216784B2 (en) Pantograph sliding plate inspection device
JP6855405B2 (en) Tram wire measuring method and trolley wire measuring device
JP6577733B2 (en) Measuring system
JP6482248B2 (en) Narrow gap inspection device
WO2006128282A1 (en) A vision system and a method for scanning a traveling surface to detect surface defects thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060509

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060823

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4398282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term