JP5018613B2 - Road communicator and accident monitoring system - Google Patents
Road communicator and accident monitoring system Download PDFInfo
- Publication number
- JP5018613B2 JP5018613B2 JP2008105385A JP2008105385A JP5018613B2 JP 5018613 B2 JP5018613 B2 JP 5018613B2 JP 2008105385 A JP2008105385 A JP 2008105385A JP 2008105385 A JP2008105385 A JP 2008105385A JP 5018613 B2 JP5018613 B2 JP 5018613B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- accident
- communication
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両に搭載された車載機と通信する路上通信機および当該路上通信機と事故監視サーバから成る事故監視システムに関するものである。 The present invention relates to a road communication device that communicates with an in-vehicle device mounted on a vehicle, and an accident monitoring system that includes the road communication device and an accident monitoring server.
従来、事故発生時に、事故を起こした車両から事故の発生時刻と事故発生時の車両の位置情報をサーバへ送信させ、また、信号機を制御する信号制御装置に接続された信号側データ通信モジュールからその信号機の表示信号とその表示の時刻との対応より成る信号機の状態情報をサーバへ送信させ、これらの情報を受信したサーバが、事故発生時の車両の位置近傍にある信号機の表示信号を事故情報として記憶するようにしたシステムがある(例えば、特許文献1参照)。また、この特許文献1には、「信号機1の敷設された交差点に交差点監視カメラがあり、信号側データ通信モジュール3はその交差点監視カメラの出力する映像を受信し、これも信号機1の状態情報としてサーバ8に送信するようにしてもよい。」との記載がある(段落番号0075)。
上記特許文献1に記載されたシステムでは、事故の発生時刻と事故発生時の車両の位置情報とともに、交差点監視カメラにより撮影された交差点の映像が信号側データ通信モジュールからサーバに送信されるが、交差点監視カメラにより撮影された交差点の映像だけでは、事故状況を認識するのに十分ではないといった問題がある。 In the system described in Patent Document 1, the video of the intersection taken by the intersection monitoring camera is transmitted from the signal side data communication module to the server together with the time of occurrence of the accident and the position information of the vehicle at the time of the accident. There is a problem that the video of the intersection taken by the intersection monitoring camera alone is not sufficient to recognize the accident situation.
本発明は上記問題に鑑みたもので、より詳細に事故状況を認識できるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to make it possible to recognize an accident situation in more detail.
上記目的を達成するため、請求項1に記載の発明は、路上を撮影する路上カメラと、車両に搭載された車載機と路車間通信を行う第1の通信手段と、事故監視サーバと通信する第2の通信手段と、路上カメラと同一領域を撮影範囲に含む他の路上通信機と通信する第3の通信手段と、第1の通信手段を介して車載機より事故の発生を通知する事故発生通知を受信すると、車載機より送信される車両の車室内映像とともに路上カメラにより撮影された路上撮影映像を第2の通信手段を介して事故監視サーバへ送出する映像送出手段と、を備え、第1の通信手段は、車載機より送信される路車間通信データの受信レベルを計測する機能を有しており、第3の通信手段を介して他の路上通信機の車載機より送信される路車間通信データの受信レベルを取得して、車載機より送信される路車間通信データの受信レベルが、他の路上通信機の受信レベルよりも高いことを判定した場合、車両の運転者を拡大撮影するように路上カメラに路上撮影映像の撮影を指示する運転者拡大撮影手段と、を備えたことを特徴としている。 In order to achieve the above object, the invention described in claim 1 communicates with a road camera for photographing on the road, a first communication means for performing road-to-vehicle communication with a vehicle-mounted device mounted on the vehicle, and an accident monitoring server. A second communication means, a third communication means that communicates with another road communication device that includes the same area as the road camera in the shooting range, and an accident that notifies the occurrence of an accident from the in-vehicle device via the first communication means When the occurrence notification is received, the image transmission means for transmitting the road image captured by the road camera together with the vehicle interior image transmitted from the in-vehicle device to the accident monitoring server via the second communication means , and The first communication means has a function of measuring the reception level of road-vehicle communication data transmitted from the in-vehicle device, and is transmitted from the in-vehicle device of another road communication device via the third communication means. Road-vehicle communication data reception level When it is determined that the reception level of road-to-vehicle communication data transmitted from the in-vehicle device is higher than the reception level of other roadside communication devices, the road camera is And a driver enlargement photographing means for instructing photographing of a photographed image .
このような構成によれば、車両に搭載された車載機より事故の発生を通知する事故発生通知を受信すると、車載機より送信される車両の車室内映像とともに路上カメラにより撮影された路上撮影映像が事故監視サーバへ送出されるので、事故監視サーバを用いてより詳細に事故状況を認識することができる。また、車載機より送信される路車間通信データの受信レベルが最も高い路上通信機に備えられた路上カメラにより車両の運転者を拡大撮影した映像が事故監視サーバへ送出され、他の路上通信機からは、路上カメラにより撮影された路上撮影映像が事故監視サーバへ送出される。このように、路上カメラと同一領域を撮影範囲に含む他の路上通信機が存在する場合には、特定の路上通信機に備えられた路上カメラに車両の運転者を拡大撮影させ、この撮影映像を事故監視サーバへ送出させることができる。 According to such a configuration, when an accident occurrence notification for notifying the occurrence of an accident is received from an in-vehicle device mounted on the vehicle, a road-captured image taken by the road camera together with the vehicle interior image transmitted from the on-vehicle device. Is transmitted to the accident monitoring server, the accident situation can be recognized in more detail using the accident monitoring server. In addition, an image obtained by enlarging the driver of the vehicle by a road camera provided in the road communication device having the highest reception level of road-to-vehicle communication data transmitted from the vehicle-mounted device is sent to the accident monitoring server, and other road communication devices From the road-captured video captured by the road camera is sent to the accident monitoring server. As described above, when there is another road communicator that includes the same area as the road camera in the shooting range, the road camera provided in the specific road communicator allows the driver of the vehicle to be enlarged and photographed. Can be sent to the accident monitoring server.
また、請求項2に記載の発明は、車載機は、車両に搭載された衝突センサによる衝突検知の有無を示す衝突検知情報、車両のエアバッグの展開の有無を示すエアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つを車両の車室内映像とともに送信するようになっており、映像送出手段は、車載機より送信される衝突検知情報、エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つを車室内映像および路上撮影映像に付加して事故監視サーバへ送出することを特徴としている。 According to a second aspect of the present invention, the in-vehicle device includes: collision detection information indicating whether or not a collision is detected by a collision sensor mounted on the vehicle; airbag deployment information indicating whether or not the airbag of the vehicle is deployed; At least one of the passenger's voice, heart rate, pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, and accident occurrence time is transmitted together with the vehicle interior image of the vehicle, , At least one of collision detection information transmitted from the vehicle-mounted device, airbag deployment information, voice of passengers in the passenger compartment, heart rate, pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, and accident occurrence time It is characterized by being sent to the accident monitoring server in addition to the in-vehicle image and the road image.
このような構成によれば、車載機より送信される衝突検知情報、エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つが車室内映像および路上撮影映像に付加して事故監視サーバへ送出されるので、更に、詳細な事故状況を認識することができる。 According to such a configuration, collision detection information transmitted from the vehicle-mounted device, airbag deployment information, occupant voice in the passenger compartment, heart rate, pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, accident Since at least one of the occurrence times is added to the vehicle interior image and the road-captured image and sent to the accident monitoring server, it is possible to further recognize the detailed accident situation.
また、請求項3に記載の発明は、車載機より送信される車両の位置情報に基づいて車両位置を推測する車両位置推測手段と、車両位置推測手段により推測された車両位置に路上カメラの撮影範囲を合わせて路上カメラに路上撮影映像を撮影させる路上カメラ制御手段と、を備えたことを特徴としている。 According to a third aspect of the present invention, there is provided a vehicle position estimation means for estimating a vehicle position based on vehicle position information transmitted from an in-vehicle device, and a road camera is photographed at the vehicle position estimated by the vehicle position estimation means. Road camera control means for causing the road camera to shoot a road-captured video in accordance with the range is provided.
路上カメラの撮影範囲が固定されている場合には、事故車両が撮影範囲に含まれないような状況が考えられるが、上記した構成によれば、車載機より送信される車両の位置情報に基づいて車両位置を推測し、この推測された車両位置に路上カメラの撮影範囲を合わせて路上カメラに路上撮影映像を撮影させるので、事故車両が路上カメラの撮影範囲に含まれないような状況をなくすことが可能である。 When the shooting range of the road camera is fixed, there may be a situation where the accident vehicle is not included in the shooting range. However, according to the configuration described above, based on the vehicle position information transmitted from the in-vehicle device. The vehicle position is estimated, and the shooting range of the road camera is adjusted to the estimated vehicle position and the road camera is caused to shoot the road shooting video, thereby eliminating the situation where the accident vehicle is not included in the shooting range of the road camera. It is possible.
また、請求項4に記載の発明は、第2の通信手段を介して路上カメラの撮影範囲の変更を指示する遠隔操作指示を受信すると、当該遠隔操作指示に応じて路上カメラに撮影範囲の変更を指示し、路上カメラの路上撮影映像を事故監視サーバへ送出する遠隔操作撮影映像送出手段を備えたことを特徴としている。 According to a fourth aspect of the present invention, when a remote operation instruction for instructing a change of the shooting range of the road camera is received via the second communication means, the shooting range of the road camera is changed according to the remote operation instruction. Is provided with remote operation photographed image sending means for sending the photographed road image of the road camera to the accident monitoring server.
このような構成によれば、路上カメラの撮影範囲の変更を指示する遠隔操作指示を受信すると、当該遠隔操作指示に応じて路上カメラに撮影範囲の変更を指示し、路上カメラの路上撮影映像が事故監視サーバへ送出されるので、事故監視サーバを用いて所望の部位の路上撮影映像を確認することが可能である。 According to such a configuration, when a remote operation instruction for instructing a change in the shooting range of the road camera is received, the road camera is instructed to change the shooting range in accordance with the remote operation instruction, and the road shooting image of the road camera is displayed. Since it is sent to the accident monitoring server, it is possible to check the road-captured video of the desired part using the accident monitoring server.
また、上記目的を達成するため、請求項5に記載の発明は、路上を撮影する路上カメラを有する路上通信機および当該路上通信機と通信する事故監視サーバから成る事故監視システムであって、路上通信機は、車両に搭載された車載機より事故の発生を通知する事故発生通知を受信すると、車載機より送信される車両の車室内映像とともに路上カメラにより撮影された路上撮影映像を事故監視サーバへ送出する映像送出手段と、車載機より送信される路車間通信データの受信レベルを計測し、路上カメラと同一領域を撮影範囲に含む他の路上通信機の車載機より送信される路車間通信データの受信レベルを取得して、車載機より送信される路車間通信データの受信レベルが、他の路上通信機の受信レベルよりも高いことを判定した場合、車両の運転者を拡大撮影するように路上カメラに路上撮影映像の撮影を指示する運転者拡大撮影手段を備え、事故監視サーバは、映像送出手段により送出された車両の車室内映像および路上カメラにより撮影された路上撮影映像を記憶媒体に記憶することを特徴としている。 In order to achieve the above object, an invention according to claim 5 is an accident monitoring system comprising a road communicator having a road camera for photographing a road and an accident monitoring server communicating with the road communicator. When the communication device receives an accident occurrence notification that notifies the occurrence of an accident from the in-vehicle device mounted on the vehicle, the accident monitoring server displays the road image taken by the road camera together with the vehicle interior image of the vehicle transmitted from the on-vehicle device. Measures the reception level of the road-to-vehicle communication data transmitted from the vehicle-mounted device and the road-to-vehicle communication transmitted from the vehicle-mounted device of another road communication device that includes the same area as the road camera in the imaging range. When the data reception level is acquired and it is determined that the reception level of road-to-vehicle communication data transmitted from the in-vehicle device is higher than the reception level of other roadside communication devices, the vehicle Comprising a driver's enlarged photographing means for instructing shooting of road shot image on the road the camera to expand shooting the driver, an accident monitoring server is captured by the vehicle interior image and road camera of the vehicle sent by the video transmitting unit It is characterized in that the captured road image is stored in a storage medium.
このような構成によれば、路上通信機は、車両に搭載された車載機より事故の発生を通知する事故発生通知を受信すると、車載機より送信される車両の車室内映像とともに路上カメラにより撮影された路上撮影映像を事故監視サーバへ送出するとともに、車載機より送信される路車間通信データの受信レベルを計測し、路上カメラと同一領域を撮影範囲に含む他の路上通信機の車載機より送信される路車間通信データの受信レベルを取得して、車載機より送信される路車間通信データの受信レベルが、他の路上通信機の受信レベルよりも高いことを判定した場合、車両の運転者を拡大撮影するように路上カメラに路上撮影映像の撮影を指示し、事故監視サーバは、路上通信機より送出された車両の車室内映像および路上カメラにより撮影された路上撮影映像を記憶媒体に記憶するので、より詳細に事故状況を認識することができる。 According to such a configuration, when the road communicator receives the accident occurrence notification that notifies the occurrence of the accident from the onboard device mounted on the vehicle, the roadside communication device captures the vehicle interior image transmitted from the onboard device with the road camera. The received road shot video is sent to the accident monitoring server, and the reception level of road-to-vehicle communication data transmitted from the vehicle-mounted device is measured. From the vehicle-mounted device of another road communication device including the same area as the road camera in the shooting range When the reception level of the road-to-vehicle communication data to be transmitted is acquired and it is determined that the reception level of the road-to-vehicle communication data transmitted from the in-vehicle device is higher than the reception level of other roadside communication devices, driving the vehicle the instructing capturing of road shot image on the road the camera to expand photographer, accident monitoring server is captured by the vehicle interior image and road camera of the vehicle sent from the road communication device Since storing road shot image in a storage medium, it is possible to recognize the accident situation in more detail.
本発明の一実施形態に係る事故監視システムの全体構成を図1に示す。本事故監視システムは、交差点等に設置され当該交差点を通行する車両1に搭載された車載機10と路車間通信を行う路上通信機2と、事故処理センタに設置された事故監視サーバ3により構成されている。なお、路上通信機2は、基地局4および公衆通信網を介して事故監視サーバ3と通信できるようになっている。また、事故監視サーバ3には、警察、消防、病院等の緊急機関および救急車、消防車等の緊急車両(図中では、緊急機関及び緊急車両5と記す)からアクセスすることが可能となっている。路上通信機2から事故監視サーバ3へ送信されるデータおよび事故監視サーバ3から緊急車両5等へ送信されるデータは、それぞれ周知の暗号化処理を用いて暗号化されており、第三者が受信できないようになっている。
FIG. 1 shows the overall configuration of an accident monitoring system according to an embodiment of the present invention. This accident monitoring system includes an on-vehicle device 10 installed on a vehicle 1 installed at an intersection or the like and mounted on a vehicle 1 that performs road-to-vehicle communication, and an accident monitoring server 3 installed at an accident processing center. Has been. The
まず、車両1について説明する。車両1には、車載機10、エアバッグ作動センサ11、衝突センサ12、ナビシステム13、車室内カメラ14、生理検知システム15およびマイク16が搭載されている。
First, the vehicle 1 will be described. The vehicle 1 is equipped with an in-vehicle device 10, an airbag operation sensor 11, a
車載機10は、路上通信機2と路車間通信を行うための車両無線部10aと、この車両無線部10aの制御を行う通信制御部10bおよび制御装置10cを備えている。
The in-vehicle device 10 includes a
制御装置10cは、CPU、メモリ等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を実施する。なお、制御装置10cのメモリには、車載機10を識別するための識別情報(ID)が記憶されている。
The
エアバッグ作動センサ11は、車両1の事故等に起因するエアバックの展開を検知し、検知信号を車載機10へ送出する。 The airbag operation sensor 11 detects the deployment of the airbag due to an accident or the like of the vehicle 1 and sends a detection signal to the in-vehicle device 10.
衝突センサ12は、車両1が衝突時に受ける衝撃を検知するもので、この車両1が受ける衝撃の大きさが一定値以上の場合に検知信号を制御装置10cへ送出する。
The
ナビシステム13は、GPSレシーバ、車速センサ、ジャイロセンサ等により構成される位置検出器(図示せず)を有し、この位置検出器より入力される現在位置を特定するための各種情報および地図データに基づいて車両1の現在位置、進路方向、現在時刻を特定し、特定した車両1の現在位置、進路方向、現在時刻を制御装置10cへ送出する。また、ナビシステム13は、特定した車両1の現在位置に対応する地図上の位置に自車位置マークを重ねて表示装置(図示せず)に表示させる処理を実施する。
The
車室内カメラ14は、車室内の乗員を撮影するためのものであり、撮影した車室内映像を制御装置10cへ送出する。
The vehicle interior camera 14 is for photographing a passenger in the vehicle interior, and sends the captured vehicle interior image to the
生理検知システム15は、運転者の心拍数、脈拍数、血圧および体温を検出する各種センサを有し、これらのセンサにより検出された運転者の心拍数、脈拍数、血圧および体温を制御装置10cへ送出する。
The
マイク16は、車室内の音声を集音し、当該集音した音声に応じた信号を制御装置10cへ送出する。
The
制御装置10cは、エアバッグ作動センサ11より検知信号が入力された場合、または衝突センサ12より検知信号が入力された場合、通信制御部10bおよび車両無線部10aを介して事故の発生を通知する事故発生通知とともに、車室内カメラ14により送出される車室内映像や生理検知システム15により検出された運転者の心拍数、脈拍数および体温等を通知する処理を行う。
When a detection signal is input from the airbag operation sensor 11 or when a detection signal is input from the
次に、路上通信機2について説明する。路上通信機2は、路上カメラ20および通信制御部21により構成されている。路上通信機2は、例えば、図2に示すように、交差点の四隅に設置される。路上通信機2の各々は、図に示すように、交差点内で車両同士の衝突事故が発生した場合に、各車両1より送出される各車室内カメラ映像とともに路上カメラ20により撮影した路上撮影映像を事故監視サーバ3へ送出する。
Next, the
路上カメラ20は、交差点等の路上の様子を撮影し、撮影した路上撮影映像を通信制御部21へ送出する。
The
通信制御部21は、基地局4および公衆通信網を介して事故監視サーバ3と通信するための無線通信部21a、同一交差点に設置された他の路上通信機2と路々間通信するための路々間通信部21b、車両1に搭載された車載機10との間で狭域通信規格(例えば、DSRC規格)に則った路車間通信を行う路車間通信部21cおよび路上通信制御部21dを備えている。なお、路車間通信部21cは、車載機10より送信される路車間通信データの受信レベルを計測する機能を有している。
The
路上通信制御部21dは、CPU、メモリ、I/O等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を実施する。
The road
路上通信制御部21dの処理には、路上カメラ20により撮影された路上撮影映像に画像認識処理を施し、路上カメラ20に特定箇所をズームアップさせて撮影させる処理、車載機10より送出される車両1の現在位置、進路方向に基づいて車両1の位置を推定し、車両を追従するように路上カメラ20の撮影範囲を変化させる処理、路車間通信部21cを介して車両1に搭載された車載機10より事故の発生を通知する事故発生通知を受信すると、車載機10より送信される車両1の車室内映像や生理検知システム15により検出された運転者の心拍数、脈拍数および体温等を無線通信部21aを介して事故監視サーバ3へ送出する処理等がある。
For the processing of the road
事故監視サーバ3は、入力装置、ディスプレイ、記憶装置、制御部(いずれも図示せず)を備えたコンピュータとして構成されており、路上通信機2より送出される各種データを記憶装置に記憶させる処理を実施する。また、警察、消防、病院等の緊急機関および救急車、消防車等の緊急車両は、事故監視サーバ3にアクセスして事故監視サーバ3の記憶装置に記憶された各種データを取得することが可能となっている。
The accident monitoring server 3 is configured as a computer including an input device, a display, a storage device, and a control unit (all not shown), and stores various data transmitted from the
図3に、車載機10における制御装置10cおよび路上通信機2における路上通信制御部21dのフローチャートを示す。制御装置10cは、自車位置および地図データに基づいて自車が交差点の所定距離(例えば、10メートル)手前に位置することを判定すると、図3に示す処理を定期的に実施する。また、路上通信制御部21dは、図3に示す処理を定期的に実施する。
FIG. 3 shows a flowchart of the
まず、制御装置10cは、車載機10を識別するための識別情報(ID)、位置情報(車両1の現在位置)および進路方向を通知する(S100)。
First, the
次に、エアバッグの展開または衝突が検知されたか否かを判定する(S102)。この判定は、エアバッグ作動センサ11から検知信号が入力されたか、あるいは、衝突センサ12から検知信号が入力されたか否かに基づいて判定することができる。
Next, it is determined whether or not airbag deployment or collision has been detected (S102). This determination can be made based on whether a detection signal is input from the airbag operation sensor 11 or whether a detection signal is input from the
ここで、エアバッグ作動センサ11と衝突センサ12のいずれからも検知信号が入力されない場合、S102の判定はNOとなり、次に、車両が交差点を通過したか否かを判定する(S104)。具体的には、車両1が路上通信機2の設置された交差点を通過して路上通信機2との路車間通信が通信断となったか否かに基づいて車両が交差点を通過したか否かを判定する。
Here, when a detection signal is not input from either the airbag operation sensor 11 or the
路上通信機2との路車間通信が通信断となっていない場合、S104の判定はNOとなり、S102へ戻り、路上通信機2との路車間通信が通信断となると、S104の判定はYESとなり、本処理を終了する。
If the road-to-vehicle communication with the
また、路上通信機2との路車間通信が通信断となる前に、図2に示したように車載機10を搭載した車両が他の車両と衝突し、エアバッグ作動センサ11と衝突センサ12の少なくとも一方から検知信号が入力されると、S102の判定はYESとなり、事故の発生を通知する事故発生通知を路上通信機2へ送出する(S106)。具体的には、事故発生通知とともに、車載機10を識別するための識別情報、衝突センサ12により一定値以上の衝撃が検出されたか否かを示す衝突検知情報、エアバッグ作動センサ11によりエアバッグの展開が検知されたか否かを示すエアバッグ展開情報、車室内カメラ14より送出される車室内映像、生理検知システム15により検出された運転者の心拍数、脈拍数および体温、衝突直前の位置・進路方向・時刻等を路上通信機2へ送出する。なお、車室内カメラ14により撮影される車室内映像は、路上通信機2へ送出され続けるようになっている。
Further, before the road-to-vehicle communication with the
上記したように、車載機10を搭載した車両から事故発生通知とともに車室内カメラ14より送出される車室内映像等の各種情報が路上通信機2へ送出されるようになっている。なお、事故を起こした両車両に車載機10が搭載されている場合には、図2に示したように、両車両より車室内カメラ14より撮影された車室内映像等の各種情報が路上通信機2へ送出される。
As described above, various types of information such as a vehicle interior image transmitted from the vehicle interior camera 14 together with the notification of the occurrence of an accident from a vehicle equipped with the vehicle-mounted device 10 are transmitted to the
次に、路上通信機2の路上通信制御部21dの処理について説明する。路上通信制御部21dは、車載機10より車載機10を識別するための識別情報(ID)、位置情報(車両1の現在位置)、進路方向を受信すると、これらの識別情報、位置情報、進路方向をメモリに記憶する(S200)。
Next, processing of the road
次に、事故発生通知を受信したか否かを判定する(S202)。事故発生通知が受信されない場合、S202の判定を繰り返し実施する。 Next, it is determined whether an accident occurrence notification has been received (S202). If the accident occurrence notification is not received, the determination in S202 is repeated.
そして、車載機10を搭載した車両から事故発生通知を受信すると、S202の判定はYESとなり、事故発生通知とともに送出された各種データをメモリに記憶させる(S204)。具体的には、車載機10を識別するための識別情報、衝突センサ12により一定値以上の衝撃が検出されたか否かを示す衝突検知情報、エアバッグ作動センサ11によりエアバッグの展開が検知されたか否かを示すエアバッグ展開情報、車室内カメラ14より送出される車室内映像、生理検知システム15により検出された運転者の心拍数、脈拍数および体温、衝突直前の位置・進路方向・時刻等をメモリに記憶させる。
When an accident occurrence notification is received from a vehicle equipped with the vehicle-mounted device 10, the determination in S202 is YES, and various data sent together with the accident occurrence notification are stored in the memory (S204). Specifically, identification information for identifying the in-vehicle device 10, collision detection information indicating whether or not an impact greater than a certain value has been detected by the
次に、メモリに記憶した各種データとともに路上カメラ20より送出される路上撮影映像を無線通信部21aを介して事故監視サーバ3へ送出する(S206)。具体的には、車載機10を識別するための識別情報、衝突センサ12により一定値以上の衝撃が検出されたか否かを示す衝突検知情報、エアバッグ作動センサ11によりエアバッグの展開が検知されたか否かを示すエアバッグ展開情報、車室内カメラ14より送出される車室内映像、生理検知システム15により検出された運転者の心拍数、脈拍数および体温、衝突直前の位置・進路方向・時刻等とともに路上カメラ20より撮影される路上撮影映像を事故監視サーバ3へ送出する。
Next, the road-captured video sent from the
次に、路車間通信の受信レベルが周囲の路上通信機2の中で最も高いか否かを判定する(S208)。具体的には、路々間通信部21bを介して同一交差点に設置された他の路上通信機2と路々間通信を行い、車載機10より送信される路車間通信データの受信レベルが同一交差点に設置された他の路上通信機2の中で最も高いか否かを判定する。
Next, it is determined whether the reception level of road-to-vehicle communication is the highest among the surrounding roadside communication devices 2 (S208). Specifically, the road-to-vehicle communication data transmitted from the in-vehicle device 10 has the same reception level by performing road-to-road communication with other
ここで、路車間通信データの受信レベルが同一交差点に設置された他の路上通信機2の中で2番目以下の場合、S208の判定はNOなり、衝突直前の位置・進路方向から事故車両の位置を推測する(S210)。なお、S200にてメモリに記憶させた位置情報(車両1の現在位置)、進路方向から事故車両の位置を推測してもよい。
Here, when the reception level of road-to-vehicle communication data is the second or lower among other
次に、推測した事故車両の位置に路上カメラ20の撮影範囲を合わせて路上カメラ20に路上撮影映像を撮影させ(S212)、S216へ進む。
Next, the shooting range of the
また、路車間通信データの受信レベルが同一交差点に設置された他の路上通信機2の中で最も高い場合には、S208の判定はYESなり、車両の運転者をズームアップ(拡大撮影)するように路上カメラ20に路上撮影映像の撮影を指示する(S214)。具体的には、画像認識処理により車両のフロントウィンドウおよび運転席のサイドウィンドウを認識し、車両のウィンドウ越しに運転者をズームアップ(拡大撮影)するように路上カメラ20に路上撮影映像の撮影を指示する。これにより、車両の運転者をズームアップした撮影映像が事故監視サーバ3に送出される。
If the reception level of road-to-vehicle communication data is the highest among the other
S216では、路車間通信が通信断となったか否かを判定する。 In S216, it is determined whether or not road-to-vehicle communication is disconnected.
ここで、路車間通信が通信断となっていない場合、S216の判定はNOとなり、S202へ戻る。したがって、車載機10より事故発生通知とともに送出される各種データおよび路上カメラ20より撮影される路上撮影映像が、事故監視サーバ3へ送出され続ける。
Here, when the road-to-vehicle communication is not disconnected, the determination in S216 is NO, and the process returns to S202. Accordingly, various data transmitted from the in-vehicle device 10 together with the accident occurrence notification and the road-captured video captured by the
また、車両1の事故等に起因して路車間通信が通信断となった場合、S216の判定はNOとなり、次に、遠隔操作指示に従い、路上カメラ20より撮影される路上撮影映像を事故監視サーバ3へ送出する(S218)。なお、このとき、事故監視サーバ3より路上カメラ20の撮影範囲の変更を指示する遠隔操作指示を受信すると、当該遠隔操作指示に応じて路上カメラ20の撮影範囲の変更を指示し、路上カメラ20により撮影された路上撮影映像を事故監視サーバ3へ送出する。すなわち、遠隔操作指示に応じた路上カメラ20の撮影映像が事故監視サーバ3へ送出される。
Further, when the road-to-vehicle communication is disconnected due to an accident of the vehicle 1 or the like, the determination in S216 is NO, and then, according to the remote operation instruction, the road video shot by the
上記した構成によれば、車両1に搭載された車載機10より事故の発生を通知する事故発生通知を受信すると、車載機10より送信される車両の車室内映像とともに路上カメラ20により撮影された路上撮影映像が事故監視サーバ3へ送出されるので、事故監視サーバ3を用いてより詳細に事故状況を認識することができる。すなわち、事故監視サーバ3を用いて事故車両の車室内映像と路上撮影映像をリアルタイムで確認することができ、緊急機関や緊急車両において事故状況に応じた適切な対応が可能となる。
According to the configuration described above, when an accident occurrence notification for notifying the occurrence of an accident is received from the in-vehicle device 10 mounted on the vehicle 1, the image is taken by the
また、車載機より送信される衝突検知情報、エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つが車室内映像および路上撮影映像に付加して事故監視サーバ3へ送出されるので、更に、詳細な事故状況を認識することができる。 In addition, at least one of collision detection information transmitted from the vehicle-mounted device, airbag deployment information, passenger voice in the passenger compartment, heart rate, pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, and accident occurrence time Since it is sent to the accident monitoring server 3 in addition to the vehicle interior image and the road image, it is possible to recognize the detailed accident situation.
また、路上カメラ20の撮影範囲が固定されている場合には、事故車両が撮影範囲に含まれないような状況が考えられるが、上記した構成によれば、車載機10より送信される車両1の位置情報に基づいて車両位置を推測し、この推測された車両位置に路上カメラ20の撮影範囲を合わせて路上カメラ20に路上撮影映像を撮影させるので、事故車両が路上カメラ20の撮影範囲に含まれないような状況をなくすことが可能である。
In addition, when the shooting range of the
また、車載機10より送信される路車間通信データの受信レベルが最も高い路上通信機2に備えられた路上カメラ20により車両の運転者を拡大撮影した映像が事故監視サーバ3へ送出され、他の路上通信機2からは、路上カメラ20により撮影された路上撮影映像が事故監視サーバ3へ送出される。このように、路上カメラ20と同一領域を撮影範囲に含む他の路上通信機2が存在する場合には、特定の路上通信機に備えられた路上カメラ20に車両1の運転者を拡大撮影させ、この撮影映像を事故監視サーバ3へ送出させることができる。
In addition, an image obtained by enlarging the driver of the vehicle by the
また、路上カメラ20の撮影範囲の変更を指示する遠隔操作指示を受信すると、当該遠隔操作指示に応じて路上カメラ20に撮影範囲の変更を指示し、路上カメラ20の路上撮影映像が事故監視サーバ3へ送出されるので、事故監視サーバ3を用いて所望の部位の路上撮影映像を確認することが可能である。
Further, when a remote operation instruction for instructing a change in the shooting range of the
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。 In addition, this invention is not limited to the said embodiment, Based on the meaning of this invention, it can implement with a various form.
例えば、上記実施形態では、車載機10に搭載された生理検知システム15により検出された車室内の運転者の心拍数、脈拍数、血圧、体温を路上通信機2へ送出したが、運転者に限定されるものではなく、例えば、生理検知システム15を用いて助手席や後部座席の乗員の心拍数、脈拍数、血圧、体温を検出するようにして路上通信機2へ送出し、路上通信機2は、受信した各情報を事故監視サーバ3へ送出するようにしてもよい。
For example, in the above embodiment, the heart rate, pulse rate, blood pressure, and body temperature of the driver in the passenger compartment detected by the
また、上記実施形態では、車両の車室内映像とともに、衝突検知情報、エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻を送信したが、これらの全ての情報を送信する必要はなく、車両の車室内映像とともに、衝突検知情報、エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つを送信するようにしてもよい。 Moreover, in the said embodiment, collision detection information, airbag deployment information, the passenger | crew's audio | voice in a vehicle interior, a heart rate, a pulse rate, blood pressure, body temperature, the position of a vehicle, the advancing direction of a vehicle, accident along with the vehicle interior image of a vehicle Although the time of occurrence was transmitted, it is not necessary to transmit all of these information, together with the vehicle interior image of the vehicle, collision detection information, airbag deployment information, passenger voice in the vehicle interior, heart rate, pulse rate, blood pressure, You may make it transmit at least 1 of body temperature, the position of a vehicle, the advancing direction of a vehicle, and accident occurrence time.
また、上記実施形態では、車両1に搭載された車載機10より事故の発生を通知する事故発生通知を受信すると、路上通信機2は、車載機10より送信される車両の車室内映像とともに路上カメラ20により撮影された路上撮影映像を事故監視サーバ3へ送出したが、事故監視サーバ3へ送出する各映像としては、動画像が好ましいが静止画像であってもよい。
Further, in the above embodiment, when an accident occurrence notification for notifying the occurrence of an accident is received from the in-vehicle device 10 mounted on the vehicle 1, the
また、上記実施形態では、車両1の事故等に起因して路車間通信が通信断となった場合に、路上カメラ20の撮影範囲の変更を指示する遠隔操作指示に応じて路上カメラ20に撮影範囲の変更を指示し、路上カメラ20の路上撮影映像を事故監視サーバへ送出したが、路車間通信の通信状態に関わらず、路上カメラ20の撮影範囲の変更を指示する遠隔操作指示に応じて路上カメラに撮影範囲の変更を指示し、路上カメラ20の路上撮影映像を事故監視サーバへ送出するようにしてもよい。
Further, in the above embodiment, when the road-to-vehicle communication is interrupted due to an accident of the vehicle 1 or the like, the
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、路車間通信部21cが第1の通信手段に相当し、無線通信部21aが第2の通信手段に相当し、S206が映像送出手段に相当し、S210が車両位置推測手段に相当し、S212が路上カメラ制御手段に相当し、路々間通信部21bが第3の通信手段に相当し、S208、S214が運転者拡大撮影手段に相当し、S218が遠隔操作撮影映像送出手段に相当する。
The correspondence relationship between the configuration of the above embodiment and the configuration of the claims will be described. The road-to-
1 車両
2 路上通信機
3 事故監視サーバ
4 基地局
5 緊急機関及び緊急車両
10 車載機
10a 車両無線部
10b 通信制御部
10c 制御装置
11 エアバッグ作動センサ
12 衝突センサ
13 ナビシステム
14 車室内カメラ
15 生理検知システム
16 マイク
20 路上カメラ
21 通信制御部
21a 無線通信部
21b 路々間通信部
21c 路車間通信部
21d 路上通信制御部
DESCRIPTION OF SYMBOLS 1
Claims (5)
車両に搭載された車載機と路車間通信を行う第1の通信手段と、
事故監視サーバと通信する第2の通信手段と、
前記路上カメラと同一領域を撮影範囲に含む他の路上通信機と通信する第3の通信手段と、
前記第1の通信手段を介して前記車載機より事故の発生を通知する事故発生通知を受信すると、前記車載機より送信される前記車両の車室内映像とともに前記路上カメラにより撮影された路上撮影映像を前記第2の通信手段を介して前記事故監視サーバへ送出する映像送出手段と、を備え、
前記第1の通信手段は、前記車載機より送信される路車間通信データの受信レベルを計測する機能を有しており、
前記第3の通信手段を介して前記他の路上通信機の前記車載機より送信される路車間通信データの受信レベルを取得して、前記車載機より送信される路車間通信データの受信レベルが、前記他の路上通信機の受信レベルよりも高いことを判定した場合、前記車両の運転者を拡大撮影するように前記路上カメラに前記路上撮影映像の撮影を指示する運転者拡大撮影手段と、を備えたことを特徴とする路上通信機。 A street camera that shoots on the street,
A first communication means for performing road-to-vehicle communication with an in-vehicle device mounted on the vehicle;
A second communication means for communicating with the accident monitoring server;
A third communication means for communicating with another road communication device including the same area as the road camera in the shooting range;
When an accident occurrence notification for notifying the occurrence of an accident is received from the in-vehicle device via the first communication means, a road-captured image captured by the road camera together with a vehicle interior image of the vehicle transmitted from the in-vehicle device. Video sending means for sending to the accident monitoring server via the second communication means ,
The first communication means has a function of measuring a reception level of road-to-vehicle communication data transmitted from the in-vehicle device,
The reception level of road-to-vehicle communication data transmitted from the in-vehicle device of the other roadside communication device via the third communication means is acquired, and the reception level of road-to-vehicle communication data transmitted from the in-vehicle device is When it is determined that the reception level of the other roadside communication device is higher, a driver enlargement photographing means for instructing the road camera to shoot the road photographing image so as to magnify the driver of the vehicle; road communication device characterized by comprising a.
前記映像送出手段は、前記車載機より送信される前記衝突検知情報、前記エアバッグ展開情報、車室内の乗員の音声、心拍数、脈拍数、血圧、体温、車両の位置、車両の進行方向、事故発生時刻の少なくとも1つを前記車室内映像および前記路上撮影映像に付加して前記事故監視サーバへ送出することを特徴とする請求項1に記載の路上通信機。 The in-vehicle device includes collision detection information indicating presence / absence of collision detection by a collision sensor mounted on the vehicle, airbag deployment information indicating presence / absence of deployment of the airbag of the vehicle, voice of a passenger in the vehicle, heart rate, At least one of pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, accident occurrence time is transmitted together with the vehicle interior image of the vehicle,
The video transmission means includes the collision detection information transmitted from the in-vehicle device, the airbag deployment information, the voice of an occupant in the passenger compartment, heart rate, pulse rate, blood pressure, body temperature, vehicle position, vehicle traveling direction, The roadside communication device according to claim 1, wherein at least one of an accident occurrence time is added to the vehicle interior image and the road-captured video and transmitted to the accident monitoring server.
前記車両位置推測手段により推測された前記車両位置に前記路上カメラの撮影範囲を合わせて前記路上カメラに前記路上撮影映像を撮影させる路上カメラ制御手段と、を備えたことを特徴とする請求項1または2に記載の路上通信機。 Vehicle position estimating means for estimating the vehicle position based on the position information of the vehicle transmitted from the in-vehicle device;
2. A road camera control means for causing the road camera to take a picture of the road shot image by matching a shooting range of the road camera with the vehicle position estimated by the vehicle position estimation means. Or the roadside communication apparatus of 2.
前記路上通信機は、車両に搭載された車載機より事故の発生を通知する事故発生通知を受信すると、前記車載機より送信される前記車両の車室内映像とともに前記路上カメラにより撮影された路上撮影映像を前記事故監視サーバへ送出する映像送出手段と、前記車載機より送信される路車間通信データの受信レベルを計測し、前記路上カメラと同一領域を撮影範囲に含む他の路上通信機の前記車載機より送信される路車間通信データの受信レベルを取得して、前記車載機より送信される路車間通信データの受信レベルが、前記他の路上通信機の受信レベルよりも高いことを判定した場合、前記車両の運転者を拡大撮影するように前記路上カメラに前記路上撮影映像の撮影を指示する運転者拡大撮影手段を備え、
前記事故監視サーバは、前記映像送出手段により送出された前記車両の車室内映像および前記路上カメラにより撮影された路上撮影映像を記憶媒体に記憶することを特徴とする事故監視システム。 An accident monitoring system comprising a road communication device having a road camera for photographing a road and an accident monitoring server communicating with the road communication device,
When the road communicator receives an accident occurrence notification for notifying the occurrence of an accident from a vehicle-mounted device mounted on the vehicle, the road image taken by the road camera together with a vehicle interior image of the vehicle transmitted from the vehicle-mounted device. Video transmission means for transmitting video to the accident monitoring server, the reception level of road-to-vehicle communication data transmitted from the in-vehicle device, and the other road communication device including the same area as the road camera in the imaging range The reception level of road-to-vehicle communication data transmitted from the in-vehicle device is acquired, and it is determined that the reception level of road-to-vehicle communication data transmitted from the in-vehicle device is higher than the reception level of the other roadside communication device. A driver enlargement photographing means for instructing the road camera to shoot the road image so as to magnify the driver of the vehicle ,
The accident monitoring system is characterized in that the accident monitoring server stores a vehicle interior image of the vehicle sent by the video sending unit and a road shot video taken by the road camera in a storage medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008105385A JP5018613B2 (en) | 2008-04-15 | 2008-04-15 | Road communicator and accident monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008105385A JP5018613B2 (en) | 2008-04-15 | 2008-04-15 | Road communicator and accident monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009258878A JP2009258878A (en) | 2009-11-05 |
JP5018613B2 true JP5018613B2 (en) | 2012-09-05 |
Family
ID=41386232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008105385A Expired - Fee Related JP5018613B2 (en) | 2008-04-15 | 2008-04-15 | Road communicator and accident monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5018613B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198682A (en) * | 2013-04-15 | 2013-07-10 | 无锡市崇安区科技创业服务中心 | Road notice board |
US11783709B2 (en) * | 2019-10-11 | 2023-10-10 | Kyocera Corporation | Traffic communication system, roadside device, server, and traffic communication method |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101759942B1 (en) * | 2012-01-06 | 2017-07-20 | 엘지전자 주식회사 | Method for monitoring car by using cctv camera in system and display apparatus |
KR101181909B1 (en) * | 2012-05-14 | 2012-09-10 | 케이티텔레캅 주식회사 | Driver telepathology system using driving management apparatus with car blackbox function |
CN103064418A (en) * | 2012-12-26 | 2013-04-24 | 三一重工股份有限公司 | Milling machine dumper travelling control device and milling machine unit |
KR101499508B1 (en) * | 2013-02-26 | 2015-03-06 | 남서울대학교 산학협력단 | An image recording system for a vehicle for performing accident style detection and settlement and the control method thereof |
WO2016063490A1 (en) * | 2014-10-22 | 2016-04-28 | 株式会社デンソー | Automobile data recording apparatus and automobile accident reporting apparatus |
KR102385245B1 (en) | 2017-01-10 | 2022-04-12 | 삼성전자주식회사 | Vehicle terminal device and control method thereof |
JP2018173688A (en) * | 2017-03-31 | 2018-11-08 | パナソニックIpマネジメント株式会社 | Road side machine |
JP7094901B2 (en) * | 2019-01-17 | 2022-07-04 | ソフトバンク株式会社 | Servers, systems, methods and programs that manage traffic information, as well as communication devices and mobiles that can communicate with the servers. |
JP6949278B2 (en) * | 2019-06-18 | 2021-10-13 | 三菱電機株式会社 | Driving support device, driving support system and driving support method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001202577A (en) * | 2000-01-20 | 2001-07-27 | Mitsubishi Electric Corp | Monitoring camera system for vehicle in accident |
JP2001331896A (en) * | 2000-03-16 | 2001-11-30 | Denso Corp | Vehicle accident information detector |
US6684137B2 (en) * | 2001-12-29 | 2004-01-27 | Yokogawa Electric Corporation | Traffic accident recording system |
JP2003281693A (en) * | 2002-03-26 | 2003-10-03 | Denso Corp | Accident monitoring server, onboard communicating machine, signal communicating machine, and accident monitoring system |
JP2006166120A (en) * | 2004-12-08 | 2006-06-22 | Fujitsu Ten Ltd | Communication control apparatus and vehicle emergency attention system |
-
2008
- 2008-04-15 JP JP2008105385A patent/JP5018613B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198682A (en) * | 2013-04-15 | 2013-07-10 | 无锡市崇安区科技创业服务中心 | Road notice board |
US11783709B2 (en) * | 2019-10-11 | 2023-10-10 | Kyocera Corporation | Traffic communication system, roadside device, server, and traffic communication method |
Also Published As
Publication number | Publication date |
---|---|
JP2009258878A (en) | 2009-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5018613B2 (en) | Road communicator and accident monitoring system | |
KR101676940B1 (en) | Providing traffic safety Information system Based On Cloud Platform and Method for Providing traffic safety Information Using the same | |
CN102446415A (en) | Traffic event monitoring | |
JP2012098105A (en) | Video collection system around accident occurrence place | |
CN107054218A (en) | identification information display device and method | |
WO2015174017A1 (en) | In-vehicle apparatus and travel image storage system | |
US20150307108A1 (en) | System and method for detecting potential accident situations with a car | |
JP2008221906A (en) | Damage part informing system for vehicle | |
KR101416368B1 (en) | Apparatus for processing vehicle accident data, relay sever for vehicle accident, and method for noticing vehicle accident | |
JPH08124069A (en) | Vehicle accident information transmitter | |
JP4214841B2 (en) | Ambient situation recognition system | |
JP2008225777A (en) | Emergency notification system and camera device | |
JP2009020774A (en) | Information transmission method, information reception method, information transmission/reception method, information transmitter-receiver, and information gathering system | |
CN111161551B (en) | Apparatus, system and method for detecting, alerting and responding to emergency vehicles | |
JP2001018717A (en) | Device for monitoring ambient condition of vehicle in operation | |
JP2008293095A (en) | Operation support system | |
KR20090022038A (en) | Car navigation system with image black box | |
JP4499525B2 (en) | Danger warning system | |
JP5020299B2 (en) | Falling object detection system, falling object detection method | |
KR101555051B1 (en) | Rear vehicle collision prevention device | |
JPWO2018020604A1 (en) | In-vehicle device, automobile, information providing system, in-vehicle device program, and automotive program | |
KR101784096B1 (en) | Integrated terminal for vehicle | |
JP2023145578A (en) | Information collection device, information collection server and information collection system | |
JP4821649B2 (en) | Road-to-vehicle communication system | |
JP2009181322A (en) | Display control device for vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5018613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |