JP2018168679A - Shovel, and shovel management server - Google Patents
Shovel, and shovel management server Download PDFInfo
- Publication number
- JP2018168679A JP2018168679A JP2017069314A JP2017069314A JP2018168679A JP 2018168679 A JP2018168679 A JP 2018168679A JP 2017069314 A JP2017069314 A JP 2017069314A JP 2017069314 A JP2017069314 A JP 2017069314A JP 2018168679 A JP2018168679 A JP 2018168679A
- Authority
- JP
- Japan
- Prior art keywords
- excavator
- captured image
- shovel
- imaging device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、ショベル等に関する。 The present invention relates to an excavator and the like.
従来、盗難の発生を判断し、カメラでキャビン内部を撮像する盗難監視機能を有するショベルが知られている(例えば、特許文献1参照)。 Conventionally, an excavator having a theft monitoring function for determining occurrence of theft and imaging the interior of the cabin with a camera is known (see, for example, Patent Document 1).
しかしながら、キャビン内部の撮像画像だけでは、得られる情報が少なく、例えば、現場から盗難されてしまったショベルやそのショベルを盗み出した犯罪者等を追跡するのに十分な情報が得られない場合があり得る。 However, there is little information that can be obtained with only the captured image inside the cabin, for example, there is a case where it is not possible to obtain enough information to track a shovel that has been stolen from the scene or a criminal who has stolen the shovel. obtain.
そこで、上記課題に鑑み、盗難発生時に、盗難されたショベルやそのショベルを盗み出した犯罪者等を追跡するために更に多くの情報を取得することが可能なショベル等を提供することを目的とする。 Therefore, in view of the above problems, an object of the present invention is to provide a shovel capable of acquiring more information in order to track a stolen shovel and a criminal who steals the shovel when a theft occurs. .
上記目的を達成するため、本発明の一実施形態では、
ショベルの盗難発生時に当該ショベルの周辺を撮像する撮像装置を備える、
ショベルが提供される。
In order to achieve the above object, in one embodiment of the present invention,
Comprising an imaging device for imaging the periphery of the shovel when the shovel is stolen;
An excavator is provided.
また、本発明の他の実施形態では、
ショベルの盗難発生時に当該ショベルの周辺を撮像する撮像装置を備えるショベルと通信可能に接続されるショベル管理サーバであって、
前記ショベルから前記撮像装置の撮像画像を受信する画像受信部を備える、
ショベル管理サーバが提供される。
In another embodiment of the present invention,
An excavator management server that is communicably connected to an excavator that includes an imaging device that captures the periphery of the excavator when the shovel is stolen.
An image receiving unit that receives a captured image of the imaging device from the excavator;
An excavator management server is provided.
上述の実施形態によれば、盗難発生時に、盗難されたショベルやそのショベルを盗み出した犯罪者等を追跡することが可能なショベル等を提供することができる。 According to the above-described embodiment, it is possible to provide a shovel capable of tracking a stolen shovel, a criminal who steals the shovel, and the like when the theft occurs.
以下、図面を参照して発明を実施するための形態について説明する。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
まず、図1を参照して、本実施形態に係る盗難監視システム1000(図2参照)が搭載される作業機械について説明をする。 First, with reference to FIG. 1, a work machine on which a theft monitoring system 1000 (see FIG. 2) according to the present embodiment is mounted will be described.
図1は、本実施形態に係る盗難監視システム1000に含まれる作業機械の一例を示す図であり、具体的には、ショベル100の側面図である。
FIG. 1 is a diagram illustrating an example of a work machine included in the
尚、本実施形態に係る盗難監視システム1000は、ショベル100以外の任意の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
The
本実施形態に係るショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
An
下部走行体1は、例えば、左右1対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。 The lower traveling body 1 includes, for example, a pair of left and right crawlers, and each crawler is self-propelled by being hydraulically driven by a traveling hydraulic motor (not shown).
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。 The upper swing body 3 rotates with respect to the lower traveling body 1 by being driven by a swing hydraulic motor, an electric motor (both not shown) or the like.
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
The boom 4 is pivotally attached to the center of the front part of the upper swing body 3 so that the boom 4 can be raised and lowered. An arm 5 is pivotally attached to the tip of the boom 4 and a bucket 6 is vertically attached to the tip of the arm 5. It is pivotally attached so that it can rotate. The boom 4, the arm 5, and the bucket 6 are hydraulically driven by a
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
The
エンジン11は、後述するエンジンコントロールモジュール32による制御の下、一定の回転数で回転し、走行油圧モータ、旋回油圧モータ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等に作動油を供給する油圧ポンプ(不図示)を駆動する。
The
また、本実施形態に係るショベル100は、盗難監視システム1000に関連する構成要素として、周辺監視コントローラ30と、セキュリティコントローラ31と、エンジンコントロールモジュール(ECM)32と、盗難監視コントローラ33と、撮像装置40と、表示装置50を備える。
In addition, the
周辺監視コントローラ30は、ショベルの運転中における周辺監視機能に関する制御処理を行う制御装置である。例えば、周辺監視コントローラ30は、キャビン10内に搭載される。
The
セキュリティコントローラ31は、ショベルの停止中におけるセキュリティ機能(盗難防止機能)に関する制御処理を行う制御装置である。例えば、セキュリティコントローラ31は、キャビン10内に搭載される。
The
ECM32は、エンジン11の制御処理を行う制御装置である。例えば、ECM32は、キャビン10内に搭載される。
The ECM 32 is a control device that performs control processing of the
盗難監視コントローラ33は、ショベル100の盗難発生の有無の監視機能、及び盗難発生後の状況の監視機能に関する制御処理を行う制御装置である。例えば、盗難監視コントローラ33は、キャビン10内に搭載される。
The
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100の周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
The
尚、周辺監視コントローラ30、セキュリティコントローラ31、ECM32、盗難監視コントローラ33の一部又は全部の機能は、1つのコントローラにより実現されてもよい。また、当該撮像装置40からの撮像画像を処理する周辺監視コントローラ30及び盗難監視コントローラ33の機能は、撮像装置40、即ち、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの中に内蔵されてもよい。
Note that some or all of the functions of the
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
The
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
The
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
The
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイである。
The
次に、図2を参照して、本実施形態に係る盗難監視システム1000について説明をする。
Next, the
図2は、本実施形態に係る盗難監視システム1000の構成の一例を示すブロック図である。
FIG. 2 is a block diagram showing an example of the configuration of the
盗難監視システム1000は、ショベル100の停止中において、ショベル100の盗難発生の有無を監視すると共に、ショベル100の盗難が発生すると、盗難発生後の周辺状況を監視する。以下、盗難監視システム1000の当該機能を盗難監視機能と称する。盗難監視システム1000は、ショベル100と、管理サーバ200と、ショベル100のユーザ(オペレータ、管理者、所有者等)の端末300を含む。
The
ショベル100は、上述の如く、周辺監視コントローラ30、セキュリティコントローラ31、ECM32、盗難監視コントローラ33、撮像装置40、表示装置50を含む。
As described above, the
周辺監視コントローラ30は、上述の如く、ショベル100の運転中において、ショベル100の周辺における監視対象を監視する周辺監視機能に関する制御処理を行う。周辺監視コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU(Central Processing Unit),RAM(Random Access Memory),ROM(Read Only Memory),I/O(Input-Output interface)等を含むマイクロコンピュータを中心に構成される。以下、セキュリティコントローラ31、ECM32、盗難監視コントローラ33に関しても同様である。周辺監視コントローラ30は、例えば、ROMに格納される各種プログラムをCPU上で実行することにより実現される機能部として、監視対象検知部301、監視画像表示処理部302、画像送信部303、画像判別部304を含む。
As described above, the
周辺監視コントローラ30は、リレー30Rを介して、電源であるバッテリ(不図示)と接続される。
The
リレー30Rは、ショベル100の図示しないイグニッションスイッチ(IGスイッチ)がオンされると、遮断状態から接続状態に移行する。即ち、周辺監視コントローラ30は、ショベル100の運転開始に対応するIGスイッチのON操作に応じて、バッテリからの電源供給が開始され、起動し、ショベル100の運転終了に対応するIGスイッチのOFF操作に応じて、バッテリからの電源供給が終了し、停止する。
When an unillustrated ignition switch (IG switch) of the
また、リレー30Rは、ショベル100の停止中において、後述の如く、盗難監視コントローラ33からのON信号(ON電圧)に応じて、接続状態を維持することができる。即ち、周辺監視コントローラ30は、ショベル100のIGスイッチがOFFされた場合であっても、盗難監視コントローラ33からリレー30RへのON信号の出力に応じて、バッテリからの電源供給が継続される。
Further, the
セキュリティコントローラ31は、上述の如く、ショベル100の停止中において、ショベル100のセキュリティ機能(盗難防止機能)に関する制御処理を行う。例えば、セキュリティコントローラ31は、セキュリティ機能が作動している(即ち、セキュリティ機能がONされている)場合、ユーザ(オペレータ、管理者等)の認証処理を行い、認証が成功したときに、ショベルの運転、即ち、エンジン11の始動を許可する等の処理を行う。認証処理は、例えば、ID及びパスワードの入力による照合や電子キー等を利用するチャレンジレスポンス認証等、任意の方法が採用されてよい。一方、セキュリティコントローラ31は、正規の認証処理を経ることなく、ショベルの運転、即ち、エンジン11の始動が成されると、異常状態であると判断し、盗難監視コントローラ33にその旨を示す異常信号を送信する。即ち、セキュリティコントローラ31は、セキュリティ機能で予め規定されるプロセスを介さずにショベルの運転が行われた旨を示す異常信号を盗難監視コントローラ33に送信する。
As described above, the
尚、セキュリティコントローラ31は、例えば、CAN(Controller Area Network)やイーサネット(登録商標)等の任意の通信プロトコルに基づくLAN(Local Area Network)を介して盗難監視コントローラ33と通信可能に接続される。
The
ECM32は、上述の如く、エンジン11の制御処理を行う。また、ECM32は、エンジン11が始動された場合、盗難監視コントローラ33にその旨を示す信号(エンジン始動信号)を送信する。
The
尚、ECM32は、例えば、CANやイーサネット等の通信プロトコルに基づくLANを介して、盗難監視コントローラ33と通信可能に接続される。
The
盗難監視コントローラ33は、上述の如く、ショベル100の盗難発生の有無の監視、及び盗難発生後の状況の監視に関する処理を行う。また、盗難監視コントローラ33には、ショベル100の外部と所定のネットワークNW1(例えば、基地局を末端とする携帯電話網やインターネット網等。後述するネットワークNW2に関しても同様。)を介して、管理サーバ200と通信可能なアンテナ33Aが接続される。盗難監視コントローラ33は、ROMに格納される1以上のプログラムをCPU上で実行することにより実現される機能部として、盗難発生判断部331、監視指令部332、保存処理部333、送信処理部334を含む。また、盗難監視コントローラ33は、内部メモリに規定される記憶領域としての記憶部339を含む。
As described above, the
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の車体の一部、即ち、上部旋回体3のハウス部の一部及びショベル100近傍の地面からショベル100の遠方までを含む比較的広い上下方向の撮像範囲、即ち、画角を有する。これにより、ショベル100に近接する領域(後述する監視エリア)に侵入した監視対象を確実に撮像することができるため、後述する監視対象検知部301は、監視エリアの監視対象を確実に検知することができる。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、それぞれ、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、周辺監視コントローラ30に送信する。
As described above, the
後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、それぞれ、周辺監視コントローラ30と同様、リレー40RB,40RL,40RRを介して、電源であるバッテリ(不図示)と接続される。
The
リレー40RB,40RL,40RRは、ショベル100のIGスイッチがオンされると、遮断状態から接続状態に移行する。即ち、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベル100の運転開始に対応するIGスイッチのON操作に応じて、バッテリからの電源供給が開始され、起動し、ショベル100の運転終了に対応するIGスイッチのOFF操作に応じて、バッテリからの電源供給が終了し、停止する。
Relays 40RB, 40RL, and 40RR shift from the disconnected state to the connected state when the IG switch of
また、リレー40RB,40RL,40RRは、ショベル100の停止中において、後述の如く、盗難監視コントローラ33からのON信号(ON電圧)に応じて、遮断状態から接続状態に移行する。即ち、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベル100の停止中であっても、盗難監視コントローラ33からのON信号に応じて、バッテリからの電源供給が開始され、起動する。
Further, the relays 40RB, 40RL, and 40RR shift from the cut-off state to the connected state in response to an ON signal (ON voltage) from the
表示装置50は、周辺監視コントローラ30(具体的には、監視画像表示処理部302)による制御の下、ショベル100の周辺の様子を表す監視画像を表示する。監視画像には、撮像装置40の撮像画像(スルー画像)、及び周辺監視コントローラ30(具体的には、監視画像表示処理部302)により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、視点変換画像)等が含まれる。
The
監視対象検知部301は、ショベル100の周辺における所定の監視対象を検知する。監視対象は、例えば、人、作業車両(トラック)、その他の障害物等である。具体的には、監視対象検知部301は、撮像装置40により撮像された撮像画像に基づき、ショベル100の周辺における所定領域(以下、「監視エリア」と称する)内の監視対象を検知する。例えば、監視対象検知部301は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置40の撮像画像内の人やトラック等の監視対象を認識すると共に、認識した人の実在位置(ショベル100から認識した監視対象までの距離やショベル100から見た方向等)を特定することができる。
The monitoring target detection unit 301 detects a predetermined monitoring target around the
監視画像表示処理部302は、オペレータによる各種操作等に応じて、表示装置50にショベル100の周辺の様子を表す監視画像を表示させる。
The monitoring image
例えば、監視画像表示処理部302は、オペレータによる所定操作に応じて、撮像装置40、即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像(スルー画像)を監視画像として表示装置50にそのまま表示させる。この際、監視画像表示処理部302は、オペレータによる操作の内容や設定内容等に応じて、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの1つのカメラの撮像画像を表示装置50に表示させてもよいし、複数(2つ或いは3つ)のカメラの撮像画像を同時に表示装置50に表示させてもよい。
For example, the monitoring image
また、例えば、監視画像表示処理部302は、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づく所定の処理を施すことにより、周辺画像(例えば、視点変換画像)を生成し、表示装置50に表示させる。具体的には、監視画像表示処理部302は、周辺画像として、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。この際、監視画像表示処理部302は、後方カメラ40B,左側方カメラ40L、及び右側方カメラ40Rの1つのカメラの撮像画像から周辺画像を生成し、表示装置50に表示させてもよいし、複数(2つ或いは3つ)のカメラの撮像画像から周辺画像を生成し、表示装置50に表示させてもよい。
Further, for example, the monitoring image
画像送信部303は、盗難監視コントローラ33から周辺監視コントローラ30に送信される監視指令に応じて、撮像装置40(後方カメラ40B、左側方カメラ40L、及び右側方カメラ40R)から逐次入力される撮像画像を盗難監視コントローラ33に送信する。
The
画像判別部304(認識部の一例)は、例えば、上述した監視対象検知部301と同様、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置40の撮像画像が盗難監視コントローラ33における保存対象であるか否かを判別する。例えば、画像判別部304は、撮像装置40の撮像画像に人又はトラックが映っているか(含まれているか)を判断し、映っているいる場合に、当該撮像画像を保存対象として判別する。画像判別部304は、撮像装置40から入力された撮像画像のそれぞれのデータに対して、判別結果の情報を付与し、画像送信部303は、情報が付与済の撮像画像を盗難監視コントローラ33に送信する。
The image discriminating unit 304 (an example of a recognizing unit), for example, similarly to the monitoring target detecting unit 301 described above, arbitrarily applies various known image processing methods, machine learning-based discriminators, and the like, thereby It is determined whether or not the captured image is a storage target in the
尚、全ての撮像画像が盗難監視コントローラ33への保存対象である場合、画像判別部304は、省略されてよい。
Note that when all the captured images are to be stored in the
盗難発生判断部331は、ショベル100の盗難が発生したか否かを判断する。ショベル100の盗難発生の有無を判断する手法は、任意であってよい。例えば、盗難発生判断部331は、ショベル100のセキュリティ機能(盗難防止機能)を司るセキュリティコントローラ31から異常信号が受信された場合、ショベル100が盗難されたと判断してよい。また、例えば、盗難発生判断部331は、ECM32からのエンジン始動信号が受信された場合、セキュリティ機能がONされているにも関わらず、セキュリティコントローラ31との通信が途絶しているときに、即ち、セキュリティコントローラ31が取り外された状態であるときに、ショベル100が盗難されたと判断してよい。
The theft occurrence determination unit 331 determines whether or not the
監視指令部332は、盗難発生判断部331によりショベル100が盗難されたと判断された場合、リレー30R,40RB,40RL,40RRにON信号を出力すると共に、周辺監視コントローラ30に撮像装置40の撮像画像の送信を要求する監視指令を送信する。
The
保存処理部333は、周辺監視コントローラ30から送信される撮像装置40の撮像画像を記憶部339に保存する処理を行う。
The
送信処理部334(送信部の一例)は、アンテナ33Aを制御し、ネットワークNW1を通じて、管理サーバ200に撮像装置40の撮像画像を送信する処理を行う。
The transmission processing unit 334 (an example of a transmission unit) controls the
管理サーバ200(ショベル管理サーバの一例)は、ショベル100と通信可能に接続され、ショベル100との双方向通信に基づき、ショベル100の各種状態を管理する。管理サーバ200は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせ等により構成されてよく、例えば、CPU,RAM,ROM,I/Oを含む1又は複数のサーバコンピュータを中心に構成される。管理サーバ200は、サーバコンピュータのROMに格納される1以上のプログラムにより実現される機能部として、通信処理部201、保存処理部202、盗難発生通知部203、画像送信部204を含む。また、管理サーバ200は、サーバコンピュータに含まれる記憶装置に規定される記憶領域としての記憶部209を含む。
The management server 200 (an example of the excavator management server) is communicably connected to the
通信処理部201(画像受信部、応答受信部の一例)は、所定の通信機器(不図示)を制御し、所定のネットワークNW1,NW2等を通じて、ショベル100、端末300等との間での各種信号の送受信を行う。例えば、通信処理部201は、ショベル100から送信される、撮像装置40の撮像画像を受信する。また、例えば、通信処理部201は、端末300から送信される、後述する問い合わせに対する応答を受信する。
A communication processing unit 201 (an example of an image receiving unit and a response receiving unit) controls a predetermined communication device (not shown), and performs various operations with the
保存処理部202は、通信処理部201によりショベル100から撮像装置40の撮像画像が受信された場合、記憶部209に保存する処理を行う。
When the
盗難発生通知部203(通知部の一例)は、通信処理部201によりショベル100から撮像装置40の撮像画像が受信された場合、通信処理部201を介して、ショベル100における盗難発生の通知(盗難発生通知)を端末300に送信する。この際、盗難発生通知部203は、盗難発生通知にて、撮像装置40の撮像画像の送信の要否を問い合わせる。当該通知の送信形式は、任意であってよく、メール、SNS、端末300にインストールされる特定のアプリケーションプログラム(アプリ)によるプッシュ通知等、任意の形式が採用されてよい。
The theft occurrence notification unit 203 (an example of a notification unit) notifies the occurrence of theft in the shovel 100 (theft) via the
画像送信部204は、通信処理部201により端末300から撮像装置40の撮像画像の送信が必要である旨の応答が受信された場合、通信処理部201を介して、端末300に撮像装置40の撮像画像を送信する。例えば、画像送信部204は、ストリーミング形式の連続する動画として、撮像画像を端末300に送信してもよいし、予め規定される、或いは、端末300のユーザにより指定される一部の撮像画像を端末300に送信してもよい。
When the
端末300は、上述の如く、ショベル100のユーザが所有する。端末300は、携帯電話、スマートフォン、タブレット端末等の携帯端末であってよいし、デスクトップ型のコンピュータ等の定置端末であってもよい。端末300は、管理サーバ200とネットワークNW2を通じて通信可能に接続され、管理サーバ200と各種信号のやり取りを行う。
The terminal 300 is owned by the user of the
例えば、端末300は、管理サーバ200から送信される、問い合わせ内容を含む盗難発生通知を受信すると、ユーザの所定操作等に応じて、液晶ディスプレイ等の画面上に、ショベル100における盗難発生を表示すると共に、撮像画像を管理サーバ200から送信してもらうか否かの質問を表示する。
For example, when receiving the theft occurrence notification including the inquiry content transmitted from the
また、端末300は、当該質問に対するユーザの回答に対応する操作に応じて、管理サーバ200に問い合わせに対する応答を送信する。
Also, the terminal 300 transmits a response to the inquiry to the
また、端末300は、当該質問に対するユーザの回答が撮像画像の送信が必要である旨の内容である場合、ユーザによる所定操作に応じて、管理サーバ200から送信される、撮像装置40の撮像画像を画面上に表示する。
In addition, when the user's answer to the question is the content that the captured image needs to be transmitted, the terminal 300 transmits the captured image of the
次に、図3〜図6を参照して、本実施形態に係る盗難監視システム1000におけるショベル100側での処理について説明する。
Next, processing on the
まず、図3は、盗難監視コントローラ33による処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、盗難発生判断部331により盗難が発生したと判断されていない状況(即ち、後述する盗難発生フラグが"OFF"である状況)で、繰り返し実行されてよい。以下、図5、図6に関しても同様である。
First, FIG. 3 is a flowchart schematically showing a first example of processing by the
尚、盗難発生フラグの初期設定は、"OFF"である。以下、図5、図6に関しても同様である。また、盗難発生フラグは、一度、ショベル100の盗難が発生したと判断されると、"ON"から変化しないため、例えば、盗難されたショベル100が発見された後に、外部ツール等を利用して、サービスマン等により初期化、即ち、OFFにされる。
The initial setting of the theft occurrence flag is “OFF”. The same applies to FIGS. 5 and 6 below. Further, once it is determined that the
ステップS102にて、盗難発生判断部331は、ショベル100の盗難が発生したか否かを判定する。盗難発生判断部331は、ショベル100の盗難が発生した場合、ステップS104に進み、盗難が発生していない場合、今回の処理を終了する。
In step S102, the theft occurrence determination unit 331 determines whether the
ステップS104にて、監視指令部332は、リレー30R,40RB,40RL,40RRにON信号(ON電圧)を出力すると共に、周辺監視コントローラ30に監視指令を出力する。これにより、ショベル100のイグニッションスイッチがOFFの状態であっても、周辺監視コントローラ30及び撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)への電源供給が維持される。そして、盗難発生フラグを"ON"に設定する。
In step S <b> 104, the
ステップS106にて、保存処理部333は、監視指令に応じて、周辺監視コントローラ30から入力される撮像装置40の撮像画像を記憶部339に保存する。
In step S106, the
ステップS108にて、盗難監視コントローラ33は、終了条件が成立したか否かを判定する。終了条件は、例えば、予め規定される時間が経過したことであってもよいし、バッテリの電圧が所定電圧以下まで低下したこと等であってもよい。盗難監視コントローラ33は、終了条件が成立していない場合、ステップS106に戻り、ステップS106,S108の処理を繰り返し、終了条件が成立した場合、今回の処理を終了する。
In step S108, the
このように、本例では、撮像装置40は、盗難監視コントローラ33による制御の下、ショベル100の盗難発生時に、ショベル100の周辺(外部)を撮像する。これにより、盗難されたショベル100やそのショベル100を盗み出した犯罪者等を追跡するために更に多くの情報を取得することができる。以下、図4を参照して、本例に係るショベルの作用について、具体的に説明をする。
Thus, in this example, the
図4は、本実施形態に係る盗難監視システム1000の作用を説明する図であり、具体的には、ショベル100の盗難される場面の一例を示す図である。より具体的には、図4(a)は、犯罪者TFがショベル100をトラックTKの後方まで移動した状態、即ち、トラックTKに積み込む直前の場面を示す図(側面図)である。また、図4(b)は、犯罪者TFがショベル100をトラックTKに積み込んだ後、ショベル100の足回りを固定し、トラックTKに乗り込むまでの場面を示す図(平面図)である。
FIG. 4 is a diagram for explaining the operation of the
図4(a)に示すように、ショベル100をトラックTKに積み込む場合、ショベル100を後進させてトラックTKの荷台に積み込む。そのため、ショベル100は、トラックTKに積み込まれる直前の状態において、その後部がトラックTKの後部と対向する形になる。よって、ショベル100の上部旋回体3の後部に取り付けられる後方カメラ40Bは、その撮像範囲MAの中にトラックTKの後部に取り付けられるナンバープレートNPを捉えることができ、ナンバープレートNPを含む撮像画像を取得することができる。これにより、例えば、後日、発見されたショベル100の記憶部339から取り出された画像に基づき、ナンバープレートNPの番号を特定し、犯罪者TFを追跡することができる。
As shown in FIG. 4A, when the
また、図4(b)に示すように、ショベル100がトラックTKの荷台に積み込まれた後、犯罪者TFは、ショベル100の足回り(下部走行体1のクローラ)を荷台に固定する作業を行う。上述の如く、後方カメラ40B,左側方カメラ40L,及び右側方カメラ40Rは、それぞれ、ショベル100の車体の一部が映る程度に、その光軸が下方に傾けられており、ショベル100に近接する範囲を確実に撮像すること可能な上下方向の画角を有する。そのため、後方カメラ40B、左側方カメラ40L,及び右側方カメラ40Rは、その撮像範囲MAの中に、作業中の犯罪者TFの全体像を明確に捉えることができ、犯罪者TFを含む撮像画像を取得することができる。これにより、例えば、後日、発見されたショベル100の記憶部339から取り出された撮像画像に基づき、犯罪者TFの特徴等を解析し、犯罪者TFの特定を試みることができる。
Further, as shown in FIG. 4B, after the
尚、撮像装置40は、左側方カメラ40L、及び右側方カメラ40Rのうちの一方だけを含む態様であってもよく、好ましくは、運転席側、即ち、ショベル100の左側方を撮像する左側方カメラ40Lが設けられるとよい。また、撮像装置40は、更に、ショベル100の前方を撮像する前方カメラを含む態様であってもよい。これにより、トラックTKの荷台の後部で、ショベル100の足回りを固定する作業等を行う犯罪者TFを撮像することができる。
The
また、図4(b)に示すように、ショベル100をトラックTKの荷台に積み込み、ショベル100の足回りを固定した後、犯罪者TF(即ち、トラックTKのドライバ)は、トラックTKの右側(左ハンドル車の場合、左側)を回りこんで、運転席側からトラックTKに乗り込む(図中、太い実線矢印参照)。また、犯罪者TFが複数いる場合、犯罪者TFのドライバ以外は、トラックTKの反対側を回り込んで助手席側からトラックTKに乗り込む(図中、太い点線矢印参照)。そのため、左側方カメラ40L、及び右側方カメラ40Rは、その撮像範囲MAの中に、ショベル100の積み込み作業後にトラックに乗り込む犯罪者TFを捉えることができ、トラックTKに乗り込む犯罪者TFを含む撮像画像を取得することができる。これにより、例えば、後日、発見されたショベル100の記憶部339から取り出された撮像画像に基づき、犯罪者TFの特徴を解析し、犯罪者TFの特定を試みることができる。
Further, as shown in FIG. 4B, after the
また、ショベル100が積み込まれたトラックTKが走行し始めると、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rは、ショベル100の後方、左側方、及び右側方を撮像することにより、トラックTKが走行する前方、右側方、及び左側方の道路周辺の様子を含む撮像画像を取得することができる。これにより、例えば、後日、発見されたショベル100の記憶部339から取り出された撮像画像に基づき、犯罪者TFの足取り(移動経路、立寄り場所等)を解析し、犯罪者TFを追跡することができる。
Further, when the truck TK loaded with the
尚、上述の如く、撮像装置40が前方カメラを含む構成が採用される場合、前方カメラは、トラックTKの後方の道路の様子を含む撮像画像を更に取得することができる。
As described above, when the configuration in which the
このように、本例では、撮像装置40は、盗難監視コントローラ33による制御の下、ショベル100の盗難発生時に、ショベル100の周辺(外部)を撮像することにより、盗難されたショベル100やそのショベル100を盗み出した犯罪者等を追跡するために更に多くの情報を取得することができる。
As described above, in this example, the
また、本例では、撮像装置40は、ショベル100の後方、側方、(即ち、左側方、右側方)をそれぞれ撮像する後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。これにより、上述の如く、ショベル100が盗難される状況において、具体的な犯罪者の動作に合わせて、適切に有用な情報を含む撮像画像を取得することができる。
In this example, the
また、本実施形態では、周辺監視機能と盗難監視機能とで撮像装置40を兼用するため、周辺監視機能が既に装備されているショベル100に対して、コスト上昇を抑制しつつ、盗難監視機能を搭載することができる。
In the present embodiment, since the periphery monitoring function and the theft monitoring function also serve as the
続いて、図5は、盗難監視コントローラ33による処理の第2例を概略的に示すフローチャートである。
Next, FIG. 5 is a flowchart schematically showing a second example of processing by the
本フローチャートのステップS202〜S206,S208は、図3のフローチャートのステップS102〜S106,S108と同じであるため、異なる部分を中心に説明する。 Steps S202 to S206 and S208 of this flowchart are the same as steps S102 to S106 and S108 of the flowchart of FIG.
ステップS206の後、ステップS207にて、送信処理部334は、アンテナ33Aを制御し、ネットワークNW1を通じて、管理サーバ200に撮像装置40の撮像画像を送信(アップロード)し、ステップS208に進む。
After step S206, in step S207, the
このように、本例では、撮像装置40の撮像画像を管理サーバ200に送信することにより、管理サーバ200において、リアルタイムにショベル100の盗難時の撮像装置40の撮像画像を取得することができる。そのため、上述した図4(a)に示すように、管理サーバ200の管理者等は、後方カメラ40Bにより撮像されたナンバープレートNPを含む撮像画像に基づき、リアルタイムに、ナンバープレートNPの番号を特定し、ショベル100及び犯罪者TFの追跡を行うことができる。また、上述した図4(b)に示すように、管理サーバ200の管理者等は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rにより撮像された犯罪者TFを含む撮像画像に基づき、リアルタイムに、犯罪者TFの特徴等を解析し、犯罪者TFの特定を試みることができる。また、上述した図4(b)に示すように、管理サーバ200の管理者等は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rにより撮像された、トラックTKが走行する道路周辺の様子を含む撮像画像に基づき、リアルタイムに、犯罪者TFの足取り(移動経路、立寄り場所等)を解析し、ショベル100及び犯罪者TFを追跡することができる。
Thus, in this example, by transmitting the captured image of the
続いて、図6は、盗難監視コントローラ33による処理の第3例を概略的に示すフローチャートである。
Next, FIG. 6 is a flowchart schematically showing a third example of processing by the
本フローチャートのステップS302,S304,S306,S308は、図3のフローチャートのステップS102,S104,S106,S108と同じであるため、異なる部分を中心に説明する。 Steps S302, S304, S306, and S308 in this flowchart are the same as steps S102, S104, S106, and S108 in the flowchart in FIG.
ステップS304の後、或いは、ステップS308にて、終了条件が成立していないと判定された場合、ステップS305にて、保存処理部333は、撮像画像に付与された画像判別部304による判別結果に基づき、保存対象の撮像画像であるか、即ち、人或いはトラックが含まれる撮像画像であるかを判定する。保存処理部333は、撮像画像が保存対象である場合、ステップS306に進み、保存対象でない場合、ステップS308に進む。
After step S304 or when it is determined in step S308 that the end condition is not satisfied, in step S305, the
このように、本例では、保存対象の撮像画像として、人或いはトラックが含まれる撮像画像だけを記憶部339に保存する。これにより、上述した図4(a)、(b)に示すように、ショベル100及び犯罪者TFの追跡に有用な撮像画像を確実に保存しつつ、撮像画像を保存するメモリの容量を抑制し、コスト上昇を抑制することができる。
Thus, in this example, only the captured image including a person or a track is stored in the
尚、保存対象の撮像画像、即ち、画像判別部304により保存対象であると判別された撮像画像だけが、周辺監視コントローラ30から盗難監視コントローラ33に送信される態様であってもよい。また、上述した第2例(図5)と同様、撮像画像が管理サーバ200に送信されてもよい。この場合、保存対象の撮像画像、即ち、画像判別部304により保存対象であると判別された撮像画像だけが、管理サーバ200に送信される態様であってもよい。これにより、ショベル100から管理サーバ200への通信量を抑制できるため、通信負荷を低減できると共に、通信料金を抑制することができる。
Note that only the captured image to be stored, that is, the captured image determined as the storage target by the
次に、図7を参照して、本実施形態に係る盗難監視システム1000における管理サーバ200側の処理について説明する。
Next, processing on the
図7は、管理サーバ200による処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、管理サーバ200の稼働中、所定時間間隔で繰り返し実行される。
FIG. 7 is a flowchart schematically showing an example of processing by the
ステップS402にて、通信処理部201は、ショベル100から盗難発生時における撮像装置40の撮像画像(即ち、盗難発生判断部331による盗難発生の判断をトリガとして撮像開始される撮像画像)の受信が開始されたか否かを判定する。通信処理部201は、ショベル100から盗難発生時における撮像装置40の撮像画像が受信開始された場合、ステップS404に進み、受信開始されていない場合、今回の処理を終了する。
In step S402, the
ステップS404にて、盗難発生通知部203は、撮像装置40の撮像画像の送信要否の問い合わせを含む盗難発生通知を端末300に送信する。
In step S <b> 404, the theft
ステップS406にて、通信処理部201は、盗難発生通知に含まれる問い合わせに対する応答が端末300から所定時間以内で受信されたか否かを判定する。通信処理部201は、端末300から応答が受信された場合、ステップS408に進み、応答が受信されない場合、今回の処理を終了する。
In step S406, the
ステップS408にて、画像送信部204は、端末300からの応答内容が"要"、即ち、撮像画像の送信が必要である旨を示すか否かを判定する。画像送信部204は、端末300からの応答内容が"要"である場合、ステップS410に進み、"要"でない場合、今回の処理を終了する。
In step S408, the
ステップS410にて、画像送信部204は、撮像画像を端末300に送信する。
In step S <b> 410, the
ステップS412にて、画像送信部204は、終了条件が成立したか否かを判定する。終了条件は、例えば、管理サーバ200におけるショベル100からの撮像画像の受信が終了したことであってもよいし、予め規定される時間が経過したこと等であってもよい。画像送信部204は、終了条件が成立していない場合、ステップS410に戻り、ステップS410,S412の処理を繰り返し、終了条件が成立した場合、今回の処理を終了する。
In step S412, the
このように、本例では、盗難発生通知部203は、通信処理部201によりショベル100から撮像装置40の撮像画像が受信された場合、ショベル100のユーザの端末300に盗難発生を示す通知を送信する。そして、画像送信部204は、通信処理部201により端末300から応答が受信され、当該応答が撮像画像の送信要求を含む場合、撮像画像を端末300に送信する。これにより、ユーザは、ショベル100の盗難発生時の撮像装置40の撮像画像をリアルタイムに取得することができるため、盗難発生の状況を自身で確認することができる。また、ユーザは、自身の要否判断に基づく送信要求に基づき、撮像画像を送信してもらうことができるため、例えば、実際は、盗難が発生していないような状況で、撮像画像が端末300に送信され、不要な通信料金が発生するような事態を抑制することができる。
Thus, in this example, when the
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the form for implementing this invention was explained in full detail, this invention is not limited to this specific embodiment, In the range of the summary of this invention described in the claim, various Can be modified or changed.
30 周辺監視コントローラ
30R リレー
31 セキュリティコントローラ
32 エンジンコントロールモジュール
33 盗難監視コントローラ
33A アンテナ
40 撮像装置
40B 後方カメラ
40L 左側方カメラ
40R 右側方カメラ
40RB リレー
40RL リレー
40RR リレー
50 表示装置
100 ショベル
200 管理サーバ(ショベル管理サーバ)
201 通信処理部(画像受信部、応答受信部)
202 保存処理部
203 盗難発生通知部(通知部)
204 画像送信部
209 記憶部
300 端末
301 監視対象検知部
302 監視画像表示処理部
303 画像送信部
304 画像判別部
331 盗難発生判断部
332 監視指令部
333 保存処理部
334 送信処理部(送信部)
339 記憶部
1000盗難監視システム
30
201 Communication processing unit (image receiving unit, response receiving unit)
202
204
339
Claims (9)
ショベル。 Comprising an imaging device for imaging the periphery of the shovel when the shovel is stolen;
Excavator.
請求項1に記載のショベル。 The imaging device includes a rear camera and a side camera for imaging the rear and side of the excavator,
The excavator according to claim 1.
請求項1又は2に記載のショベル。 The imaging device has its optical axis inclined obliquely downward such that a part of the body of the shovel is reflected in the vertical angle of view.
The shovel according to claim 1 or 2.
請求項1乃至3の何れか一項に記載のショベル。 A storage unit for storing a captured image of the imaging apparatus;
The excavator according to any one of claims 1 to 3.
前記記憶部は、前記認識部により前記撮像画像の中にトラック又は人が認識された場合に、当該撮像画像を保存する、
請求項4に記載のショベル。 A recognition unit for recognizing a track or a person included in a captured image of the imaging device;
The storage unit stores the captured image when a track or a person is recognized in the captured image by the recognition unit.
The excavator according to claim 4.
請求項1乃至5の何れか一項に記載のショベル。 A transmission unit that transmits a captured image of the imaging device to an excavator management server disposed remotely from the excavator;
The excavator according to any one of claims 1 to 5.
前記送信部は、前記認識部により前記撮像画像の中にトラック又は人が認識された場合に、当該撮像画像を前記ショベル管理サーバに送信する、
請求項6に記載のショベル。 A recognition unit for recognizing a track or a person included in a captured image of the imaging device;
The transmission unit transmits the captured image to the excavator management server when a track or a person is recognized in the captured image by the recognition unit.
The excavator according to claim 6.
前記ショベルから前記撮像装置の撮像画像を受信する画像受信部を備える、
ショベル管理サーバ。 An excavator management server that is communicably connected to an excavator that includes an imaging device that captures the periphery of the excavator when the shovel is stolen.
An image receiving unit that receives a captured image of the imaging device from the excavator;
Excavator management server.
前記端末から前記通知に対する応答を受信する応答受信部と、
前記応答が前記撮像画像の送信要求を含む場合、前記撮像画像を前記端末に送信する画像送信部と、を更に備える、
請求項8に記載のショベル管理サーバ。 When the captured image is received from the excavator by the image receiving unit, a notification unit that transmits a notification indicating theft occurrence to the terminal of the user of the excavator;
A response receiver for receiving a response to the notification from the terminal;
An image transmission unit that transmits the captured image to the terminal when the response includes a transmission request for the captured image;
The excavator management server according to claim 8.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017069314A JP6962700B2 (en) | 2017-03-30 | 2017-03-30 | Excavator, excavator management server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017069314A JP6962700B2 (en) | 2017-03-30 | 2017-03-30 | Excavator, excavator management server |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018168679A true JP2018168679A (en) | 2018-11-01 |
JP6962700B2 JP6962700B2 (en) | 2021-11-05 |
Family
ID=64017849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017069314A Active JP6962700B2 (en) | 2017-03-30 | 2017-03-30 | Excavator, excavator management server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6962700B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020158996A (en) * | 2019-03-25 | 2020-10-01 | 住友建機株式会社 | Asphalt finisher |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001098587A (en) * | 1999-10-04 | 2001-04-10 | Hitachi Constr Mach Co Ltd | Antitheft device for construction machine |
JP2002166823A (en) * | 2000-12-01 | 2002-06-11 | Fuji Denki Kogyo Kk | Theft sensing device |
JP2008248657A (en) * | 2007-03-30 | 2008-10-16 | Komatsu Ltd | Camera system for working machine |
US20140118533A1 (en) * | 2012-01-27 | 2014-05-01 | Doosan Infracore Co., Ltd. | Operational stability enhancing device for construction machinery |
JP2015229836A (en) * | 2014-06-03 | 2015-12-21 | 住友重機械工業株式会社 | Object detection system for construction machinery |
JP2016089389A (en) * | 2014-10-30 | 2016-05-23 | 日立建機株式会社 | Rotation support device for work machine |
JP2016092614A (en) * | 2014-11-05 | 2016-05-23 | エイディシーテクノロジー株式会社 | On-vehicle camera system |
-
2017
- 2017-03-30 JP JP2017069314A patent/JP6962700B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001098587A (en) * | 1999-10-04 | 2001-04-10 | Hitachi Constr Mach Co Ltd | Antitheft device for construction machine |
JP2002166823A (en) * | 2000-12-01 | 2002-06-11 | Fuji Denki Kogyo Kk | Theft sensing device |
JP2008248657A (en) * | 2007-03-30 | 2008-10-16 | Komatsu Ltd | Camera system for working machine |
US20140118533A1 (en) * | 2012-01-27 | 2014-05-01 | Doosan Infracore Co., Ltd. | Operational stability enhancing device for construction machinery |
JP2015229836A (en) * | 2014-06-03 | 2015-12-21 | 住友重機械工業株式会社 | Object detection system for construction machinery |
JP2016089389A (en) * | 2014-10-30 | 2016-05-23 | 日立建機株式会社 | Rotation support device for work machine |
JP2016092614A (en) * | 2014-11-05 | 2016-05-23 | エイディシーテクノロジー株式会社 | On-vehicle camera system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020158996A (en) * | 2019-03-25 | 2020-10-01 | 住友建機株式会社 | Asphalt finisher |
JP7374601B2 (en) | 2019-03-25 | 2023-11-07 | 住友建機株式会社 | asphalt finisher |
Also Published As
Publication number | Publication date |
---|---|
JP6962700B2 (en) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7252137B2 (en) | Perimeter monitoring device | |
US9767675B2 (en) | Mobile autonomous surveillance | |
WO2019172424A1 (en) | Work machine, information processing device, information processing method, and program | |
US11904754B2 (en) | Providing roadside assistance to vehicles | |
JP6835219B2 (en) | Parking control method and parking control device | |
US20180308344A1 (en) | Vehicle-to-infrastructure (v2i) accident management | |
US11092960B2 (en) | Remote vehicle control device and remote vehicle control method | |
CN115003888B (en) | Remote operation-assisted server, method and system | |
WO2021025123A1 (en) | Excavator and information processing device | |
CN111369708A (en) | Vehicle driving information recording method and device | |
CN109671270B (en) | Driving accident processing method and device and storage medium | |
JP2019026211A (en) | Operation monitoring system | |
CN110677583A (en) | Vehicle-mounted image acquisition method and device, electronic equipment and computer storage medium | |
JP6962700B2 (en) | Excavator, excavator management server | |
JP2010221958A (en) | Vehicular antitheft system | |
JP7051369B2 (en) | Image processing device and image processing method | |
JP2019080158A (en) | Image processing apparatus and image processing method | |
JP3775336B2 (en) | Vehicle monitoring device | |
KR101286160B1 (en) | Car collision management system and method | |
JP6973890B2 (en) | Work equipment monitoring system | |
JPWO2017082388A1 (en) | Security device, security control method, program, and storage medium | |
KR102469583B1 (en) | Method for surveillance using cameras of vehicle and system for surveillance using cameras of vehicle | |
JP7103773B2 (en) | Image processing device and image processing method | |
JP2023131366A (en) | Work machine and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20200217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |