[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023190671A1 - 物体検知システム - Google Patents

物体検知システム Download PDF

Info

Publication number
WO2023190671A1
WO2023190671A1 PCT/JP2023/012771 JP2023012771W WO2023190671A1 WO 2023190671 A1 WO2023190671 A1 WO 2023190671A1 JP 2023012771 W JP2023012771 W JP 2023012771W WO 2023190671 A1 WO2023190671 A1 WO 2023190671A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
detection system
distribution density
video data
vehicle body
Prior art date
Application number
PCT/JP2023/012771
Other languages
English (en)
French (fr)
Inventor
尚 多胡
昌輝 日暮
正道 田中
雅嗣 荒井
理沙 齋藤
大斗 坂井
毅一 佐藤
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to EP23780680.7A priority Critical patent/EP4450332A1/en
Priority to CN202380018095.7A priority patent/CN118574969A/zh
Priority to KR1020247024197A priority patent/KR20240121329A/ko
Priority to JP2024512668A priority patent/JPWO2023190671A5/ja
Publication of WO2023190671A1 publication Critical patent/WO2023190671A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an object detection system applied to a construction machine operating site.
  • construction machinery is equipped with a sensor that detects objects and people around the vehicle body, and warns the operator when the sensor detects a person or object within close range of the vehicle body. It is equipped with a function that allows the vehicle to move forward and restrict the movement of the vehicle.
  • An object of the present invention is to provide an object detection system for construction machinery that can easily determine where and under what circumstances a near-miss has occurred at a construction machinery operation site.
  • an object detection system includes a communication section that receives detection data indicating that an object detection sensor attached to the body of a construction machine has detected an object, and position information of the vehicle body. , has a recording unit that records at least position information, and a detection result output unit that outputs the position and frequency distribution density at which the object detection sensor has detected an object to an external monitor based on the detection data and the position information.
  • the above configuration makes it possible to schematically and visually display the location and frequency at which an object, etc. is detected on the external monitor, compared to the sole information that the vehicle body has detected an object, etc. in the surroundings. Therefore, it becomes possible to easily understand where and under what circumstances a near-miss occurred at the site, and it becomes easy for the site manager to propose safety improvements.
  • FIG. 1 is a diagram showing the structure of a construction machine having a camera and an object detection sensor.
  • FIG. 2 is a block diagram showing the functional configuration of a camera and an object detection sensor included in the construction machine.
  • 5 is a flowchart showing a process of saving video data captured by a camera of a construction machine in a recording device.
  • 1 is a flowchart showing a process of transmitting data from a construction machine to an object detection system.
  • FIG. 1 shows a construction machine 100 having a camera and an object detection sensor to which the present invention is applied.
  • the construction machine 100 is equipped with an engine 1 as a prime mover and a main pump 2 driven by the engine 1, and hydraulic oil sent by the main pump 2 is used to power the lower traveling body 3, the upper rotating body 4, and the front device. 5 operate independently.
  • the lower traveling body 3 drives and controls a pair of crawler tracks 6 (only one side is shown in FIG. 1) with a traveling hydraulic motor 7.
  • the upper rotating body 4 is provided so as to be able to rotate relative to the lower traveling body 3, and the upper rotating body 4 is driven and controlled by rotating the swing hydraulic motor 8.
  • the front device 5 is mounted on the upper revolving body 4, and includes a boom 9, a boom cylinder 10 for driving the boom 9, an arm 11, an arm cylinder 12 for driving the arm 11, a bucket 13, and a bucket 13. It is composed of a bucket cylinder 14 for driving.
  • Each cylinder expands and contracts with hydraulic oil sent from the main pump 2, and drives the rotating shaft 15 of the upper revolving structure 4, the boom 9, the rotating shaft 16 of the boom 9, the arm 11, the arm 11, and the rotating shaft 17 of the bucket 13, respectively. Perform work such as excavation and land leveling.
  • FIG. 2 is a block diagram showing the functional configuration of the camera and object detection sensor mounted on the construction machine 100.
  • a plurality of cameras 18 and object detection sensors 19 for monitoring the surroundings are installed outside the driver's seat of the construction machine 100, and a monitor controller 20, a vehicle body controller 21, a monitor 22, and a recording device are installed inside the driver's seat. 23 is installed.
  • Each controller and the recording device 23 can communicate with each other via an in-vehicle network 24 such as CAN.
  • the camera 18 is connected to a monitor controller 20, and the object detection sensor 19 is connected to a vehicle body controller 21.
  • the monitor controller 20 synthesizes the surrounding images input from the cameras 18 and outputs it to the monitor 22 as a surround view in which the images of each camera 18 are divided or the boundaries of adjacent cameras 18 are blended.
  • the monitor 22 displays the input composite video, and further outputs the video displayed on the monitor 22 to the recording device 23.
  • a communication terminal 25 is connected to the recording device 23, which stores the input image on the monitor 22 and the vehicle body information flowing through the in-vehicle network 24, connects to the Internet with the communication terminal 25, and uploads it to the server 26. This allows access to the recording device 23 from both. Furthermore, the communication terminal 25 acquires position information from a GPS (not shown).
  • the vehicle body controller 21 transmits the detection signal of the recording object detection sensor 19 to the recording device 23 via the vehicle network 24.
  • the recording device 23 Upon receiving the detection signal, the recording device 23 stores images and vehicle body data before and after detection for a preset period. Furthermore, the vehicle body position acquired by the communication terminal 25 at the time of object detection is also saved and linked to the video and vehicle body data.
  • the vehicle body data here includes operating information obtained from sensors provided on the construction machine, such as engine rotation speed, input values of various levers, position information, and time.
  • the vehicle body controller 21 is also a controller that performs hydraulic control of the machine, and acquires the amount of operation of the swing lever 27 and the amount of operation of the travel lever 28 operated by the operator. Furthermore, the locked and unlocked states of the gate lock device 29, which permits or prohibits operation of the vehicle body, are also acquired.
  • FIG. 3 is a block diagram showing the functional configuration of the object detection system implemented in the server 26. Note that the object detection system will be simply referred to as a "system” below.
  • the system includes a communication section 30, a video processing section 31, a detection result output section 32, a camera control section 33, and a recording section 34.
  • the communication unit 30 transmits and receives data to and from the communication terminal 25 on the construction machine 100 side via the network 39.
  • the video processing unit 31 processes the video received by the communication unit 30 and captured by the camera 18 of the construction machine 100, stores it as necessary, and transmits it to the detection result output unit 32.
  • the detection result output unit 32 records the detection position of the object corresponding to the detection data in response to the reception of the detection data by the communication unit 30, and accumulates the detected position of the object to generate a distribution density indicating the position and frequency at which the object is detected. Calculate. Further, distribution density information indicating the above-mentioned position and frequency is outputted to an external monitor 40 connected via the network 39 and displayed. The display of the distribution density indicating the position and frequency will be described in detail later.
  • the camera control unit 33 controls activation of the camera 18 of the construction machine 100. Specifically, the camera 18 is activated using the release of the gate lock device 29 of the construction machine 100 as a trigger.
  • the recording unit 34 stores data 35 transmitted to the communication unit 30 via the communication terminal 25 of the construction machine 100.
  • the received data 35 is saved for each model (35A, 35B, . . . ).
  • Each data 35 includes time series data 37 and constant data 38.
  • the time-series data 37 includes data regarding recorded video, operation information, detection sensor information, etc. within a predetermined period of time before and after the point in time when the object detection sensor 19 detects an object or the like.
  • the predetermined period of time referred to here can be set to, for example, 30 seconds before or after, but it does not have to be determined in advance, but can be set to any value, such as the period from when the object detection sensor 19 starts detecting an object to when it ends. You can set the time.
  • the constant data 38 includes data such as the time and vehicle body position at the time when the object detection sensor 19 detects an object or the like.
  • FIG. 4 shows a flowchart when the server 26 saves video data and vehicle body data.
  • the camera control unit 33 determines whether the gate lock device 29 of the vehicle body is released (step A3). If the gate lock device 29 is released, the camera 18 is activated to start photographing and recording (step A4).
  • the communication unit 30 determines whether or not a detection signal of an object or the like is received from the vehicle body object detection sensor 19 from the vehicle body controller 21 (step A5).
  • the communication unit 30 When receiving a detection signal from the object detection sensor 19, the communication unit 30 further extracts video data generated by the monitor controller 20 from a preset time T1 seconds ago from the recording device 23. Receive (step A6). Further, vehicle body data at the time when the object detection sensor 19 detects an object or the like is also saved.
  • the communication unit 30 waits until a predetermined time T2 seconds have elapsed from the time when the object detection sensor 19 detected an object or the like. Then, after T2 seconds have elapsed, the recording unit 34 records the video data up to that point (steps A7 and A8).
  • Step A9 After recording the video data in step A8, it is determined whether the power to the vehicle body is turned off (step A9). If the power is not turned off, the process returns to step A3, and the detection signal reception determination and data generation and storage are repeated. The determination in Step A9 is also performed when the gate lock device 29 is locked in Step A3 and when no detection signal is received in Step A5.
  • step A10 If it is determined in step A9 that the vehicle power is turned off, the power to the recording device 23 is turned off (step A10), and the control flow is ended. At this time, the power of the vehicle is OFF, but the recording device 23 is driven by a separate battery power source (not shown), and the recording device 23 keeps its own power until the last data storage is completed. Do not turn it off.
  • FIG. 5 shows a flowchart when the communication terminal 25 transmits the video data and vehicle body data recorded in the recording device 23 to the server 26. This control is executed in parallel with the data generation flow shown in FIG.
  • step B1 when the vehicle body is powered on, the communication terminal 25 is powered on (step B1).
  • the communication terminal 25 determines whether it can communicate with the server 26 (step B2). If communication is not established, a retry is performed and no further control is performed until communication is established.
  • the communication terminal 25 refers to the recording device 23 and determines whether unsent data exists in the recording device 23 (step B3). If there is no unsent data, the process returns to step B2.
  • step B4 it is further determined whether there is one or more unsent data. If only one piece of data is stored, that data is sent to the server 26 (step B5). If two or more pieces of unsent data are stored, the oldest data among them is sent to the server 26 (step B6). This is because, as described below, saved video data is displayed in the video list in chronological order, but if you do not send the oldest data first, the order of the videos will be changed in the video list, making handling complicated. This is because there is a risk of it becoming.
  • step B7 After the transmission processing in steps B5 and B6, in either case, it is determined whether the transmission processing performed in each step has been reliably completed (step B7).
  • step B8 it is determined whether the communication terminal 25 can communicate with the server 26 (step B8). If communication is possible, the process returns to step B7 and waits until data transmission is completed. If communication is not possible, the process returns to step B2 and waits until communication becomes possible.
  • step B7 If it is determined in step B7 that data transmission has been completed, it is determined whether the power of the vehicle body is turned off (step B9). If the power is not turned off, the process returns to step B2, and checking and sending of unsent data is repeated.
  • step B10 the power of the communication terminal 25 is turned off.
  • the control flow is ended.
  • the power of the vehicle is OFF, but the communication terminal 25 is powered by a separate battery power source (not shown), and the communication terminal 25 keeps its own power until the last data transmission is completed. Do not turn it off.
  • FIG. 6 is an example of a report screen displayed by the system on an external monitor.
  • the report screen shown in FIG. 6 is output by the detection result output unit 32 of the system to the external monitor 40 based on the vehicle body data received by the communication unit 30 from the communication terminal 25 of the construction machine 100, and is displayed on the screen of the external monitor 40. be done.
  • an operating machine list window 41 On the report screen, an operating machine list window 41, a distribution density window 43, a detection time window 45, a detection date window 46, and a detection direction window 47 are displayed.
  • the list of machine type information 36 explained in FIG. 3 is displayed in the operating machine list window 41.
  • a changeover switch 42 is assigned to each vehicle, and the received data 35 corresponding to the vehicle body is referred to from the recording unit 34, with the vehicle body for which the changeover switch 42 is enabled as the target of aggregation.
  • the detection result output unit 32 integrates the vehicle body position when the object detection sensor 19 detects an object, etc. during the aggregation target period from the received data 35 within the aggregation target period, and the color becomes darker in proportion to the density of the detection location.
  • a distribution density 44 is drawn on the map of the distribution density window 43.
  • cooperation information (link) with video data shot in a predetermined range indicating the distribution density 44 is added to the distribution density 44.
  • the distribution density 44 and the video in that range are linked, and as described later, by clicking on any part of the distribution density 44, you can refer to the video in the range (area) showing the distribution density 44. can.
  • the density of detection locations here indicates the frequency of locations where objects etc. are detected within the aggregation target period.
  • distribution density for example, gives a certain value within a predetermined radius around the position where an object, etc. is detected, and after aggregating all data, the color density is determined by the sum of the values given to each position. It is possible to generate it by a method such as determining.
  • distribution density 44 may be displayed in a manner that allows the user to intuitively understand the magnitude of the distribution density using the shade of color, the size of a figure, or a combination thereof.
  • the detection time window 45 refers to the time when an object or the like was detected during the aggregation target period, and displays the ratio for each time period.
  • the detection date window 46 the time when an object or the like was detected during the aggregation target period is referenced, and the number of detections per day and a breakdown of the operations performed at the time of detection are displayed.
  • the detection direction window 47 the directions of the object detection sensors 19 that transmitted detection signals to the recording device 23 during the period to be counted are referenced, and the ratio for each direction is displayed. Note that in the above, the time when the recording device 23 receives the detection signal may be used as the reference.
  • FIG. 7 is a configuration diagram of the video list screen linked from the distribution density 44.
  • FIG. 8 is a configuration diagram of a video playback screen linked from the video list screen of FIG. 7.
  • Information listed in the video list is displayed as a video title 53 at the top of the video playback screen.
  • a field map similar to the distribution density window 43 is displayed on the map window 54, and an aircraft icon 55 is displayed at a point referenced from the vehicle body position data.
  • Recorded video is displayed in the video window 56.
  • the video can be played/stopped using the play button 57 and stop button 58, and the playback position can be adjusted using the seek bar 59.
  • operation window 62 operation information such as the engine speed, traveling operation (travel lever operation), turning operation (swing lever operation), and unlocking and locking of the gate lock device is displayed in a graph.
  • the graph is synchronized with the video data, and the playback position 63 on the graph slides in accordance with the position of the seek bar 59.
  • FIG. 8 a video showing the "rear approach warning" in FIG. 7 is being played, and a tree 60 as a detection target is surrounded by a detection target recognition frame 61.
  • the object detection system includes video data captured by a camera attached to the vehicle body of a construction machine, detection data indicating that an object detection sensor attached to the vehicle body has detected an object, and the position of the vehicle body. a communication unit that receives information; a recording unit that records at least video data and position information; and a communication unit that records at least video data and position information; It has a detection result output unit that outputs to a monitor.
  • the above configuration makes it possible to schematically and visually display the position where an object, etc. is detected and the distribution density of its frequency, compared to the sole information that the vehicle body has detected a surrounding object, etc. Therefore, it becomes possible to easily understand where and under what circumstances a near-miss occurred at the site, and it becomes easy for the site manager to propose safety improvements.
  • the detection result output unit displays on the external monitor the distribution density of the position and frequency, the time distribution when the object detection sensor detected the object, the date when the object detection sensor detected the object, and the vehicle body information. Displays the type of movement and the direction in which the object detection sensor detected the object. This allows more diverse information to be displayed on the external monitor, allowing site managers to take safety measures from various perspectives.
  • the detection result output unit generates a position and frequency distribution density for each of the plurality of car bodies, displays a list of the plurality of car bodies on an external monitor, and displays the position and frequency distribution density on the external monitor. It is possible to select the vehicle body to be used. This makes it possible to collect data from a plurality of operating machines, and improves the accuracy of the calculated position and frequency distribution density.
  • the detection result output unit calculates the position and frequency distribution density for an arbitrary period. This allows, for example, to shorten the aggregation period to obtain short-term information during a period when many near-misses occurred, and to lengthen the aggregation period to obtain long-term information for a period in which there were not many near-misses. , etc., making it possible to respond flexibly.
  • the video processing unit further includes a video processing unit that processes video data, and the video processing unit analyzes the video data received by the communication unit within a predetermined time before and after the object detection sensor detects the object, and analyzes the video data according to the location and frequency distribution.
  • the object is stored in association with the point on the density display where the object detection sensor detected the object.
  • the construction machine further includes a camera control unit that activates the camera when the gate lock of the construction machine is released. This makes it possible to reliably operate the camera while the construction machine is in operation.
  • the present invention is not limited to the above embodiments, and various modifications are possible.
  • the above-mentioned embodiments have been described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to embodiments having all the configurations described.
  • the present invention is utilized at a site where construction machinery equipped with an object detection system is operated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

現場全体の検知状況を総合的に表示してヒヤリハットを具体的に抽出できるデータ集計手法を提供する。建設機械１００の車体に取り付けられた物体検知センサ１９が物体を検知したことを示す検知データ、及び車体の位置情報を受信する通信部３０と、少なくとも位置情報を記録する記録部３４と、検知データ及び位置情報に基づいて、物体検知センサ１９が物体を検知した位置及び頻度の分布密度を外部モニタ４０に出力する検知結果出力部３２と、を有する。

Description

物体検知システム
　本発明は、建設機械の稼働現場に適用される物体検知システムに関する。
　建設機械において、例えば特許文献１に開示されているように、車体周囲の物体や人を検知するセンサを搭載して、センサが車体の至近距離に人や物体を検知した際にオペレータに警告を出したり、それによって車体の動きを制限したりする機能が搭載されている。
　さらに、人や物体を検知した方向、場所、時刻、その時の操作等の情報を蓄積することで、現場管理者向けにヒヤリハットの傾向をレポート形式で出力することも可能となっている。
特許第６８０５８８３号公報
　しかしながら、車体が周囲の物体を検知したという単独の情報では、その現場で起こっていたヒヤリハット事象を想像しづらく、改善方法の具体的な提案が困難である。本発明は、建設機械の稼働現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能な建設機械の物体検知システムを提供することを目的とする。
　上記課題を解決するために、本発明に係る物体検知システムは、建設機械の車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、及び車体の位置情報を受信する通信部と、少なくとも位置情報を記録する記録部と、検知データ及び位置情報に基づいて、物体検知センサが物体を検知した位置及び頻度の分布密度を外部モニタに出力する検知結果出力部と、を有する。
　上記構成によって、車体が周囲の物体等を検知したという単独の情報と比べ、物体等を検知した位置及びその頻度を外部モニタ上に模式的かつ視覚的に表示させることが可能になる。ゆえに、現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能になり、現場管理者が安全面の改善を提案することが容易になる。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
カメラ及び物体検知センサを有する建設機械の構造を示す図。 建設機械が有するカメラ及び物体検知センサの機能構成を示すブロック図。 サーバに実装された、物体検知システムの機能ブロック図。 建設機械のカメラが撮影した動画データを記録装置に保存する処理を示すフローチャート。 建設機械から物体検知システムにデータを送信する処理を示すフローチャート。 外部モニタに表示されるレポート画面の一例。 分布密度ウィンドウ上の物体検知位置と関連付けられた動画リスト画面の一例。 図７の動画一覧中の１つの動画を再生した画面の一例。
　以下、本発明の実施例を図面に基づいて説明する。
　図１に、本発明が適用される、カメラ及び物体検知センサを有する建設機械１００を示す。
　建設機械１００には、原動機としてのエンジン１と、エンジン１によって駆動されるメインポンプ２が搭載されており、メインポンプ２によって送られた作動油によって下部走行体３と上部旋回体４とフロント装置５とがそれぞれ独立して動作する。
　下部走行体３は一対の履帯６（図１では片側のみを示す）を走行油圧モータ７で駆動制御する。
　上部旋回体４は下部走行体３に対して旋回可能に設けられ、旋回油圧モータ８を回転させることで上部旋回体４を駆動制御する。
　フロント装置５は上部旋回体４上に搭載されており、ブーム９、ブーム９を駆動するためのブームシリンダ１０、アーム１１、アーム１１を駆動させるためのアームシリンダ１２、バケット１３、及びバケット１３を駆動させるためのバケットシリンダ１４から構成されている。各シリンダはメインポンプ２から送られる作動油によって伸縮し、上部旋回体４、ブーム９の回転軸１５、ブーム９、アーム１１の回転軸１６、アーム１１、及びバケット１３の回転軸１７をそれぞれ駆動させることで掘削や整地等の作業を行う。
　図２は、建設機械１００に搭載されたカメラ及び物体検知センサの機能構成を示すブロック図である。
　建設機械１００の運転席外部には、周囲監視用のカメラ１８及び物体検知センサ１９が複数搭載されており、運転席内部には、モニタ制御コントローラ２０、車体制御コントローラ２１、モニタ２２、及び記録装置２３が搭載されている。
　各コントローラと記録装置２３とはＣＡＮ等の車載ネットワーク２４で相互に通信を行うことができる。カメラ１８はモニタ制御コントローラ２０に、物体検知センサ１９は車体制御コントローラ２１に接続されている。モニタ制御コントローラ２０はカメラ１８から入力された周囲映像を合成し、各カメラ１８の映像が分割された映像もしくは隣りあったカメラ１８の境界をブレンドしたサラウンドビューとしてモニタ２２に出力する。モニタ２２は入力された合成映像を表示し、さらにモニタ２２が表示している映像を記録装置２３に出力する。
　記録装置２３には通信端末２５が接続されており、入力されたモニタ２２の映像と車載ネットワーク２４に流れる車体情報を保存し、通信端末２５でインターネットへ接続し、サーバ２６へのアップロードとサーバ２６から記録装置２３へのアクセスの双方を可能にする。また、通信端末２５は不図示のＧＰＳから位置情報を取得する。
　車体制御コントローラ２１は、車載ネットワーク２４を介して記録装置２３へ録画の物体検知センサ１９の検知信号を送信する。記録装置２３は、検知信号を受け取ると、予め設定された期間分だけ検知前後の映像と車体データを保存する。さらに、通信端末２５が取得した物体検知時の車体位置も同時に保存し、映像、車体データと紐付ける。なお、ここでいう車体データとは、エンジン回転数、各種レバーの入力値、位置情報、時刻等、建設機械に設けられるセンサなどから得られる稼働情報を含むものである。
　車体制御コントローラ２１はまた、機械の油圧制御を行うコントローラで、オペレータが操作する旋回レバー２７の操作量と走行レバー２８の操作量を取得している。また、車体の操作を許可または禁止するゲートロック装置２９のロックおよびロック解除の状態も取得している。
　図３は、サーバ２６に実装される、物体検知システムの機能構成を示すブロック図である。なお、以下では、物体検知システムを単に「システム」と呼称する。
　システムは、通信部３０、動画処理部３１、検知結果出力部３２、カメラ制御部３３、及び記録部３４を有する。通信部３０は、ネットワーク３９を介して建設機械１００側の通信端末２５との間のデータ送受信を行う。
　動画処理部３１は、通信部３０が受信した、建設機械１００のカメラ１８が撮影した動画を処理し、必要に応じて保存し、検知結果出力部３２へと送信する。
　検知結果出力部３２は、通信部３０が検知データを受信したことに応じて、該検知データに対応する物体の検知位置を記録し、その蓄積によって、物体を検知した位置及び頻度を示す分布密度を演算する。また、ネットワーク３９を介して接続されている外部モニタ４０に上記位置及び頻度を示す分布密度情報を出力し、表示させる。この位置及び頻度を示す分布密度の表示については後に詳述する。
　カメラ制御部３３は、建設機械１００のカメラ１８の起動を制御する。具体的には、建設機械１００のゲートロック装置２９が解除されたことをトリガとしてカメラ１８を起動する。
　記録部３４は、建設機械１００の通信端末２５を介して通信部３０に送信されたデータ３５を保存している。受信したデータ３５は機種ごとに保存されている（３５Ａ、３５Ｂ、・・・）。各データ３５の中には時系列データ３７と定数データ３８とが存在する。時系列データ３７には、物体検知センサ１９が物体等を検知した時点を起点とした前後所定時間内の録画映像、操作情報、検知センサ情報等に関するデータが含まれる。ここでいう前後所定時間内とは、例えば前後３０秒に設定できるが、予め決定しておかなくても、例えば物体検知センサ１９が物体の検知を開始してから終了するまでの間等、任意の時間を設定できる。定数データ３８には、物体検知センサ１９が物体等を検知した時点における時刻、車体位置等のデータが含まれる。
　図４は、サーバ２６が映像データ及び車体データを保存する際のフローチャートを示す。
　まず車体の電源が入ると記録装置２３の電源がＯＮされ、記録の準備が完了する（ステップＡ１、Ａ２）。
　カメラ制御部３３は、車体のゲートロック装置２９が解除されているか否かを判断する（ステップＡ３）。ゲートロック装置２９が解除されている場合にはカメラ１８を起動させ、撮影・録画を開始させる（ステップＡ４）。
　続いて、通信部３０は、車体制御コントローラ２１から車体の物体検知センサ１９から物体等の検知信号を受信しているか否かを判定する（ステップＡ５）。
　物体検知センサ１９から検知信号を受信した場合、通信部３０はさらに、記録装置２３から、モニタ制御コントローラ２０が生成した、あらかじめ設定されている時間Ｔ１秒前からの映像データを抜き出した映像データを受信する（ステップＡ６）。また、物体検知センサ１９が物体等を検知した時点における車体データも保存する。
　そして通信部３０は、物体検知センサ１９が物体等を検知した時点から所定時間Ｔ２秒だけ経過するまで待機する。そして、Ｔ２秒経過後にそれまでの映像データを記録部３４が記録する（ステップＡ７、Ａ８）。
　ステップＡ８で映像データを記録後、車体の電源がＯＦＦされているかを判定する（ステップＡ９）。電源がＯＦＦされていない場合にはステップＡ３へ戻り、検知信号の受信判定とデータの生成・保存を繰り返す。ステップＡ３でゲートロック装置２９がロックされていた場合とステップＡ５で検知信号を受信しなかった場合もステップＡ９の判定を行う。
　ステップＡ９で車体電源がＯＦＦされていると判定されると、記録装置２３の電源をＯＦＦし（ステップＡ１０）、制御フローを終了する。この時、車体の電源はＯＦＦになっているが、記録装置２３は別系統のバッテリ電源（不図示）で駆動しており、記録装置２３は、最後のデータ保存が完了するまで自身の電源をＯＦＦにしない。
　図５は、通信端末２５が、記録装置２３に記録された映像データ及び車体データをサーバ２６に送信する際のフローチャートを示す。この制御は図４のデータ生成フローと並行して実行される。
　まず車体の電源が入ると通信端末２５の電源がＯＮされる（ステップＢ１）。
　続いて通信端末２５は、自身がサーバ２６と通信可能であるか否かの判定を行う（ステップＢ２）。通信できていなければリトライし、通信ができるまで以降の制御は行わない。
　通信端末２５とサーバ２６とが通信可能である場合、通信端末２５は記録装置２３を参照し、記録装置２３に未送信のデータが存在するか否かを判定する（ステップＢ３）。未送信データがない場合はステップＢ２へと戻る。
　記録装置２３に未送信データが保存されている場合、さらに未送信データが１つか複数かを判定する（ステップＢ４）。保存されているデータが１つのみであればそのデータをサーバ２６に送信する（ステップＢ５）。未送信データが２つ以上保存されていたら、その中で最も古いデータをサーバ２６に送信する（ステップＢ６）。これは、後述するように保存された映像データは時系列に沿って動画リスト内に表示されるが、最も古いデータから送信しないと、動画リスト内で動画の順序が入れ替わってしまい、取り扱いが煩雑になるおそれがあるからである。
　ステップＢ５、Ｂ６の送信処理後は、いずれの場合も、それぞれのステップで行った送信処理が確実に完了したか否かを判定する（ステップＢ７）。
　データ送信が完了していない場合は、通信端末２５がサーバ２６と通信可能であるか否かを判定する（ステップＢ８）。通信可能である場合にはステップＢ７へ戻り、データの送信完了まで待機する。通信可能でない場合には、ステップＢ２へと戻り、通信可能になるまで待機する。
　ステップＢ７でデータ送信が完了したと判定された場合に、車体の電源がＯＦＦされているかを判定する（ステップＢ９）。電源がＯＦＦされていなければステップＢ２へ戻り、未送信データのチェックと送信を繰り返す。
　車体電源がＯＦＦされていると判定された場合には、通信端末２５の電源をＯＦＦし（ステップＢ１０）、制御フローを終了する。この時、車体の電源はＯＦＦになっているが、通信端末２５は別系統のバッテリ電源（不図示）で駆動しており、通信端末２５は、最後のデータ送信が完了するまで自身の電源をＯＦＦにしない。
　図６は、システムが外部モニタに表示するレポート画面の一例である。
　図６に示すレポート画面は、通信部３０が建設機械１００の通信端末２５から受信した車体データに基づいてシステムの検知結果出力部３２が外部モニタ４０に出力し、外部モニタ４０の画面上に表示される。レポート画面上には、稼働機リストウィンドウ４１、分布密度ウィンドウ４３、検出時刻ウィンドウ４５、検出日ウィンドウ４６、及び検出方向ウィンドウ４７が表示されている。
　稼働機リストウィンドウ４１には図３で説明した機種情報３６のリストが表示されている。各機体に対して切替スイッチ４２が割り当てられていて、切替スイッチ４２が有効になっている車体を集計対象として、当該車体に対応する受信データ３５を記録部３４から参照する。
　検知結果出力部３２は集計対象期間内の受信データ３５から、集計対象期間内に物体検知センサ１９が物体等を検知した時の車体位置を統合し、検知場所の密度に比例して色が濃くなる分布密度４４を分布密度ウィンドウ４３のマップ上に描画する。その際、分布密度４４を示す所定の範囲で撮影された動画データとの連携情報（リンク）をこの分布密度４４に付加する。これによって、分布密度４４とその範囲における動画とがリンクされ、後述のように分布密度４４の任意の箇所をクリックすることで、分布密度４４を示す範囲（領域）での動画を参照することができる。ここでいう検知場所の密度とは、集計対象期間内において物体等が検知された位置の頻度を示す。また、分布密度は、例えば物体等が検知された位置を中心として所定の半径内に対して何等かの値を与え、全データを集計後に各位置に与えられた値の合計によって色の濃淡を決定する、といった方法で生成することが可能である。
　なお、分布密度４４は、色彩の濃淡、図形の大きさ、またはそれらの組み合わせにより感覚的に分布密度の大小を把握できる表示方法を取り得る。
　検出時刻ウィンドウ４５では、集計対象期間中に物体等が検知された時の時刻が参照され、時間帯毎の割合を表示する。検出日ウィンドウ４６では、集計対象期間中に物体等が検知された時の時刻が参照され、日毎の検出回数と検出時に行われていた操作の内訳が表示される。検出方向ウィンドウ４７では、集計対象期間中に記録装置２３に検知信号を送信した物体検知センサ１９の方向が参照され、方向毎の割合を表示する。なお、上記において、記録装置２３が検知信号を受け取った時の時刻を基準としてもよい。
　図７は、分布密度４４からリンクされた動画リスト画面の構成図である。
　図６の分布密度４４上の任意の点をクリックすると、クリックした点を中心とした一定範囲内で録画された動画のリストへ移動することができる。このリストは、システムの動画処理部３１によって生成される。サムネイル欄４８には物体等が検知された時点の映像の静止図が表示される。発生日時欄４９にはその時の日時が表示される。事象欄５０にはその時に検知信号を送信した物体検知センサ１９の種類及び事象の内容が表示される。操作欄５１にはその時に行われていた操作が表示される。機種欄５２には記録装置２３が搭載された機種が表示される。動画リストの任意の行をクリックすると、動画再生画面へ移動することができる。
　図８は、図７の動画リスト画面からリンクされた動画再生画面の構成図である。
　動画再生画面の上部には、動画リストに記載の情報が動画タイトル５３として表示される。マップウィンドウ５４には分布密度ウィンドウ４３と同様の現場マップが表示され、車体の位置データから参照した地点に機体アイコン５５が表示される。動画ウィンドウ５６には録画映像が表示される。動画は再生ボタン５７と停止ボタン５８で再生／停止を操作できるほか、シークバー５９で再生位置を調整できる。操作ウィンドウ６２では、例えばエンジンの回転数、走行操作（走行レバー操作）、旋回操作（旋回レバー操作）、及びゲートロック装置の解除およびロック等の操作情報がグラフで表示される。グラフは動画データと同期しており、シークバー５９の位置に合わせてグラフ上の再生位置６３がスライドする。
　図８は、図７中「後方接近警告」を示す動画が再生されている状態であり、検知対象として樹木６０が、検知対象認識枠６１で囲われている。
　本実施形態により、物体検知システムを搭載した建設機械が稼働する現場におけるヒヤリハット事象を高い精度で抽出、集計することができ、現場の状況を正確に振り返ることが可能なレポートを提供することが可能になる。
　以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）本発明に係る物体検知システムは、建設機械の車体に取り付けられたカメラが撮影した動画データ、前記車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、車体の位置情報を受信する通信部と、少なくとも動画データ及び位置情報を記録する記録部と、前記検知データ及び前記位置情報に基づいて、前記物体検知センサが前記物体を検知した位置及び頻度の分布密度を外部モニタに出力する検知結果出力部と、を有する。
　上記構成により、車体が周囲の物体等を検知したという単独の情報と比べ、物体等を検知した位置及びその頻度の分布密度を模式的かつ視覚的に表示させることが可能になる。ゆえに、現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能になり、現場管理者が安全面の改善を提案することが容易になる。
（２）検知結果出力部は、外部モニタ上に、位置及び頻度の分布密度とともに物体検知センサが物体を検知した際の時間帯の分布、物体検知センサが物体を検知した際の日付及び車体の動作の種類、並びに物体検知センサが物体を検知した方向の内訳を表示する。これにより、より多様な情報が外部モニタ上に表示されることになり、現場管理者が種々の観点から安全面の対策を講じることができる。
（３）検知結果出力部は、複数の車体のそれぞれについて位置及び頻度の分布密度を生成し、外部モニタ上に複数の車体のリストを表示し、外部モニタ上に位置及び頻度の分布密度を表示する車体を選択可能とする。これにより、複数の稼働機からデータを収集することが可能になり、演算する位置及び頻度の分布密度の精度が向上する。
（４）検知結果出力部は、任意の期間に対して位置及び頻度の分布密度を演算する。これにより、例えばヒヤリハットが多く生じていた期間に対しては集計期間を短くして短期的な情報を得、ヒヤリハットがあまり生じていなかった期間については集計期間を長くして長期的な情報を得る、等、柔軟な対応が可能になる。
（５）動画データを処理する動画処理部をさらに有し、動画処理部は、物体検知センサが物体を検知した時点の前後所定時間以内に通信部が受信した動画データを、位置及び頻度の分布密度の表示上の、物体検知センサが物体を検知した地点と関連付けて保存する。これにより、位置及び頻度の分布密度の表示上の任意の地点をクリックすることでその地点で撮影された動画を視聴することができるため、容易に現場の環境を認識できる。
（６）建設機械のゲートロックが解除された際にカメラを起動させるカメラ制御部をさらに有する。これにより、建設機械が稼働中は確実にカメラを稼働させることが可能になる。
　なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。
　本発明は、物体検知システムを搭載した建設機械の稼働現場で利用される。
１８　カメラ、１９　物体検知センサ、２６　サーバ（物体検知システム）、２９　ゲートロック装置、３０　通信部、３１　動画処理部、３２　検知結果出力部、３３　カメラ制御部、３４　記録部、４０　外部モニタ

Claims (9)

  1. 　建設機械の車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、及び前記車体の位置情報を受信する通信部と、
    　少なくとも前記位置情報を記録する記録部と、
    　前記検知データ及び前記位置情報に基づいて、前記物体検知センサが前記物体を検知した位置及び頻度の分布密度を外部モニタに出力する検知結果出力部と、を有することを特徴とする物体検知システム。
  2. 　請求項１に記載の物体検知システムであって、
    　前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
    　前記記録部は、前記動画データを記録し、
    　前記検知結果出力部は、前記位置及び頻度の分布密度に前記動画データをリンクさせて前記外部モニタに出力することを特徴とする物体検知システム。
  3. 　請求項１に記載の物体検知システムであって、
    　前記検知結果出力部は、前記外部モニタ上に、前記位置及び頻度の分布密度とともに前記物体検知センサが物体を検知した際の時間帯の分布を表示することを特徴とする物体検知システム。
  4. 　請求項１に記載の物体検知システムであって、
    　前記検知結果出力部は、前記外部モニタ上に、前記物体検知センサが物体を検知した際の日付及び前記車体の動作の種類をさらに表示することを特徴とする物体検知システム。
  5. 　請求項１に記載の物体検知システムであって、
    　前記検知結果出力部は、前記外部モニタ上に、前記物体検知センサが物体を検知した方向の内訳をさらに表示することを特徴とする物体検知システム。
  6. 　請求項１に記載の物体検知システムであって、
    　前記検知結果出力部は、複数の前記車体のそれぞれについて前記位置及び頻度の分布密度を生成し、前記外部モニタ上に前記複数の車体のリストを表示し、前記外部モニタ上に前記位置及び頻度の分布密度を表示する前記車体を選択可能とすることを特徴とする物体検知システム。
  7. 　請求項１に記載の物体検知システムであって、
    　前記検知結果出力部は、任意の期間に対して前記位置及び頻度の分布密度を生成することを特徴とする物体検知システム。
  8. 　請求項１に記載の物体検知システムであって、
    　前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
    　前記記録部は、前記動画データを記録し、
    　前記動画データを処理する動画処理部をさらに有し、
    　前記動画処理部は、前記物体検知センサが前記物体を検知した時点の前後所定時間以内に前記通信部が受信した前記動画データを、前記位置及び頻度の分布密度の表示上の、前記物体検知センサが前記物体を検知した地点と関連付けて保存することを特徴とする物体検知システム。
  9. 　請求項１に記載の物体検知システムであって、
    　前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
    　前記記録部は、前記動画データを記録し、
    　前記建設機械のゲートロックが解除された際に前記カメラを起動させるカメラ制御部をさらに有することを特徴とする物体検知システム。
PCT/JP2023/012771 2022-03-30 2023-03-29 物体検知システム WO2023190671A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP23780680.7A EP4450332A1 (en) 2022-03-30 2023-03-29 Object detection system
CN202380018095.7A CN118574969A (zh) 2022-03-30 2023-03-29 物体检知系统
KR1020247024197A KR20240121329A (ko) 2022-03-30 2023-03-29 물체 검지 시스템
JP2024512668A JPWO2023190671A5 (ja) 2023-03-29 物体検知システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-055797 2022-03-30
JP2022055797 2022-03-30

Publications (1)

Publication Number Publication Date
WO2023190671A1 true WO2023190671A1 (ja) 2023-10-05

Family

ID=88202050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012771 WO2023190671A1 (ja) 2022-03-30 2023-03-29 物体検知システム

Country Status (4)

Country Link
EP (1) EP4450332A1 (ja)
KR (1) KR20240121329A (ja)
CN (1) CN118574969A (ja)
WO (1) WO2023190671A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械
JP2018141314A (ja) * 2017-02-28 2018-09-13 コベルコ建機株式会社 建設機械
JP2019175096A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 建設機械の作業情報管理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械
JP2019056301A (ja) * 2016-04-28 2019-04-11 コベルコ建機株式会社 建設機械
JP2018141314A (ja) * 2017-02-28 2018-09-13 コベルコ建機株式会社 建設機械
JP6805883B2 (ja) 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
JP2019175096A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 建設機械の作業情報管理システム

Also Published As

Publication number Publication date
CN118574969A (zh) 2024-08-30
KR20240121329A (ko) 2024-08-08
JPWO2023190671A1 (ja) 2023-10-05
EP4450332A1 (en) 2024-10-23

Similar Documents

Publication Publication Date Title
US11623517B2 (en) Vehicle exception event management systems
KR102454612B1 (ko) 건설기계용 안전관리시스템, 관리장치
US8139820B2 (en) Discretization facilities for vehicle event data recorders
JP4847913B2 (ja) 作業機械周辺監視装置
US20080147267A1 (en) Methods of Discretizing data captured at event data recorders
CN114729522B (zh) 挖土机管理系统、挖土机用便携终端及用于挖土机用便携终端的程序
JP6373393B2 (ja) 作業車両、遠隔診断システム、及び遠隔診断方法
US20150195483A1 (en) Event recorder playback with integrated gps mapping
WO2023190671A1 (ja) 物体検知システム
CN112053464A (zh) 一种掘进机远程故障诊断方法及系统
JP7073146B2 (ja) 建設機械、建設機械の表示装置、及び、建設機械の管理装置
KR101725760B1 (ko) 차량 블랙박스를 이용한 교통법규위반 신고 시스템 및 그 방법
KR101391909B1 (ko) 차량용 블랙박스의 영상데이터와 gis 연동 서비스 방법
JP2021103840A (ja) 作業支援サーバ、撮像装置の選択方法
GB2573509A (en) Method and system for providing display redundancy on a machine
CN209946960U (zh) 车辆监控系统和车辆
JP2024139044A (ja) 映像記録システム及び作業機械
WO2024202693A1 (ja) 稼働履歴管理システム
WO2024070448A1 (ja) 映像記録システム
KR200387268Y1 (ko) 승강기 운행 감시시스템
WO2023190047A1 (ja) 映像記録装置
JP2023175157A (ja) 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム
JP2022155699A (ja) 車体情報収集システム
US20230150358A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
JP7580184B2 (ja) 作業機械、情報管理システム、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780680

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2024512668

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20247024197

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202380018095.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023780680

Country of ref document: EP

Effective date: 20240716