[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019093097A1 - 検出装置及び建設機械 - Google Patents

検出装置及び建設機械 Download PDF

Info

Publication number
WO2019093097A1
WO2019093097A1 PCT/JP2018/038919 JP2018038919W WO2019093097A1 WO 2019093097 A1 WO2019093097 A1 WO 2019093097A1 JP 2018038919 W JP2018038919 W JP 2018038919W WO 2019093097 A1 WO2019093097 A1 WO 2019093097A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape information
detected
mark
unit
mark shape
Prior art date
Application number
PCT/JP2018/038919
Other languages
English (en)
French (fr)
Inventor
木下 明
英喜 吉原
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN201880062646.9A priority Critical patent/CN111108251A/zh
Priority to EP18875024.4A priority patent/EP3674488A4/en
Priority to AU2018365641A priority patent/AU2018365641A1/en
Priority to US16/650,215 priority patent/US20200277759A1/en
Publication of WO2019093097A1 publication Critical patent/WO2019093097A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/18Counterweights
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a detection device and a construction machine provided in a construction machine.
  • Patent Document 1 when the shooting optical axis of the on-vehicle camera shifts, the amount of shift is estimated using a part of the vehicle (marking of windshield, trunk, mascot on bonnet, etc.) as a mark
  • the technology which operates a driving assistance system by is disclosed.
  • Patent Document 1 when the shooting optical axis of the on-vehicle camera shifts due to vibration during traveling or a change in ambient temperature, the amount of shift is automatically detected, and based on this detection It is possible to operate the driving support system.
  • Patent Document 1 has a problem that the working efficiency of the construction machine is deteriorated.
  • An object of the present invention is a detection device capable of suppressing the deterioration of the working efficiency of a construction machine even if the shape of a part of the construction machine as a mark is slightly deformed by an external force due to contact or interference in a use environment in a field. To provide.
  • a detection device is a detection device provided in a construction machine, A sensor capable of detecting shape information of a part of the construction machine; A storage unit for storing the shape information detected by the sensor as mark shape information; A determination unit that determines whether or not the mark shape information and detected shape information, which is shape information of a part of the construction machine newly detected by the sensor, match each other; When the determination unit determines that the mark shape information and the detected shape information do not match, it determines whether the detected shape information satisfies a predetermined update condition and determines that the update condition is satisfied.
  • the detection unit may include a processing unit that updates the mark shape information stored in the storage unit as the detected shape information as the new mark shape information.
  • FIG. 3 is a view showing an example of shape information of a part of the construction machine detected by the sensor shown in FIG. 2 and the shape information at the time of factory shipment.
  • FIG. 3 is a view showing an example of shape information of a part of the construction machine detected by the sensor shown in FIG. 2 and of the shape information of the counterweight after deformation. It is a flowchart for demonstrating the operation
  • FIGS. 1 to 5 a detection apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 is a schematic explanatory view for explaining a construction machine 10 according to an embodiment of the present invention, the upper view is a plan view, and the lower view is a side view.
  • the construction machine 10 is configured by, for example, a hydraulic shovel. However, this is an example and may be configured by a construction machine other than a hydraulic shovel such as a crane and a hybrid shovel.
  • the longitudinal direction of the lower traveling body 20 is defined as the front and back direction
  • the direction parallel to the ground and orthogonal to the front and rear direction is defined as the left and right direction
  • the directions orthogonal to the front and rear direction and the left and right direction are up and down Define as a direction.
  • a direction in which the lower traveling body 20 advances is defined as forward, and a direction in which the lower traveling body 20 retracts is defined as rearward.
  • the direction of the left hand viewed from the rear to the front is defined as the left, and the direction from the rear to the front is defined as the right.
  • the upper side in the vertical direction is defined as the upper side, and the lower side in the vertical direction is defined as the lower side.
  • the construction machine 10 is supported by an upper revolving unit 30 rotatably mounted on the lower traveling unit 20 and the upper surface of the lower traveling unit 20, a cab 31 mounted on the upper revolving unit 30, and an upper revolving unit 30
  • a work attachment 32, an engine room 33 mounted on the upper swing body 30, a counterweight 34 constituting a rear portion of the upper swing body 30, and a detection unit 40 provided on the counterweight 34 are provided.
  • the undercarriage 20 is constituted by a crawler, and moves the construction machine 10 forward or backward by the driving force of the hydraulic motor.
  • the upper swing body 30 swings with respect to the lower traveling body 20 by, for example, a driving force of a hydraulic motor.
  • the work attachment 32 includes a boom pivotally attached to the front of the upper swing body 30, an arm pivotally attached to the boom, and a tip attachment pivotally attached to the arm .
  • the boom, the arm, and the tip attachment respectively rotate upon receiving power from the hydraulic cylinder.
  • a bucket is employed as the tip attachment, but this is an example, and a tip attachment other than the bucket such as a breaker or a nibbler may be employed.
  • the counterweight 34 has a substantially rectangular parallelepiped shape having a slightly longer vertical direction than the front-rear direction when viewed from left to right, and the rear side is curved outward when viewed from the upper side, and in the front-rear direction It has a symmetrical shape.
  • detection unit 40 is disposed at the center of the upper surface of counter weight 34 in the left-right direction.
  • the optical axis of the sensor 41 (see FIG. 2) included in the detection unit 40 is set so that a part of the area of the counter weight 34 is included in the field of view.
  • the optical axis of the sensor 41 is set, for example, in parallel with the front-rear direction.
  • the sensor 41 can include the contour of the rear end of the counterweight 34 in the field of view. Since the contour of the rear end of the counterweight 34 is likely to be deformed by contact or interference, including the shape of the rear end in the field of view of the sensor 41 is useful for detecting the deformation of the counterweight 34.
  • the optical axis of the sensor 41 may be slightly inclined at an angle within about 10 degrees, for example, below in the pitch direction. Thus, the sensor 41 can more reliably include the shape of the rear end of the counterweight 34 in the field of view.
  • FIG. 2 is a block diagram for explaining the configuration of the detection device provided in the construction machine 10 shown in FIG.
  • the detection device includes a detection unit 40, a control device 50, and a display device 60.
  • the detection unit 40 and the control device 50 are communicably connected to each other via an in-vehicle network. Further, the control device 50 and the display device 60 are communicably connected to each other via an in-vehicle network.
  • the detection unit 40 includes a sensor 41, a storage unit 44, a determination unit 45, and a comparison result output unit 46.
  • the sensor 41 is, for example, a three-dimensional distance image sensor manufactured by OPTEX Corporation, and detects the shape of an object.
  • the sensor 41 includes a light source 42 and an image sensor 43.
  • the light source 42 is configured of, for example, a light emitting diode that emits near infrared light.
  • the image sensor 43 is configured of, for example, an image sensor 43 such as a CMOS.
  • the image sensor 43 acquires a three-dimensional distance image at a predetermined frame rate by measuring in real time the time during which the near-infrared light emitted by the light source 42 strikes the target and returns for each of a plurality of pixels.
  • the storage unit 44 is configured of, for example, a non-volatile memory, and prestores shape information of the counter weight 34 as mark shape information in the field of view of the sensor 41.
  • the storage unit 44 prestores, for example, shape information of the counterweight 34 in which no deformation occurs immediately after shipment from the factory as mark shape information.
  • the determination unit 45 is formed of a processor such as a CPU, and the mark shape information stored in the storage unit 44 matches the detected shape information which is the shape information of the counter weight 34 detected by the sensor 41. Compare Here, the determination unit 45 calculates the degree of similarity between the feature amount of the detected shape information and the feature amount of the mark shape information, and determines that the detected shape information matches with the mark shape information if the similarity is equal to or less than a threshold. Do. On the other hand, if the similarity between the feature amount of the detected shape information and the feature amount of the mark shape information is larger than the threshold, the determination unit 45 determines that the detected shape information and the mark shape information do not match.
  • a processor such as a CPU
  • a HONV Heistogram of Oriented Normal Vector
  • the HONV feature value represents a three-dimensional feature of an object using a histogram indicating the relationship between the normal vector of each pixel constituting the surface of the object and the frequency.
  • the determination unit 45 extracts the counter weight 34 by detecting a group of clusters whose distances are continuous from the detected shape information, and calculates the HONV feature value using data of each pixel constituting the counter weight 34. Just do it. Further, the determination unit 45 may calculate the HONV feature amount in the same manner for the mark shape information. As the similarity, for example, an inverse number of a cosine distance indicating a distance between vectors can be employed.
  • the comparison result output unit 46 includes, for example, a communication interface and a processor, and transmits the determination result by the determination unit 45 to the control device 50 together with the detected shape information.
  • the control device 50 is configured by, for example, an electric circuit provided inside the upper swing body 30.
  • the control device 50 includes a communication unit 51, a processing unit 52, and a notification output unit 53.
  • the communication unit 51 includes, for example, a communication interface, and receives the determination result transmitted from the comparison result output unit 46.
  • the processing unit 52 is configured of a processor such as a CPU, for example, and when the communication unit 51 receives a determination result by the determination unit 45 indicating that the mark shape information and the detected shape information do not match, the detected shape information is predetermined. It is determined whether the updated update condition is satisfied.
  • the update condition is a condition for updating the mark shape information stored in the storage unit 44 with the detected shape information as new mark shape information. Details of the update condition will be described later.
  • an update command for updating the mark shape information stored in the storage unit 44 as the new mark shape information via the communication unit 51 Transmit to detection unit 40.
  • the comparison result output unit 46 updates the mark shape information stored in the storage unit 44 as the detected shape information as new mark shape information.
  • mark shape information in which the shape of the deformed counterweight 34 is reflected is stored in the storage unit 44, so that frequent occurrence of a warning buzzer or the like can be prevented, and deterioration of the working efficiency of the construction machine 10 can be suppressed.
  • the processing unit 52 notifies a notification command that causes an alarm to be issued from the notification unit 61. You may transmit to the display apparatus 60 via the output part 53.
  • the processing unit 52 may transmit an inquiry notification to the operator via the notification output unit 53 to inquire the propriety of updating the detected shape information to the operator. .
  • the processing unit 52 updates the mark shape information stored in the storage unit 44 as new mark shape information when the input unit 62 receives an operation to select permission for updating from the operator.
  • An update command may be sent to the detection unit 40 via the communication unit 51.
  • the notification output unit 53 when the notification output unit 53 is configured by a communication interface and acquires a notification command output from the processing unit 52, the notification output unit 53 transmits the notification command to the display device 60.
  • the notification output unit 53 acquires an inquiry notification from the processing unit 52, the notification output unit 53 transmits the inquiry notification to the display device 60.
  • the display device 60 is provided in the driver's cab 31 and includes a notification unit 61 and an input unit 62.
  • the notification unit 61 is formed of, for example, a speaker that outputs a buzzer sound, and outputs a buzzer sound to issue an alarm when a notification command transmitted from the notification output unit 53 is received.
  • the input unit 62 includes, for example, a selection button, a touch panel, and a display device, and when an inquiry notification is transmitted from the notification output unit 53, the update of the mark detection information stored in the storage unit 44 by the detection shape information An inquiry image inquiring the operator about whether or not it is displayed on the display device. Further, when the input unit 62 receives the notification command transmitted from the notification output unit 53, the display unit displays an image notifying the operator that the shape of the counter weight 34 is different from the shape indicated by the mark shape information. An alert may be issued.
  • the input unit 62 transmits the selection result to the control device 50 when an operation for selecting whether to update the mark detection information based on the detected shape information is received from the operator.
  • the input unit 62 transmits, to the control device 50, an update command for updating the mark shape information stored in the storage unit 44 as detected mark information as new mark shape information.
  • This update command is transmitted to the detection unit 40 via the control device 50.
  • the comparison result output unit 46 updates the mark shape information stored in the storage unit 44 using the detected shape information as the mark shape information.
  • FIG. 3 is a diagram showing an example of default mark shape information.
  • the default mark shape information indicates, for example, the shape of the counter weight 34 at the time of factory shipment.
  • the mark shape information is composed of a distance image including the counterweight 34 detected in the field of view 43 a of the image sensor 43.
  • the vertical direction corresponds to the front-rear direction
  • the horizontal direction corresponds to the left-right direction.
  • the default mark shape information is generated, for example, by the sensor 41 measuring the counter weight 34 before shipment from the factory.
  • the detection unit 40 including the sensor 41 is disposed so that the optical axis is parallel to the front-rear direction when viewed from above as shown in the upper view of FIG.
  • the counterweight 34 has a shape that is line-symmetrical with respect to the front-rear direction. Therefore, in the example of FIG. 3, the counterweight 34 is curved outward on the rear side in the field of view 43a, and appears in a symmetrical shape with respect to the front-rear direction.
  • FIG. 4 is a view showing an example of detected shape information detected by the sensor 41 shown in FIG.
  • the detected shape information of FIG. 4 includes, in the field of view 43a, a counterweight 34 whose shape is deformed by an external force.
  • the counterweight 34 has a shape that is recessed toward this direction at an approximately central position in the left-right direction, since an external force is applied in the direction toward the right front. Therefore, the determination unit 45 determines the presence or absence of a match between the mark shape information and the detected shape information by comparing the feature amount of the mark shape information shown in FIG. 3 with the feature amount of the detected shape information shown in FIG. it can.
  • FIG. 5 is a flowchart for explaining the operation principle of the detection device shown in FIG.
  • Control device 50 starts construction machine 10 (Step S1).
  • the control device 50 may start the construction machine 10 using the trigger that the input unit 62 receives an operation of turning on the ignition key from the operator.
  • control device 50 transmits power to the detection unit 40 by transmitting a power on command via the communication unit 51 (step S2).
  • the storage unit 44 stores the shape information (see FIG. 3) of the counter weight 34 at the time of shipment from the factory in the storage unit 44 as the mark shape information.
  • the sensor 41 detects detected shape information indicating the current shape of the counterweight 34 (step S3).
  • the sensor 41 measures, for example, detected shape information of the counterweight 34 whose shape is deformed by an external force as shown in FIG. 4.
  • the determination unit 45 compares the mark shape information stored in advance in the storage unit 44 with the detected shape information detected by the sensor 41 (step S4).
  • the determination unit 45 compares the mark shape information with the detected shape information by calculating the similarity between the feature amounts of the counter weights 34 indicated by each of the mark shape information and the detected shape information. do it.
  • the determination unit 45 determines whether the shape of the counter weight 34 indicated by the mark shape information matches the shape of the counter weight 34 indicated by the detected shape information from the comparison result in step S4 described above (step S5).
  • the determination unit 45 may determine the presence or absence of the match based on whether the similarity is larger than the threshold as described above.
  • the determination unit 45 acquires distance information of the obstacle from the detected shape information detected by the sensor 41 (step S6).
  • the acquired distance information is used, for example, for interference prevention control that prevents interference of an obstacle with the construction machine 10.
  • step S7 determines whether the process of step S6 has been performed until a predetermined time has elapsed. If it is determined that a predetermined time has elapsed since the process of step S6 was started (YES in step S7), the process returns to step S3 described above, and indicates counterweight 34 indicated by the mark shape information and the detected shape information A process of determining whether there is a match with the counter weight 34 is performed again. On the other hand, if it is determined that the predetermined time has not elapsed since the process of step S6 was started (NO in step S7), the process returns to step S6. That is, the process of acquiring the distance information of the obstacle is repeated until the predetermined time elapses, and the interference prevention control by the control device 50 is performed.
  • step S5 when it is determined that they do not match in the above-described step S5 (NO in step S5), the processing unit 52 indicates that the shape of the counterweight 34 is deformed with respect to the shape of the counterweight 34 at the time of factory shipment.
  • a notification command for issuing a warning to be displayed is transmitted to the display device 60 via the notification output unit 53 (step S8).
  • the processing unit 52 determines whether the difference between the mark shape information and the detected shape information (that is, the amount of change in shape) is within the allowable range (step S9).
  • the following two for example, are employed as the criteria for determining whether the shape change amount is within the allowable range.
  • the first judgment criterion is that the difference between the ratio of the area of the counterweight 34 in the field of view 43a in the detected shape information and the ratio of the area of the counterweight 34 in the field of view 43a in the mark shape information is predetermined If it is below the first threshold, it is judged that the shape change amount is within the allowable range, and if it exceeds the predetermined first threshold, it is judged that the shape change amount is not within the allowable range.
  • the second judgment standard is to provide a reference point on the counter weight 34, and change the shape if the amount of change between the reference point in the detected shape information and the reference point in the mark shape information is less than a predetermined second threshold If the amount is determined to be within the allowable range and exceeds the predetermined second threshold, it is a determination criterion to determine that the shape change amount is not within the allowable range.
  • the reference point indicates a feature of the shape of the counterweight 34.
  • a point indicated by P1 at the end of the counterweight 34 can be adopted as the reference point.
  • a point at which the curvature is maximum can be adopted as the reference point.
  • the processing unit 52 may extract the reference point P1 from the mark shape information and also extract the reference point P1 from the detected shape information, and calculate the Euclidean distance of both reference points P1 as the change amount. This is the same as in the case where the reference points P2 and P3 are employed.
  • the processing unit 52 may calculate the amount of change using any one of the reference points P1, P2, and P3 or any two of the reference points P1, P2, and P3. The amount of change may be calculated using the above reference points.
  • the processing unit 52 may calculate, for example, the total sum of Euclidean distances between corresponding reference points as a variation.
  • the processing unit 52 may calculate the difference between the reference points as the amount of change instead of the Euclidean distance.
  • the processing unit 52 may determine whether or not the amount of change in shape is within the allowable range using one or both of the first determination criterion and the second determination criterion. When two determination criteria are used, when the processing unit 52 determines that the shape change amount is within the allowable range for each of the first determination criterion and the second determination criterion, the shape variation amount is finally obtained. It may be determined that is within the allowable range. Alternatively, when the processing unit 52 determines that the shape change amount is within the allowable range for any one determination criterion, it may finally determine that the shape change amount is within the allowable range.
  • step S9 If the shape change amount is determined to be within the allowable range in step S9, YES is determined in step S10, the process proceeds to S11, and if the shape change amount is determined to be outside the allowable range in step S9, NO is determined in step S10. The process proceeds to step S15.
  • step S11 the processing unit 52 determines whether the detected shape information satisfies the update condition. If the detected shape information satisfies the update condition (YES in step S11), the process proceeds to step S12. If the detected shape information does not satisfy the update condition (NO in step S11), the process proceeds to step S16.
  • the update condition it is possible to adopt a condition that the amount of change in shape between the shape of the counterweight 34 indicated by the mark shape information and the shape of the counterweight 34 indicated by the detected shape information has reached the reference deformation amount.
  • the shape change amount is, for example, the ratio of the area of the counterweight 34 occupied in the visual field 43a in the detected shape information and the counterweight occupied in the visual field 43a in the mark shape information described in the first judgment criterion described above. The difference with the area ratio of 34 can be adopted.
  • the shape deformation amount for example, the change amount of the reference point described in the second determination criterion described above can be adopted.
  • a third threshold smaller than the first threshold can be adopted as the reference deformation amount.
  • the processing unit 52 determines that the difference between the ratio of the area of the counterweight 34 in the field of view 43a in the detected shape information and the ratio of the area of the counterweight 34 in the field of view 43a in the mark shape information is larger than the third threshold. Then, it may be determined that the update condition is satisfied if the update condition is satisfied and the difference is equal to or less than the third threshold, that is, the difference is slight.
  • the amount of change between the reference point in the detected shape information and the reference point in the mark shape information is equal to or less than a fourth threshold smaller than the second threshold, ie, If the change amount is slight, it is determined that the update condition is not satisfied, and if the change amount is larger than the fourth threshold, it may be determined that the update condition is satisfied.
  • step S12 the processing unit 52 sends an inquiry notification to the display device 60 via the notification output unit 53, thereby inquiring of the operator whether or not updating is possible.
  • the input unit 62 displays on the display device an inquiry image inquiring the operator about the possibility of updating.
  • an “YES” button for inputting update permission for inputting update permission
  • an “NO” button for inputting update non-permission for inputting update non-permission
  • an image of counter weight 34 indicated by detected shape information for example, an “YES” button for inputting update permission, an “NO” button for inputting update non-permission
  • an image of counter weight 34 indicated by detected shape information for example, an “YES” button for inputting update permission, an “NO” button for inputting update non-permission, an image of counter weight 34 indicated by detected shape information, and a mark The image etc. of the counter weight 34 which shape information shows are included. In this way, it is possible to present the operator with information for determining whether or not updating is possible.
  • step S13 when the input unit 62 receives an operation for permitting the operator to perform the update (YES in step S13), the processing unit 52 transmits the update command to the detection unit 40 via the communication unit 51, thereby detecting the detection shape.
  • the mark shape information stored in the storage unit 44 is updated as the new mark shape information (step S14).
  • the determination unit 45 transmits a stop command for stopping notification of an alarm to the display device 60 via the notification output unit 53, and returns the process to step S6.
  • the display device 60 stops alerting.
  • the process of stopping the alarm notification may be performed not only when the update condition is satisfied but also when it is determined that the shape change amount is slight and the update condition is not satisfied.
  • step S13 when the input unit 62 accepts an operation for disallowing update of the mark shape information in step S13 (NO in step S13), the process returns to step S6 without updating the mark shape information.
  • step S14 By performing the process of step S14, robustness against slight deformation of the shape of the counterweight 34 as a mark due to external force due to contact or interference in the use environment in the field or in a specification change of the construction machine 10 can be secured. . Further, since the detected shape information is stored in the storage unit 44 as new mark shape information, it is possible to suppress the deterioration of the work efficiency of the construction machine 10.
  • step S10 when it is determined out of the allowable range (NO in step S10), the processing unit 52 automatically stops the construction machine 10 (step S15).
  • step S15 By performing the process of step S15, the construction machine 10 is prevented from continuing to operate in an unstable state due to the shape of the counterweight 34 being deformed excessively, and the occurrence of a secondary disaster can be prevented.
  • step S11 If it is determined in step S11 that the detected shape information does not satisfy the update condition, and it is determined that the mark shape information does not need to be updated (NO in step S11), the processing unit 52 detects the detected shape information as a new mark shape. As the information, without updating the mark shape information, the mark shape information stored in the storage unit 44 in the step S2 mentioned above is used as it is, and the operation of the construction machine 10 is continued without stopping (step S16) . By performing the process of step S14, it is possible to reduce the time and effort of updating the mark shape information and to suppress the deterioration of the working efficiency of the construction machine 10.
  • the present invention can adopt the following modifications.
  • step S15 the construction machine 10 is stopped at step S15, but the present invention is not limited to this, and an alarm may be issued.
  • a three-dimensional distance image sensor is employed as the sensor 41, but this is an example, and any sensor that can detect at least the shape may be employed. May be For example, a normal image sensor that does not detect a depth component may be employed as the sensor 41. However, by using the three-dimensional sensor 41 as the sensor 41, distance information of an obstacle with respect to the construction machine 10 can be acquired in step S6 described above. Therefore, interference prevention control can be performed without using a sensor for detecting an obstacle separately.
  • step S10 for determining whether or not the amount of shape change is within the allowable range.
  • the present invention is not limited to this, and this process is omitted. It may be In this case, when the mark shape information and the detected shape information do not match and the detected shape information satisfies the update condition, the mark shape information stored in the storage unit 44 is updated as the new mark shape information. It will be done.
  • the processing unit 52 is provided in the control device 50, but the present invention is not limited to this, and may be provided in the detection unit 40. In this case, the control device 50 only needs to have a function of mediating the exchange of information between the display device 60 and the detection unit 40, and the processing load on the control device 50 can be reduced.
  • control device 50 with low processing capacity or the control device 50 with low surplus processing capacity can configure the present detection device, and the width of the construction machine 10 to which the present detection device can be applied can be expanded. Furthermore, when the processing unit 52 is provided in the detection unit 40, the detection unit 40 can be directly connected to the display device 60 without the control device 50.
  • the storage unit 44 and the determination unit 45 are provided in the detection unit 40, but the present invention is not limited to this, and may be provided in the control device 50.
  • the configuration of the detection unit 40 can be simplified, and the degree of freedom of the sensor 41 applicable to the detection unit 40 can be increased.
  • the configuration of the detection unit 40 is simplified, and the detection unit 40 can be miniaturized.
  • work such as initial setting of the mark shape information can be omitted when replacing the sensor 41, and replacement at the time of failure can be facilitated.
  • steps S12 and S13 the operator is made to select whether to update or not, and the mark shape information is updated based on the selection result, but the present invention is not limited to this. Processing may be omitted.
  • the mark shape information indicates the shape of the counterweight 34.
  • the present invention is not limited to this, and the shape may be other than the counterweight 34.
  • the mark shape information may indicate the shape of the side surface of the upper swing body 30.
  • the sensor 41 may be provided on the upper surface of the engine room 33 or the upper surface of the driver's cab 31 so that the outline of the side surface of the upper swing body 30 is included in the field of view 43a.
  • the mark shape information stored in the storage unit 44 is described as indicating the shape at the time of shipment from the factory. However, when the mark shape information is updated at least once, Not the mark shape information at the time of shipment, but the latest mark shape information after updating is stored.
  • step S11 of the flow in FIG. 5 it is determined whether the update condition is satisfied based on the shape change amount, but the present invention is not limited to this. If the update permission is input, it may be determined that the update condition is satisfied.
  • the detection device is a detection device provided in a construction machine, A sensor capable of detecting shape information of a part of the construction machine; A storage unit for storing the shape information detected by the sensor as mark shape information; A determination unit that determines whether or not the mark shape information and detected shape information, which is shape information of a part of the construction machine newly detected by the sensor, match each other; When the determination unit determines that the mark shape information and the detected shape information do not match, it determines whether the detected shape information satisfies a predetermined update condition and determines that the update condition is satisfied.
  • the detection unit may include a processing unit that updates the mark shape information stored in the storage unit as the detected shape information as the new mark shape information.
  • the mark shape information stored in the storage unit does not match the detected shape information detected by the sensor, and a predetermined update condition for updating the mark shape information is detected. If it is determined that the information is satisfied, the detected shape information is set as new mark shape information, and the mark shape information stored in the storage unit is updated. Therefore, in the use environment in the field, even if the shape of a part of the construction machine as a mark is slightly deformed by an external force such as contact or interference, the deterioration of the working efficiency of the construction machine can be suppressed.
  • a notification unit for notifying an operator that a change has occurred in the shape of the construction machine It is preferable to further include.
  • the operator can recognize that the detected shape information has changed with respect to the mark shape information.
  • the apparatus further comprises an input unit operated by the operator,
  • the processing unit is When the determination unit determines that the mark shape information and the detected shape information do not match, it is determined whether the difference between the mark shape information and the detected shape information is within an allowable range. When it is determined that the tolerance is within the allowable range, the operator is inquired as to whether or not the mark shape information stored in the storage unit is to be updated as the new mark shape information.
  • the input unit receives an operation of the operator selecting an update, it is preferable to update the mark shape information stored in the storage unit as the new mark shape information.
  • the operator when it is determined that the difference between the mark shape information and the detected shape information is within the allowable range, the operator is asked whether the mark shape information is to be updated with the detected shape information, and the operator updates Is selected, the detected shape information is set as new mark shape information, and the mark shape information stored in the storage unit 44 is updated. Therefore, the mark shape information can be updated by reflecting the intention of the operator.
  • the processing unit determines that the determination unit does not match the mark shape information and the detected shape information
  • the difference between the mark shape information and the detected shape information indicates an allowable range. Determine if it exceeds When it is determined that the allowable range is exceeded, it is preferable that the notification unit issue an alarm without updating the mark shape information.
  • the senor be a distance image sensor.
  • the sensor since the sensor can measure the distance of an obstacle located around the construction machine, it can function as an obstacle detection sensor.
  • the information processing apparatus further comprises a notification unit
  • the processing unit when the determination unit determines that the mark shape information and the detected shape information do not match, causes the notification unit to issue an alarm.
  • the detected shape information is stored in the storage unit as new mark shape information, it is preferable to stop the notification of the alarm.
  • the alarm notification is stopped. Therefore, it is possible to stop the alarm that is issued when the shape of a part of the construction machine is deformed, and it is possible to suppress the deterioration of the working efficiency due to the continuation of the alarm.
  • a construction machine The above detection device, The lower traveling body, And an upper revolving unit pivotally attached to the upper surface of the lower traveling unit,
  • the mark shape information indicates the shape of a counterweight provided at the rear end of the upper swing body,
  • the sensor is attached to the upper surface of the counterweight.
  • the sensor can measure the detected shape information that accurately captures the change in the shape of the counterweight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

検出装置は、検出ユニット40内に、少なくとも形状を検出可能なセンサとしてのセンサ41と、センサ41が検出した建設機械の一部としてのカウンタウェイト34の形状情報を目印形状情報として記憶するための記憶部44と、目印形状情報と、センサ41が新たに検出したカウンタウェイト34の形状情報である検出形状情報と、が合致しているか否かを判断する判断部45と、判断部45が目印形状情報と検出形状情報とが合致しないと判断した場合、検出形状情報が予め定められた更新条件を満たすか否かを判断し、前記更新条件を満たすと判断した場合、検出形状情報を新たな目印形状情報とし、前記記憶部が記憶する前記目印形状情報を新たな目印形状情報として、記憶部44に記憶された目印形状情報を更新する処理部52とを備える。

Description

検出装置及び建設機械
 本発明は、建設機械に設けられる検出装置及び建設機械に関する。
 近年、車載カメラを搭載した車両の運転支援システムが開発されている。例えば、特許文献1には、車載カメラの撮影光軸がずれた場合、そのずれ量を車両の一部(フロントガラスのマーキング、トランク、ボンネット上のマスコット等)を目印として推定し、補正を掛けることによって運転支援システムを動作させる技術が開示されている。
 上記特許文献1に開示された技術によれば、走行中の振動又は周囲温度の変化などによって車載カメラの撮影光軸がずれた場合、そのずれ量を自動的に検出し、この検出に基づいて運転支援システムを動作させることが可能である。
 また、上記特許文献1に開示された技術によれば、撮影光軸のずれ量が所定の範囲内である場合は、フレームメモリを新たな画像位置情報に更新し、そのずれ量が所定の範囲を超え、大きい場合には、警告ブザーを発して警告することが開示されている。
 しかし、上記特許文献1に開示された車載カメラを搭載した車両の運転支援システムは、車載カメラ側の経時変化による位置ずれは考慮されているが、ずれの基準となる車両の目印自体の変化については何らの言及もない。
 ところが、建設機械のようなフィールドでの使用環境下では、接触又は干渉等による外力によって目印としての建設機械の一部の形状が変形することも多い。例えば、上部旋回体の後部に設けられたカウンタウェイトは、目印として使用されるが、周囲の物体と接触又は干渉して形状が変形する可能性が高い。したがって、上記特許文献1に開示された技術を建設機械に適用した場合、目印が変形することにより、ずれ量が所定の範囲を超えたと判断されると、その都度、警告ブザーが発報されるという課題が発生する。また、目印の変形が過大である場合、目印自体を見失ってしまい、建設機械としての機能停止が発生するという課題がある。いずれにしても、特許文献1は、建設機械の作業効率が悪化するという課題がある。
特開2004-173037号公報
 本発明の目的は、フィールドでの使用環境下において、接触又は干渉等による外力によって目印としての建設機械の一部の形状が多少変形したとしても、建設機械の作業効率の悪化を抑制できる検出装置を提供することにある。
 本発明の一態様に係る検出装置は、建設機械に設けられる検出装置であって、
 前記建設機械の一部の形状情報を検出可能なセンサと、
 前記センサが検出した前記形状情報を目印形状情報として記憶するための記憶部と、
 前記目印形状情報と、前記センサが新たに検出した前記建設機械の一部の形状情報である検出形状情報と、が合致しているか否かを判断する判断部と、
 前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記検出形状情報が予め定められた更新条件を満たすか否かを判断し、前記更新条件を満たすと判断した場合、前記検出形状情報を前記新たな目印形状情報として、前記記憶部に記憶された前記目印形状情報を更新させる処理部とを備える。
 上記構成により、フィールドでの使用環境下において、接触又は干渉等による外力によって目印としての建設機械の一部の形状が多少変形したとしても、建設機械の作業効率の悪化を抑制できる。
本発明に係る建設機械を説明するための模式説明図であり、上図は平面図であり、下図は側面図である。 本発明の建設機械に設けられる検出装置の構成を説明するためのブロック図である。 図2に示すセンサが検出した建設機械の一部の形状情報であって工場出荷時の形状情報の一例を示す図ある。 図2に示すセンサが検出した建設機械の一部の形状情報であって変形後のカウンタウェイトの形状情報の一例を示す図ある。 本発明の検出装置に係る動作を説明するためのフローチャートである。
 以下、図1~図5を参照しつつ、本発明の実施の形態に係る検出装置について説明する。
 図1は本発明の実施の形態に係る建設機械10を説明するための模式説明図であり、上図は平面図であり、下図は側面図である。図1において、建設機械10は、例えば、油圧ショベルで構成されている。但し、これは一例であり、クレーン及びハイブリッドショベル等の油圧ショベル以外の建設機械で構成されてもよい。なお、図1において、下部走行体20の長手方向を前後方向と定義し、地面と平行且つ前後方向に直行する方向を左右方向と定義し、前後方向及び左右方向のそれぞれに直行する方向を上下方向と定義する。
 また、下部走行体20が前進する方向を前方、下部走行体20が後退する方向を後方と定義する。また、後方から前方に見て左手の方向を左方、後方から前方に見て右手の方向を右方と定義する。また、上下方向の上側を上方、上下方向の下側を下方と定義する。
 建設機械10は、下部走行体20、下部走行体20の上面において旋回可能に搭載される上部旋回体30と、上部旋回体30に搭載される運転室31と、上部旋回体30に支持される作業アタッチメント32と、上部旋回体30に搭載されるエンジンルーム33と、上部旋回体30の後部を構成するカウンタウェイト34と、カウンタウェイト34上に設けられる検出ユニット40とを備える。
 下部走行体20は、クローラで構成され、油圧モータの駆動力により建設機械10を前進又は後退させる。上部旋回体30は、例えば、油圧モータの駆動力により下部走行体20に対して旋回する。作業アタッチメント32は、上部旋回体30の前面に回動可能に取り付けられたブーム、ブームに対して回動可能に取り付けられたアーム、及びアームに対して回動可能に取り付けられた先端アタッチメントを備える。ブーム、アーム、及び先端アタッチメントは、それぞれ、油圧シリンダからの動力を受けて回動する。ここでは、先端アタッチメントとして、バケットが採用されているが、これは一例であり、ブレーカー又はニブラー等のバケット以外の先端アタッチメントが採用されてもよい。
 カウンタウェイト34は、左方から右方に見て、前後方向に比べて上下方向が多少長いほぼ直方体の形状を備え、上方から下方に見て、後方側が外側に湾曲し、且つ、前後方向に対して対称な形状を持つ。図1の下図を参照して、検出ユニット40は、カウンタウェイト34の上面において左右方向の中央に配置されている。
 検出ユニット40に含まれるセンサ41(図2参照)は、視野内にカウンタウェイト34の一部の領域が入るように光軸が設定されている。ここでは、センサ41の光軸は、例えば前後方向と平行に設定されている。これにより、センサ41は、視野内においてカウンタウェイト34の後端の輪郭を含めることができる。カウンタウェイト34の後端の輪郭は、接触又は干渉により変形する可能性が高いので、センサ41の視野内に後端の形状を含めることはカウンタウェイト34の変形を検出するうえで有用となる。但し、これは一例であり、センサ41の光軸は、ピッチ方向の下方に例えば約10度以内の角度で多少傾斜していてもよい。これにより、センサ41は、カウンタウェイト34の後端の形状を視野内により確実に含ませることができる。
 図2は、図1に示す建設機械10に設けられる検出装置の構成を説明するためのブロック図である。図2において、検出装置は、検出ユニット40と、制御装置50と、ディスプレイ装置60とを備えている。検出ユニット40及び制御装置50間は車載ネットワークを介して相互に通信可能に接続されている。また、制御装置50及びディスプレイ装置60間は車載ネットワークを介して相互に通信可能に接続されている。
 検出ユニット40は、センサ41と、記憶部44と、判断部45と、比較結果出力部46とを備えている。センサ41は、例えば、オプテックス社製の3次元の距離画像センサで構成され、物体の形状を検出する。センサ41は、光源42及びイメージセンサ43を備えている。
 光源42は、例えば、近赤外線を照射する発光ダイオードで構成されている。イメージセンサ43は、例えば、CMOS等のイメージセンサ43で構成されている。イメージセンサ43は、光源42が投光した近赤外線光がターゲットに当たって戻る時間を複数の画素ごとにリアルタイムで測定することにより、3次元の距離画像を所定のフレームレートで取得する。
 記憶部44は、例えば、不揮発性のメモリで構成され、センサ41の視野内にカウンタウェイト34の形状情報を目印形状情報として予め記憶する。本実施の形態では、記憶部44は、例えば、工場出荷直後の変形が生じていないカウンタウェイト34の形状情報を目印形状情報として予め記憶する。
 判断部45は、例えば、CPU等のプロセッサで構成され、記憶部44が記憶する目印形状情報と、センサ41が検出したカウンタウェイト34の形状情報である検出形状情報と、が合致しているか否かを比較する。ここで、判断部45は、検出形状情報の特徴量と目印形状情報の特徴量との類似度を算出し、類似度が閾値以下であれば、検出形状情報と目印形状情報とは合致すると判断する。一方、判断部45は、検出形状情報の特徴量と目印形状情報の特徴量との類似度が閾値より大きければ、検出形状情報と目印形状情報とは合致しないと判断する。
 特徴量としては、例えば、HONV(Histogram of Oriented NormalVector)特徴量が採用できる。HONV特徴量は、物体の表面を構成する各画素の法線ベクトルと度数との関係を示すヒストグラムを用いて物体の3次元の特徴を表す。
 この場合、判断部45は、検出形状情報から距離が連続する一群のクラスタを検出することでカウンタウェイト34を抽出し、カウンタウェイト34を構成する各画素のデータを用いてHONV特徴量を算出すればよい。また、判断部45は、目印形状情報についても同様にHONV特徴量を算出すればよい。類似度としては、例えば、ベクトル間の距離を示すコサイン距離の逆数が採用できる。
 比較結果出力部46は、例えば、通信インターフェース及びプロセッサで構成され、判断部45による判断結果を検出形状情報と共に制御装置50に送信する。
 制御装置50は、例えば、上部旋回体30の内部に設けられた電気回路で構成されている。制御装置50は、通信部51、処理部52、及び報知出力部53を備える。
 通信部51は、例えば、通信インターフェースで構成され、比較結果出力部46から送信された判断結果を受信する。
 処理部52は、例えば、CPU等のプロセッサで構成され、目印形状情報と検出形状情報とが合致しないことを示す判断部45による判断結果を通信部51が受信した場合、検出形状情報が予め定められた更新条件を満たすか否かを判断する。ここで、更新条件は、検出形状情報を新たな目印形状情報として、記憶部44に記憶された目印形状情報を更新するための条件である。更新条件の詳細は後述する。
 処理部52は、検出形状情報が更新条件を満たすと判断した場合、検出形状情報を新たな目印形状情報として、記憶部44が記憶する目印形状情報を更新させる更新コマンドを通信部51を介して検出ユニット40に送信する。なお、比較結果出力部46は、この更新コマンドを受信すると検出形状情報を新たな目印形状情報として、記憶部44に記憶されている目印形状情報を更新する。これにより、記憶部44には、変形されたカウンタウェイト34の形状が反映された目印形状情報が記憶され、警告ブザー等の頻発を防止し、建設機械10の作業効率の悪化を抑制できる。
 また、処理部52は、目印形状情報と検出形状情報とが合致しないことを示す判断部45による判断結果を通信部51が受信した場合、報知部61から警報を発報させる発報コマンドを報知出力部53を介してディスプレイ装置60に送信してもよい。
 また、処理部52は、検出形状情報が更新条件を満たすと判断した場合、オペレータに検出形状情報を更新の可否を問い合わせる問い合わせ通知を報知出力部53を介してディスプレイ装置60に送信してもよい。この場合、処理部52は、入力部62がオペレータから更新を許可することを選択する操作を受け付けた場合、検出形状情報を新たな目印形状情報として記憶部44に記憶された目印形状情報を更新する更新コマンドを通信部51を介して検出ユニット40に送信すればよい。
 報知出力部53は、例えば、通信インターフェースで構成され、処理部52から出力された発報コマンドを取得した場合、その発報コマンドをディスプレイ装置60に送信する。また、報知出力部53は、処理部52から問い合わせ通知を取得した場合、その問い合わせ通知をディスプレイ装置60に送信する。
 ディスプレイ装置60は、運転室31に設けられ、報知部61及び入力部62を備える。報知部61は、例えば、ブザー音を出力するスピーカで構成され、報知出力部53から送信される発報コマンドを受信した場合、ブザー音を出力し、警報を発報する。
 入力部62は、例えば、選択ボタン、タッチパネル、及び表示装置等で構成され、報知出力部53から問い合わせ通知が送信された場合、検出形状情報により記憶部44に記憶された目印検出情報の更新の可否をオペレータに問い合わせる問い合わせ画像を表示装置に表示する。また、入力部62は、報知出力部53から送信された発報コマンドを受信した場合、カウンタウェイト34の形状が目印形状情報が示す形状と異なることをオペレータに知らせる画像を表示装置に表示させることで、警報を発報してもよい。
 また、入力部62は、オペレータから検出形状情報による目印検出情報の更新の可否を選択する操作を受け付けた場合、選択結果を制御装置50に送信する。ここで、更新を許可する操作を受け付けた場合、入力部62は、検出形状情報を新たな目印形状情報として記憶部44に記憶された目印形状情報を更新する更新コマンドを制御装置50に送信する。この更新コマンドは、制御装置50を介して検出ユニット40に送信される。そして、比較結果出力部46はこの更新コマンドを受信すると、検出形状情報を目印形状情報として用いて記憶部44に記憶された目印形状情報を更新する。
 図3は、デフォルトの目印形状情報の一例を示す図である。ここで、デフォルトの目印形状情報は、例えば、工場出荷時のカウンタウェイト34の形状を示している。図3に示すように目印形状情報は、イメージセンサ43の視野43a内で検出されたカウンタウェイト34を含む距離画像で構成されている。なお、視野43aにおいて縦方向は前後方向に対応し、横方向は左右方向に対応している。
 デフォルトの目印形状情報は、例えば、工場出荷前において、センサ41がカウンタウェイト34を測定することで生成される。センサ41を含む検出ユニット40は、図1の上図に示すように、上方から下方に見て光軸が前後方向と平行となるように配置されている。また、カウンタウェイト34は、前後方向に対して線対称な形状を持っている。そのため、図3の例では、視野43a内においてカウンタウェイト34は後方側が外側に湾曲し、且つ、前後方向に対して左右対称な形状で表れている。
 図4は、図2に示すセンサ41が検出した検出形状情報の一例を示す図である。図4の検出形状情報は外力により形状が変形したカウンタウェイト34を視野43aに含んでいる。具体的には、カウンタウェイト34は、左右方向のほぼ中心の箇所において、矢印で示すように右斜め前方の方向に外力が加えられため、この方向に向けて凹んだ形状になっている。したがって、判断部45は、図3に示す目印形状情報の特徴量と、図4に示す検出形状情報の特徴量とを比較することで、目印形状情報と検出形状情報との合致の有無を判断できる。
 図5は、図1に示す検出装置に係る動作原理を説明するためのフローチャートである。
 以下、図5に示すフローチャートに従って、本実施の形態の検出装置に係る動作を説明する。
 制御装置50は、建設機械10を始動させる(ステップS1)。ここで、制御装置50は、オペレータからイグニッションキーをオンする操作を入力部62が受け付けたことをトリガーに建設機械10を始動させればよい。
 次に、制御装置50は、通信部51を介して電源投入コマンドを送信することで、検出ユニット40の電源を投入する(ステップS2)。このステップS2の段階において、記憶部44は、目印形状情報として工場出荷時のカウンタウェイト34の形状情報(図3参照)を記憶部44に記憶している。
 次に、センサ41は、現在のカウンタウェイト34の形状を示す検出形状情報を検出する(ステップS3)。ここでは、センサ41は、例えば、図4に示すような、外力により形状が変形したカウンタウェイト34の検出形状情報を測定する。
 次に、判断部45は、記憶部44に予め記憶されている目印形状情報とセンサ41が検出した検出形状情報とを比較する(ステップS4)。ここで、判断部45は、上述したように、目印形状情報と検出形状情報とのそれぞれが示すカウンタウェイト34の特徴量の類似度を算出することで、目印形状情報と検出形状情報とを比較すればよい。
 次に、判断部45は、上述したステップS4における比較結果から目印形状情報が示すカウンタウェイト34の形状と検出形状情報が示すカウンタウェイト34の形状とが合致するか否かを判断する(ステップS5)。ここで、判断部45は、上述したように類似度が閾値より大きいか否かにより合致の有無を判断すればよい。
 次に、上述したステップS5において合致していると判断された場合(ステップS5でYES)、判断部45は、センサ41が検出した検出形状情報から障害物の距離情報を取得する(ステップS6)。ここで、取得された距離情報は、例えば、建設機械10に対する障害物の干渉を防止する干渉防止制御に利用される。
 次に、判断部45は、ステップS6の処理が所定時間経過するまで行われたか否かを判断する(ステップS7)。ステップS6の処理を開始してから所定時間経過していると判断された場合(ステップS7でYES)、処理は上述したステップS3に戻り、目印形状情報が示すカウンタウェイト34と検出形状情報が示すカウンタウェイト34との合致の有無を判断する処理が再度行われる。一方、ステップS6の処理を開始してから所定時間が経過していないと判断された場合(ステップS7でNO)、処理はステップS6に戻る。すなわち、所定時間経過するまで障害物の距離情報を取得する処理が繰り返され、制御装置50による干渉防止制御が行われるのである。
 また、上述したステップS5において合致していないと判断された場合(ステップS5でNO)、処理部52は、カウンタウェイト34の形状が工場出荷時のカウンタウェイト34の形状に対して変形したことを示す警報を発報するための発報コマンドを報知出力部53を介してディスプレイ装置60に送信する(ステップS8)。ステップS8の処理を実施することで、カウンタウェイト34の形状が工場出荷時のカウンタウェイト34の形状に対して変形したことをオペレータに認識させることができる。
 次に、処理部52は、目印形状情報と検出形状情報との差異(すなわち、形状変化量)が許容範囲であるか否かを判断する(ステップS9)。ここで、形状変化量が許容範囲であるか否かの判断基準は、例えば、下記二つが採用される。
 (1)1つ目の判断基準は、検出形状情報において視野43a内に占めるカウンタウェイト34の面積の割合と目印形状情報において視野43a内に占めるカウンタウェイト34の面積の割合との差分が所定の第1閾値以下ならば、形状変化量が許容範囲であると判断し、所定の第1閾値を超えるならば、形状変化量が許容範囲ではないと判断する判断基準である。
 (2)2つ目の判断基準は、カウンタウェイト34に基準点を設け、検出形状情報における基準点と、目印形状情報における基準点との変化量が所定の第2閾値以下ならば、形状変化量が許容範囲であると判断し、所定の第2閾値を超えるならば、形状変化量が許容範囲ではないと判断する判断基準である。
 ここで、基準点はカウンタウェイト34の形状の特徴を示す点であり、例えば、図3を参照して、カウンタウェイト34の最後尾のP1で示す点が基準点として採用できる。或いは、図3のP2,P3に示すように、カウンタウェイト34の輪郭を示す曲線において曲率が最大となる点が基準点として採用できる。
 例えば、処理部52は、目印形状情報から基準点P1を抽出すると共に検出形状情報から基準点P1を抽出し、両方の基準点P1のユークリッド距離を変化量として算出すればよい。なお、このことは、基準点P2、P3を採用する場合も同じである。ここで、処理部52は、基準点P1、P2、P3のうちいずれか1つの基準点を用いて変化量を算出してもよいし、基準点P1、P2、P3のうちのいずれか2つ以上の基準点を用いて変化量を算出してもよい。基準点P1、P2、P3のうちいずれか2つ以上の基準点を用いる場合、処理部52は、例えば、対応する基準点同士のユークリッド距離の総和を変化量として算出すればよい。また、処理部52は、ユークリッド距離に代えて、基準点同士の差を変化量として算出してもよい。
 処理部52は、1つ目の判断基準と2つ目の判断基準とのうちいずれか一方又は両方を用いて形状変化量が許容範囲であるか否かを判断すればよい。2つの判断基準を用いる場合、処理部52は、1つ目の判断基準と2つ目の判断基準とのそれぞれについて形状変化量が許容範囲であると判断した場合、最終的に、形状変化量が許容範囲であると判断してもよい。或いは、処理部52は、いずれか一方の判断基準について形状変化量が許容範囲であると判断した場合、最終的に、形状変化量が許容範囲であると判断してもよい。
 ステップS9において形状変化量が許容範囲と判断された場合、ステップS10でYESと判断され、処理はS11に進み、ステップS9において形状変化量が許容範囲外と判断された場合、ステップS10でNOと判断され、処理はステップS15に進む。
 ステップS11では、処理部52は、検出形状情報が更新条件を満たすか否かを判断する。検出形状情報が更新条件を満たす場合(ステップS11でYES)、処理はステップS12に進み、検出形状情報が更新条件を満たさない場合(ステップS11でNO)、処理はステップS16に進む。
 ここで、更新条件としては、目印形状情報が示すカウンタウェイト34の形状に対する検出形状情報が示すカウンタウェイト34の形状との形状変化量が基準変形量に到達しているという条件が採用できる。ここで、形状変化量は、例えば、上述した1つ目の判断基準で説明した、検出形状情報において視野43a内に占めるカウンタウェイト34の面積の割合と目印形状情報において視野43a内に占めるカウンタウェイト34の面積の割合との差分が採用できる。また、形状変形量は、例えば、上述した2つ目の判断基準で説明した、基準点の変化量が採用できる。基準変形量としては、1つ目の判断基準を採用した場合は、例えば、第1閾値より小さな第3閾値が採用できる。この場合、処理部52は、検出形状情報において視野43a内に占めるカウンタウェイト34の面積の割合と目印形状情報において視野43a内に占めるカウンタウェイト34の面積の割合との差分が第3閾値より大きいならば、更新条件を満たし、前記差分が第3閾値以下、すなわち、前記差分が僅かであれば、更新条件を満たさないと判断すればよい。
 また、処理部52は、上述した2つ目の判断基準を採用した場合、検出形状情報における基準点と目印形状情報における基準点との変化量が第2閾値よりも小さな第4閾値以下、すなわち、変化量が僅かならば、更新条件を満たさないと判断し、前記変化量が第4閾値よりも大きければ、更新条件を満たすと判断すればよい。
 ステップS12では、処理部52は、問い合わせ通知を報知出力部53を介してディスプレイ装置60に送信することで、更新の可否をオペレータに問い合わせる。この場合、入力部62はオペレータに更新の可否を問い合わせる問い合わせ画像を表示装置に表示する。この問い合わせ画像には、例えば、更新の許可を入力するための「YES」ボタンと、更新の不許可を入力するための「NO」ボタンと、検出形状情報が示すカウンタウェイト34の画像と、目印形状情報が示すカウンタウェイト34の画像等が含まれる。これにより、オペレータに対して更新の可否の判断材料を提示できる。
 ステップS13において、オペレータが更新を許可する操作を入力部62が受け付けると(ステップS13でYES)、処理部52は、更新コマンドを通信部51を介して検出ユニット40に送信することで、検出形状情報を新たな目印形状情報として、記憶部44が記憶する目印形状情報を更新させる(ステップS14)。ステップS14の処理が終了すると、判断部45は、警報の発報を停止させる停止コマンドを報知出力部53を介してディスプレイ装置60に送信し、処理をステップS6に戻す。これにより、ディスプレイ装置60は警報の発報を停止させる。その結果、カウンタウェイト34の形状の変形により警報が発報された場合、その警報がいつまでたっても停止されず、作業効率が悪化することを抑制できる。なお、この警報の発報を停止する処理は、更新条件を満たす場合のみならず、形状変化量が僅かであり、更新条件を満たさないと判断された場合において実施されてもよい。
 一方、ステップS13において、オペレータが目印形状情報の更新を不許可にする操作を入力部62が受け付けると(ステップS13でNO)、目印形状情報の更新は行われずに処理はステップS6に戻る。
 ステップS14の処理を実施することにより、建設機械10の仕様変更やフィールドでの使用環境下における接触又は干渉等による外力によって目印としてのカウンタウェイト34の形状が多少変形することに対するロバスト性を確保できる。また、検出形状情報が新たな目印形状情報として記憶部44に記憶されるため、建設機械10の作業効率の悪化を抑制できる。
 また、上述したステップS10での判断の結果、許容範囲外と判断した場合(ステップS10でNO)、処理部52は、建設機械10を自動停止させる(ステップS15)。ステップS15の処理を実施することにより、カウンタウェイト34の形状が過大に変形したことにより建設機械10が不安定な状態で動作を継続することが防止され、二次災害の発生を防止できる。
 また、ステップS11において、検出形状情報が更新条件を満たさず、目印形状情報を更新させる必要がないと判断された場合(ステップS11でNO)、処理部52は、検出形状情報を新たな目印形状情報として、目印形状情報を更新させず、上述したステップS2の段階で記憶部44に記憶されている目印形状情報をそのまま使用し、建設機械10の操作を停止することなく継続させる(ステップS16)。前記ステップS14の処理を実施することにより、目印形状情報の更新の手間を減らすことができると共に建設機械10の作業効率の悪化を抑制することができる。
 本発明は以下の変形例が採用できる。
 (1)本実施の形態においては、ステップS15において、建設機械10の停止が実施されていたが、本発明はこれに限定されず、警報の発報が行われてもよい。
 (2)本実施の形態においては、センサ41として、3次元の距離画像センサが採用されているが、これは一例であり、少なくとも形状を検出可能なセンサであればどのようなセンサが採用されてもよい。例えば、センサ41として深度成分を検出しない通常の画像センサが採用されてもよい。但し、センサ41として、3次元のセンサ41を用いることで、上述したステップS6において建設機械10に対する障害物の距離情報を取得することができる。そのため、別途、障害物を検出するためのセンサを用いることなく、干渉防止制御を行うことができる。
 (3)本実施の形態においては、形状変化量が許容範囲であるか否かを判断する処理(ステップS10)が設けられていたが、本発明はこれに限定されず、この処理は省かれていてもよい。この場合、目印形状情報と検出形状情報とが合致せず、かつ、検出形状情報が更新条件を満たす場合、検出形状情報を新たな目印形状情報として、記憶部44が記憶する目印形状情報が更新されることになる。
 (4)図1では、処理部52は、制御装置50に設けられているが、本発明はこれに限定されず、検出ユニット40に設けられていてもよい。この場合、制御装置50は、ディスプレイ装置60と検出ユニット40との間で情報の授受を仲介する機能があればよい構成となり、制御装置50の処理負担を軽減できる。
 これにより、処理能力の低い制御装置50又は余剰の処理能力が少ない制御装置50でも本検出装置を構成でき、本検出装置を適用できる建設機械10の幅を広げることができる。更に、処理部52を検出ユニット40に設けた場合、検出ユニット40は、制御装置50を介さず、直接、ディスプレイ装置60と接続させることが可能となる。
 (5)図1では、記憶部44及び判断部45は検出ユニット40に設けられているが、本発明はこれに限定されず、制御装置50に設けられてもよい。この場合、検出ユニット40の構成を簡素化することができ、検出ユニット40に適用可能なセンサ41の自由度を高めることができる。また、検出ユニット40の構成が簡素化され、検出ユニット40の小型化が可能となる。また、検出ユニット40の構成が簡素化されるため、センサ41の交換時に目印形状情報の初期設定などの作業を省くことができ、故障時の交換も容易になる。
 (6)図5では、ステップS12、S13に示すように更新の可否をオペレータに選択させ、選択結果に基づいて目印形状情報が更新されているが、本発明はこれに限定されず、これらの処理は省かれてもよい。
 (7)上記実施の形態では、目印形状情報は、カウンタウェイト34の形状を示しているが、本発明はこれに限定されず、カウンタウェイト34以外の形状を示すものであってもよい。例えば、目印形状情報は、上部旋回体30の側面の形状を示すものであってもよい。この場合、センサ41は、視野43a内に上部旋回体30の側面の輪郭が含まれるように、エンジンルーム33の上面或いは運転室31の上面に設けられればよい。
 (8)図5のフローでは、記憶部44が記憶する目印形状情報は工場出荷時の形状を示すとして説明したが、少なくとも1回、目印形状情報が更新された場合、記憶部44には工場出荷時の目印形状情報ではなく、更新後の最新の目印形状情報が記憶される。
 (9)図5のフローのステップS11では、形状変化量に基づいて更新条件を満たすか否かの判断が行われているが、本発明はこれに限定されず、処理部52は、オペレータが更新の許可を入力した場合、更新条件を満たすと判断してもよい。
 以上、本発明の実施の形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明の実施形態に記載された作用及び効果に限定されるものではない。
 (実施の形態の纏め)
 本実施の形態の技術的な特徴は下記のように纏めることができる。
 (1)本実施の形態に係る検出装置は、建設機械に設けられる検出装置であって、
 前記建設機械の一部の形状情報を検出可能なセンサと、
 前記センサが検出した前記形状情報を目印形状情報として記憶するための記憶部と、
 前記目印形状情報と、前記センサが新たに検出した前記建設機械の一部の形状情報である検出形状情報と、が合致しているか否かを判断する判断部と、
 前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記検出形状情報が予め定められた更新条件を満たすか否かを判断し、前記更新条件を満たすと判断した場合、前記検出形状情報を前記新たな目印形状情報として、前記記憶部に記憶された前記目印形状情報を更新させる処理部とを備える。
 上記構成によれば、記憶部に記憶された目印形状情報とセンサが検出した検出形状情報とが合致しないと判断され、且つ、目印形状情報を更新するための予め定められた更新条件を検出形状情報が満たすと判断された場合、当該検出形状情報が新たな目印形状情報とされて、記憶部に記憶された目印形状情報が更新される。そのため、フィールドでの使用環境下において、接触又は干渉等による外力によって目印としての建設機械の一部の形状が多少変形したとしても、建設機械の作業効率の悪化を抑制できる。
 (2)上記構成において、前記演算部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記建設機械の形状に変化が生じたことをオペレータに報知するための報知部をさらに備えることが好ましい。
 これにより、オペレータは検出形状情報が目印形状情報に対して変化したことを認識できる。
 (3)上記構成において、オペレータに操作される入力部をさらに備え、
 前記処理部は、
 前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記目印形状情報と前記検出形状情報との差異が許容範囲であるか否かを判断し、
 前記許容範囲であると判断した場合、前記検出形状情報を新たな目印形状情報として、前記記憶部が記憶する前記目印形状情報を更新するか否かを前記オペレータに問い合わせ、
 更新を選択する前記オペレータの操作を前記入力部が受け付けた場合、前記検出形状情報を前記新たな目印形状情報として、前記記憶部が記憶する前記目印形状情報を更新させることが好ましい。
 この構成によれば、目印形状情報と検出形状情報との差異が許容範囲であると判断された場合、検出形状情報で目印形状情報を更新させるか否かをオペレータに問い合わせ、オペレータが更新することを選択した場合、検出形状情報が新たな目印形状情報とされて、記憶部44が記憶する目印形状情報が更新される。そのため、オペレータの意思を反映させて目印形状情報の更新を行うことができる。
 (4)上記構成において、前記処理部は、前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記目印形状情報と前記検出形状情報との差異が許容範囲を超えるか否かを判断し、
 前記許容範囲を超えると判断した場合、前記目印形状情報を更新せず、前記報知部から警報を発報させることが好ましい。
 この構成によれば、建設機械の一部の形状の変形量が許容範囲を超えた大きなものであることをオペレータに認識させることができる。また、目印形状情報が更新されないため、建設機械の一部の形状の変形量が過大である場合にその形状を示す検出形状情報が目印形状情報として更新されて建設機械の運転が継続されることを防止できる。これにより、建設機械が不安定な状態で運転することを防止でき、二次災害の発生が抑制できる。
 (5)上記構成において、前記センサは、距離画像センサで構成されることが好ましい。
 この構成によれば、センサは建設機械の周囲に位置する障害物の距離を測定できるため、障害物検出センサとして機能することが可能となる。
 (6)上記構成において、報知部を更に備え、
 前記処理部は、前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記報知部に警報を発報させ、
 前記検出形状情報が新たな目印形状情報として前記記憶部に記憶された場合、前記警報の発報を停止させることが好ましい。
 この構成によれば、検出形状情報が新たな目印形状情報として記憶部に記憶された場合、警報の発報が停止される。そのため、建設機械の一部の形状が変形したことにより発報された警報を停止させることができ、警報の発報が継続されることによる作業効率の悪化を抑制できる。
 (7)本発明の別の一態様に係る建設機械は、
 上記検出装置と、
 下部走行体と、
 前記下部走行体の上面に旋回可能に取り付けられた上部旋回体とを備え、
 前記目印形状情報は、前記上部旋回体の後端に設けられたカウンタウェイトの形状を示し、
 前記センサは、前記カウンタウェイトの上面に取り付けられているものである。
 この構成によれば、建設機械の姿勢が変化しても、センサとカウンタウェイトとの位置関係は維持される。そのため、建設機械の姿勢に拘わらず、センサはカウンタウェイトの形状の変化を正確に捉えた検出形状情報を測定することができる。

Claims (7)

  1.  建設機械に設けられる検出装置であって、
     前記建設機械の一部の形状情報を検出可能なセンサと、
     前記センサが検出した前記形状情報を目印形状情報として記憶するための記憶部と、
     前記目印形状情報と、前記センサが新たに検出した前記建設機械の一部の形状情報である検出形状情報と、が合致しているか否かを判断する判断部と、
     前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記検出形状情報が予め定められた更新条件を満たすか否かを判断し、前記更新条件を満たすと判断した場合、前記検出形状情報を前記新たな目印形状情報として、前記記憶部に記憶された前記目印形状情報を更新させる処理部とを備える検出装置。
  2.  請求項1に記載の検出装置において、
     報知部をさらに備え、
     前記処理部は、前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記建設機械の形状に変化が生じたことを前記報知部を用いてオペレータに報知させる検出装置。
  3.  請求項1または2に記載の検出装置において、
     オペレータに操作される入力部をさらに備え、
     前記処理部は、
     前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記目印形状情報と前記検出形状情報との差異が許容範囲であるか否かを判断し、
     前記許容範囲であると判断した場合、前記検出形状情報を新たな目印形状情報として、前記記憶部が記憶する前記目印形状情報を更新するか否かを前記オペレータに問い合わせ、
     更新を選択する前記オペレータの操作を前記入力部が受け付けた場合、前記検出形状情報を前記新たな目印形状情報として、前記記憶部が記憶する前記目印形状情報を更新させる検出装置。
  4.  請求項2に記載の検出装置において、
     前記処理部は、前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記目印形状情報と前記検出形状情報との差異が許容範囲を超えるか否かを判断し、
     前記許容範囲を超えると判断した場合、前記目印形状情報を更新せず、前記報知部から警報を発報させる検出装置。
  5.  請求項1~4のいずれかに記載の検出装置において、
     前記センサは、距離画像センサで構成される、
     検出装置。
  6.  請求項1~5のいずれかに記載の検出装置において、
     報知部を更に備え、
     前記処理部は、前記判断部が前記目印形状情報と前記検出形状情報とが合致しないと判断した場合、前記報知部に警報を発報させ、
     前記検出形状情報が新たな目印形状情報として前記記憶部に記憶された場合、前記警報の発報を停止させる、
     検出装置。
  7.  建設機械であって、
     請求項1~6のいずれかに記載の検出装置と、
     下部走行体と、
     前記下部走行体の上面に旋回可能に取り付けられた上部旋回体とを備え、
     前記目印形状情報は、前記上部旋回体の後端に設けられたカウンタウェイトの形状を示し、
     前記センサは、前記カウンタウェイトの上面に取り付けられている、
     建設機械。
PCT/JP2018/038919 2017-11-10 2018-10-19 検出装置及び建設機械 WO2019093097A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880062646.9A CN111108251A (zh) 2017-11-10 2018-10-19 检测装置及工程机械
EP18875024.4A EP3674488A4 (en) 2017-11-10 2018-10-19 DETECTION DEVICE AND PUBLIC WORKS EQUIPMENT
AU2018365641A AU2018365641A1 (en) 2017-11-10 2018-10-19 Detection device and construction machine
US16/650,215 US20200277759A1 (en) 2017-11-10 2018-10-19 Detection apparatus and construction machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017217341A JP2019085855A (ja) 2017-11-10 2017-11-10 検出装置
JP2017-217341 2017-11-10

Publications (1)

Publication Number Publication Date
WO2019093097A1 true WO2019093097A1 (ja) 2019-05-16

Family

ID=66438919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038919 WO2019093097A1 (ja) 2017-11-10 2018-10-19 検出装置及び建設機械

Country Status (6)

Country Link
US (1) US20200277759A1 (ja)
EP (1) EP3674488A4 (ja)
JP (1) JP2019085855A (ja)
CN (1) CN111108251A (ja)
AU (1) AU2018365641A1 (ja)
WO (1) WO2019093097A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021183448A (ja) * 2020-05-22 2021-12-02 鉄建建設株式会社 建設車両用映像表示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7524697B2 (ja) * 2020-09-30 2024-07-30 セイコーエプソン株式会社 三次元造形用データの生成方法および三次元造形物の製造方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173037A (ja) 2002-11-21 2004-06-17 Kyocera Corp 車載カメラの光軸ずれ検出装置
JP2011038273A (ja) * 2009-08-07 2011-02-24 Caterpillar Sarl 作業機械の遠隔診断システム
JP2015049651A (ja) * 2013-08-30 2015-03-16 日立建機株式会社 作業機械の周囲監視装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517917B1 (ko) * 2007-08-09 2015-05-07 히다치 겡키 가부시키 가이샤 작업기계의 기기 진단장치 및 기기 진단시스템
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
AU2014262221C1 (en) * 2013-11-25 2021-06-10 Esco Group Llc Wear part monitoring
JP2015224875A (ja) * 2014-05-26 2015-12-14 Kyb株式会社 作業機の作動状態検出システム及び作業機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173037A (ja) 2002-11-21 2004-06-17 Kyocera Corp 車載カメラの光軸ずれ検出装置
JP2011038273A (ja) * 2009-08-07 2011-02-24 Caterpillar Sarl 作業機械の遠隔診断システム
JP2015049651A (ja) * 2013-08-30 2015-03-16 日立建機株式会社 作業機械の周囲監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3674488A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021183448A (ja) * 2020-05-22 2021-12-02 鉄建建設株式会社 建設車両用映像表示システム
JP7428588B2 (ja) 2020-05-22 2024-02-06 鉄建建設株式会社 建設車両用映像表示システム

Also Published As

Publication number Publication date
JP2019085855A (ja) 2019-06-06
US20200277759A1 (en) 2020-09-03
EP3674488A1 (en) 2020-07-01
AU2018365641A1 (en) 2020-05-14
EP3674488A4 (en) 2020-12-23
CN111108251A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
KR102243677B1 (ko) 작업 기계
US11959253B2 (en) Excavator and information processing apparatus
US9115482B2 (en) Collision detection and mitigation systems and methods for a shovel
EP3164769B1 (en) Machine safety dome
JPWO2019111859A1 (ja) 周辺監視装置
US20220042286A1 (en) Shovel
US20220154431A1 (en) Shovel and information processing apparatus
JP2020012323A (ja) 作業機械
US20220042282A1 (en) Shovel, and safety equipment confirmation system at worksite
US11781290B2 (en) Shovel and output device of shovel
JP6757759B2 (ja) 作業車両
WO2021059823A1 (ja) 容器計測システム
WO2020166241A1 (ja) 監視装置及び建設機械
WO2019093097A1 (ja) 検出装置及び建設機械
US12054919B2 (en) Shovel with external notification function
WO2022091838A1 (ja) 安全評価システムおよび安全評価方法
US20220389682A1 (en) Overturning-risk presentation device and overturning-risk presentation method
US20220356680A1 (en) Operation area presentation device and operation area presentation method
WO2023091984A1 (en) Collision avoidance system
CN116300859A (zh) 用于指示远程控制机器的停止距离的视觉覆盖图

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875024

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018875024

Country of ref document: EP

Effective date: 20200325

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018365641

Country of ref document: AU

Date of ref document: 20181019

Kind code of ref document: A