[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021192655A1 - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
WO2021192655A1
WO2021192655A1 PCT/JP2021/004451 JP2021004451W WO2021192655A1 WO 2021192655 A1 WO2021192655 A1 WO 2021192655A1 JP 2021004451 W JP2021004451 W JP 2021004451W WO 2021192655 A1 WO2021192655 A1 WO 2021192655A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle body
work machine
detection device
obstacle
Prior art date
Application number
PCT/JP2021/004451
Other languages
English (en)
French (fr)
Inventor
裕保 斉藤
秀一 森木
井村　進也
孝昭 千葉
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to JP2022509357A priority Critical patent/JP7329134B2/ja
Priority to EP21775959.6A priority patent/EP4102328A4/en
Priority to CN202180021128.4A priority patent/CN115298632A/zh
Priority to US17/912,026 priority patent/US20230137344A1/en
Priority to KR1020227031971A priority patent/KR20220131393A/ko
Publication of WO2021192655A1 publication Critical patent/WO2021192655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/10—Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
    • E02F9/12—Slewing or traversing gears
    • E02F9/121—Turntables, i.e. structure rotatable about 360°
    • E02F9/123—Drives or control devices specially adapted therefor
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2203—Arrangements for controlling the attitude of actuators, e.g. speed, floating function
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators

Definitions

  • the present invention relates to a work machine.
  • Patent Document 1 describes an obstacle detection unit that detects obstacles, a map creation unit that records information on obstacles detected by the obstacle detection unit on an environmental map, and an obstacle recorded by the map creation unit.
  • An autonomous movement device including an obstacle erasing unit that erases information from the environment map according to the passage of time and a route determination unit that sets a movement route based on the information recorded on the environment map is disclosed.
  • the obstacle information is deleted from the environmental map according to the time and the number of times the obstacle is detected, and the deletion speed is adjusted. doing.
  • the cause of the obstacle being out of the detection range is not always fully considered, and if the obstacle goes out of the detection range due to entering the blind spot of the in-vehicle obstacle detection unit, autonomous movement is performed. There is concern about contact between the device and obstacles.
  • the plan of the avoidance route considering the obstacle outside the detection range will be excessive for the movement route of the autonomous mobile device. ..
  • the present invention has been made in view of the above, and an object of the present invention is to provide a working machine capable of appropriately processing information on an object outside the detection range according to the cause.
  • the present application includes a plurality of means for solving the above problems, and to give an example thereof, a vehicle body having a moving device, a working device provided on the vehicle body, and a plurality of operating the moving device and the working device.
  • the object detection device Based on the information of the actuator, the object detection device that detects the object around the vehicle body, and the object detected by the object detection device, an environment map including the information about the object existing around the vehicle body is created.
  • the control device is based on the detection result of the object detected by the object detection device.
  • the type of the object is determined, the moving direction of the object is predicted, and the object detected by the object detecting device is out of the detection range of the object detecting device based on the type and the moving direction of the object.
  • Information about the object determined to have moved shall be deleted from the environment map.
  • information on an object outside the detection range can be appropriately processed according to the cause.
  • FIG. 1 is a perspective view schematically showing the appearance of a hydraulic excavator which is an example of a work machine according to the present embodiment
  • FIG. 2 is a side view
  • FIG. 3 is a functional block diagram schematically showing a part of the processing functions of the control device mounted on the hydraulic excavator.
  • the hydraulic excavator 100 is configured by connecting a plurality of driven members (boom 8, arm 9, bucket (working tool) 10) that rotate in the vertical direction, respectively.
  • An articulated front work machine 24, an upper swivel body 22 and a lower traveling body 20 constituting a vehicle body are provided, and the upper swivel body 22 is provided so as to be able to swivel with respect to the lower traveling body 20 via a swivel mechanism 21. ing.
  • the swivel mechanism 21 has a swivel motor 23 and a vehicle body swivel angle detection device 27, the upper swivel body 22 is swiveled with respect to the lower traveling body 20 by the swivel motor 23, and the lower part is swiveled by the vehicle body swivel angle detection device 27. The turning angle with respect to the traveling body 20 is detected.
  • the base end of the boom 8 of the front working machine 24 is vertically rotatably supported by the front portion of the upper swing body 22, and one end of the arm 9 is at an end (tip) different from the base end of the boom 8. It is rotatably supported in the vertical direction, and the bucket 10 is rotatably supported in the vertical direction at the other end of the arm 9.
  • the boom 8, arm 9, bucket 10, upper swivel body 22, and lower traveling body 20 are the boom cylinder 5, arm cylinder 6, bucket cylinder 7, swivel motor 23, and left and right traveling motors 3 (however, the left and right traveling motors 3), which are hydraulic actuators. Only one traveling motor is shown).
  • the z-axis whose origin is the intersection of the turning center axis 25 of the upper turning body 22 and the lower surface of the upper turning body 22 and whose upper side is positive along the turning center axis 25 is perpendicular to the z-axis from the origin.
  • a vehicle body coordinate system is set having an x-axis having a positive front in the front-rear direction and a y-axis having a positive right direction in the left-right direction perpendicular to the z-axis and the x-axis from the origin.
  • the cab 2 on which the operator is boarding is mounted on the front left side of the upper swivel body 22. Further, a control device 44 for controlling the overall operation of the hydraulic excavator 100 is arranged on the upper swing body 22.
  • the cab 2 is provided with operation levers (operation devices) 2a and 2b that output operation signals for operating the hydraulic actuators 5 to 7, 23.
  • the operating levers 2a and 2b can be tilted back and forth and left and right, respectively, and include a detection device (not shown) that electrically detects the tilting amount of the lever, which is an operation signal, that is, the lever operating amount.
  • the lever operation amount is output to the control device 44 (described later) via electrical wiring. That is, the operations of the hydraulic actuators 5 to 7 and 23 are assigned to the operation levers 2a and 2b in the front-rear direction or the left-right direction, respectively.
  • the operation control of the boom cylinder 5, arm cylinder 6, bucket cylinder 7, swivel motor 23, and left and right traveling motors 3 is performed by hydraulic actuators 3, 5 to each from a hydraulic pump device driven by a prime mover such as an engine or an electric motor (not shown). This is done by controlling the direction and flow rate of the hydraulic oil supplied to 7 and 23 with a control valve or the like.
  • the operation of the control valve is controlled by the control device 44 based on the operation signals from the operation levers 2a and 2b, whereby the operation of each of the hydraulic actuators 5 to 7, 23 is controlled.
  • Posture sensors 34A, 34B, and 34C are attached to the base of the boom 8, the connection between the boom 8 and the arm 9, and the connection between the arm 9 and the bucket 10, respectively.
  • the attitude sensors 34A, 34B, 34C are mechanical angle sensors such as potentiometers, for example.
  • the posture sensor 34A measures the angle ⁇ 1 formed by the longitudinal direction of the boom 8 (a straight line connecting the rotation centers at both ends) and the xy plane and transmits the angle ⁇ 1 to the control device 44.
  • the attitude sensor 34B measures the angle ⁇ 2 formed by the longitudinal direction of the boom 8 (straight line connecting the rotation centers at both ends) and the longitudinal direction of the arm 9 (straight line connecting the rotation centers at both ends), and the control device 44.
  • the attitude sensor 34C measures the angle ⁇ 3 formed by the longitudinal direction of the arm 9 (the straight line connecting the rotation centers at both ends) and the longitudinal direction of the bucket 10 (the straight line connecting the rotation centers and the toes), and the control device 44.
  • the vehicle body turning angle detecting device 27 and the posture sensors 34A to 34C constitute a posture information detecting device 35 that detects the posture information of the upper turning body 22 and the front working machine 24.
  • the swing center 38 of the front work machine 24 (the connection portion of the boom 8 with the upper swing body 22) is arranged at a position different from that of the swing center shaft 25 is illustrated.
  • the rotation center axis 25 and the swing center 38 may be arranged so as to intersect with each other.
  • the inertial measurement unit IMU: Inertial
  • stroke sensors are arranged in the boom cylinder 5, the arm cylinder 6, and the bucket cylinder 7, respectively, and the relative orientations of the upper swing body 22, the boom 8, the arm 9, and the bucket 10 are relative to each other based on the stroke change amount.
  • the posture information may be calculated, and each angle may be obtained from the result.
  • a plurality of (for example, four) in-vehicle obstacle detection devices 26 for detecting objects around the vehicle body (upper turning body 22, lower traveling body 20) are arranged on the upper turning body 22.
  • the installation position and number of the in-vehicle obstacle detection device 26 are not particularly limited to the example of the present embodiment, and it is sufficient that the field of view in all directions of the vehicle body (that is, 360 degrees around the hydraulic excavator 100) can be secured.
  • four in-vehicle obstacle detection devices 26 are installed in the upper part of the cab 2, the left side, the right side front part, and the right side rear part of the upper swing body 22, respectively, and are 360 degrees around the vehicle body. The case where the field of view is covered will be described as an example.
  • the in-vehicle obstacle detection device 26 is, for example, a sensor using LiDAR (Laser Imaging Detection and Ringing) technology, detects an object around the hydraulic excavator 100, and controls the coordinate data thereof. It is transmitted to the device 44.
  • LiDAR Laser Imaging Detection and Ringing
  • the front working machine length R shown in FIG. 2 is the distance R from the turning center shaft 25 to the tip of the front working machine 24.
  • the lengths of the boom 8, the arm 9, and the bucket 10 are L1, L2, and L3, respectively.
  • the angle ⁇ 1 formed by the xy plane and the longitudinal direction of the boom 8 is measured by the posture sensor 34A.
  • the angle ⁇ 2 formed by the boom 8 and the arm 9 and the angle ⁇ 3 formed by the arm 9 and the bucket 10 are measured by the posture sensors 34B and 34C, respectively.
  • the height Z0 from the xy plane to the swing center 38 is obtained in advance. Further, the distance L0 from the turning center axis 25 to the swing center 38 is also obtained in advance.
  • the angle ⁇ 2a formed by the xy plane and the longitudinal direction of the arm 9 can be calculated.
  • the angle ⁇ 3b formed by the xy plane and the longitudinal direction of the bucket 10 can be calculated. That is, the front work captain R can be calculated by the following (Equation 1).
  • R L0 + L1cos ⁇ 1 + L2cos ⁇ 2 + L3cos ⁇ 3 ... (Equation 1)
  • the control device 44 includes a map creation unit 51, a map recording unit 52, a route determination unit 53, a type determination unit 54, a movement direction determination unit 55, a detection information recording unit 56, an operation direction calculation unit 57, and an obstacle.
  • the object deletion unit 58 is provided. I have.
  • the map creation unit 51 creates an environmental map including information on objects existing around the vehicle body based on the position information of the object (obstacle) detected by the in-vehicle obstacle detection device 26, and maps the created environmental map. It is transmitted to the recording unit 52.
  • the obstacle in the present embodiment is an object existing around the vehicle body and excluding the ground. For example, a moving object such as another work machine or a worker, a building, or a constant object. It is an object such as a rock of the above size, or a fixed object such as a sign.
  • the type determination unit 54 determines the type of obstacle detected by the in-vehicle obstacle detection device 26, and transmits the determination result to the obstacle deletion unit 58.
  • a pattern matching technique such as image recognition is used for the image obtained by the in-vehicle obstacle detection device 26, and the image is compared with the image of the object for which the type has been selected in advance. By doing so, the type of the most similar object is determined as the type of the obstacle detected by the in-vehicle obstacle detection device 26.
  • the movement direction determination unit 55 determines the movement direction from the movement direction and the movement speed at which the object (obstacle) is expected to move based on the position information and the detection direction of the object detected by the in-vehicle obstacle detection device 26. It is determined whether or not it is a blind spot (described later), and the determination result is transmitted to the obstacle deletion unit 58.
  • the distance traveled and the moving speed are determined from the difference between the position of the object detected at time (t-1) and the position of the same object detected at time (t). , And the direction (movement direction) are calculated.
  • the detection information recording unit 56 records the position of the obstacle detected by the in-vehicle obstacle detection device 26, the detection time, the detection direction, and the position of the in-vehicle obstacle detection device 26 that has detected the obstacle, and records the information in the obstacle. It is transmitted to the object deletion unit 58.
  • the operation direction calculation unit 57 is based on the information of the front work machine length R and the turning angle calculated by the posture information detection device 35, and the front work machine 24 (bucket (work tool) 10)) and the vehicle body (upper turning body 22, lower part).
  • the operation direction of the traveling body 20) is calculated, and the calculation result is transmitted to the obstacle deletion unit 58.
  • the operation direction of the front work machine 24 or the vehicle body is calculated from the difference between the information one step before in the unit processing time in the control device 44 and the current information.
  • the map recording unit 52 records the environmental map created by the map creation unit 51.
  • the obstacle information received from the obstacle deletion unit 58 is deleted from the environment map.
  • the obstacle deletion unit 58 determines the information of the obstacle to be deleted from the environment map based on the information obtained from the type determination unit 54, the movement direction determination unit 55, the detection information recording unit 56, and the operation direction calculation unit 57. , Sends a request to delete the information of the obstacle to the map recording unit 52.
  • the route determination unit 53 refers to the environment map recorded in the map recording unit 52, corrects the route input by the operator by operating the operation lever 2, or calculates the movement route to the target position, and causes the actuator 33 to calculate the movement route. In response, an operation command is output.
  • the control device 44 calculates the operating directions of the vehicle body and the front work equipment 24 based on the posture information detected by the posture information detection device 35, and the in-vehicle obstacle detection device. Based on the detection result of the object detected in 26, the type of the object is determined, the moving direction of the object is predicted, and the operating direction of the vehicle body and the front working machine 24 and the type and moving direction of the object are used.
  • the object information deletion process is performed to immediately delete the information about the object detected by the vehicle-mounted obstacle detection device 26 and moved out of the detection range of the vehicle-mounted obstacle detection device 26 from the environment map.
  • FIG. 4 is a flowchart showing the processing content of the object information deletion process in the control device. The processing described below is performed for each obstacle.
  • control device 44 determines whether or not an obstacle is detected by the in-vehicle obstacle detection device 26 (step S110), and when the determination result is NO, that is, when no obstacle is detected. Ends the process.
  • step S110 determines whether an obstacle is detected by the in-vehicle obstacle detection device 26 is YES. If the determination result in step S110 is YES, that is, if an obstacle is detected by the in-vehicle obstacle detection device 26, the map creation unit 51 creates an environmental map (step S120). The environmental map is recorded by the map recording unit 52 (step S130). In the environmental map recorded in the map recording unit 52, information on obstacles included in the environmental map newly created by the map creation unit 51 is accumulated and recorded.
  • FIG. 5 is a diagram showing an example of an environmental map. Further, FIG. 6 is a top view schematically showing the state of the surroundings of the vehicle body corresponding to the environmental map shown in FIG.
  • the environmental map is created based on the coordinates, shape, and reliability of the information of the obstacle 37 obtained by the in-vehicle obstacle detection device 26. Further, as shown in FIG. 6, information on obstacles 37 detected in the detection ranges 26A to 26D of the vehicle-mounted obstacle detection device 26 is recorded on the environmental map.
  • the outside of the detection ranges 26A to 26D of the vehicle-mounted obstacle detection device 26, that is, the undetectable range is referred to as a blind spot.
  • the environmental map records, for example, the existence probability of the obstacle 37 at the position corresponding to each grid point when a grid of 10 cm ⁇ 10 cm is set around the vehicle body as the value of each grid point.
  • the environmental map may be used, for example, in a contact prevention function for preventing contact with an obstacle or a movement route planning function for calculating a movement route to a target position while avoiding an obstacle. That is, for example, the route determination unit 53 estimates the position where the obstacle is likely to exist based on the existence probability of the obstacle on the environmental map, and sets the bucket 10 to the most obstacle between the current position and the target position. A path having a low probability of existence is determined, and an instruction signal is output to the actuators 23, 5, 6, and 7 so that the bucket 10 moves along the path.
  • the environmental map can also be used for displaying to the operator during manual and semi-automatic operation, and for processing to reduce collisions based on the existence probability of the obstacle 37. In FIG.
  • the existence probability of the obstacle 37 on the environmental map is expressed by one type of hatching.
  • the existence probability may be expressed by a color scheme such that the lighter the color, the lower the existence probability.
  • step S140 when the process of step S130 is completed, it is subsequently determined whether or not the obstacle 37 is within the movable range (step S140), and when the determination result is NO, that is, the obstacle 37 is movable. If it is detected outside the range, a deletion instruction is transmitted to the map recording unit 52 so as to immediately delete the information (existence probability) related to the obstacle 37 from the environment map (step S141), and the process ends.
  • FIG. 7 is a diagram showing a movable range of a hydraulic excavator, which is a work machine.
  • the movable range 22A related to the front work machine 24 of the hydraulic excavator 100 can be reached by the front work machine 24 when the upper swivel body 22 turns 360 degrees when the front work machine length R takes the longest posture.
  • the movable range 20A related to the lower traveling body 20 is a range that the vehicle body can reach in, for example, T seconds when the hydraulic excavator 100 is traveling.
  • the movable range in which the movable ranges 20A and 24A are integrated is defined as the movable range 100A related to the hydraulic excavator 100.
  • step S150 it is determined whether or not the obstacle has moved to the blind spot due to the vehicle body movement (step S150). If the determination result in step S150 is NO, the information (existence probability) related to the obstacle 37 is held in the environment map (step S161), and the process ends.
  • step S150 determines whether or not the obstacle is a moving object (step S160). If the determination result in step S160 is NO, the information (existence probability) related to the obstacle 37 is held in the environment map (step S161), and the process ends.
  • step S160 it is determined whether or not an obstacle (moving object) is moving (step S170). If the determination result in step S170 is YES, the existence probability of the obstacle is held for n / a seconds (step S151), and then the existence probability is deleted over a time of m / b seconds (that is, 0 (zero)). ) (Step S152), and the process ends. If the determination result in step S170 is NO, the process proceeds to step S151.
  • FIG. 8 is a diagram illustrating a method of generating an environmental map when the vehicle body turns and determining deletion of obstacle information.
  • the vehicle body turns and obstacles within the movable range 24A are in-vehicle obstacle detection devices.
  • the existence probability is maintained regardless of the type of obstacle.
  • the existence probability is immediately deleted regardless of the type of obstacle.
  • the vehicle body stops at the destination for a certain period of time, for example, n seconds, and the turning operation is not performed, it is determined whether to delete the existence probability according to the type of obstacle.
  • an obstacle is divided into a moving obstacle (moving object 40A) and a fixed obstacle (fixed object 39).
  • the moving object 40A mainly represents a worker or another machine, and the fixed object 39 represents a pillar, a wall, a cone, or the like.
  • n seconds is set to be equal to or longer than the time required for the average operator to operate the hydraulic excavator 100 to perform excavation and loading operations.
  • the moving object 40A after n seconds has passed is discriminated, the existence probability is gradually reduced, and the moving object is completely deleted after m seconds.
  • the m second is determined according to the original existence probability of the moving object 40A and the distance from the vehicle body.
  • the moving object 40A existing at a position away from the vehicle body, such as outside the movable range 24A of the hydraulic excavator 100 has a low risk of contact with the vehicle body, so that the deletion speed is increased.
  • the moving object 40A existing in the vicinity of the vehicle body, such as within the movable range 24A of the hydraulic excavator 100 has a high risk of contact with the vehicle body, and therefore the speed of deletion is slowed down.
  • the deletion speed is slowed down because there is a possibility that the moving object 40A exists in the vicinity of the detection position after n seconds.
  • the deletion determination is performed with priority given to highly reliable information. Further, when the reliability of the obstacle 37 information is low and it is difficult to determine the type of the obstacle 37, it is treated as a moving object 40A.
  • 9 and 10 are diagrams for explaining a method of determining deletion of obstacle information when a moving object moves to a blind spot while the vehicle body is stopped.
  • the obstacle deletion unit 58 calculates the deletion speed of the existence probability from the movement direction and the vehicle body operation direction of the moving object 40A obtained from the movement direction determination unit 55 and the operation direction calculation unit 57. For example, if the moving object 40A moves in the direction outside the movable range 24A and moves to the blind spot by the turning motion of the vehicle body before moving out of the detection range, it is determined that the moving object 40A is about to leave the vehicle body. Then, the existence probability is held for n / a seconds and deleted in m / b seconds.
  • the variables a and b are adjustment values of 1 or more, and change according to the positions of the vehicle body and the last detected moving object 40A, and the value increases as the distance from the vehicle body increases. Further, for example, when the moving object 40A moves in the blind spot direction and moves to the blind spot by the turning motion of the vehicle body before moving out of the detection range, the existence probability is maintained for n seconds and m seconds as before. Delete later.
  • the obstacle information is deleted from the environmental map according to the time and number of times the obstacle is detected, and the deletion speed is adjusted. ing.
  • the cause of the obstacle being out of the detection range is not always fully considered, and if the obstacle goes out of the detection range due to entering the blind spot of the in-vehicle obstacle detection unit, the vehicle body and the vehicle body There is concern about contact with obstacles.
  • the plan of the avoidance route in consideration of the obstacle outside the detection range may be excessive for the movement route of the vehicle body.
  • the operating directions of the vehicle body and the working device are calculated based on the attitude information detected by the attitude information detection device 35, and the object detected by the in-vehicle obstacle detection device 26 is detected.
  • the type of the object is determined, the moving direction of the object is predicted, and the object detected by the object detecting device is based on the operating direction of the vehicle body and the working device and the type and moving direction of the object. Since it is configured to immediately delete the information about the object that has moved out of the detection range of the object detection device from the environment map, the information of the object that is out of the detection range can be processed appropriately according to the cause. It is possible to improve work efficiency while suppressing deterioration of safety.
  • the case where an object (obstacle) is detected by using the in-vehicle obstacle detection device 26 is shown, but in the present embodiment, another obstacle detection device (environmental obstacle detection device 41) is used. ) Also indicates the case of detecting an object (obstacle).
  • FIG. 11 is a functional block diagram schematically showing a part of the processing functions of the control device mounted on the hydraulic excavator according to the present embodiment.
  • FIG. 12 is a top view schematically showing a detection range of the environmental obstacle detection device.
  • the same members as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the environmental obstacle detection device 41 is mainly installed for the purpose of reducing the blind spot in the movable range 24A of the hydraulic excavator 100.
  • the installation position and number of the environmental obstacle detection device 41 are not particularly limited to the example of the present embodiment.
  • the environmental obstacle detection device 41 is, for example, a sensor or a camera using a self-supporting LiDAR (Laser Imaging Detection and Ringing) technology equipped with a tripod or the like, and is around the hydraulic excavator 100. A certain object is detected, and the coordinate data thereof is transmitted to the control device 44.
  • LiDAR Laser Imaging Detection and Ringing
  • the environmental obstacle detection device 41 transmits the position, detection time, and detection direction of the detected obstacle 37 (moving object 40A) to the control device 44.
  • the type determination unit 54, the movement direction determination unit 55, and the detection information recording unit 56 have higher reliability of the obstacle 37 (moving object 40A) detected by the in-vehicle obstacle detection device 26 and the environmental obstacle detection device 41, respectively. Give priority to information, determine and record.
  • the environmental obstacle detection device 41 Since the environmental obstacle detection device 41 is not affected by the operation of the hydraulic excavator 100, it is possible to constantly monitor the obstacle 37 (moving object 40A) within the detection range 41A to 41F. Therefore, the position of the obstacle 37 (moving object 40A) can be detected in a wider range. For example, the in-vehicle obstacle detection device 26 and the environmental obstacle detection device 41 detect the entire movable range 24A of the hydraulic excavator 100. When possible, the obstacle deletion unit 58 immediately deletes all obstacles 37 (moving objects 40A) outside the movable range 24A.
  • This embodiment shows a case where a wheel type work machine such as a wheel loader is used as the work machine.
  • FIG. 13 is a diagram showing a movable range of a wheel loader which is a work machine.
  • the movable range 200A of the wheel loader 200 is a range that can be moved in the front-rear direction in T seconds with the steering wheel turned to the left and right to the limit.
  • the present invention is not limited to the above-described embodiment, and includes various modifications and combinations within a range that does not deviate from the gist thereof. Further, the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted. Further, each of the above configurations, functions and the like may be realized by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Swing center 39 ... Fixed object, 40A ... Moving object, 41 ... Environmental obstacle detection device, 41A to 41F ... Detection range, 44 ... control device, 51 ... map creation unit, 52 ... map recording unit, 53 ... route determination unit, 54 ... type determination unit, 55 ... movement direction determination unit, 56 ... detection information recording unit, 57 ... operation direction Calculation unit, 58 ... Obstacle removal unit, 100 ... Hydraulic excavator, 100A ... Movable range, 200 ... Wheel loader, 200A ... Movable range

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Soil Working Implements (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Abstract

車載障害物検出装置で検出された物体の検出結果に基づいて、物体の種別を判定するとともに、物体の移動方向を予測し、物体の種別および移動方向に基づいて、車載障害物検出装置により検出された物体であって車載障害物検出装置の検出範囲外に移動したと判定された物体に関する情報を環境地図から即時削除する。これにより、検出範囲外となった物体の情報をその原因に応じて適切に処理することができる。

Description

作業機械
　本発明は、作業機械に関する。
　従来から、検出した障害物情報を基に環境地図を生成、もしくは削除し、生成した環境地図の情報に応じて車体動作を制御する技術が存在する。
　例えば、特許文献１には、障害物を検出する障害検出部と、前記障害検出部が検出した障害物の情報を環境地図に記録する地図作成部と、前記地図作成部が記録した障害物の情報を時間経過に応じて前記環境地図から消去する障害消去部と、前記環境地図に記録された情報に基づいて移動経路を設定する経路判定部と、を備える自律移動装置が開示されている。
特開２０１９－１２５０４号公報
　上記従来技術においては、車載障害物検出部の検出範囲外の障害物に対して、障害物が検出された時間および回数に応じて障害物の情報を環境地図から削除し、かつ削除速度を調整している。しかしながら、障害物が検出範囲外となった原因については必ずしも十分に考慮されておらず、障害物が車載障害物検出部の死角に入ったことによって検出範囲外となった場合には、自律移動装置と障害物との接触が懸念される。また、障害物が検出範囲外となった原因を特定できないため、自律移動装置の移動経路について、検出範囲外となった障害物を考慮した回避経路の計画が過剰となってしまうことも考えられる。
　本発明は上記に鑑みてなされたものであり、検出範囲外となった物体の情報をその原因に応じて適切に処理することができる作業機械を提供することを目的とする。
　本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、移動装置を有する車体と、前記車体に設けられた作業装置と、前記移動装置および前記作業装置を動作させる複数のアクチュエータと、前記車体の周囲の物体を検出する物体検出装置と、前記物体検出装置で検出された物体の情報に基づいて、前記車体の周囲に存在する物体に関する情報を含む環境地図を作成し、作成した前記環境地図に基づいて、前記複数のアクチュエータを動作させる制御装置とを備えた作業機械において、前記制御装置は、前記物体検出装置で検出された前記物体の検出結果に基づいて、前記物体の種別を判定するとともに、前記物体の移動方向を予測し、前記物体の種別および移動方向とに基づいて、前記物体検出装置により検出された物体であって前記物体検出装置の検出範囲外に移動したと判定された前記物体に関する情報を前記環境地図から削除するものとする。
　本発明によれば、検出範囲外となった物体の情報をその原因に応じて適切に処理することができる。
第１の実施の形態に係る作業機械の一例である油圧ショベルの外観を模式的に示す斜視図である。 油圧ショベルの外観を模式的に示す側面図である。 油圧ショベルに搭載される制御装置の処理機能の一部を模式的に示す機能ブロック図である。 制御装置における物体情報削除処理の処理内容を示すフローチャートである。 環境地図の一例を示す図である。 図５に示す環境地図に対応する車体の周囲の様子を模式的に示す上面図である。 作業機械である油圧ショベルの可動範囲を示す図である。 車体が旋回した場合における環境地図の生成と、障害物の情報の削除判断方法について説明する図である。 車体が停止した状態において移動物体が死角に移動した場合の障害物情報の削除判断方法について説明する図である。 車体が停止した状態において移動物体が死角に移動した場合の障害物情報の削除判断方法について説明する図である。 第２の実施の形態における油圧ショベルに搭載される制御装置の処理機能の一部を模式的に示す機能ブロック図である。 環境障害物検出装置の検出範囲を模式的に示す上面図である。 第３の実施の形態に係る作業機械であるホイールローダの可動範囲を示す図である。
　以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本発明の実施の形態では、作業機械として、フロント作業機（作業装置）を備える油圧ショベルを例示して説明するが、ホイールローダやクレーンのような作業装置を備える他の作業機械にも本発明を適用することが可能である。
　＜第１の実施の形態＞
  本発明の第１の実施の形態を図１～図１０を参照しつつ説明する。
　図１は、本実施の形態に係る作業機械の一例である油圧ショベルの外観を模式的に示す斜視図であり、図２は側面図である。また、図３は、油圧ショベルに搭載される制御装置の処理機能の一部を模式的に示す機能ブロック図である。
　図１及び図２において、油圧ショベル１００は、油圧ショベル１００は、垂直方向にそれぞれ回動する複数の被駆動部材（ブーム８、アーム９、バケット（作業具）１０）を連結して構成された多関節型のフロント作業機２４と、車体を構成する上部旋回体２２及び下部走行体２０とを備え、上部旋回体２２は旋回機構２１を介して下部走行体２０に対して旋回可能に設けられている。旋回機構２１は、旋回モータ２３と車体旋回角度検出装置２７とを有しており、旋回モータ２３によって上部旋回体２２が下部走行体２０に対して旋回駆動され、車体旋回角度検出装置２７によって下部走行体２０に対する旋回角度が検出される。
　フロント作業機２４のブーム８の基端は上部旋回体２２の前部に垂直方向に回動可能に支持されており、アーム９の一端はブーム８の基端とは異なる端部（先端）に垂直方向に回動可能に支持されており、アーム９の他端にはバケット１０が垂直方向に回動可能に支持されている。ブーム８、アーム９、バケット１０、上部旋回体２２、及び下部走行体２０は、油圧アクチュエータであるブームシリンダ５、アームシリンダ６、バケットシリンダ７、旋回モータ２３、及び左右の走行モータ３（ただし、一方の走行モータのみを図示する）によりそれぞれ駆動される。
　ここで、上部旋回体２２の旋回中心軸２５と上部旋回体２２の下面との交点を原点とし、旋回中心軸２５に沿って上方を正とするｚ軸を、原点からｚ軸に垂直となる前後方向に前方を正とするｘ軸を、原点からｚ軸およびｘ軸に垂直となる左右方向に右方向を正とするｙ軸を有する車体座標系を設定する。
　上部旋回体２２の前方左側には、オペレータが搭乗するキャブ２が搭載されている。また、上部旋回体２２には、油圧ショベル１００の全体の動作を制御する制御装置４４が配置されている。キャブ２には、油圧アクチュエータ５～７，２３を操作するための操作信号を出力する操作レバー（操作装置）２ａ，２ｂが設けられている。図示はしないが操作レバー２ａ，２ｂはそれぞれ前後左右に傾倒可能であり、操作信号であるレバーの傾倒量、すなわちレバー操作量を電気的に検知する図示しない検出装置を含み、検出装置が検出したレバー操作量を制御装置４４（後述）に電気配線を介して出力する。つまり、操作レバー２ａ，２ｂの前後方向または左右方向に、油圧アクチュエータ５～７，２３の操作がそれぞれ割り当てられている。
　ブームシリンダ５、アームシリンダ６、バケットシリンダ７、旋回モータ２３及び左右の走行モータ３の動作制御は、図示しないエンジンや電動モータなどの原動機によって駆動される油圧ポンプ装置から各油圧アクチュエータ３，５～７，２３に供給される作動油の方向及び流量をコントロールバルブなどで制御することにより行う。コントロールバルブは、操作レバー２ａ，２ｂからの操作信号に基づいて制御装置４４により動作制御され、これによって各油圧アクチュエータ５～７，２３の動作が制御される。
　ブーム８の基部、ブーム８とアーム９との接続部、及びアーム９とバケット１０との接続部には、それぞれ、姿勢センサ３４Ａ，３４Ｂ，３４Ｃが取り付けられている。姿勢センサ３４Ａ，３４Ｂ，３４Ｃは、例えば、ポテンショメータのような機械式の角度センサである。図３に示すように、姿勢センサ３４Ａは、ブーム８の長手方向（両端の回動中心を結ぶ直線）とｘ－ｙ平面とのなす角度β１を測定して制御装置４４へ送信する。また、姿勢センサ３４Ｂは、ブーム８の長手方向（両端の回動中心を結ぶ直線）とアーム９の長手方向（両端の回動中心を結ぶ直線）とのなす角度β２を測定して制御装置４４へ送信する。また、姿勢センサ３４Ｃは、アーム９の長手方向（両端の回動中心を結ぶ直線）とバケット１０の長手方向（回動中心と爪先を結ぶ直線）とのなす角度β３を測定して制御装置４４へ送信する。ここで、車体旋回角度検出装置２７及び姿勢センサ３４Ａ～３４Ｃは、上部旋回体２２及びフロント作業機２４の姿勢情報を検出する姿勢情報検出装置３５を構成する。
　なお、本実施の形態においては、フロント作業機２４の揺動中心３８（ブーム８の上部旋回体２２との接続部）は、旋回中心軸２５とは異なる位置に配置されている場合を例示して説明するが、旋回中心軸２５と揺動中心３８とが交差するように配置しても良い。
　また、本実施の形態においては、姿勢情報検出装置３５として角度センサなどを用いる場合を例示して説明したが、車体旋回角度検出装置２７及び姿勢センサ３４Ａ～３４Ｃとして、慣性計測装置（IMU: Inertial Measurement Unit）を用いても良い。また、ブームシリンダ５、アームシリンダ６、及びバケットシリンダ７にそれぞれストロークセンサを配置し、ストローク変化量から上部旋回体２２やブーム８、アーム９、及びバケット１０の各接続部分における相対的な向き（姿勢情報）を算出し、その結果から各角度を求めるように構成してもよい。
　上部旋回体２２には、車体（上部旋回体２２、下部走行体２０）の周囲の物体を検出する複数（例えば４つ）の車載障害物検出装置２６が配置されている。車載障害物検出装置２６の設置位置や数は特に本実施の形態の例に限定されるものではなく、車体の全方向（すなわち、油圧ショベル１００の周囲３６０度）の視野を確保できれば良い。本実施の形態においては、４つの車載障害物検出装置２６が、キャブ２の上部、上部旋回体２２の左側方、右側方前部、及び、右側方後部にそれぞれ設置され、車体の周囲３６０度の視野を網羅している場合を例示して説明する。車載障害物検出装置２６は、例えば、ＬｉＤＡＲ（Laser Imaging Detection and Ranging、レーザー画像検出と測距）技術を用いたセンサであり、油圧ショベル１００の周囲にある物体を検出し、その座標データを制御装置４４に送信する。
　図２に示したフロント作業機長Ｒは、旋回中心軸２５からフロント作業機２４の先端までの距離Ｒである。ブーム８、アーム９、及びバケット１０の長さを、それぞれＬ１，Ｌ２，Ｌ３とする。ｘ－ｙ面と、ブーム８の長手方向とのなす角度β１が、姿勢センサ３４Ａにより測定される。ブーム８とアーム９とのなす角度β２、及びアーム９とバケット１０とのなす角度β３が、それぞれ姿勢センサ３４Ｂ、３４Ｃにより測定される。ｘ－ｙ面から揺動中心３８までの高さＺ０は、予め求められている。また、旋回中心軸２５から揺動中心３８までの距離Ｌ０も予め求められている。角度β１及び角度β２から、ｘｙ面とアーム９の長手方向とのなす角度β２aを計算することができる。角度β１、角度β２、β３から、ｘｙ面とバケット１０の長手方向とのなす角度β３bを計算することができる。すなわち、フロント作業機長Ｒは、以下の（式１）により計算することができる。
　Ｒ＝Ｌ０+Ｌ１cosβ１+Ｌ２cosβ２+Ｌ３cosβ３　・・・（式１）
　図３において、制御装置４４は、地図作成部５１、地図記録部５２、経路判定部５３、種別判定部５４、移動方向判定部５５、検知情報記録部５６、動作方向演算部５７、及び、障害物削除部５８を備えている。
えている。
　地図作成部５１は、車載障害物検出装置２６が検出した物体（障害物）の位置情報を基に、車体の周囲に存在する物体の情報を含む環境地図を作成し、作成した環境地図を地図記録部５２に送信する。なお、本実施の形態における障害物とは、車体の周囲に存在する物体であって、地面を除く物体であり、例えば、他の作業機械や作業員などの移動物体、或いは、建造物や一定以上の大きさの岩石などの物体、或いは、標識などの固定物である。
　種別判定部５４は、車載障害物検出装置２６が検出した障害物の種別を判定し、判定結果を障害物削除部５８へ送信する。なお、種別判定部５４における種別の判定では、例えば、車載障害物検出装置２６で得られる画像に対して画像認識等のパターンマッチング技術を用い、事前に準備した種別選択済みの物体の画像と比較することで、最も類似する物体の種別を車載障害物検出装置２６で検出した障害物の種別として判定する。
　移動方向判定部５５は、車載障害物検出装置２６で検出した物体の位置情報と検出方位とに基づいて、その物体（障害物）が移動すると予想される移動方向および移動速度から、移動方向が死角（後述）か否かを判定し、判定結果を障害物削除部５８へ送信する。移動方向判定部５５における移動方向の判別では、例えば、時間（ｔ－１）において検出した物体の位置と時間（ｔ）で検出した同一の物体の位置との差分から、移動した距離、移動速度、及び方位（移動方向）を演算する。
　検知情報記録部５６は、車載障害物検出装置２６で検出した障害物の位置、検出時間、検出方位、および障害物を検出した車載障害物検出装置２６の位置を記録し、それらの情報を障害物削除部５８へ送信する。
　動作方向演算部５７は、姿勢情報検出装置３５で演算したフロント作業機長Ｒおよび旋回角度の情報に基づいて、フロント作業機２４（バケット（作業具）１０））や車体（上部旋回体２２、下部走行体２０）の動作方向を演算し、演算結果を障害物削除部５８に送信する。動作方向演算部５７における動作方向の演算では、例えば、制御装置４４における単位処理時間における１ステップ前の情報と現在の情報との差分から、フロント作業機２４や車体の動作方向を演算する。
　地図記録部５２は、地図作成部５１で作成された環境地図を記録する。また、障害物削除部５８より削除依頼を受け取った障害物の情報を環境地図から削除する。
　障害物削除部５８は、種別判定部５４、移動方向判定部５５、検知情報記録部５６、及び動作方向演算部５７より得た情報を基に、環境地図から削除する障害物の情報を決定し、その障害物の情報の削除依頼を地図記録部５２に送信する。
　経路判定部５３は、地図記録部５２に記録された環境地図を参照し、オペレータが操作レバー２を操作することにより入力する経路を補正、もしくは目標位置までの移動経路を演算し、アクチェータ３３に対して動作指令を出力する。
　以上のように構成した本実施の形態において、制御装置４４は、姿勢情報検出装置３５で検出された姿勢情報に基づいて、車体およびフロント作業機２４の動作方向を演算し、車載障害物検出装置２６で検出された物体の検出結果に基づいて、物体の種別を判定するとともに、物体の移動方向を予測し、車体およびフロント作業機２４の動作方向と、物体の種別および移動方向とに基づいて、車載障害物検出装置２６により検出された物体であって車載障害物検出装置２６の検出範囲外に移動した物体に関する情報を環境地図から即時削除する物体情報削除処理を行う。
　図４は、制御装置における物体情報削除処理の処理内容を示すフローチャートである。なお、以下で説明する処理は障害物ごとに行われる。
　図４において、制御装置４４は、車載障害物検出装置２６によって障害物が検出されているか否かを判定し（ステップＳ１１０）、判定結果がＮＯの場合、すなわち、障害物が検出されていない場合には処理を終了する。
　また、ステップＳ１１０での判定結果がＹＥＳの場合、すなわち、車載障害物検出装置２６によって障害物が検出されている場合には、地図作成部５１で環境地図を作成し(ステップＳ１２０)、作成した環境地図を地図記録部５２で記録する（ステップＳ１３０）。なお、地図記録部５２に記録されている環境地図には、地図作成部５１で新たに作成される環境地図に含まれる障害物の情報が蓄積されて記録される。
　図５は、環境地図の一例を示す図である。また、図６は、図５に示す環境地図に対応する車体の周囲の様子を模式的に示す上面図である。
　図５に示すように、環境地図は、車載障害物検出装置２６で得られた障害物３７の座標、形状、および情報の信頼度をもとに作成される。また、図６に示すように、車載障害物検出装置２６の検出範囲２６Ａ～２６Ｄにおいて検出される障害物３７の情報が環境地図に記録される。なお、本実施の形態においては、車載障害物検出装置２６の検出範囲２６Ａ～２６Ｄの外側、すなわち、検出不能な範囲を死角と称する。
　環境地図は、例えば、車体の周囲に１０ｃｍ×１０ｃｍの格子を設定した場合の各格子点に対応する位置における障害物３７の存在確率を各格子点の値として記録したものである。環境地図に記録される障害物３７の存在確率は、車載障害物検出装置２６で検出した際の情報の信頼度および形状にて決定される。すなわち、障害物３７の存在確率は、その中心位置の存在確率が最も高く（例えば、存在確率＝１００％）であり、中心位置から離れるにつれて放射方向に存在確率が徐々に低減し、ある距離で存在しない状態（例えば、存在確率＝０％）となる。
　環境地図は、例えば、障害物との接触を防止する接触防止機能や、障害物を回避しながら目標位置までの移動経路を演算する移動経路計画機能にて使用しても良い。すなわち、例えば、経路判定部５３は、環境地図における障害物の存在確率を基に障害物が存在する可能性の高い位置を推定し、バケット１０を現在位置から目標位置までの間で最も障害物の存在確率が低い経路を判定し、その経路にそってバケット１０が移動するようにアクチュエータ２３，５，６，７に指示信号を出力する。また、環境地図は、手動および半自動運転時にも、オペレータへ表示や、障害物３７の存在確率に基づく衝突を軽減する処理などに用いることもできる。なお、図５においては、便宜上、環境地図における障害物３７の存在確率を１種類のハッチングで表現しているが、例えば、オペレータに提示するような場合には、濃色になるほど存在確率が高く、淡色になるほど存在確率が低くなるような配色によって存在確率を表現してもよい。
　図４に戻り、ステップＳ１３０の処理が終了すると、続いて、障害物３７が可動範囲内であるか否かを判定し（ステップＳ１４０）、判定結果がＮＯの場合、すなわち、障害物３７が可動範囲外で検出された場合には、その障害物３７に係る情報（存在確率）を環境地図から即時削除するように地図記録部５２に削除指示が送信され（ステップＳ１４１）、処理を終了する。
　図７は、作業機械である油圧ショベルの可動範囲を示す図である。
　図７において、油圧ショベル１００のフロント作業機２４に係る可動範囲２２Ａは、フロント作業機長Ｒが最も長い姿勢をとる場合において、上部旋回体２２が３６０度旋回した場合にフロント作業機２４が到達可能な範囲となる。また、下部走行体２０に係る可動範囲２０Ａは、油圧ショベル１００の走行時に例えばＴ秒間で車体が到達可能な範囲となる。また、可動範囲２０Ａ，２４Ａを統合した可動範囲を油圧ショベル１００に係る可動範囲１００Ａとする。
　図４に戻り、ステップＳ１４０での判定結果がＹＥＳの場合には、障害物が車体動作によって死角に移動したか否かを判定する（ステップＳ１５０）。ステップＳ１５０での判定結果がＮＯの場合には、その障害物３７に係る情報（存在確率）を環境地図に保持し（ステップＳ１６１）し、処理を終了する。
　また、ステップＳ１５０での判定結果がＹＥＳの場合には、障害物が移動物体であるか否かを判定する（ステップＳ１６０）。ステップＳ１６０での判定結果がＮＯの場合には、その障害物３７に係る情報（存在確率）を環境地図に保持し（ステップＳ１６１）、処理を終了する。
　また、ステップＳ１６０での判定結果がＹＥＳの場合には、障害物（移動物体）が移動中であるか否かを判定する（ステップＳ１７０）。ステップＳ１７０での判定結果がＹＥＳの場合には、障害物の存在確率をｎ／ａ秒保持した後（ステップＳ１５１）、存在確率をｍ／ｂ秒の時間をかけて削除（すなわち、０（ゼロ）まで低減）し（ステップＳ１５２）、処理を終了する。また、ステップＳ１７０での判定結果がＮＯの場合には、ステップＳ１５１の処理に進む。
　ここで、上記の処理についてさらに詳細に説明する。
　図８は、車体が旋回した場合における環境地図の生成と、障害物の情報の削除判断方法について説明する図である。
　例えば、障害物（図６の障害物３７、図８の固定物体３９、移動物体４０Ａなど）が移動していない状態において、車体が旋回し、可動範囲２４Ａ内の障害物が車載障害物検出装置２６の検出範囲２６Ａ～２６Ｄから外れた場合、障害物の種別にかかわらず、存在確率を保持する。一方で、可動範囲２４Ａ外の障害物に関しては、障害物の種別にかかわらず、存在確率を即時削除する。
　また、車体が移動先で一定時間、例えばn秒間停止し、旋回動作を実施しなかった場合は、障害物の種別に応じて存在確率を削除するかを判断する。例えば、障害物を移動する障害物（移動物体４０Ａ）と固定された障害物（固定物体３９）に分けるとする。移動物体４０Ａは主に作業員や他機を表し、固定物体３９は柱や壁、またはコーンなどを表すとする。
　固定物体３９はn秒間経過後においても過去に検出した位置より移動する可能性は低いため、検出範囲２６Ａ～２６Ｄ外となった場合でも存在確率を削除する必要はない。一方、移動物体４０Ａはn秒間後に過去に検出した位置から移動している可能性が高い。検出した位置から移動した可能性の高い移動物体４０Ａの存在確率を維持すると、経路計画時に効率的な経路を生成できない可能性がある。そこで、ｎ秒経過後の移動物体４０Ａに対しては、存在確率を削除する。ここで、例えばn秒は平均的なオペレータが油圧ショベル１００を操作し、掘削と積込み動作を実施する時間以上とする。
　また、ｎ秒経過後の移動物体４０Ａを判別し、徐々に存在確率を低下させ、ｍ秒後に完全に削除する。ｍ秒は移動物体４０Ａの元々の存在確率や車体との距離に応じて決定する。例えば、油圧ショベル１００の可動範囲２４Ａ外等の車体から離れた位置に存在する移動物体４０Ａは、車体との接触リスクが低いため、削除速度を速める。一方、油圧ショベル１００の可動範囲２４Ａ内等の車体近辺に存在する移動物体４０Ａは、車体との接触リスクが高いため、削除する速度を遅くする。
　また、例えば存在確率の低い移動物体４０Ａに関しては、ｎ秒後に検出位置に存在する可能性が極めて低いため、削除速度を速くする。一方、例えば存在確率の高い移動物体４０Ａに関しては、ｎ秒後に検出位置近辺に存在する可能性が残っているため、削除速度を遅くする。
　なお、例えば異なる車載障害物検出装置２６にて同じ障害物３７を検出した場合、信頼度が高い情報を優先して削除判断を実施する。また、障害物３７情報の信頼度が低く、障害物３７の種別を判定しにくい場合は移動物体４０Ａとして扱う。
　図９及び図１０は、車体が停止した状態において移動物体が死角に移動した場合の障害物情報の削除判断方法について説明する図である。
　図９では例えば、移動物体４０Ａが自ら検出範囲の隙間の死角へ移動した場合、存在確率をｎ秒間保持し、時間経過に応じて徐々に削除する。一方、図１０では移動物体４０Ａが油圧ショベル１００の可動範囲２４Ａ外へ移動する移動物体４０Ａに関しては、車両と衝突するリスクが低いため、障害物３７の存在確率を即時削除する。
　なお、車体が旋回行動を実施し（図７参照）、かつ、移動物体４０Ａが自ら移動して検出範囲外へ移動した場合は（図８参照）、動作方向演算部５７にて車体の動作方向を演算し、障害物削除部５８は移動方向判定部５５および動作方向演算部５７から得た移動物体４０Ａの移動方向および車体動作方向から存在確率の削除速度を演算する。例えば、移動物体４０Ａが可動範囲２４Ａ外の方向へ移動し、検出範囲外へ移動するよりも先に車体の旋回動作によって死角へ移動した場合は、移動物体４０Ａが車体から離れようとしていると判断し、存在確率をｎ／ａ秒間保持し、ｍ／ｂ秒間で削除する。なお、変数ａ，ｂは１以上の調整値であり、車体と最後に検出した移動物体４０Ａの位置に応じて変わり、車体から遠いほど値は大きくなる。また、例えば、移動物体４０Ａが死角方向へ移動し、検出範囲外へ移動するよりも先に車体の旋回動作によって死角へ移動した場合は、前途した通り、ｎ秒間存在確率を保持し、ｍ秒間後に削除する。
　以上のように構成した本実施の形態の効果を説明する。
　従来技術においては、車載障害物検出部の検出範囲外の障害物に対して、障害物が検出された時間および回数に応じて障害物の情報を環境地図から削除し、かつ削除速度を調整している。しかしながら、障害物が検出範囲外となった原因については必ずしも十分に考慮されておらず、障害物が車載障害物検出部の死角に入ったことによって検出範囲外となった場合には、車体と障害物との接触が懸念される。また、障害物が検出範囲外となった原因を特定できないため、車体の移動経路について、検出範囲外となった障害物を考慮した回避経路の計画が過剰となってしまうことも考えられる。
　これに対して本実施の形態においては、姿勢情報検出装置３５で検出された姿勢情報に基づいて、車体および作業装置の動作方向を演算し、車載障害物検出装置２６で検出された物体の検出結果に基づいて、物体の種別を判定するとともに、物体の移動方向を予測し、車体および作業装置の動作方向と、物体の種別および移動方向とに基づいて、物体検出装置により検出された物体であって物体検出装置の検出範囲外に移動した物体に関する情報を環境地図から即時削除するように構成したので、検出範囲外となった物体の情報をその原因に応じて適切に処理することができ、安全性の低下を抑制しつつ作業効率の向上を図ることができる。
　＜第２の実施の形態＞
  本発明の第２の実施の形態を図１１及び図１２を参照しつつ説明する。
　第１の実施の形態では、車載障害物検出装置２６を用いて物体（障害物）を検出する場合を示したが、本実施の形態は、他の障害物検出装置（環境障害物検出装置４１）においても物体（障害物）を検知する場合を示すものである。
　図１１は、本実施の形態における油圧ショベルに搭載される制御装置の処理機能の一部を模式的に示す機能ブロック図である。また、図１２は、環境障害物検出装置の検出範囲を模式的に示す上面図である。図中、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
　図１１及び図１２に示すように、油圧ショベル１００の周囲には、車体（上部旋回体２２、下部走行体２０）の周囲の物体を検出する複数（例えば６つ）の環境障害物検出装置４１が配置されている。環境障害物検出装置４１は、主に油圧ショベル１００の可動範囲２４Ａ内の死角を低減することを目的に設置されるものである。環境障害物検出装置４１の設置位置や数は特に本実施の形態の例に限定されるものではない。環境障害物検出装置４１は、例えば、三脚等を備えた自立型のＬｉＤＡＲ（Laser Imaging Detection and Ranging、レーザー画像検出と測距）技術を用いたセンサやカメラなどであり、油圧ショベル１００の周囲にある物体を検出し、その座標データを制御装置４４に送信する。
　本実施の形態においては、環境障害物検出装置４１は、検出した障害物３７（移動物体４０Ａ）の位置、検出時間、検出方位を制御装置４４に送信する。種別判定部５４、移動方向判定部５５、検知情報記録部５６では、それぞれ車載障害物検出装置２６および環境障害物検出装置４１にて検出した障害物３７（移動物体４０Ａ）のより信頼度の高い情報を優先して使用し、判定および記録する。
　環境障害物検出装置４１は、油圧ショベル１００の動作に影響されないため、検出範囲４１Ａ～４１Ｆ内の障害物３７（移動物体４０Ａ）を常に監視することが可能である。そのため、より広範囲で障害物３７（移動物体４０Ａ）の位置を検出可能であり、例えば、油圧ショベル１００の可動範囲２４Ａ内のすべてを車載障害物検出装置２６と環境障害物検出装置４１にて検出可能な場合、障害物削除部５８は可動範囲２４Ａ外の障害物３７（移動物体４０Ａ）をすべて即時削除する。
　その他の構成については第１の実施の形態と同様である。
　以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。
　＜第３の実施の形態＞
  本発明の第３の実施の形態を図１３を参照しつつ説明する。
　本実施の形態は、作業機械として、例えば、ホイールローダ等の車輪タイプの作業機械を用いる場合を示すものである。
　図１３は、作業機械であるホイールローダの可動範囲を示す図である。
　図１３において、ホイールローダ２００の可動範囲２００Ａは、ハンドルを左右に限界まで切った状態でＴ秒間に前後方向に移動可能な範囲を範囲となる。
　その他の構成は第１及び第２の実施の形態と同様である。
　以上のように構成した本実施の形態においても第１及び第２の実施の形態と同様の効果を得ることができる。
　＜付記＞
　なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
　２…キャブ、２ａ，２ｂ…操作レバー（操作装置）、３…走行モータ、５…ブームシリンダ、６…アームシリンダ、７…バケットシリンダ、８…ブーム、９…アーム、１０…バケット、２０…下部走行体、２０Ａ…可動範囲、２１…旋回機構、２２…上部旋回体、２３…旋回モータ、２４…フロント作業機、２６…車載障害物検出装置、２６Ａ～２６Ｄ…検出範囲、２７…車体旋回角度検出装置、３４Ａ～３４Ｃ…姿勢センサ、３５…姿勢情報検出装置、３７…障害物、３８…揺動中心、３９…固定物体、４０Ａ…移動物体、４１…環境障害物検出装置、４１Ａ～４１Ｆ…検出範囲、４４…制御装置、５１…地図作成部、５２…地図記録部、５３…経路判定部、５４…種別判定部、５５…移動方向判定部、５６…検知情報記録部、５７…動作方向演算部、５８…障害物削除部、１００…油圧ショベル、１００Ａ…可動範囲、２００…ホイールローダ、２００Ａ…可動範囲

Claims (10)

  1. 　移動装置を有する車体と、
    　前記車体に設けられた作業装置と、
    　前記移動装置および前記作業装置を動作させる複数のアクチュエータと、
    　前記車体の周囲の物体を検出する物体検出装置と、
    　前記物体検出装置で検出された物体の情報に基づいて、前記車体の周囲に存在する物体に関する情報を含む環境地図を作成し、作成した前記環境地図に基づいて、前記複数のアクチュエータを動作させる制御装置とを備えた作業機械において、
    　前記制御装置は、
    　前記物体検出装置で検出された前記物体の検出結果に基づいて、前記物体の種別を判定するとともに、前記物体の移動方向を予測し、
    　前記物体の種別および移動方向に基づいて、前記物体検出装置により検出された物体であって前記物体検出装置の検出範囲外に移動したと判定された前記物体に関する情報を前記環境地図から削除することを特徴とする作業機械。
  2. 　請求項１記載の作業機械において、
    　前記車体および前記作業装置の姿勢に関する情報である姿勢情報を検出する姿勢情報検出装置を備え、
    　前記制御装置は、
    　前記姿勢情報検出装置で検出された前記姿勢情報に基づいて、前記車体および前記作業装置の動作方向を演算し、
    　前記車体および前記作業装置の動作方向に基づいて、前記物体に関する情報を削除することを特徴とする作業機械。
  3. 　請求項２記載の作業機械において、
    　前記制御装置は、
    　前記姿勢情報検出装置で検出された前記姿勢情報に基づいて前記車体および前記作業装置の可動範囲を演算し、
    　前記環境地図に含まれる前記物体に関する情報のうち、前記車体および前記作業装置の可動範囲外の物体に関する情報を削除することを特徴とする作業機械。
  4. 　請求項３記載の作業機械において、
    　前記物体検出装置の検出範囲外に移動したと判定された前記物体と、
    　前記車体および前記作業装置の可動範囲外に存在する前記物体とに関する情報を
    　前記環境地図から削除することを特徴とする作業機械。
  5. 　請求項４記載の作業機械において、
    　前記制御装置は、前記物体検出装置により前記車体および前記作業装置の可動範囲内で検出され、種別が固定物体であると判別された物体であって、前記車体および前記作業装置の動作によって前記物体検出装置の検出範囲外に移動したと判定された前記物体に関する情報を前記環境地図に維持することを特徴とする作業機械。
  6. 　請求項４記載の作業機械において、
    　前記環境地図に含まれる前記物体に関する情報は、前記物体検出装置による検出の信頼性に応じて定められる前記物体の検出位置における存在確率を含んでおり、
    　前記制御装置は、前記物体検出装置により前記車体および前記作業装置の可動範囲内で検出され、種別が移動物体であると判別された物体であって、前記車体および前記作業装置の動作によって前記物体検出装置の検出範囲外に移動した前記物体に関する情報を予め定めた一定時間の間だけ保持し、その後、徐々に存在確率を低減させることを特徴とする作業機械。
  7. 　請求項６記載の作業機械において、
    　前記制御装置は、前記物体検出装置により検出された際の前記物体の存在確率が低いほど、前記物体に関する情報の保持時間を短くするとともに、存在確率の低減速度を速くすることを特徴とする作業機械。
  8. 　請求項７記載の作業機械において、
    　前記制御装置は、前記物体検出装置により検出された前記物体の前記車体および前記作業装置との距離が遠いほど、前記物体に関する情報の保持時間を短くするとともに、存在確率の低減速度を速くすることを特徴とする作業機械。
  9. 　請求項８記載の作業機械において、
    　前記制御装置は、前記物体検出装置により検出された前記物体の移動速度が速いほど、前記物体に関する情報の保持時間を長くするとともに、存在確率の低減速度を遅くすることを特徴とする作業機械。
  10. 　請求項１記載の作業機械において、
    　前記車体は、前記移動装置として設けられた下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体とからなり、
    　前記車体に取り付けられ、回動可能に連結された複数のフロント部材からなる多関節型のフロント作業機を前記作業装置として備えたことを特徴とする作業機械。
PCT/JP2021/004451 2020-03-27 2021-02-05 作業機械 WO2021192655A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022509357A JP7329134B2 (ja) 2020-03-27 2021-02-05 作業機械
EP21775959.6A EP4102328A4 (en) 2020-03-27 2021-02-05 WORKING MACHINE
CN202180021128.4A CN115298632A (zh) 2020-03-27 2021-02-05 作业机械
US17/912,026 US20230137344A1 (en) 2020-03-27 2021-02-05 Work machine
KR1020227031971A KR20220131393A (ko) 2020-03-27 2021-02-05 작업 기계

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020057162 2020-03-27
JP2020-057162 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021192655A1 true WO2021192655A1 (ja) 2021-09-30

Family

ID=77891348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004451 WO2021192655A1 (ja) 2020-03-27 2021-02-05 作業機械

Country Status (6)

Country Link
US (1) US20230137344A1 (ja)
EP (1) EP4102328A4 (ja)
JP (1) JP7329134B2 (ja)
KR (1) KR20220131393A (ja)
CN (1) CN115298632A (ja)
WO (1) WO2021192655A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI128122B (fi) * 2018-08-29 2019-10-15 Ponsse Oyj Ohjausjärjestely ja menetelmä metsäkoneen ohjaamiseksi
KR102486120B1 (ko) 2022-10-13 2023-01-09 (주)액션파워 음성 신호와 연관된 컨텐츠를 결정하는 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05274035A (ja) * 1992-03-30 1993-10-22 Mazda Motor Corp 障害物検出装置
JP2007102488A (ja) * 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011150473A (ja) * 2010-01-20 2011-08-04 Ihi Aerospace Co Ltd 自律型移動体
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2019012504A (ja) 2017-06-30 2019-01-24 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2020012323A (ja) * 2018-07-19 2020-01-23 日立建機株式会社 作業機械

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9073484B2 (en) * 2010-03-03 2015-07-07 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
CN102947515B (zh) * 2010-06-18 2015-07-29 日立建机株式会社 作业机械的周围监视装置
JP5667638B2 (ja) * 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
US9013579B2 (en) * 2011-06-16 2015-04-21 Aisin Seiki Kabushiki Kaisha Vehicle surrounding-area monitoring apparatus
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
WO2016174754A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
US9454147B1 (en) * 2015-09-11 2016-09-27 Caterpillar Inc. Control system for a rotating machine
EP3386195A4 (en) * 2015-11-30 2018-12-19 Sumitomo Heavy Industries, LTD. Periphery monitoring system for work machine
US10590629B2 (en) * 2016-03-29 2020-03-17 Komatsu Ltd. Working vehicle
KR102386846B1 (ko) * 2016-07-05 2022-04-13 스미토모 겐키 가부시키가이샤 쇼벨
EP3537713B1 (en) * 2016-11-01 2021-09-01 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Surroundings monitoring system for a work machine
WO2018105527A1 (ja) * 2016-12-06 2018-06-14 住友建機株式会社 建設機械
JP6805883B2 (ja) * 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
KR102638315B1 (ko) * 2018-03-26 2024-02-16 스미토모 겐키 가부시키가이샤 쇼벨
KR102554594B1 (ko) * 2018-07-09 2023-07-12 현대모비스 주식회사 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
JP7511547B2 (ja) * 2019-04-26 2024-07-05 住友建機株式会社 表示装置、ショベル、情報処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05274035A (ja) * 1992-03-30 1993-10-22 Mazda Motor Corp 障害物検出装置
JP2007102488A (ja) * 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011150473A (ja) * 2010-01-20 2011-08-04 Ihi Aerospace Co Ltd 自律型移動体
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2019012504A (ja) 2017-06-30 2019-01-24 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2020012323A (ja) * 2018-07-19 2020-01-23 日立建機株式会社 作業機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4102328A4

Also Published As

Publication number Publication date
EP4102328A4 (en) 2024-03-27
EP4102328A1 (en) 2022-12-14
US20230137344A1 (en) 2023-05-04
KR20220131393A (ko) 2022-09-27
JPWO2021192655A1 (ja) 2021-09-30
JP7329134B2 (ja) 2023-08-17
CN115298632A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US12024851B2 (en) Loading machine control device and control method
CN110494613B (zh) 工作机械
KR102579791B1 (ko) 건설 기계
WO2021192655A1 (ja) 作業機械
KR102628285B1 (ko) 작업 기계 및 제어 시스템
KR102706840B1 (ko) 작업 기계
KR20240027119A (ko) 제어 시스템, 제어 방법 및 제어 프로그램
JP2023147640A (ja) 作業車両
WO2024057961A1 (ja) 作業機械を含むシステム、作業機械のコントローラ、および作業機械の制御方法
WO2024057959A1 (ja) 作業機械を含むシステム、作業機械のコントローラ、および作業機械の制御方法
WO2024043074A1 (ja) 作業機械、作業機械を含むシステム、および作業機械の制御方法
JP7569351B2 (ja) 作業機械
WO2024062899A1 (ja) 作業機械を含むシステム、および作業機械の制御方法
WO2024043075A1 (ja) 作業機械、作業機械を含むシステム、および作業機械の制御方法
WO2024202983A1 (ja) 制御装置、制御方法および作業機械
JP2024541420A (ja) 衝突回避システム
JP2024111513A (ja) 作業機械の自動制御システムおよび作業機械の制御方法
JP2024144800A (ja) 制御装置、制御方法および作業機械
JP2024036922A (ja) 作業機械、作業機械を含むシステム、および作業機械の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775959

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509357

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227031971

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021775959

Country of ref document: EP

Effective date: 20220909

NENP Non-entry into the national phase

Ref country code: DE