[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021060473A1 - クレーン情報表示システム - Google Patents

クレーン情報表示システム Download PDF

Info

Publication number
WO2021060473A1
WO2021060473A1 PCT/JP2020/036296 JP2020036296W WO2021060473A1 WO 2021060473 A1 WO2021060473 A1 WO 2021060473A1 JP 2020036296 W JP2020036296 W JP 2020036296W WO 2021060473 A1 WO2021060473 A1 WO 2021060473A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
crane
unit
display unit
information display
Prior art date
Application number
PCT/JP2020/036296
Other languages
English (en)
French (fr)
Inventor
瑞生 米田
Original Assignee
株式会社タダノ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ filed Critical 株式会社タダノ
Priority to US17/763,051 priority Critical patent/US20220356048A1/en
Priority to JP2021549047A priority patent/JP7070802B2/ja
Priority to EP20869570.0A priority patent/EP4036046A4/en
Publication of WO2021060473A1 publication Critical patent/WO2021060473A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/40Applications of devices for transmitting control pulses; Applications of remote control devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88Safety gear
    • B66C23/90Devices for indicating or limiting lifting moment
    • B66C23/905Devices for indicating or limiting lifting moment electrical

Definitions

  • the present invention relates to a crane information display system.
  • Patent Document 1 discloses a configuration in which the operating state of the crane is displayed to the operator and is displayed to a person outside the crane by using a mobile terminal. As a result, even a person outside the crane can grasp the operating state of the crane.
  • Patent Document 1 merely displays the actual operating state of the crane, and it is not possible to plan the work of the crane without arranging the crane at the place where the crane is planned to be installed. There is a problem.
  • an object of the present invention is to provide a crane information display system capable of planning a crane work without arranging the crane at a place where the crane is planned to be installed.
  • a crane information display system including a terminal device having a camera, which obtains a camera image by photographing a first information display unit that displays crane information with the camera.
  • a crane information acquisition unit that reads the display information of the first information display unit from the camera image and acquires the crane information.
  • a virtual crane generation unit that generates image information of a virtual crane corresponding to a three-dimensional image of the crane based on the crane information acquired by the crane information acquisition unit. From the camera image, the display information of the first information display unit is read, the information of the reference shape of the first information display unit is acquired, and the information of the contour shape of the first information display unit reflected in the camera image is obtained.
  • the position where the virtual crane should be arranged and the virtual crane of the virtual crane in the camera image are extracted.
  • a position / posture calculation unit that calculates the posture to be taken, and
  • An information processing unit that converts the image information of the virtual crane generated by the virtual crane generation unit into image information corresponding to the position and attitude of the virtual crane calculated by the position / orientation calculation unit.
  • An image display unit that displays the virtual crane, which has been subjected to image information conversion processing by the information processing unit, overlaid on the camera image. It is a crane information display system equipped with.
  • the crane information display system of the present invention configured in this way can plan the work of a crane without arranging the crane at the place where the crane is planned to be installed.
  • FIG. 1 It is a figure which shows the crane information display system of Example 1.
  • FIG. It is a side view which shows the crane of Example 1.
  • FIG. It is a block diagram which shows the functional structure of the crane information display system of Example 1.
  • FIG. It is a figure which shows the image which is displayed on the image display part of Example 1.
  • FIG. It is a flowchart which shows the flow of processing by the control part of the crane information display system of Example 1.
  • FIG. 1 is a diagram showing a crane information display system of the first embodiment.
  • FIG. 2 is a side view showing the crane of the first embodiment.
  • the actual crane is referred to as crane 1
  • the virtual crane is referred to as virtual crane 1A.
  • the front-rear direction of the crane 1 is defined as the front-rear direction D.
  • the crane information display system 100 of the first embodiment is a tablet terminal 50 as a user terminal provided with a camera 51, and an example in which a worker M photographs a work site where the crane 1 is to be installed will be described. To do.
  • the crane 1 includes a traveling body 10, a swivel body 20, and a boom 30.
  • the traveling body 10 includes a vehicle body frame 11, an outrigger 80, a traveling device for self-propelling on a road or a work site, and the like.
  • the outrigger 80 is composed of a rear outrigger 81 attached to the rear side surface of the vehicle body frame 11 of the traveling body 10 and a front outrigger 82 attached to the front side surface of the vehicle body frame 11.
  • the outrigger 80 is housed in the vehicle body frame 11 during traveling.
  • the outrigger 80 projects in the horizontal and vertical directions during work, lifts the entire vehicle body, and stabilizes the posture.
  • the swivel body 20 is provided above the traveling body 10 and is rotatable around the vertical axis C1 with respect to the traveling body 10.
  • the swivel body 20 includes a cabin 21.
  • the cabin 21 has an operation unit (for example, a steering wheel, a shift lever, an accelerator pedal, a brake pedal, etc.) for controlling the traveling of the traveling body 10. Further, the cabin 21 has an operation unit for operating the swivel body 20, the boom 30, the winch, and the like.
  • the operator boarding the cabin 21 operates the operation unit to rotate the swivel body 20, undulate and expand the boom 30, and rotate the winch to perform the work.
  • the base end side of the boom 30 is supported by the swivel body 20, and the boom 30 is attached to the swivel body 20 so as to be undulating.
  • the boom 30 is undulated by an undulating cylinder 22 provided on the swivel body 20, and is expanded and contracted by a telescopic cylinder (not shown).
  • the boom 30 includes intermediate booms 32 to 35 between the proximal boom 31 on the proximal end side and the distal end boom 36 on the distal end side.
  • the intermediate booms 32 to 35 and the tip boom 36 are sequentially housed inside the base end boom 31 in a nested manner.
  • a sheave 37 is arranged on the boom head 36a provided at the tip of the tip boom 36.
  • a wire rope 38 for hanging loads is wound around a winch of the swivel body 20 provided near the base end of the boom 30.
  • the wire rope 38 is arranged along the axial direction of the boom 30 from the winch to the sheave 37, and the wire rope 38 hung around the sheave 37 is suspended vertically downward from the sheave 37.
  • a hook 39 is provided at the bottom of the wire rope 38.
  • the crane 1 configured in this way moves the load suspended on the hook 39 to a predetermined position by feeding and hoisting the wire rope 38 by the winch, undulating and expanding and contracting the boom 30, and turning the swivel body 20.
  • the tablet terminal 50 includes a camera 51, an image display unit 52, and an input unit 53.
  • the image taken by the camera 51 is displayed on the image display unit 52.
  • the image display unit 52 is also configured as a touch panel as the input unit 53.
  • the first information display unit 41 (that is, a marker) is attached to a support member 45 such as a standing signboard.
  • the support member 45 to which the first information display unit 41 is attached is installed at a place where the crane 1 is planned to be installed.
  • the first information display unit 41 can be an April Tag.
  • the first information display unit 41 records information on the model of the crane 1, the shape and size of the first information display unit 41, and information on a predetermined position of the crane 1.
  • the information on the predetermined position of the crane 1 can be, for example, the center of the left side surface of the vehicle body frame 11 of the traveling body 10.
  • the second information display unit 42 (that is, the marker) is installed at a planned loading / unloading position of the suspended load by the crane 1, for example, on the roof of the building B.
  • the second information display unit 42 can be an April Tag.
  • the shape and size of the second information display unit 42 are recorded in the second information display unit 42.
  • the first information display unit 41 and the second information display unit 42 each have separate display information (that is, code information) according to, for example, characters, codes, symbols, patterns, etc. attached to their surfaces.
  • the display information (that is, code information) held by each of the first information display unit 41 and the second information display unit 42 is generated by the camera 51 using a decoding program stored in advance in the control unit 60 (described later) or the like. It can be read from the camera image. Further, the first information display unit 41 and the second information display unit 42 can be identified from the display information (that is, code information) held by each.
  • the shapes and sizes recorded in the first information display unit 41 and the second information display unit 42 are, for example, the shapes and sizes obtained when these are photographed from the front at a predetermined distance (hereinafter, """Referenceshape" and "reference size").
  • FIG. 3 is a block diagram showing a functional configuration of the crane information display system 100 of the first embodiment.
  • FIG. 4 is a diagram showing an image displayed on the image display unit 52 of the first embodiment.
  • the functional configuration of the crane information display system 100 of the first embodiment will be described.
  • an image of the first information display unit 41 taken by the camera 51, an image of the second information display unit 42 taken by the camera 51, and an input unit 53 are input.
  • the input information is input to the control unit 60 (in this embodiment, the control unit built in the tablet terminal 50), and the information controlled by the control unit 60 is output by the image display unit 52.
  • the camera 51 can be, for example, a camera 51 provided in a general tablet terminal 50.
  • the camera 51 can take a picture of the work site where the crane 1 is planned to be installed, the first information display unit 41, and the second information display unit 42.
  • the input unit 53 can input the horizontal overhang amount of the outrigger 80, the suspended load, the length of the boom 30, and the like.
  • the length of the boom 30 is the length of the boom 30 in which the tip boom 36 and the intermediate booms 32 to 35 are stored in the base end boom 31 (fully contracted state), or the boom in which the tip boom 36 is extended.
  • the control unit 60 includes a storage unit 61, a crane information acquisition unit 62, a virtual crane generation unit 65, a position / orientation calculation unit 66, a position calculation unit 67, and an information processing unit 68.
  • the control unit 60 is a well-known microcomputer composed of, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and has a function (crane) of the control unit 60.
  • the information acquisition unit 62, the virtual crane generation unit 65, the position / orientation calculation unit 66, the position calculation unit 67, and the information processing unit 68) have, for example, a CPU in a storage unit 61 (for example, HDD), a ROM, or a RAM. It is realized by referring to the stored control program and various data.
  • the storage unit 61 stores shape information of various cranes and performance information of various cranes.
  • the performance information includes, for example, information on the shape of the outrigger 80, information on the workable area in the horizontal direction and information on the workable area in the height direction according to the overhang amount of the outrigger 80 and the length of the boom 30, and the boom. Includes information on the undulation angle range, information on the load factor, information on the tail swing area, and the like.
  • the crane information acquisition unit 62 acquires information on the model of the crane 1 based on the first information display unit 41 photographed by the camera 51, and acquires the acquired shape information and performance information of the model of the crane 1 from the storage unit 61. To do. That is, the crane information acquisition unit 62 reads the first information display unit 41 photographed by the camera 51 (that is, reads the display information of the first information display unit 41 from the camera image) and acquires the model of the crane 1. Then, the shape information and the performance information of the acquired model are acquired from the storage unit 61.
  • the crane information acquisition unit 62 includes a virtual outrigger generation unit 63 and a workable area calculation unit 64.
  • the virtual outrigger generation unit 63 contains information on the shape of the outrigger 80 stored in the storage unit 61 (that is, the shape of the outrigger 80 corresponding to the model of the crane 1 specified from the display information of the information display unit 40) and the input unit. Based on the horizontal overhang amount of the outrigger 80 input to 53, the three-dimensional data of the virtual outrigger 80A is generated as the information of the crane 1.
  • the workable area calculation unit 64 refers to the information of the model of the crane 1 specified from the display information of the information display unit 40, and also determines the suspended load input to the input unit 53, the length of the boom 30, and the boom 30. Based on the above, the workable area of the crane 1 is calculated as the information of the crane 1.
  • the workable area calculation unit 64 can calculate the workable areas of a plurality of load factors. In the first embodiment, the workable area calculation unit 64 calculates a workable area having a load factor of 80% and a workable area having a load factor of 100%.
  • the workable area means a workable area in the horizontal direction of the crane 1 on the installation surface of the crane 1.
  • the virtual crane generation unit 65 generates three-dimensional data of the virtual crane 1A based on the information of the crane 1 acquired by the crane information acquisition unit 62.
  • the position / orientation calculation unit 66 determines the position and orientation of the virtual crane 1A (that is, the position where the virtual crane 1A should be arranged and the virtual crane in the image of the camera 51) based on the first information display unit 41 captured by the camera 51. 1A posture to be taken) is calculated.
  • the position / orientation calculation unit 66 is attached to the shape of the first information display unit 41 (hereinafter, referred to as “outline shape of the information display unit 40”) taken by the camera 51 and the first information display unit 41. Based on the recorded reference shape of the first information display unit 41, information on the posture of the virtual crane 1A is acquired. That is, the position / orientation calculation unit 66 reads the display information (that is, code information) of the first information display unit 41 from the image of the camera 51, and acquires the information related to the reference shape of the first information display unit 41. , The contour shape of the first information display unit 41 reflected on the camera 51 is extracted from the image of the camera 51 by a known pattern matching or the like.
  • the position / orientation calculation unit 66 compares the contour shape of the first information display unit 41 reflected in the image of the camera 51 with the reference shape of the first information display unit 41 in the image of the camera 51. The position where the virtual crane 1A should be placed and the posture to be taken by the virtual crane 1A are calculated.
  • the left side surface of the virtual crane 1A is directly in front of the camera 51. It is in a facing position.
  • the shape of the first information display unit 41 photographed by the camera 51 is not the rectangular shape recorded in the first information display unit 41, but the left edge of the information display unit 40 is a trapezoid longer (higher) than the right edge.
  • the contour shape of the first information display unit 41 reflected in the image of the camera 51 is a trapezoid whose left edge is longer than the right edge, and the first information display specified from the display information of the first information display unit 41.
  • the reference shape of the portion 41 is a rectangular shape
  • the left side surface of the virtual crane 1A is in a posture of facing slightly to the left side from the front of the camera 51.
  • the first information display unit 41 photographed by the camera 51 is not a rectangular shape recorded on the first information display unit 41, but a trapezoidal shape in which the right edge of the information display unit 40 is longer than the left edge (that is, the camera 51).
  • the contour shape of the first information display unit 41 reflected in the image is a trapezoid whose right edge is longer than the left edge, and the reference shape of the first information display unit 41 specified from the display information of the first information display unit 41 is (In the case of a rectangular shape), the left side surface of the virtual crane 1A is in a posture of facing slightly to the right side from the front with respect to the camera 51.
  • the position / orientation calculation unit 66 compares the contour shape of the first information display unit 41 photographed by the camera 51 with the reference shape of the first information display unit 41 recorded in the first information display unit 41. Acquire information on the attitude of the virtual crane 1A.
  • the position / orientation calculation unit 66 sets the size of the contour shape of the first information display unit 41 photographed by the camera 51 and the reference size of the first information display unit 41 recorded in the first information display unit 41. Based on this, the position information of the virtual crane 1A is acquired. Specifically, the position / orientation calculation unit 66 has the reference size of the first information display unit 41 recorded in the first information display unit 41 and the size of the contour shape of the first information display unit 41 photographed by the camera 51. And the distance from the camera 51 to the first information display unit 41 is calculated.
  • the position calculation unit 67 calculates information on the relative position of the second information display unit 42 from the first information display unit 41 based on the second information display unit 42 photographed by the camera 51. Specifically, the position calculation unit 67 reads the second information display unit 42 photographed by the camera 51 (that is, reads the display information of the second information display unit 42 from the image of the camera 51), and the second information display unit 42 is read. 1 The distance and direction from the first information display unit 41 are calculated with reference to the position of the information display unit 41. That is, the position calculation unit 67 calculates the horizontal distance information and the height distance information of the second information display unit 42 with reference to the first information display unit 41.
  • the position calculation unit 67 functions in a state where both the first information display unit 41 and the second information display unit 42 are shown in the image of the camera 51.
  • the position calculation unit 67 acquires the reference shape of the second information display unit 42 and extracts the contour shape of the second information display unit 42 reflected in the image of the camera 51 to obtain the reference shape of the second information display unit 42.
  • the position of the second information display unit 42 in the image of the camera 51 is specified based on the shape and the information of the contour shape of the second information display unit 42.
  • the position calculation unit 67 is the position of the first information display unit 41 in the image of the camera 51 calculated by the position / orientation calculation unit 66, and the position of the second information display unit 42 in the image of the camera 51 calculated by itself.
  • the information of the relative position of the second information display unit 42 from the first information display unit 41 is calculated.
  • the positional relationship between the image of the camera 51 on which the first information display unit 41 is displayed and the image of the camera 51 on which the second information display unit 42 is displayed can be specified by SLAM technology or the like, the function of the position calculation unit 67 can be changed. This can be realized even when both the first information display unit 41 and the second information display unit 42 are not shown in one image.
  • the information processing unit 68 processes the virtual crane 1A generated by the virtual crane generation unit 65 into information corresponding to the position and attitude of the virtual crane 1A calculated by the position / orientation calculation unit 66.
  • the information processing unit 68 uses the image information of the virtual crane 1A generated by the virtual crane generation unit 65 as the position and virtual position where the virtual crane 1A should be arranged in the image of the camera 51 calculated by the position / orientation calculation unit 66. It is converted into image information corresponding to the posture to be taken by the crane 1A.
  • the information processing unit 68 sees, for example, the planned crane installation position (that is, the installation position of the first information display unit 41) from the shooting position of the camera 51, the three-dimensional image of the virtual crane 1A is actually the crane 1.
  • the image information of the virtual crane 1A is converted so that the image simulates the existence of.
  • the image processing performed by the information processing unit 68 is realized by a known coordinate conversion process or the like.
  • the information processing unit 68 can work on the crane 1 performance information acquired by the crane information acquisition unit 62, the virtual outrigger 80A generated by the virtual outrigger generation unit 63, and the crane 1 calculated by the workable area calculation unit 64.
  • the area and the information corresponding to the position and attitude of the virtual crane 1A calculated by the position / orientation calculation unit 66 are processed. That is, the information processing unit 68 processes the information of the crane 1 acquired by the crane information acquisition unit 62 into the information corresponding to the position and attitude of the virtual crane 1A calculated by the position / attitude calculation unit 66.
  • the information processing unit 68 uses the information of the crane 1 acquired by the crane information acquisition unit 62 as a reference based on the second information display unit 42 based on the position information calculated by the position calculation unit 67.
  • the information corresponding to the position and attitude of the virtual crane 1A calculated by 66 is processed.
  • the information processing unit 68 processes the information of the crane 1 corresponding to the position and attitude of the virtual crane 1A calculated by the position / attitude calculation unit 66 into the information based on the second information display unit 42. That is, the information processing unit 68 has information on the crane 1 acquired by the crane information acquisition unit 62 (for example, based on the relative position of the second information display unit 42 from the first information display unit 41 calculated by the position calculation unit 67.
  • the workable areas 75,76) of the crane 1 are converted into three-dimensional image information corresponding to the work position when the suspended load is loaded and unloaded by the crane 1.
  • the image display unit 52 superimposes the information processed by the information processing unit 68 on the image of the camera 51 and displays it. Specifically, as shown in FIG. 4, the image display unit 52 uses the virtual crane 1A and the crane 1 acquired by the crane information acquisition unit 62 on the image of the work site where the crane 1 is planned to be installed, taken by the camera 51. The tail swing area 73, the virtual outrigger 80A generated by the virtual outrigger generation unit 63, the workable areas 71 and 72 on the installation surface of the crane 1 calculated by the workable area calculation unit 64, and the second information display unit 42. The workable areas 75 and 76 of the crane 1 at the arranged height are superimposed and displayed. Further, the image display unit 52 displays the suspended load input to the input unit 53.
  • the virtual outrigger 80A is composed of a virtual front outrigger 82A and a virtual rear outrigger 81A.
  • the workable area on the installation surface of the crane 1 is composed of a workable area 72 having a load factor of 80% and a workable area 71 having a load factor of 100%.
  • the workable area at the height at which the second information display unit 42 is arranged is composed of a workable area 76 with a load factor of 80% and a workable area 75 with a load factor of 100%. That is, the image display unit 52 can examine in three dimensions how each part of the crane 1 affects the site environment when the user actually operates the crane 1 at the site.
  • the virtual crane 1A, the workable areas 71, 72 (75, 76) of the crane 1, the virtual outrigger 80A, and the tail swing area 73 of the crane 1 are overlapped with the surrounding environment reflected in the image of the camera 51.
  • the image display unit 52 displays the virtual outrigger 80A at the position of the outrigger of the virtual crane 1A in the image of the camera 51, for example.
  • the image display unit 52 displays, for example, the workable areas 71 and 72 of the crane 1 around the virtual crane 1A in the image of the camera 51.
  • the image display unit 52 displays, for example, the tail swing region 73 of the crane 1 around the swivel base of the virtual crane 1A in the image of the camera 51.
  • FIG. 5 is a flowchart showing a processing flow by the control unit 60 of the crane information display system 100 of the first embodiment.
  • the processing flow by the control unit 60 of the crane information display system 100 of the first embodiment will be described.
  • the worker M uses the camera 51 attached to the tablet terminal 50 to attach the first information display unit 41 attached to the support member 45 installed at the work site where the crane 1 is to be installed, and the site environment around the first information display unit 41.
  • the crane information acquisition unit 62 reads the first information display unit 41 photographed by the camera 51 (step S101).
  • the crane information acquisition unit 62 acquires the acquired shape information and performance information of the model of the crane 1 from the storage unit 61 (step S102).
  • the virtual crane generation unit 65 generates three-dimensional data of the virtual outrigger based on the information of the crane 1 acquired by the crane information acquisition unit 62 (step S103).
  • the position / attitude calculation unit 66 calculates the position and attitude of the virtual crane 1A based on the first information display unit 41 photographed by the camera 51 (step S104).
  • control unit 60 determines whether or not the overhang amount of the outrigger 80 has been input to the input unit 53 (step S105).
  • the virtual outrigger generation unit 63 generates the virtual outrigger 80A (step S106), and proceeds to step S107.
  • the process proceeds to step S107.
  • control unit 60 determines whether or not the suspended load and the length of the boom 30 have been input to the input unit 53 (step S107).
  • the workable area calculation unit 64 calculates the workable areas 71 and 72 (step S108), and steps Proceed to 109.
  • the process proceeds to step S109.
  • the information processing unit 68 calculates the position and attitude of the crane 1 calculated by the position / orientation calculation unit 66 from the virtual outrigger 80A generated by the virtual outrigger generation unit 63 and the information of the crane 1 acquired by the crane information acquisition unit 62. (Step S109).
  • the position calculation unit 67 reads the second information display unit 42 photographed by the camera 51 (step S110).
  • the position calculation unit 67 calculates the position information from the first information display unit 41 of the second information display unit 42 (step S111).
  • the information processing unit 68 uses the information of the crane 1 acquired by the crane information acquisition unit 62 as a reference based on the second information display unit 42 based on the position information calculated by the position calculation unit 67.
  • the information corresponding to the position and attitude of the virtual crane 1A calculated by 66 is processed (step S112).
  • the image display unit 52 adds the virtual crane 1A, the tail swing area 73 of the crane 1 acquired by the crane information acquisition unit 62, and the image of the work site where the crane 1 is to be installed, taken by the camera 51.
  • the display is superimposed and displayed (step S113), and the process ends.
  • the actual crane 1 is displayed on the first information display unit 41 attached to the support member 45 placed at the work site.
  • the crane 1 is transported and installed so as to match a predetermined position (for example, the center of the left side surface of the vehicle body frame 11 of the traveling body 10).
  • the crane information acquisition unit 62 and the crane information acquisition unit 62 that acquire the information of the crane 1 by photographing the first information display unit 41 that displays the information of the crane 1 with the camera 51.
  • the position of the virtual crane 1A based on the virtual crane generation unit 65 that generates the three-dimensional virtual crane 1A of the crane 1 based on the information of the crane 1 acquired by 62, and the first information display unit 41 photographed by the camera 51.
  • the information processing unit that processes the position / attitude calculation unit 66 that calculates the attitude and the virtual crane 1A generated by the virtual crane generation unit 65 into information corresponding to the position and attitude of the virtual crane 1A calculated by the position / attitude calculation unit 66. It includes 68 and an image display unit 52 that superimposes and displays the information processed by the information processing unit 68 on the image taken by the camera 51 (FIGS. 3 and 4).
  • the information processing unit 68 uses the information of the crane 1 acquired by the crane information acquisition unit 62 as information corresponding to the position and attitude of the virtual crane 1A calculated by the position / orientation calculation unit 66. (Fig. 3 and Fig. 4).
  • the information of the crane 1 can be superimposed and displayed on the image in which the virtual crane 1A is arranged. Therefore, the virtual crane 1A, the site environment around it, and the information of the crane 1 can be confirmed in real time with a three-dimensional image. As a result, the work plan of the crane 1 can be easily examined without arranging the crane 1 to be implemented at the place where the crane 1 is planned to be installed.
  • the crane information display system 100 has a second information display unit 42 arranged at a position where the suspended load is loaded and unloaded by the crane 1, and the second information display unit 42 is photographed by the camera 51 to obtain the second information.
  • the position calculation unit 67 that calculates the position information from the first information display unit 41 of the display unit 42 and the information processing unit 68 are acquired by the crane information acquisition unit 62 based on the position information calculated by the position calculation unit 67.
  • the information of the crane 1 is processed into the information corresponding to the position and attitude of the virtual crane 1A calculated by the position / orientation calculation unit 66 with reference to the second information display unit 42 (FIGS. 3 and 4).
  • the workable areas 75 and 76 at the height at which the second information display unit 42 is installed can be displayed. Therefore, for example, as shown in FIG. 4, when loading and unloading the suspended load at a high position such as the roof of the building B, the crane 1 can be operated at the height where the second information display unit 42 is installed. Areas 75 and 76 can be displayed. As a result, even when the loading / unloading position of the suspended load is at a height different from the installation surface of the crane 1, the work plan of the crane 1 can be easily examined.
  • the crane information display system 100 of the first embodiment includes an input unit 53 for inputting an overhang amount of the outrigger 80 of the virtual crane 1A, and the crane information acquisition unit 62 is a three-dimensional virtual based on an input value to the input unit 53.
  • a virtual outrigger generation unit 63 for generating an outrigger 80A is provided (FIGS. 3 and 4).
  • the virtual outrigger 80A having an overhang amount corresponding to the input value can be superimposed and displayed on the image of the virtual crane 1A and its surroundings arranged at the place where the crane 1 is planned to be installed. .. Therefore, at the work site, the amount of overhang of the outrigger 80 can be confirmed in real time on a three-dimensional image.
  • the crane information display system 100 of the first embodiment includes an input unit 53 for inputting a suspended load and a boom 30 length of the crane 1, and the crane information acquisition unit 62 is based on an input value to the input unit 53.
  • the workable area calculation unit 64 for calculating the workable areas 71 and 72 of the crane 1 is provided (FIGS. 3 and 4).
  • the workable area 71 for a predetermined suspended load is based on the length of the boom 30. 72 can be superimposed and displayed. Therefore, at the work site, the workable areas 71 and 72 can be confirmed in real time with a three-dimensional image.
  • the information of the crane 1 includes the tail swing region 73 of the crane 1 (FIGS. 3 and 4).
  • the tail swing area 73 can be superimposed and displayed on the image of the virtual crane 1A and its surroundings arranged at the place where the crane 1 is planned to be installed. Therefore, the tail swing region 73 can be confirmed in real time with a three-dimensional image at the work site.
  • the information of the predetermined position of the crane 1 stored in the first information display unit 41 is set to the center of the left side surface of the vehicle body frame 11 of the traveling body 10.
  • the information of the predetermined position of the crane 1 stored in the first information display unit 41 is not limited to the center of the left side surface of the vehicle body frame 11.
  • the information of the predetermined position of the crane 1 stored in the first information display unit 41 in addition to the left side surface of the vehicle body frame 11, the front surface, the rear surface, and the right side surface of the vehicle body frame 11 are stored, and the operator M may be appropriately selected from the input unit 53.
  • the information of one model of the crane 1 is stored in the first information display unit 41 .
  • information on a plurality of crane models may be stored in the first information display unit 41 so that the operator M can appropriately select from the input unit 53.
  • Example 1 an example in which the information display unit 40 is used as an April tag is shown.
  • the information display unit is not limited to this mode, and may be a two-dimensional code such as a QR code (registered trademark).
  • the information display unit may be used as the crane itself, and the crane information may be acquired by image recognition using deep learning.
  • Example 1 a workable area 72,76 with a load factor of 80% and a workable area 71,75 with a load factor of 100% are displayed on the image display unit 52.
  • one workable area may be displayed on the image display unit, or three or more workable areas may be displayed.
  • the load factor of the workable area is not limited to 80% or 100%.
  • the user terminal is a tablet terminal 50 including a camera 51, an input unit 53, and an image display unit 52.
  • the user terminal may be a smartphone. Further, the user terminal may have a camera and an image display unit separately.
  • the shape information and the performance information of the crane 1 are stored in the storage unit 61 .
  • the shape information and the performance information of the crane may be stored in the first information display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Jib Cranes (AREA)
  • Structures For Mounting Electric Components On Printed Circuit Boards (AREA)
  • Lead Frames For Integrated Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

カメラ(51)を有する端末装置(50)を備え、カメラ(51)にて、クレーン(1)の情報を表示する第1情報表示部(41)を撮影してカメラ画像を得るクレーン情報表示システム(100)であって、カメラ画像から、第1情報表示部(41)の表示情報を読み取り、クレーン(1)の情報を取得するクレーン情報取得部(62)と、仮想クレーン(1)の画像情報を生成する仮想クレーン生成部(65)と、カメラ画像から、仮想クレーンを配置すべき位置と仮想クレーン(1)の取るべき姿勢とを算出する位置姿勢算出部(66)と、仮想クレーン(1)の画像情報を、仮想クレーン(1)の位置と姿勢に対応した画像情報に変換する情報処理部(68)と、仮想クレーン(1)を、カメラ画像に重ねて表示する画像表示部(52)と、を備えるクレーン情報表示システム。

Description

クレーン情報表示システム
 本発明は、クレーン情報表示システムに関する。
 従来、クレーンの情報を表示するクレーン情報表示システムが知られている(例えば、特許文献1参照)。
 特許文献1には、クレーンの稼働状態をオペレータに表示したり、携帯端末を利用してクレーンの外にいる人間に表示したりする構成が開示されている。これにより、クレーンの外にいる人間でもクレーンの稼働状態を把握することができる。
特開2014-227281号公報
 しかしながら、特許文献1に記載の構成では、実際のクレーンの稼働状態を単に表示するものであり、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができない、という問題がある。
 そこで、本発明は、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができるクレーン情報表示システムを提供することを目的とする。
 前述した課題を解決する主たる本開示は、
 カメラを有する端末装置を備え、前記カメラにて、クレーンの情報を表示する第1情報表示部を撮影してカメラ画像を得るクレーン情報表示システムであって、
 前記カメラ画像から、前記第1情報表示部の表示情報を読み取り、前記クレーンの情報を取得するクレーン情報取得部と、
 前記クレーン情報取得部の取得した前記クレーンの情報に基づいて、前記クレーンの三次元画像に相当する仮想クレーンの画像情報を生成する仮想クレーン生成部と、
 前記カメラ画像から、前記第1情報表示部の表示情報を読み取り、前記第1情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第1情報表示部の輪郭形状の情報を抽出して、前記第1情報表示部の前記基準形状及び前記第1情報表示部の前記輪郭形状の情報に基づいて、前記カメラ画像内で、前記仮想クレーンを配置すべき位置と前記仮想クレーンの取るべき姿勢とを算出する位置姿勢算出部と、
 前記仮想クレーン生成部が生成した前記仮想クレーンの画像情報を、前記位置姿勢算出部が算出した前記仮想クレーンの前記位置と前記姿勢に対応した画像情報に変換する情報処理部と、
 前記情報処理部にて画像情報の変換処理が施された前記仮想クレーンを、前記カメラ画像に重ねて表示する画像表示部と、
 を備えるクレーン情報表示システムである。
 このように構成された本発明のクレーン情報表示システムは、クレーンの設置を予定している場所にクレーンを配置せずにクレーンの作業計画をすることができる。
実施例1のクレーン情報表示システムを示す図である。 実施例1のクレーンを示す側面図である。 実施例1のクレーン情報表示システムの機能構成を示すブロック図である。 実施例1の画像表示部に表示される画像を示す図である。 実施例1のクレーン情報表示システムの制御部による処理の流れを示すフローチャートである。
 以下、本発明によるクレーン情報表示システムを実現する実施形態を、図面に示す実施例1に基づいて説明する。
[クレーン情報表示システムの構成]
 図1は、実施例1のクレーン情報表示システムを示す図である。図2は、実施例1のクレーンを示す側面図である。以下、実施例1のクレーン情報表示システムの構成を説明する。なお、実際のクレーンをクレーン1とし、仮想クレーンを仮想クレーン1Aとする。また、クレーン1の前後方向を前後方向Dとする。
 図1に示すように、実施例1のクレーン情報表示システム100は、カメラ51を備えたユーザ端末としてのタブレット端末50で、作業者Mがクレーン1の設置予定の作業現場を撮影する例について説明する。
[クレーンの構成]
 図2に示すように、クレーン1は、走行体10と、旋回体20と、ブーム30とを備える。
 走行体10は、車体フレーム11と、アウトリガー80と、道路や作業現場を自走するための走行装置等を備える。
 アウトリガー80は、走行体10の車体フレーム11のリア側面に取り付けられたリアアウトリガー81と、車体フレーム11のフロント側面に取り付けられたフロントアウトリガー82と、で構成される。アウトリガー80は、走行時には、車体フレーム11に収納される。一方、アウトリガー80は、作業時には、水平方向及び垂直方向に張り出し、車体全体を持ち上げて、姿勢を安定させる。
 旋回体20は、走行体10の上方に設けられ、走行体10に対して、鉛直軸C1回りに回転可能となっている。旋回体20は、キャビン21を備える。キャビン21は、走行体10の走行を制御するための操作部(例えば、ステアリング、シフトレバー、アクセルペダル、及びブレーキペダル等)を有する。また、キャビン21は、旋回体20やブーム30やウインチ等を操作する操作部を有する。キャビン21に搭乗した作業者は、操作部を操作して、旋回体20を旋回させ、ブーム30を起伏及び伸縮させ、ウインチを回転させて作業を行う。
 ブーム30は、基端側が旋回体20に支持されて、旋回体20に対して起伏可能に取り付けられる。ブーム30は、旋回体20に設けられた起伏シリンダ22によって起伏され、伸縮シリンダ(不図示)によって伸縮される。
 ブーム30は、基端側の基端ブーム31から先端側の先端ブーム36までの間に、中間ブーム32~35を備える。中間ブーム32~35と先端ブーム36は、順次、基端ブーム31の内部に格納される入れ子式になっている。
 先端ブーム36の先端に設けられたブームヘッド36aには、シーブ37が配置されている。旋回体20の、ブーム30の基端近くに設けられたウインチには、吊り荷用のワイヤロープ38が巻かれている。ワイヤロープ38は、ウインチからシーブ37までブーム30の軸方向に沿って配置され、シーブ37に掛け回されたワイヤロープ38は、シーブ37から鉛直方向の下方に吊り下げられる。ワイヤロープ38の最下部には、フック39が設けられている。
 フック39に荷物が吊られ、ウインチに巻かれたワイヤロープ38を繰り出すことで、フック39が降下し、ワイヤロープ38を巻き上げることで、フック39は上昇する。
 このように構成されたクレーン1は、ウインチによるワイヤロープ38の繰り出し・巻き上げ、ブーム30の起伏及び伸縮、並びに旋回体20の旋回により、フック39に吊られた荷物を所定の位置に移動させる。
[タブレット端末の構成]
 図1に示すように、タブレット端末50は、カメラ51と、画像表示部52と、入力部53と、を備える。
 カメラ51で撮影した画像は、画像表示部52に表示される。画像表示部52は、入力部53としてのタッチパネルとしても構成される。
[第1情報表示部の構成]
 図1に示すように、第1情報表示部41(即ち、マーカー)は、立て看板等の支持部材45に取り付けられる。第1情報表示部41が取り付けられた支持部材45は、クレーン1の設置予定の場所に設置される。
 第1情報表示部41は、エイプリルタグ(AprilTag)とすることができる。第1情報表示部41には、クレーン1の機種の情報と、第1情報表示部41の形状とサイズと、クレーン1の所定の位置の情報と、が記録される。クレーン1の所定の位置の情報は、例えば、走行体10の車体フレーム11の左側面の中央とすることができる。
[第2情報表示部の構成]
 図1に示すように、第2情報表示部42(即ち、マーカー)は、クレーン1による吊荷の積み下ろし予定位置、例えば、ビルBの屋上に設置される。第2情報表示部42は、エイプリルタグ(AprilTag)とすることができる。第2情報表示部42には、第2情報表示部42の形状とサイズが記録される。
 第1情報表示部41及び第2情報表示部42は、例えば、それぞれ、その表面に付された文字、符号、記号、又はパターン等によって、別個の表示情報(即ち、コード情報)を保有する。第1情報表示部41及び第2情報表示部42それぞれの保有する表示情報(即ち、コード情報)は、予め制御部60(後述)等に記憶された解読プログラムを用いて、カメラ51により生成されたカメラ画像から読み取り可能となっている。又、第1情報表示部41と第2情報表示部42とは、それぞれが保有する表示情報(即ち、コード情報)から、識別可能となっている。尚、第1情報表示部41及び第2情報表示部42に記録された形状とサイズは、例えば、これらを、所定距離離れた正面から撮影した際に得られる形状とサイズである(以下、「基準形状」及び「基準サイズ」と称する)。
[クレーン情報表示システムの機能構成]
 図3は、実施例1のクレーン情報表示システム100の機能構成を示すブロック図である。図4は、実施例1の画像表示部52に表示される画像を示す図である。以下、実施例1のクレーン情報表示システム100の機能構成を説明する。
 図3に示すように、クレーン情報表示システム100は、第1情報表示部41をカメラ51で撮影した画像と、第2情報表示部42をカメラ51で撮影した画像と、入力部53で入力された入力情報とが、制御部60(本実施形態では、タブレット端末50に内蔵された制御部)に入力され、制御部60で制御された情報が、画像表示部52で出力される。
 カメラ51は、例えば一般的なタブレット端末50に備わるカメラ51とすることができる。カメラ51は、クレーン1を設置予定の作業現場や、第1情報表示部41や、第2情報表示部42を撮影することができる。
 入力部53は、アウトリガー80の水平方向の張り出し量や、吊荷荷重や、ブーム30の長さ等を入力することができる。ブーム30の長さは、先端ブーム36と、中間ブーム32~35とが、基端ブーム31に格納された状態(全縮状態)のブーム30の長さや、先端ブーム36が伸張した状態のブーム30の長さや、先端ブーム36と中間ブーム32~35とが伸張した状態(全伸状態)の長さ等である。
 制御部60は、記憶部61と、クレーン情報取得部62と、仮想クレーン生成部65と、位置姿勢算出部66と、位置算出部67と、情報処理部68と、を備える。尚、制御部60は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、及び、ROM(Read Only Memory)等によって構成された周知のマイコンであり、制御部60が有する機能(クレーン情報取得部62、仮想クレーン生成部65、位置姿勢算出部66、及び、位置算出部67と、情報処理部68)は、例えば、CPUが、記憶部61(例えば、HDD)、ROM又はRAMに格納された制御プログラムや各種データを参照することによって実現される。
 記憶部61は、各種クレーンの形状情報と、各種クレーンの性能情報と、を記憶する。性能情報には、例えば、アウトリガー80の形状に関する情報と、アウトリガー80の張り出し量とブーム30の長さとに応じた水平方向の作業可能領域の情報と高さ方向の作業可能領域の情報や、ブームの起伏角度範囲の情報や、負荷率に関する情報や、テールスイング領域に関する情報等を含む。
 クレーン情報取得部62は、カメラ51で撮影した第1情報表示部41に基づいて、クレーン1の機種の情報を取得し、取得したクレーン1の機種の形状情報と性能情報を記憶部61から取得する。すなわち、クレーン情報取得部62は、カメラ51で撮影した第1情報表示部41を読み込んで(即ち、カメラ画像から、第1情報表示部41の表示情報を読み取って)、クレーン1の機種を取得し、取得した機種の形状情報と性能情報を記憶部61から取得する。
 クレーン情報取得部62は、仮想アウトリガー生成部63と、作業可能領域算出部64と、を備える。
 仮想アウトリガー生成部63は、記憶部61に記憶されたアウトリガー80の形状に関する情報(即ち、情報表示部40の表示情報から特定されたクレーン1の機種に対応するアウトリガー80の形状)と、入力部53に対して入力されたアウトリガー80の水平方向の張り出し量と、に基づいて、クレーン1の情報として、仮想アウトリガー80Aの3次元データを生成する。
 作業可能領域算出部64は、情報表示部40の表示情報から特定されたクレーン1の機種の情報を参照すると共に、入力部53に対して入力された吊荷荷重と、ブーム30の長さと、に基づいて、クレーン1の情報として、クレーン1の作業可能領域を算出する。作業可能領域算出部64は、複数の負荷率の作業可能領域を算出することができる。実施例1では、作業可能領域算出部64は、80%の負荷率の作業可能領域と、100%の負荷率の作業可能領域と、を算出する。なお、作業可能領域とは、クレーン1の設置面における、クレーン1の水平方向の作業可能な領域をいう。
 仮想クレーン生成部65は、クレーン情報取得部62の取得したクレーン1の情報に基づいて、仮想クレーン1Aの3次元データを生成する。
 位置姿勢算出部66は、カメラ51で撮影した第1情報表示部41に基づいて、仮想クレーン1Aの位置と姿勢(即ち、カメラ51の画像内で、仮想クレーン1Aを配置すべき位置と仮想クレーン1Aの取るべき姿勢)を算出する。
 具体的には、位置姿勢算出部66は、カメラ51で撮影された第1情報表示部41の形状(以下、「情報表示部40の輪郭形状」と称する)と、第1情報表示部41に記録された第1情報表示部41の基準形状と、に基づいて、仮想クレーン1Aの姿勢の情報を取得する。即ち、位置姿勢算出部66は、カメラ51の画像から、第1情報表示部41の表示情報(即ち、コード情報)を読み取って、第1情報表示部41の基準形状に係る情報を取得すると共に、カメラ51の画像から、公知のパターンマッチング等によって、カメラ51に映る第1情報表示部41の輪郭形状を抽出する。そして、位置姿勢算出部66は、カメラ51の画像に映る第1情報表示部41の輪郭形状と、第1情報表示部41の基準形状と、を比較することで、カメラ51の画像内で、仮想クレーン1Aを配置すべき位置と仮想クレーン1Aの取るべき姿勢を算出する。
 例えば、カメラ51で撮影した第1情報表示部41の形状が、第1情報表示部41に記録された矩形状である場合(即ち、カメラ51の画像に映る第1情報表示部41の輪郭形状と、第1情報表示部41の表示情報から特定される第1情報表示部41の基準形状とが、共に矩形状である場合)、仮想クレーン1Aの左側面が、カメラ51に対して真正面に向く姿勢にある。カメラ51で撮影した第1情報表示部41の形状が、第1情報表示部41に記録された矩形状ではなく、情報表示部40の左縁が、右縁より長い(高い)台形である場合(即ち、カメラ51の画像に映る第1情報表示部41の輪郭形状が、左縁が右縁より長い台形であり、且つ、第1情報表示部41の表示情報から特定される第1情報表示部41の基準形状が矩形状である場合)、仮想クレーン1Aの左側面が、カメラ51に対して、真正面から若干左側を向いた姿勢にある。カメラ51で撮影した第1情報表示部41が、第1情報表示部41に記録された矩形状ではなく、情報表示部40の右縁が、左縁より長い台形の場合(即ち、カメラ51の画像に映る第1情報表示部41の輪郭形状が、右縁が左縁より長い台形であり、且つ、第1情報表示部41の表示情報から特定される第1情報表示部41の基準形状が矩形状である場合)、仮想クレーン1Aの左側面は、カメラ51に対して、真正面から若干右側を向いた姿勢にある。
 すなわち、位置姿勢算出部66は、カメラ51で撮影された第1情報表示部41の輪郭形状と、第1情報表示部41に記録された第1情報表示部41の基準形状とを比較し、仮想クレーン1Aの姿勢の情報を取得する。
 また、位置姿勢算出部66は、カメラ51で撮影された第1情報表示部41の輪郭形状のサイズと、第1情報表示部41に記録された第1情報表示部41の基準サイズと、に基づいて、仮想クレーン1Aの位置の情報を取得する。具体的には、位置姿勢算出部66は、第1情報表示部41に記録された第1情報表示部41の基準サイズと、カメラ51で撮影された第1情報表示部41の輪郭形状のサイズとを比較し、カメラ51から第1情報表示部41までの距離を算出する。
 位置算出部67は、カメラ51で撮影された第2情報表示部42に基づいて、第1情報表示部41からの第2情報表示部42の相対的な位置の情報を算出する。具体的には、位置算出部67は、カメラ51で撮影された第2情報表示部42を読み込んで(即ち、カメラ51の画像から、第2情報表示部42の表示情報を読み取って)、第1情報表示部41の位置を基準として、第1情報表示部41からの距離と方向を算出する。すなわち、位置算出部67は、第1情報表示部41を基準とした、第2情報表示部42の水平方向の距離の情報と、高さ方向の距離の情報を算出する。
 より詳細には、位置算出部67は、カメラ51の画像内に、第1情報表示部41と第2情報表示部42の両方が映っている状態で機能する。位置算出部67は、例えば、第2情報表示部42の基準形状を取得すると共に、カメラ51の画像に映る第2情報表示部42の輪郭形状を抽出して、第2情報表示部42の基準形状及び第2情報表示部42の輪郭形状の情報に基づいて、カメラ51の画像内における第2情報表示部42の位置を特定する。そして、位置算出部67は、位置姿勢算出部66に算出されたカメラ51の画像内における第1情報表示部41の位置、自身が算出したカメラ51の画像内における第2情報表示部42の位置とを参照することで、第1情報表示部41からの第2情報表示部42の相対的な位置の情報を算出する。但し、SLAM技術等によって、第1情報表示部41が映ったカメラ51の画像と第2情報表示部42が映ったカメラ51の画像との位置関係を特定できれば、位置算出部67の機能は、一枚の画像内に、第1情報表示部41と第2情報表示部42の両方が映っていない状態であっても実現可能である。
 情報処理部68は、仮想クレーン生成部65が生成した仮想クレーン1Aを、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する。換言すると、情報処理部68は、仮想クレーン生成部65が生成した仮想クレーン1Aの画像情報を、位置姿勢算出部66が算出したカメラ51の画像内で、仮想クレーン1Aを配置すべき位置と仮想クレーン1Aの取るべき姿勢とに対応した画像情報に変換する。情報処理部68は、例えば、カメラ51の撮影位置からクレーン設置予定位置(即ち、第1情報表示部41の設置位置)を見たときに、仮想クレーン1Aの三次元画像が、実際にクレーン1が存在する状態を模擬した画像となるように、仮想クレーン1Aの画像情報を変換する。尚、情報処理部68のかかる画像処理は、公知の座標変換処理等によって、実現される。
 また、情報処理部68は、クレーン情報取得部62が取得したクレーン1の性能情報と、仮想アウトリガー生成部63が生成した仮想アウトリガー80Aと、作業可能領域算出部64が算出したクレーン1の作業可能領域と、を位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する。すなわち、情報処理部68は、クレーン情報取得部62が取得したクレーン1の情報を、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する。
 また、情報処理部68は、クレーン情報取得部62が取得したクレーン1の情報を、位置算出部67が算出した位置情報に基づいて、第2情報表示部42を基準とした、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する。言い換えると、情報処理部68は、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応させたクレーン1の情報を、第2情報表示部42を基準とした情報に処理する。即ち、情報処理部68は、位置算出部67が算出した第1情報表示部41からの第2情報表示部42の相対位置に基づいて、クレーン情報取得部62が取得したクレーン1の情報(例えば、クレーン1の作業可能領域75,76)を、クレーン1にて吊荷を積み下ろすときの作業位置に対応させて三次元の画像情報に変換する。
 画像表示部52は、情報処理部68が処理した情報を、カメラ51の画像に重ねて表示する。具体的には、図4に示すように、画像表示部52は、カメラ51で撮影したクレーン1を設置予定の作業現場の画像に、仮想クレーン1Aと、クレーン情報取得部62が取得したクレーン1のテールスイング領域73と、仮想アウトリガー生成部63が生成した仮想アウトリガー80Aと、作業可能領域算出部64が算出したクレーン1の設置面における作業可能領域71,72と、第2情報表示部42が配置された高さにおけるクレーン1の作業可能領域75,76と、を重畳して表示する。また、画像表示部52は、入力部53に入力された吊荷荷重を表示する。
 仮想アウトリガー80Aは、仮想フロントアウトリガー82Aと、仮想リアアウトリガー81Aから構成される。クレーン1の設置面における作業可能領域は、80%の負荷率の作業可能領域72と、100%の負荷率の作業可能領域71とから構成される。第2情報表示部42が配置された高さにおける作業可能領域は、80%の負荷率の作業可能領域76と、100%の負荷率の作業可能領域75とから構成される。
 即ち、画像表示部52は、ユーザが、クレーン1を現場で実際に稼働した際に、クレーン1の各部位が現場環境にどのような影響を与えるか等を、3次元で検討することができるように、カメラ51の画像に映る周辺環境に重ね合わせるように、仮想クレーン1A、クレーン1の作業可能領域71,72(75,76)、仮想アウトリガー80A、及び、クレーン1のテールスイング領域73を、3次元画像で表示する。尚、画像表示部52は、例えば、カメラ51の画像内で、仮想クレーン1Aのアウトリガーの位置に、仮想アウトリガー80Aを表示する。又、画像表示部52は、例えば、カメラ51の画像内で、仮想クレーン1Aを中心として、その周囲に、クレーン1の作業可能領域71,72を表示する。又、画像表示部52は、例えば、カメラ51の画像内で、仮想クレーン1Aの旋回台を中心として、その周囲に、クレーン1のテールスイング領域73を表示する。
[制御部による処理の流れ]
 図5は、実施例1のクレーン情報表示システム100の制御部60による処理の流れを示すフローチャートである。以下、実施例1のクレーン情報表示システム100の制御部60による処理の流れを説明する。
 作業者Mが、タブレット端末50に取り付けられたカメラ51によって、クレーン1が設置される予定の作業現場に設置された支持部材45に取り付けられた第1情報表示部41と、その周辺の現場環境を撮影すると、図5に示すように、クレーン情報取得部62は、カメラ51で撮影した第1情報表示部41を読み込む(ステップS101)。
 次いで、クレーン情報取得部62は、取得したクレーン1の機種の形状情報と性能情報を記憶部61から取得する(ステップS102)。
 次いで、仮想クレーン生成部65は、クレーン情報取得部62の取得したクレーン1の情報に基づいて、仮想アウトリガーの3次元データを生成する(ステップS103)。
 次いで、位置姿勢算出部66は、カメラ51で撮影した第1情報表示部41に基づいて、仮想クレーン1Aの位置と姿勢を算出する(ステップS104)。
 次いで、制御部60は、アウトリガー80の張り出し量が入力部53に入力されたか否かを判断する(ステップS105)。アウトリガー80の張り出し量が入力部53に入力されたと判断した場合(ステップS105でYES)、仮想アウトリガー生成部63は、仮想アウトリガー80Aを生成し(ステップS106)、ステップS107に進む。一方、アウトリガー80の張り出し量が入力部53に入力されていない場合(ステップS105でNO)、ステップS107に進む。
 次いで、制御部60は、吊荷荷重とブーム30の長さが入力部53に入力されたか否かを判断する(ステップS107)。吊荷荷重とブーム30の長さが入力部53に入力されたと判断した場合(ステップS107でYES)、作業可能領域算出部64は、作業可能領域71,72を算出し(ステップS108)、ステップ109に進む。一方、吊荷荷重とブーム30の長さが入力部53に入力されていないと判断した場合(ステップS108でNO)、ステップS109に進む。
 次いで、情報処理部68は、仮想アウトリガー生成部63が生成した仮想アウトリガー80Aと、クレーン情報取得部62が取得したクレーン1の情報と、を位置姿勢算出部66が算出したクレーン1の位置と姿勢に対応した情報に処理する(ステップS109)。
 次いで、位置算出部67は、カメラ51で撮影された第2情報表示部42を読み込む(ステップS110)。
 次いで、位置算出部67は、第2情報表示部42の第1情報表示部41からの位置情報を算出する(ステップS111)。
 次いで、情報処理部68は、クレーン情報取得部62が取得したクレーン1の情報を、位置算出部67が算出した位置情報に基づいて、第2情報表示部42を基準とした、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する(ステップS112)。
 次いで、画像表示部52は、カメラ51で撮影した、クレーン1が設置される予定の作業現場の画像に、仮想クレーン1Aと、クレーン情報取得部62が取得したクレーン1のテールスイング領域73と、仮想アウトリガー生成部63が生成した仮想アウトリガー80Aと、仮想クレーン1Aの設置面における作業可能領域71,72と、第2情報表示部42の配置された高さにおける作業可能領域75,76と、を重畳して表示して(ステップS113)、処理を終了する。
 このようにして、クレーン1の設置場所を検討し、クレーン1の設置場所が決定した場合、作業現場に置かれた支持部材45に取り付けられた第1情報表示部41に、実際のクレーン1の所定の位置(例えば、走行体10の車体フレーム11の左側面の中央)を一致させるように、クレーン1を搬送して設置する。
[クレーン情報表示システムの作用] 
 以下、実施例1のクレーン情報表示システム100の作用を説明する。
 実施例1のクレーン情報表示システム100は、クレーン1の情報を表示する第1情報表示部41をカメラ51で撮影して、クレーン1の情報を取得するクレーン情報取得部62と、クレーン情報取得部62の取得したクレーン1の情報に基づいて、クレーン1の立体の仮想クレーン1Aを生成する仮想クレーン生成部65と、カメラ51で撮影した第1情報表示部41に基づいて、仮想クレーン1Aの位置と姿勢を算出する位置姿勢算出部66と、仮想クレーン生成部65が生成した仮想クレーン1Aを、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する情報処理部68と、情報処理部68が処理した情報を、カメラ51で撮影した画像に重ねて表示する画像表示部52と、を備える(図3及び図4)。
 これにより、クレーン1の設置を予定している場所の風景画像に、仮想クレーン1Aを配置して表示することができる。そのため、クレーン1の設置を予定している場所に実際にはクレーン1を配置せずに、クレーン1の配置の検討を3次元の画像ですることができる。その結果、クレーン1の作業計画を簡易に検討することができる。
 実施例1のクレーン情報表示システム100において、情報処理部68は、クレーン情報取得部62が取得したクレーン1の情報を、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する(図3及び図4)。
 これにより、仮想クレーン1Aが配置された画像に、クレーン1の情報を重ね合わせて表示することができる。そのため、仮想クレーン1Aと、その周辺の現場環境と、クレーン1の情報とを、リアルタイムに3次元の画像で確認することができる。その結果、クレーン1の設置を予定している場所に実施のクレーン1を配置せずに、クレーン1の作業計画を簡易に検討することができる。
 実施例1のクレーン情報表示システム100において、クレーン1による吊荷の積み下ろし位置に配置された第2情報表示部42を有し、第2情報表示部42をカメラ51で撮影して、第2情報表示部42の第1情報表示部41からの位置情報を算出する位置算出部67と、情報処理部68は、位置算出部67が算出した位置情報に基づいて、クレーン情報取得部62が取得したクレーン1の情報を、第2情報表示部42を基準とした、位置姿勢算出部66が算出した仮想クレーン1Aの位置と姿勢に対応した情報に処理する(図3及び図4) 
 これにより、第2情報表示部42が設置された高さにおける作業可能領域75,76を表示することができる。そのため、例えば、図4に示すように、ビルBの屋上等の高い位置で、吊荷の積み下ろし作業をするような場合、第2情報表示部42を設置した高さにおける、クレーン1の作業可能領域75,76を表示することができる。その結果、吊荷の積み下ろし位置が、クレーン1の設置面と異なる高さにある場合でも、クレーン1の作業計画を簡易に検討することができる。
 実施例1のクレーン情報表示システム100において、仮想クレーン1Aのアウトリガー80の張り出し量を入力する入力部53を備え、クレーン情報取得部62は、入力部53への入力値に基づいて、立体の仮想アウトリガー80Aを生成する仮想アウトリガー生成部63を備える(図3及び図4)。
 これにより、クレーン1の設置を予定している場所に配置された仮想クレーン1Aとその周囲を撮影した画像上に、入力値に対応した張り出し量の仮想アウトリガー80Aを重ね合わせて表示することができる。そのため、作業現場において、アウトリガー80の張り出し量をリアルタイムに3次元の画像上で確認することができる。
 実施例1のクレーン情報表示システム100において、吊荷荷重と、クレーン1のブーム30の長さと、を入力する入力部53を備え、クレーン情報取得部62は、入力部53への入力値に基づいて、クレーン1の作業可能領域71,72を算出する作業可能領域算出部64を備える(図3及び図4)。
 これにより、クレーン1の設置を予定している場所に配置された仮想クレーン1Aとその周囲を撮影した画像上に、ブーム30の長さに基づいて、所定の吊荷荷重に対する作業可能領域71,72を重ね合わせて表示することができる。そのため、作業現場において、作業可能領域71,72をリアルタイムに3次元の画像で確認することができる。
 実施例1のクレーン情報表示システム100において、クレーン1の情報は、クレーン1のテールスイング領域73が含まれる(図3及び図4)。
 これにより、クレーン1の設置を予定している場所に配置された仮想クレーン1Aとその周囲を撮影した画像上に、テールスイング領域73を重ね合わせて表示することができる。そのため、作業現場においいて、テールスイング領域73をリアルタイムに3次元の画像で確認することができる。
 以上、本発明のクレーン情報表示システムを実施例1に基づき説明してきた。しかし、具体的な構成については、この実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
 実施例1では、第1情報表示部41に記憶されるクレーン1の所定の位置の情報を、走行体10の車体フレーム11の左側面の中央とする例を示した。しかし、第1情報表示部41に記憶されるクレーン1の所定の位置の情報は、車体フレーム11の左側面の中央に限定されるものではない。また、第1情報表示部41に記憶されるクレーン1の所定の位置の情報として、車体フレーム11の左側面以外に、車体フレーム11の前面と、後面と、右側面とを記憶し、作業者Mが入力部53から適宜選択できるようにしてもよい。
 実施例1では、第1情報表示部41に1つのクレーン1の機種の情報が記憶される例を示した。しかし、第1情報表示部41に複数のクレーンの機種の情報が記憶されていて、作業者Mが入力部53から適宜選択できるようにしてもよい。
 実施例1では、情報表示部40をエイプリルタグとする例を示した。しかし、情報表示部は、この態様に限定されず、例えばQRコード(登録商標)等の2次元コードとしてもよい。また、情報表示部をクレーン自体として、深層学習を使用した画像認識によって、クレーンの情報を取得してもよい。
 実施例1では、80%の負荷率の作業可能領域72,76と、100%の負荷率の作業可能領域71,75を画像表示部52に表示する例を示した。しかし、画像表示部には、1つの作業可能領域を表示しても良いし、3つ以上の作業可能領域を表示してもよい。また、作業可能領域の負荷率は、80%や100%に限定されるものではない。
 実施例1では、ユーザ端末を、カメラ51と入力部53と画像表示部52を備えるタブレット端末50とする例を示した。しかし、ユーザ端末は、スマートフォンであってもよい。また、ユーザ端末は、カメラと画像表示部が別体のものであってもよい。
 実施例1では、クレーン1の形状情報と性能情報を記憶部61に記憶する例を示した。しかし、クレーンの形状情報と性能情報は、第1情報表示部に記憶させてもよい。
 2019年9月27日出願の特願2019-176782の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 1 クレーン
 1A 仮想クレーン
 41 第1情報表示部
 42 第2情報表示部
 50 タブレット端末
 51 カメラ
 52 画像表示部
 62 クレーン情報取得部
 63 仮想アウトリガー生成部
 64 作業可能領域算出部
 65 仮想クレーン生成部
 66 位置姿勢算出部
 67 位置算出部
 68 情報処理部
 71,72 作業可能領域
 75,76 作業可能領域
 73 テールスイング領域
 80A 仮想アウトリガー
 100 クレーン情報表示システム

Claims (6)

  1.  カメラを有する端末装置を備え、前記カメラにて、クレーンの情報を表示する第1情報表示部を撮影してカメラ画像を得るクレーン情報表示システムであって、
     前記カメラ画像から、前記第1情報表示部の表示情報を読み取り、前記クレーンの情報を取得するクレーン情報取得部と、
     前記クレーン情報取得部の取得した前記クレーンの情報に基づいて、前記クレーンの三次元画像に相当する仮想クレーンの画像情報を生成する仮想クレーン生成部と、
     前記カメラ画像から、前記第1情報表示部の表示情報を読み取り、前記第1情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第1情報表示部の輪郭形状の情報を抽出して、前記第1情報表示部の前記基準形状及び前記第1情報表示部の前記輪郭形状の情報に基づいて、前記カメラ画像内で、前記仮想クレーンを配置すべき位置と前記仮想クレーンの取るべき姿勢とを算出する位置姿勢算出部と、
     前記仮想クレーン生成部が生成した前記仮想クレーンの画像情報を、前記位置姿勢算出部が算出した前記仮想クレーンの前記位置と前記姿勢に対応した画像情報に変換する情報処理部と、
     前記情報処理部にて画像情報の変換処理が施された前記仮想クレーンを、前記カメラ画像に重ねて表示する画像表示部と、
     を備えるクレーン情報表示システム。
  2.  前記情報処理部は、前記クレーン情報取得部が取得した前記クレーンの情報を、前記位置姿勢算出部が算出した前記仮想クレーンの前記位置と前記姿勢に対応した三次元の画像情報に変換し、
     前記画像表示部は、前記情報処理部にて変換処理が施された前記クレーンの情報を前記カメラ画像に表示する、
     請求項1に記載のクレーン情報表示システム。
  3.  前記カメラ画像から、前記クレーンによる吊荷の積み下ろし予定位置に配置された第2情報表示部の表示情報を読み取り、前記第2情報表示部の基準形状の情報を取得すると共に、前記カメラ画像に映る前記第2情報表示部の輪郭形状の情報を抽出して、前記第2情報表示部の前記基準形状及び前記第2情報表示部の前記輪郭形状の情報に基づいて、前記第1情報表示部からの前記第2情報表示部の相対位置を算出する位置算出部を有し、
     前記情報処理部は、前記第1情報表示部からの前記第2情報表示部の相対位置に基づいて、前記クレーン情報取得部が取得した前記クレーンの情報を、前記クレーンにて前記吊荷を積み下ろすときの作業位置に対応させて前記三次元の画像情報に変換する、
     請求項2に記載のクレーン情報表示システム。
  4.  前記仮想クレーンのアウトリガーの張り出し量を入力する入力部を備え、
     前記クレーン情報取得部は、前記情報表示部の表示情報から特定される前記クレーンのアウトリガーの情報と、前記入力部への入力値とに基づいて、表示対象の前記クレーンの情報として、前記アウトリガーの三次元画像に相当する仮想アウトリガーの画像情報を生成する、
     請求項2に記載のクレーン情報表示システム。
  5.  吊荷荷重と、前記クレーンのブームの長さと、を入力する入力部を備え、
     前記クレーン情報取得部は、前記情報表示部の表示情報から特定される前記クレーンの機種の情報と、前記入力部への入力値とに基づいて、表示対象の前記クレーンの情報として、前記クレーンの作業可能領域を算出する、
     請求項2に記載のクレーン情報表示システム。
  6.  前記クレーンの情報は、前記クレーンのテールスイング領域の情報を含む、
     請求項1に記載のクレーン情報表示システム。
PCT/JP2020/036296 2019-09-27 2020-09-25 クレーン情報表示システム WO2021060473A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/763,051 US20220356048A1 (en) 2019-09-27 2020-09-25 Crane information display system
JP2021549047A JP7070802B2 (ja) 2019-09-27 2020-09-25 クレーン情報表示システム
EP20869570.0A EP4036046A4 (en) 2019-09-27 2020-09-25 CRANE INFORMATION DISPLAY SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019176782 2019-09-27
JP2019-176782 2019-09-27

Publications (1)

Publication Number Publication Date
WO2021060473A1 true WO2021060473A1 (ja) 2021-04-01

Family

ID=75165248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036296 WO2021060473A1 (ja) 2019-09-27 2020-09-25 クレーン情報表示システム

Country Status (4)

Country Link
US (1) US20220356048A1 (ja)
EP (1) EP4036046A4 (ja)
JP (1) JP7070802B2 (ja)
WO (1) WO2021060473A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT17868U1 (de) * 2021-12-02 2023-05-15 Palfinger Ag Verfahren zur indirekten Bestimmung einer Ausschublänge zumindest eines Teleskopschubarmes eines Teleskopauslegers

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060471A1 (ja) * 2019-09-27 2021-04-01 株式会社タダノ クレーン情報表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105328A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
JP2014227281A (ja) 2013-05-24 2014-12-08 株式会社タダノ 作業機の表示システム
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
JP2019176782A (ja) 2018-03-30 2019-10-17 グローブライド株式会社 魚釣用スピニングリール

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001987A (ja) * 2002-03-25 2004-01-08 Hitachi Constr Mach Co Ltd 操作支援装置
NL2013409B1 (en) * 2014-09-03 2016-09-27 Fugro N V Spatial positioning of offshore structures.
JP6306552B2 (ja) * 2015-10-13 2018-04-04 株式会社タダノ 遠隔操作装置、及び案内システム
DE102016000351A1 (de) * 2016-01-14 2017-07-20 Liebherr-Werk Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
DE102016004382A1 (de) * 2016-04-08 2017-10-12 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Planen und/oder Steuern und/oder Simulieren des Betriebs einer Baumaschine
DE102016004266A1 (de) * 2016-04-08 2017-10-12 Liebherr-Werk Biberach Gmbh Baumaschine, insbesondere Kran, und Verfahren zu deren Steuerung
WO2018124098A1 (ja) * 2016-12-27 2018-07-05 株式会社タダノ 遠隔操作端末及び遠隔操作システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105328A (ja) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム
JP2014227281A (ja) 2013-05-24 2014-12-08 株式会社タダノ 作業機の表示システム
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
JP2019176782A (ja) 2018-03-30 2019-10-17 グローブライド株式会社 魚釣用スピニングリール

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIGUCHI, SHIGEO: "Computer-Aided Planning Support System for Mobile Crane Lifts", IPSJ SIG TECHNICAL REPORTS, vol. 2005, no. 116, 18 November 2005 (2005-11-18), pages 61 - 66, XP55903169 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT17868U1 (de) * 2021-12-02 2023-05-15 Palfinger Ag Verfahren zur indirekten Bestimmung einer Ausschublänge zumindest eines Teleskopschubarmes eines Teleskopauslegers

Also Published As

Publication number Publication date
JPWO2021060473A1 (ja) 2021-04-01
EP4036046A4 (en) 2023-11-01
US20220356048A1 (en) 2022-11-10
JP7070802B2 (ja) 2022-05-18
EP4036046A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP6805781B2 (ja) クレーン
JP6589468B2 (ja) 移動式クレーンの周囲表示装置
JP7107447B2 (ja) クレーン情報表示システム
WO2021060473A1 (ja) クレーン情報表示システム
WO2015145725A1 (ja) 情報提示装置、クレーンシステム及び情報提示方法
JP7114950B2 (ja) 遠隔操作端末及び作業車両
JP7099150B2 (ja) クレーン及び情報共有システム
WO2021060466A1 (ja) クレーン情報表示システム
US12094150B2 (en) Control device, a terminal, and a calculation method capable of calculating a direction of a cargo conveyed by a work machine
JP7172199B2 (ja) 遠隔操作端末及び作業車両
JP2018095371A (ja) クレーン
JP6737369B1 (ja) クレーン
JP6737368B1 (ja) クレーン
JP3374547B2 (ja) 遠隔操作用監視装置
JP6809186B2 (ja) クレーン
JP2019218198A (ja) 操作支援システム
JP2022166669A (ja) アウトリガ装置の設置位置表示システム及び作業車両
JP2022056091A (ja) 情報取得システム
JP2018095362A (ja) クレーン
JP7006442B2 (ja) クレーン
JP7310355B2 (ja) クレーン及び出来高管理装置
JP7501176B2 (ja) 移動式クレーン
JP7443947B2 (ja) 作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両
JP7447561B2 (ja) クレーン及び搬送先提示方法
US20230401348A1 (en) Construction work planning support device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20869570

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021549047

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020869570

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020869570

Country of ref document: EP

Effective date: 20220428