[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021153187A1 - 作業支援サーバおよび作業支援システム - Google Patents

作業支援サーバおよび作業支援システム Download PDF

Info

Publication number
WO2021153187A1
WO2021153187A1 PCT/JP2021/000362 JP2021000362W WO2021153187A1 WO 2021153187 A1 WO2021153187 A1 WO 2021153187A1 JP 2021000362 W JP2021000362 W JP 2021000362W WO 2021153187 A1 WO2021153187 A1 WO 2021153187A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
image
remote control
machine
work machine
Prior art date
Application number
PCT/JP2021/000362
Other languages
English (en)
French (fr)
Inventor
佐々木　均
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/790,807 priority Critical patent/US12054915B2/en
Priority to EP21747613.4A priority patent/EP4072130A4/en
Priority to CN202180011401.5A priority patent/CN115023949A/zh
Publication of WO2021153187A1 publication Critical patent/WO2021153187A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/226—Communication links with the remote-control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/187—Machine fault alarms
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present invention relates to a work support server for supporting remote control of a work machine using a remote control device.
  • a terminal device for a remote monitoring support system has been proposed for sharing information with sufficient accuracy between a worker who is inspecting the inside of a plant and a person who is waiting outside the work site. (See, for example, Patent Document 1).
  • This terminal device wirelessly transmits / receives data to / from the outside, a video input means for inputting on-site video data, a pen or mouse type input operation selection means, a detection means for detecting the presence / absence of new video acquisition. It includes a communication control means and an input / output screen display means for displaying an input screen for inputting predetermined data.
  • the operation target is displayed in the displayed image.
  • the operator misidentifies a certain work machine and a surrounding work machine that is not the operation target.
  • the work machine is operated by each of a plurality of operators, it is necessary for each operator to recognize the own machine which is the operation target of one operator and the other machine which is the operation target of the other operator.
  • the present invention is a server capable of causing the operator of the remote control device to recognize which remote control device the work machine displayed on the output interface constituting the remote control device is the target of remote control.
  • the purpose is to provide a system.
  • the present invention relates to a work support server for supporting remote control of a work machine using a remote control device.
  • the work support server of the present invention It is a work support server for supporting the remote control of each of a plurality of work machines using each of a plurality of remote control devices.
  • a database that stores and stores the identifiers of the remote control device and the cooperative work machine as the work machine linked to the remote control device in association with the actual space position of the cooperative work machine.
  • the first support for outputting a work environment image corresponding to an image captured at a work site acquired through an image pickup device to each output interface of the plurality of remote control devices based on communication with each of the plurality of remote control devices.
  • a second support processing element that outputs a marker image showing the existence of the cooperative work machine at a designated position corresponding to the real space position of the work machine to the output interface of each of the plurality of remote control devices. It has.
  • the work environment image showing the state of the work site acquired through the image pickup device is output to the output interface constituting each of the plurality of remote control devices. From each of the plurality of remote control devices, it is determined whether or not the real space position of the collaborative work machine identified by the identifier is included in the real space imaging range of the imaging device in response to the marker image request accompanied by the identifier. NS. If the determination result is affirmative, a sign image indicating the existence of the cooperative work machine is output to each output interface of the plurality of remote control devices. Thereby, the existence of the cooperative work machine with at least one remote control device in the work environment image can be made to be recognized by each of the plurality of operators of the plurality of remote control devices.
  • Explanatory drawing about the structure of the work support system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
  • Explanatory drawing about the first function of work support system Explanatory drawing about the 2nd function of work support system.
  • Explanatory drawing about the first work environment image acquired through the image pickup apparatus mounted on the work machine Explanatory drawing about the first work environment image acquired through the image pickup apparatus installed in the work site.
  • Explanatory drawing about the 1st marker image Explanatory drawing about the 2nd marker image.
  • Explanatory drawing about the first work environment image which includes the target actual machine.
  • the work support system as an embodiment of the present invention shown in FIG. 1 is composed of a work support server 10 and a plurality of remote control devices 20 for remotely controlling a plurality of work machines 40. ..
  • the work support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • Each of the plurality of remote control devices 20 may be configured to be able to communicate with each other through a network different from the communication network with the work support server 10.
  • the work support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 includes the positions and / or trajectories of the plurality of work machines 40, the captured images obtained from the cameras provided in each of the work machines 40, and the work provided to the operator who operates each of the work machines 40. Stores environment images and route guidance images.
  • the database 102 may be configured by a database server separate from the work support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the working machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, an operating mechanism 440, and a positioning device 460.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430. It is equipped with an upper swivel body 420 and. A cab (driver's cab) 424 is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 220.
  • a crawler excavator construction machine
  • the actual machine input interface 41 includes an actual machine operation mechanism 411 and an actual machine imaging device 412.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside the cab 422, for example, and images an environment including at least a part of the operating mechanism 440 through the front window of the cab 424.
  • the actual device output interface 42 includes an actual device wireless communication device 422.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445, which is connected to a bucket 445.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the remote control device 20 constituting the client includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the client may be configured by a mobile terminal such as a smart phone or tablet terminal that cooperates with the remote control device 20 or has an intercommunication function, or a wearable terminal such as VR goggles.
  • the mobile terminal or wearable terminal may have a communication function with the work support server 10.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but can also be in any form in which the remote operator OP2 can be seated, such as a low back chair without a headrest or a chair without a backrest. good.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operating lever 2111 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 2112 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward to the left of the seat St. It is composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may further include a speaker (audio output device).
  • first designated operation is, for example, an operation in the remote input interface 210 for allowing the operator to select a work machine 40 intended for remote control, for example, an operation such as tapping through the remote input interface 210. .. If the determination result is negative (FIG. 4 / STEP200 ... NO), a series of processes is completed.
  • the remote control device 20 acquires a candidate for a construction machine that can be a target of remote control by the remote control device 20 via the communication network.
  • the remote output interface 220 displays various information such as the position, model, and operating state of the construction machine together with the identifier of the construction machine (Fig. 4 / STEP201).
  • the operator determines whether or not there is a second designated operation through the remote input interface 210 (FIG. 4 / STEP202).
  • the "second designated operation” is an operation for designating a construction machine to be remotely controlled from candidates for a construction machine that can be a target for remote control, and is, for example, an operation such as tapping through the remote input interface 210. .. If the determination result is negative (FIG. 4 / STEP202 ... NO), a series of processes is completed. On the other hand, when the determination result is affirmative (FIG. 4 / STEP202 ... YES), the work environment image request is transmitted to the work support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP202).
  • the working environment image request includes at least one of the identifier of the remote control device 20 and the identifier of the operator.
  • the work environment image request is transmitted to the corresponding work machine 40 by the first support processing element 121 (FIG. 4 / C10).
  • the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 4 / STEP402).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 10 through the actual device wireless communication device 422 (FIG. 4 / STEP404).
  • the first work environment image data (all or part of the captured image itself or generated based on the captured image data) corresponding to the captured image data is generated.
  • Data representing a simulated first working environment image) is transmitted to the remote control device 20 (FIG. 4 / STEP112).
  • the first working environment image data is received in the remote control device 20 through the remote wireless communication device 222 (FIG. 4 / C20)
  • the first working environment image corresponding to the first working environment image data is sent to the image output device 221. It is output (Fig. 4 / STEP204).
  • a work environment image including a boom 441, an arm 443, a bucket 445, and an arm cylinder 444, which are a part of the work attachment 440 as an operating mechanism, is an image output device. It is displayed at 221.
  • the actual machine image Q1 of a plurality of (4) working machines 40 may be additionally or alternatively output to the image output device 221 as a first work environment image.
  • a bird's-eye view image or a bird's-eye view showing the overall state of the work site and showing an actual machine image or icons Q1 to Q4 representing the work machine 40 existing at the work site.
  • the map may be additionally or alternatively output to the image output device 221 as a first working environment image.
  • the bird's-eye view image may be acquired through, for example, an image pickup device mounted on an unmanned aerial vehicle or an image pickup device installed on a structure such as a pole at a work site.
  • the imaging location and the angle of view of the captured image as the first working environment image may be arbitrarily changed.
  • the bird's-eye view map may be generated based on the bird's-eye view captured image.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP206), transmits a signal to the work machine 40 according to the operation mode of the remote control lever, and transmits the transmission signal.
  • the actual machine operation lever is ready to be driven based on.
  • the operator determines whether or not there is a third designated operation through the remote input interface 210 (FIG. 4 / STEP208).
  • the "third designated operation” is an operation for enabling the remote control device 20 to operate the work machine 40 selected as the target of the remote control, for example, an operation such as tapping through the remote input interface 210.
  • the "third designated operation” starts the remote control of the work machine 40 by the remote control device 20.
  • a remote control command corresponding to the operation mode can be transmitted to the work support server 10 (FIG. 4 / STEP210).
  • the remote control command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 4 / C12).
  • the operation of the work attachment 440 and the like is controlled (FIG. 4 / STEP406).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the remote control device 20 In the remote control device 20 (first client), it is determined whether or not there is a fourth designated operation by the operator through the remote input interface 210 (FIG. 5 / STEP210).
  • the "fourth designated operation” is the same recognition among a plurality of operators as to which operator operates the own machine which is the operation target of one operator and the other machine which is the operation target of the other operator. It is an operation for sharing, for example, an operation such as tapping through the remote input interface 210.
  • the operator of the first client requests mutual communication with the operator of the second client (second remote control device 20), and the operator of the second client (second remote control device 20) The acceptance of the request by the operator triggers the second designated operation.
  • the sign image request can be transmitted to the work support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP212).
  • the sign image request corresponds to an operation in which the operator selects a target actual machine for which recognition and sharing are desired.
  • the operator selects the target actual machine to be recognized and shared based on various information such as the position, model, and operating state of the construction machine together with the identifier of the construction machine displayed on the remote output interface 220.
  • the remote output interface 220 is an operation target of the operator of the work machine 40 which is the operation target of the first client and the second client (second remote control device 20) which is communicating with each other when displaying the candidate of the target actual machine.
  • the first identifier and the second client for identifying the first client or its operator or the second client thereof or the like. At least one of the second identifiers for identifying the operator is included.
  • the first support processing element 121 searches the database 102 for the actual space position of the target actual machine based on the first identifier. It is recognized (Fig. 5 / STEP122).
  • the identifiers of the remote control device 20 (or its operator) and the work machine 40, and the real space position of the work machine 40 are determined. It is associated and registered in the database 102.
  • the actual space position of the work machine 40 is measured by a GPS mounted on the work machine 40 and, if necessary, a positioning device 460 using an acceleration sensor.
  • the work machine 40 transmits the real space position or its time series to the work support server 10 the real space position of the work machine 40 registered in the database 102 is updated. As a result, the real space position of the target actual machine can be recognized based on each of the first identifier and the second identifier.
  • the first support processing element 121 determines whether or not the target actual machine is included in the first work environment image identified by the image identifier included in the marker image request (FIG. 5 / STEP123). ..
  • the target actual machine is included in the first work environment image, as shown in FIGS. 10A and 10B, the target actual machine 40 is the first work environment image (a work machine different from the target actual machine). This is a case where it is included in the work environment image acquired through the image pickup apparatus 412 mounted on the 40.
  • the shooting range of the first work environment image is specified.
  • the first work environment image is captured by the image pickup device 412 of the work machine 20, the actual space position of the work machine 20 and the imaging direction of the image pickup device 412 by the positioning device 460 (up / down and left / right mounting directions with respect to the work machine 20).
  • the first work environment image is the image pickup device C installed at the work site as shown in FIG. 8, the real space position of the image pickup device C and the shooting direction of the image pickup device C are acquired.
  • the shooting range of the first working environment image in the real space coordinate system is specified by acquiring the information on the angle of view and the scaling of the shot image.
  • the position of the target actual machine in the real space coordinate system is converted to the position in the first working environment image coordinate system.
  • an image analysis process is performed on the first working environment image, and it is determined whether or not the actual machine image Qi representing the working machine 40 is extracted at the position of the target actual machine in the first working environment image coordinate system (FIG. 5 / STEP124).
  • the second support processing element 122 causes the first marker image indicating that the actual machine image Qi is the target actual machine (own machine or other machine). After being generated, the second support processing element 122 transmits data representing the first marker image to the first client (FIG. 5 / STEP125). Then, a designation notification indicating that the first marker image is superimposed on the first work environment image is transmitted (FIG. 5 / STEP132).
  • the first indicator image data is received through the remote wireless communication device 222 in the remote control device 20 (first client) (FIG. 5 / C21), the first working environment is passed through the image output device 221 constituting the output interface 220.
  • a first marker image highlighting the existence of the target actual machine is output in the image (FIG. 5 / STEP214).
  • FIG. 9A for example, the result of the texture image T being superimposed on the first working environment image in the area surrounded by the set EC of the edge points of the actual machine image Qi is output as the first marker image. Will be done.
  • the color of the texture image T can be changed according to the operator's preference.
  • the result of superimposing the mark image M on the first working environment image near the actual machine image Qi is output as the first marker image.
  • the mark image M can be set with symbols (characters) according to the operator's preference.
  • the target actual machine When the target actual machine is not included in the shooting range of the first working environment image in the real space coordinate system (Fig. 5 / STEP123 ... NO) or the actual machine representing the working machine 40 at the position of the target actual machine in the first working environment image coordinate system.
  • the image Qi is not extracted (FIG. 5 / STEP124 ... NO)
  • the second working environment image is a working environment image provided to the second client, and is a working environment image of the work machine 40 that the operator of the second client is the target of remote control. Since the second working environment image for the second client is equivalent to the first working environment image for the first client, the description of the method of generating the image will be omitted.
  • the position of the target actual machine in the real space coordinate system is converted to the position in the second working environment image coordinate system.
  • an image analysis process is performed on the second working environment image, and it is determined whether or not the actual machine image Qi representing the working machine 40 is extracted at the position of the target actual machine in the second working environment image coordinate system (FIG. 5 / STEP127).
  • the second support processing element 122 When the determination result is affirmative (FIG. 5 / STEP127 ... YES), the second support processing element 122 indicates that the actual machine image Qi is the target actual machine (own machine or other machine). Is generated, and the second support processing element 122 transmits data representing the second marker image to the first client (FIG. 5 / STEP128). Then, a designation notification indicating that the second marker image is superimposed on the second work environment image is transmitted (FIG. 5 / STEP132). When the second indicator image data is received in the remote control device 20 through the remote wireless communication device 222 (FIG. 5 / C22), the target actual machine is displayed in the second work environment image through the image output device 221 constituting the output interface 220.
  • a second marker image highlighting the presence is output in place of or in addition to the second working environment image (FIG. 5 / STEP216).
  • the result of the texture image T being superimposed on the second working environment image in the area surrounded by the set EC of the edge points of the actual machine image Qi is output as the second marker image. Will be done.
  • the color of the texture image T can be changed according to the operator's preference.
  • the result of superimposing the mark image M on the second working environment image near the actual machine image Qi is output as the second marker image.
  • the mark image M can be set with symbols (characters) according to the operator's preference.
  • the target actual machine is not included in the shooting range of the second working environment image in the real space coordinate system (Fig. 5 / STEP126 ... NO) or the actual machine representing the working machine 40 at the position of the target actual machine in the second working environment image coordinate system.
  • the image Qi is not extracted (FIG. 5 / STEP127 ... NO)
  • it is determined whether or not the target actual machine is included in the shooting range of the third working environment image in the real space coordinate system (FIG. 5 / STEP129).
  • the third working environment image is a working environment image that is not provided to the first client and the second client communicating with the first client.
  • the third work environment image is a work environment image provided to the second client not communicating with the first client and work that can be provided to the first client and the second client communicating with the first client. It is an environmental image.
  • the position of the target actual machine in the real space coordinate system is converted to the position in the third working environment image coordinate system.
  • an image analysis process is performed on the third working environment image, and it is determined whether or not the actual machine image Qi representing the working machine 40 is extracted at the position of the target actual machine in the third working environment image coordinate system (FIG. 5 / STEP130).
  • the second support processing element 122 causes the third marker image indicating that the actual machine image Qi is the target actual machine (own machine or other machine).
  • the third support processing element 122 transmits data representing the second marker image to the first client (FIG. 5 / STEP131). Then, a designation notification indicating that the third marker image is superimposed on the third work environment image is transmitted (FIG. 5 / STEP132).
  • the third indicator image data is received in the remote control device 20 through the remote wireless communication device 222 (FIG. 5 / C23)
  • the target actual machine is displayed in the second work environment image through the image output device 221 constituting the output interface 220.
  • a third marker image highlighting the presence is output in place of or in addition to the third working environment image (FIG. 5 / STEP218). As a result, as shown in FIG.
  • the result of the texture image T being superimposed on the second working environment image in the area surrounded by the set EC of the edge points of the actual machine image Qi is output as the second marker image. Will be done.
  • the color of the texture image T can be changed according to the operator's preference.
  • the result of superimposing the mark image M on the second working environment image near the actual machine image Qi is output as the second marker image.
  • the mark image M can be set with symbols (characters) according to the operator's preference.
  • the designation notification is displayed through the image output device 221 constituting the output interface 220.
  • the designated notification is to notify information about which image of the first to third working environment images the target actual machine is included in, or which image of the first to third working environment images is not included. ..
  • the image output device 221 may have a function of switching the screens of the first to third work environment images regardless of whether or not the target actual device is included in the shooting range.
  • the texture image T and the mark image M are common to the second client simple that communicates with the first client. For example, when the image output device 221 of the first client outputs the red texture image T to the actual machine image Qi as the first marker image, the image output device 221 of the second client also outputs the texture image T of the actual machine image Qi to red.
  • the first work environment showing the state of the work site acquired through the image pickup device (for example, the image pickup device 412 mounted on the work machine 40).
  • the image is output to the output interface 220 constituting each of the plurality of remote control devices 20 (see FIG. 4 / STEP204 and FIGS. 6 to 8).
  • From the first remote control device 20 it is determined whether or not the actual machine image Qi corresponding to the collaborative work machine identified by the identifier is included in the first work environment image in response to the marker image request accompanied by the identifier. (See FIG. 5 / STEP123, FIG. 5 / STEP124).
  • the first marker image is output to the output interface 220 of at least one of the first and second remote control devices 20 (FIG. 5 / STEP214, FIG. 9A and FIG. 9B).
  • the "first marker image” indicates that the actual machine image Qi is a collaborative work machine.
  • the operator of the first client transmits a marker image request with the first identifier to the work support server 10 through the operation of the input interface 210, so that the output interface 220 of the first client Whether or not any of the actual machine image Qi included in the first work environment image output to corresponds to the first client identified by the first identifier or the own machine to be operated by the operator. Can be confirmed. Further, the first working environment output to the output interface 220 of the first client by the operator of the first client transmitting a marker image request with a second identifier to the work support server 10 through the operation of the input interface 210. It can be confirmed whether or not any of the actual machine image Qi included in the image corresponds to the second client identified by the second identifier or another machine to be operated by the operator.
  • the operator of the first client transmits a marker image request with the first identifier to the work support server 10 through the operation of the input interface 210, thereby causing the second client (second remote control device 20).
  • Any of the actual machine image Qi included in the first working environment image output to the output interface 220 of the operating device 20) is operated by the first client or the operator identified by the first identifier. It is possible to have the operator of the second client confirm whether or not it corresponds to another machine.
  • the operator of the first client sends a marker image request with a second identifier to the work support server 10 through the operation of the input interface 210, so that the first working environment is output to the output interface 220 of the second client. Whether or not any of the actual machine image Qi included in the image corresponds to the second client identified by the second identifier or the own machine to be operated by the operator to the operator of the second client. You can check it.
  • the work machine 40 reflected in the first work environment image output to the output interface constituting the remote control device is determined by each of the plurality of operators as to which remote control device 20 is the target of remote control. Awareness is shared.
  • the second work environment image including the actual machine image Qj corresponding to the collaborative work machine. Is output to the output interface 220 of the remote control device 20 together with the second marker image (see FIGS. 5 / STEP216 to STEP218 and STEP216).
  • the "second marker image” indicates that the actual machine image Qj is a collaborative work machine.
  • the operator of the first client transmits a marker image request with the first identifier to the work support server 10 through the operation of the input interface 210, so that the output interface 220 of the first client It is possible to confirm whether or not any of the actual machine images Qj included in the second work environment image output to is applicable to the own machine. Further, the operator of the first client sends a marker image request with a second identifier to the work support server 10 through the operation of the input interface 210, so that the second work environment is output to the output interface 220 of the first client. It is possible to confirm whether or not any of the actual machine images Qj included in the image corresponds to another machine.
  • the second work output to the output interface 220 of the second client by the operator of the first client transmitting a marker image request with the first identifier to the work support server 10 through the operation of the input interface 210. It is possible to have the operator of the second client confirm whether or not any of the actual machine images Qj included in the environment image corresponds to another machine. Further, the operator of the first client sends a marker image request with a second identifier to the work support server 10 through the operation of the input interface 210, so that the second work environment is output to the output interface 220 of the second client. It is possible to have the operator of the second client confirm whether or not any of the actual machine images Qj included in the image corresponds to the own machine.
  • the work machine 40 reflected in the second work environment image output to the output interface constituting the remote control device is determined by each of the plurality of operators as to which remote control device 20 is the target of remote control. Awareness is shared.
  • the work support server 10 is composed of one or a plurality of servers separate from each of the remote control device 20 and the work machine 40 (see FIG. 1), but as another embodiment, the work support is supported.
  • the server 10 may be a component of the remote control device 20 or the work machine 40.
  • Each of the components 121 and 122 of the work support server 10 may be components of two or more communicable devices of the remote control device 20 and the work machine 40.
  • the second support processing element 122 When the second support processing element 122 receives the marker image request without an identifier based on the communication with the first client (first remote control device 20) (see FIG. 5 / C13), the first work environment image. Based on the position of the actual machine image Qi and the actual space position of each of the plurality of work machines 40 stored in the database 102, it is recognized which of the plurality of work machines 40 the actual machine image Qi corresponds to. You may. Then, the second support processing element 122 indicates which work machine 40 the actual machine image Qi corresponds to based on the communication with at least one of the first and second remote control devices 20. Is output to the output interface 220 of the at least one remote control device 20.
  • the work machine 40 when the work machine 40 is reflected in the work environment image output to the output interface constituting the first remote control device, the work machine 40 is any remote control device. 20 or which operator is the target of remote control is recognized. Then, the sign image showing the recognition result is output to the output interface of at least one of the first and second remote control devices. As a result, each operator can easily recognize which remote control device corresponds to the remote control target of the actual machine image output to the output interface constituting the remote control device.
  • the target actual machine is included in the first to third work environment images based on the real space position of the work machine 40 measured by the positioning device 460, but as another embodiment, Image analysis processing is performed on each business environment image, and the actual machine image Qi representing the work machine 40 may be extracted from the first work environment image.
  • the actual space position of the work machine 40 corresponding to the actual machine image Qi is obtained.
  • the actual space distance from the image pickup device (for example, the image pickup device 412) to the work machine 40 is estimated based on the size of the actual machine image Qi in the first working environment coordinates.
  • the image pickup device for example, the image pickup device 412 starts the work machine based on the pixel value. Real space distances up to 40 may be estimated.
  • the position of the target actual machine (working machine 40) in the real space coordinate system is recognized or calculated by converting the position of the working machine 40 in the image pickup apparatus coordinate system into the real space coordinate system.
  • the position of the target actual machine in the image pickup device coordinate system is recognized, and a coordinate transformation factor (matrix or quaternion) representing the position and orientation of the image pickup device in the real space coordinate system is used.
  • the coordinate transformation factor is registered in the database 102 in association with the identifier of the imaging device (and thus the image identifier).
  • the presence or absence of the actual machine image Qi showing the working machine 40 having the actual space position that matches or has the corresponding real space position of the target actual machine registered in the database 102 in the first working environment image is determined.
  • the target work machine of the label image request is one, but the number of the target work machines of the label image request may be plural.
  • the texture image T of the sign image of the first work machine is given red
  • the texture image T of the sign image of the second work machine is given white or the like to share the recognition of a plurality of operators. ..
  • a marker image is displayed.
  • a marker image may be set even when the actual machine image corresponding to the target actual machine does not exist in the first to third working environment images. For example, there are few imaging devices that can be used at the work site, or the work machine 40 is being transported to the work site by a transport vehicle and will arrive at the work site from now on. In this case, by setting the sign image in advance, it is not necessary to perform the recognition sharing work again, so that the workability is improved.
  • the second support processing element 122 sets the real space position of the cooperative work machine in the real space.
  • An imaging device that can be included in the imaging range is specified as a designated imaging device, and a marker image indicating the presence of a collaborative work machine at a designated position in the work environment image acquired by the designated imaging device is displayed remotely for each of the plurality of remote control devices 20.
  • the selective output process for outputting to the output interface 220 is executed.
  • the real space imaging range of one imaging device does not include the real space position of the collaborative work machine, it was acquired by another imaging device that can include the real space position of the collaborative work machine in the real space imaging range.
  • An alternative work environment image may be output to the remote output interface 220 of each remote control device 20. Therefore, it is possible to share the recognition among a plurality of operators about the existence of the collaborative work machine.
  • the second support processing element 122 specifies the actual machine imaging device 412 mounted on at least one of the plurality of working machines 40 as the designated imaging device.
  • each remote output interface 220 of the plurality of remote control devices 20 does not include the collaborative work machine that is the target of the marker image request, the collaborative work machine is included.
  • the indicator image request output to the remote output interface 220 of another remote control device 20 may be output.
  • the second support processing element 122 cannot specify the actual image pickup device 412 mounted on at least one work machine 40 as the designated image pickup device, the image pickup device not mounted on any of the plurality of work machines 40. Is specified as a designated imaging device.
  • the image pickup device mounted on at least one work machine is not specified as the designated image pickup device, the image pickup device not mounted on any of the plurality of work machines (for example, an image pickup device set at the work site).
  • the work environment image acquired by the designated imaging device can be output to the respective output interfaces of the plurality of remote control devices.
  • the marker image output to each remote output interface 220 of one remote control device 20 and the other remote control device 20 indicates the existence of the same cooperative work machine.
  • the indicator image is output to each remote output interface 220 of one remote control device 20 and another remote control device 20 in a common form.
  • the second support processing element 122 outputs a plurality of marker images to the respective remote output interfaces 220 of the plurality of remote control devices 20 in a form in which they can be mutually identified.
  • the plurality of marker images are output to the respective remote output interfaces of the plurality of remote control devices 20 in a form in which they can be mutually identified, a plurality of collaborative operations that are the targets of the label image request among the plurality of operators. Awareness can be shared regarding the identification and existence of each machine.
  • the actual machine image corresponds to the cooperative work machine based on the position of the actual machine image corresponding to the work machine in the work environment image and the real space position of the cooperative work machine stored in the database in the second support processing element 122. It is determined whether or not, and on the condition that the determination result is affirmative, a marker image showing the existence of the cooperative work machine is output to each remote output interface 220 of the plurality of remote control devices 20.
  • the second support processing element 122 is based on the position of the actual machine image corresponding to the work machine 40 in the work environment image and the actual space position of each of the plurality of work machines 40 stored and held in the database 102. Recognizing whether it corresponds to the work machine 40, and based on communication with each of the plurality of remote control devices 20, at least one remote control device 20 displays a marker image indicating which work machine 40 the actual machine image corresponds to. Output to the remote output interface 220 of.
  • the work machine 40 when the work machine 40 is reflected in the work environment image output to the remote output interface 220 constituting the remote control device 20, the work machine 40 is remotely controlled by which remote control device 20 or by any operator. It is recognized whether it is an operation target. Then, the indicator image showing the recognition result is output to the output interface of at least one of the first remote control device and the second remote control device. As a result, each operator can easily recognize which remote control device corresponds to the remote control target of the actual machine image output to the output interface constituting each remote control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Operation Control Of Excavators (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

遠隔操作装置を構成する出力インターフェースに表示されている作業機械が、いずれの遠隔操作装置による遠隔操作対象であるかを当該遠隔操作装置のオペレータに認識させることができるサーバおよびシステムを提供する。例えば、作業機械４０に搭載されている撮像装置４１２を通じて取得された作業現場の様子を示す第１作業環境画像が、複数の遠隔操作装置２０のそれぞれを構成する出力インターフェース２２０に出力される。第１遠隔操作装置２０から、識別子を伴う標識画像要求に応じて、当該識別子により識別される連携作業機械に該当する実機画像Ｑｉが第１作業環境画像に含まれているか否かが判定される。当該実機画像Ｑｉが連携作業機械に該当する場合、第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置２０の出力インターフェース２２０に第１標識画像が出力される。「第１標識画像」は、実機画像Ｑｉが連携作業機械であることを表わしている。

Description

作業支援サーバおよび作業支援システム
　本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。
　プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。
特開２００５－２４２８３０号公報
　しかし、撮像装置を通じて取得された撮像画像が遠隔操作装置を構成する出力インターフェース（画像表示装置）に表示され、当該撮像画像に複数の作業機械が映り込んでいる場合、当該表示画像において操作対象である作業機械と操作対象ではない周囲の作業機械とをオペレータが誤認する可能性がある。特に、複数のオペレータのそれぞれにより作業機械が操作される場合、一のオペレータ自身の操作対象である自機と他のオペレータの操作対象である他機とが、それぞれのオペレータにより認識される必要があるが、複数のオペレータの間で同一の認識を共有することが困難である。これは、特に同一メーカーの同一機種の複数の作業機械が出力インターフェースに同時に表示される場合に顕著となる。この場合、オペレータによる誤認に基づく遠隔操作装置を用いた作業機械の動作態様が、目標とする作業遂行の観点から不適当になる可能性がある。
　そこで、本発明は、遠隔操作装置を構成する出力インターフェースに表示されている作業機械が、いずれの遠隔操作装置による遠隔操作対象であるかを当該遠隔操作装置のオペレータに認識させることができるサーバおよびシステムを提供することを目的とする。
　本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。
　本発明の作業支援サーバは、
　複数の遠隔操作装置のそれぞれを用いた複数の作業機械のそれぞれの遠隔操作を支援するための作業支援サーバであって、
　前記遠隔操作装置および当該遠隔操作装置と連携している前記作業機械としての連携作業機械のそれぞれの識別子と、前記連携作業機械の実空間位置と、を関連付けて記憶保持するデータベースと、
　撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を、前記複数の遠隔操作装置のそれぞれとの通信に基づき、前記複数の遠隔操作装置のそれぞれの出力インターフェースに出力させる第１支援処理要素と、
　前記複数の遠隔操作装置のそれぞれとの通信に基づき、前記連携作業機械の識別子を伴う標識画像要求を受信した場合、前記識別子に関連付けられて前記データベースに記憶保持されている前記連携作業機械の実空間位置を認識し、前記連携作業機械の実空間位置が前記撮像装置の実空間撮像範囲に含まれるか否かを判定し、当該判定結果が肯定的である場合、前記作業環境画像における前記連携作業機械の実空間位置に相当する指定位置における前記連携作業機械の存在を表わす標識画像を前記複数の遠隔操作装置のそれぞれの前記出力インターフェースに出力させる第２支援処理要素と、
を備えている。
　当該構成の作業支援サーバによれば、撮像装置を通じて取得された作業現場の様子を示す作業環境画像が、複数の遠隔操作装置のそれぞれを構成する出力インターフェースに出力される。複数の遠隔操作装置のそれぞれから、識別子を伴う標識画像要求に応じて、当該識別子により識別される連携作業機械の実空間位置が撮像装置の実空間撮像範囲に含まれているか否かが判定される。当該判定結果が肯定的である場合、複数の遠隔操作装置のそれぞれの出力インターフェースに連携作業機械の存在を表わす標識画像が出力される。これにより、作業環境画像における少なくとも一の遠隔操作装置との連携作業機械の存在を複数の遠隔操作装置のそれぞれの複数のオペレータのそれぞれに認識させることができる。
　よって、遠隔操作装置を構成する出力インターフェースに出力されている作業環境画像に、一の遠隔操作装置またはそれぞれの遠隔操作装置との連携作業機械が存在することを当該複数のオペレータのそれぞれに共通に認識させることができる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 作業機械に搭載された撮像装置を通じて取得された第１作業環境画像に関する説明図。 作業現場に設置された撮像装置を通じて取得された第１作業環境画像に関する説明図。 鳥瞰撮像画像に関する説明図。 第１標識画像に関する説明図。 第２標識画像に関する説明図。 対象実機が含まれている一の第１作業環境画像に関する説明図。 対象実機が含まれている他の第１作業環境画像に関する説明図。 作業現場に設置された作業機械に搭載された撮像装置の撮像範囲と対象実機に関する説明図。
　（作業支援システムの構成）
　図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。複数の遠隔操作装置２０のそれぞれは、作業支援サーバ１０との通信ネットワークとは異なるネットワークを通じて相互に通信可能に構成されていてもよい。
　（作業支援サーバの構成）
　作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置および／または軌道のほか、作業機械４０のそれぞれに備えられたカメラより得られる撮像画像、作業機械４０のそれぞれを操作するオペレータに提供される作業環境画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、測位装置４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２２の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
（遠隔操作装置の構成）
　クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
　遠隔操作装置２０と連携するまたは相互通信機能を有するスマートホンまたはタブレット端末などの携帯端末またはＶＲゴーグルなどのウェアラブル端末により当該クライアントが構成されていてもよい。当該携帯端末またはウェアラブル端末は、作業支援サーバ１０との通信機能を有していてもよい。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

　（機能）
　前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　（第１機能（作業機械の遠隔操作））
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「第１指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を選択可能にするための遠隔入力インターフェース２１０における操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。
　その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔操作装置２０は通信ネットワークを介して遠隔操作装置２０により遠隔操作の対象となり得る建設機械の候補を取得し、遠隔出力インターフェース２２０に建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報を表示させる（図４／ＳＴＥＰ２０１）。
　次いで、遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。「第２指定操作」は遠隔操作の対象となり得る建設機械の候補から遠隔操作をする対象となる建設機械を指定するための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２０２‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
　作業支援サーバ１０において、作業環境画像要求が受信された場合、第１支援処理要素１２１により当該作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。
　作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０４）。
　作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた第１作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な第１作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２０）、第１作業環境画像データに応じた第１作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。
　これにより、例えば図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業環境画像が画像出力装置２２１に表示される。
　また、作業現場に設置された撮像装置Ｃ（図８参照）を通じて取得された撮像画像に基づき、例えば図７に示されているように、複数台（４台）の作業機械４０の実機画像Ｑ１～Ｑ４が存在する当該作業現場の様子を示す画像が、第１作業環境画像として画像出力装置２２１に付加的または代替的に出力されてもよい。
　さらに、例えば図８に示されているように、作業現場の大局的な様子を示し、作業現場に存在する作業機械４０を表わす実機画像またはアイコンＱ１～Ｑ４が示されている鳥瞰撮像画像または鳥瞰マップが、第１作業環境画像として画像出力装置２２１に付加的または代替的に出力されてもよい。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、作業機械４０に遠隔操作レバーの操作態様に応じた信号を送信し、当該送信信信号に基づいて実機操作レバーを駆動する準備が整う。そして、遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第３指定操作の有無が判定される（図４／ＳＴＥＰ２０８）。「第３指定操作」は、遠隔操作の対象として選択した作業機械４０を遠隔操作装置２０により操作可能にするための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。「第３指定操作」により遠隔操作装置２０による作業機械４０の遠隔操作が開始される。そして、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信可能となる（図４／ＳＴＥＰ２１０）。
　作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　（第２機能（実機指定画像の出力））
　遠隔操作装置２０（第１クライアント）において、オペレータによる遠隔入力インターフェース２１０を通じた第４指定操作の有無が判定される（図５／ＳＴＥＰ２１０）。「第４指定操作」は、一のオペレータ自身の操作対象である自機と他のオペレータの操作対象である他機とがそれぞれどのオペレータにより操作されるのかについて複数のオペレータの間で同一の認識を共有するための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。例えば、第１クライアント（第１遠隔操作装置２０）のオペレータが、第２クライアント（第２遠隔操作装置２０）のオペレータと相互通信の要求をし、第２クライアント（第２遠隔操作装置２０）のオペレータから当該要求を承諾されることが第２指定操作の契機となる。
　次いで、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して標識画像要求が送信可能となる（図５／ＳＴＥＰ２１２）。当該標識画像要求は、オペレータが認識共有をしたい対象実機を選択する操作が相当する。例えば、オペレータは遠隔出力インターフェース２２０に表示された建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報をもとに認識共有をしたい対象実機を選択する。遠隔出力インターフェース２２０は、対象実機の候補を表示するに際して、第１クライアントの操作対象である作業機械４０および相互通信をしている第２クライアント（第２遠隔操作装置２０）のオペレータの操作対象である作業機械４０を少なくとも表示し、かつ強調して表示することで自機および通信している他機の認識共有を容易にする。標識画像要求には、画像出力装置２２１において出力されている第１作業環境画像を識別するための画像識別子のほか、第１クライアントまたはそのオペレータを識別するための第１識別子および第２クライアントまたはそのオペレータを識別するための第２識別子のうち少なくとも一方が含まれている。
　作業支援サーバ１０において、標識画像要求が受信された場合（図５／Ｃ１３）、第１支援処理要素１２１により、第１識別子に基づいて対象実機の実空間位置がデータベース１０２から検索されることにより認識される（図５／ＳＴＥＰ１２２）。
　遠隔操作装置２０（クライアント）と作業機械４０との相互通信が確立された際、遠隔操作装置２０（またはそのオペレータ）および作業機械４０のそれぞれの識別子と、作業機械４０の実空間位置と、が関連付けられてデータベース１０２に登録される。作業機械４０の実空間位置は、当該作業機械４０に搭載されているＧＰＳ、必要に応じて加速度センサを利用した測位装置４６０により測定される。作業機械４０が実空間位置またはその時系列を作業支援サーバ１０に対して送信することにより、データベース１０２に登録されている作業機械４０の実空間位置が更新される。これにより、第１識別子および第２識別子のそれぞれに基づき、対象実機の実空間位置が認識されうる。
　続いて、第１支援処理要素１２１により、標識画像要求に含まれている画像識別子によって識別される第１作業環境画像に対象実機が含まれているか否かが判定される（図５／ＳＴＥＰ１２３）。第１作業環境画像に対象実機が含まれている場合とは、図１０Ａおよび図１０Ｂのそれぞれに示されているように、対象実機４０が第１作業環境画像（対象実機とは別の作業機械４０に搭載されている撮像装置４１２を通じて取得された作業環境画像）に含まれる場合である。
　具体的には、まず、第１作業環境画像の撮影範囲が特定される。第１作業環境画像が作業機械２０の撮像装置４１２により撮像される場合には、測位装置４６０により作業機械２０の実空間位置および撮像装置４１２の撮影方向（作業機械２０に対する上下および左右の取付方向が取得される。第１作業環境画像が図８に示すような作業現場に設置された撮像装置Ｃである場合には、撮像装置Ｃの実空間位置および撮像装置Ｃの撮影方向が取得される。さらに、撮影画像の画角や拡縮に関する情報を取得することにより実空間座標系における第１作業環境画像の撮影範囲が特定される。
　続いて、データベース１０２に登録されている作業機械４０の実空間位置に基づいて対象実機が実空間座標系における第１作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２３）。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、実空間座標系における対象実機の位置を第１作業環境画像座標系における位置に変換する。そして、第１作業環境画像を対象として画像解析処理が実施され、第１作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１２４）。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２４‥ＹＥＳ）、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第１標識画像が生成されて、第２支援処理要素１２２により、第１クライアントに対して第１標識画像を表わすデータが送信される（図５／ＳＴＥＰ１２５）。そして、第１作業環境画像に第１標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。
遠隔操作装置２０（第１クライアント）において、遠隔無線通信機器２２２を通じて第１標識画像データが受信されると（図５／Ｃ２１）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第１作業環境画像において対象実機の存在を強調表示する第１標識画像が出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第１作業環境画像に重畳された結果が第１標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第１作業環境画像に重畳された結果が第１標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。
　当該判定結果が否定的である場合（図５／ＳＴＥＰ１２４‥ＮＯ）は、例えば、図１１に示されているように、作業機械４０－３が対象実機４０－０を向いていない場合のほか、他の作業機械等の障害物に遮られている場合である。
　対象実機が実空間座標系における第１作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２３‥ＮＯ）や第１作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１２４‥ＮＯ）、対象実機が実空間座標系における第２作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２６）。ここで、第２作業環境画像は第２クライアントに提供される作業環境画像であって、第２クライアントのオペレータが遠隔操作の対象としている作業機械４０の作業環境画像である。第２クライアントに対する第２作業環境画像は、第１クライアントに対する第１作業環境画像と同等であるのでその画像の生成方法については説明を省略する。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２６‥ＹＥＳ）は、実空間座標系における対象実機の位置を第２作業環境画像座標系における位置に変換する。そして、第２作業環境画像を対象として画像解析処理が実施され、第２作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１２７）。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２７‥ＹＥＳ）は、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第２標識画像 が生成されて、第２支援処理要素１２２により、第１クライアントに対して第２標識画像を表わすデータが送信される（図５／ＳＴＥＰ１２８）。そして、第２作業環境画像に第２標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第２標識画像データが受信されると（図５／Ｃ２２）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第２作業環境画像において対象実機の存在を強調表示する第２標識画像が第２作業環境画像に代えてまたは加えて出力される（図５／ＳＴＥＰ２１６）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第２作業環境画像に重畳された結果が第２標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第２作業環境画像に重畳された結果が第２標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。
　対象実機が実空間座標系における第２作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２６‥ＮＯ）や第２作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１２７‥ＮＯ）には、対象実機 が実空間座標系における第３作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２９）。ここで、第３作業環境画像は、第１クライアントおよび第１クライアントと相互通信をしている第２クライアントに対して提供されていない作業環境画像である。第３作業環境画像は、第１クライアントと相互通信をしていない第２クライアントに提供される作業環境画像や第１クライアントおよび第１クライアントと相互通信をしている第２クライアントに提供可能な作業環境画像である。
　当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２９‥ＹＥＳ）、実空間座標系における対象実機の位置を第３作業環境画像座標系における位置に変換する。そして、第３作業環境画像を対象として画像解析処理が実施され、第３作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１３０）。当該判定結果が肯定的である場合（図５／ＳＴＥＰ１３０‥ＹＥＳ）、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第３標識画像 が生成されて、第３支援処理要素１２２により、第１クライアントに対して第２標識画像を表わすデータが送信される（図５／ＳＴＥＰ１３１）。そして、第３作業環境画像に第３標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第３標識画像データが受信されると（図５／Ｃ２３）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第２作業環境画像において対象実機の存在を強調表示する第３標識画像が第３作業環境画像に代えてまたは加えて出力される（図５／ＳＴＥＰ２１８）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第２作業環境画像に重畳された結果が第２標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第２作業環境画像に重畳された結果が第２標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。
対象実機 が実空間座標系における第３作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２９‥ＮＯ）や第３作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１３０‥ＮＯ）には、対象実機に相当する実機画像が第１～３作業環境画像に存在しない旨の指定通知が遠隔操作装置２０に対して送信される図５／ＳＴＥＰ１３２）。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて指定通知が受信されると（図５／Ｃ２４）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、指定通知が表示される。指定通知は、対象実機 が第１～３作業環境画像のどの画像に含まれているか、又は第１～３作業環境画像のどの画像にも含まれていないかについての情報を通知するものである。
　遠隔操作装置２０において、画像出力装置２２１は対象実機 が撮影範囲に含まれているか否かに関わらず、第１～３作業環境画像の画面を切り替える機能を有していてもよい。
　テクスチャ画像Ｔとマーク画像Ｍは、第１クライアントと相互通信をする第２クライアント簡において共通である。例えば、第１クライアントの画像出力装置２２１で実機画像Ｑｉに赤色のテクスチャ画像Ｔを第１標識画像として出力すると、第２クライアントの画像出力装置２２１で実機画像Ｑｉのテクスチャ画像Ｔも赤色になる。
（効果）
　当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、撮像装置（例えば、作業機械４０に搭載されている撮像装置４１２）を通じて取得された作業現場の様子を示す第１作業環境画像が、複数の遠隔操作装置２０のそれぞれを構成する出力インターフェース２２０に出力される（図４／ＳＴＥＰ２０４および図６～図８参照）。第１遠隔操作装置２０から、識別子を伴う標識画像要求に応じて、当該識別子により識別される連携作業機械に該当する実機画像Ｑｉが第１作業環境画像に含まれているか否かが判定される（図５／ＳＴＥＰ１２３、図５／ＳＴＥＰ１２４参照）。当該実機画像Ｑｉが連携作業機械に該当する場合、第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置２０の出力インターフェース２２０に第１標識画像が出力される（図５／ＳＴＥＰ２１４、図９Ａおよび図９Ｂ参照）。「第１標識画像」は、実機画像Ｑｉが連携作業機械であることを表わしている。
　これにより、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第１識別子により識別される当該第１クライアントまたは当該オペレータによる操作対象である自機に該当するか否かを確認することができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第２識別子により識別される第２クライアントまたはそのオペレータによる操作対象である他機に該当するか否かを確認することができる。
　同様に、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアント（第２遠隔操作装置２０）の出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第１識別子により識別される当該第１クライアントまたは当該オペレータにより操作されている他機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第２識別子により識別される当該第２クライアントまたはそのオペレータによる操作対象である自機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。
　よって、遠隔操作装置を構成する出力インターフェースに出力されている第１作業環境画像に映り込んでいる作業機械４０が、いずれの遠隔操作装置２０による遠隔操作対象であるかの複数のオペレータのそれぞれによる認識の共有が図られる。
　さらに、第１作業環境画像に含まれている一または複数の実機画像Ｑｉのすべてが連携作業機械に該当しない場合、当該連携作業機械に該当する実機画像Ｑｊが含まれている第２作業環境画像が遠隔操作装置２０の出力インターフェース２２０に第２標識画像とともに出力される（図５／ＳＴＥＰ２１６～ＳＴＥＰ２１８、ＳＴＥＰ２１６参照）。「第２標識画像」は、実機画像Ｑｊが連携作業機械であることを表わしている。
　これにより、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが自機に該当するか否かを確認することができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが他機に該当するか否かを確認することができる。
　同様に、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが他機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが自機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。
　よって、遠隔操作装置を構成する出力インターフェースに出力されている第２作業環境画像に映り込んでいる作業機械４０が、いずれの遠隔操作装置２０による遠隔操作対象であるかの複数のオペレータのそれぞれによる認識の共有が図られる。
　（本発明の他の実施形態）
　前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各構成要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。
　第２支援処理要素１２２が、第１クライアント（第１遠隔操作装置２０）との通信に基づき、識別子を伴わない標識画像要求を受信した場合（図５／Ｃ１３参照）、第１作業環境画像における実機画像Ｑｉの位置とデータベース１０２に記憶保持されている複数の作業機械４０のそれぞれ実空間位置とに基づき、実機画像Ｑｉが複数の作業機械４０のうちいずれの作業機械４０に該当するかを認識してもよい。そして、第２支援処理要素１２２が、第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置２０との通信に基づき、実機画像Ｑｉがいずれの作業機械４０に該当するかを表わす標識画像を当該少なくとも一方の遠隔操作装置２０の出力インターフェース２２０に出力させる。
　当該構成の作業支援サーバ１０等によれば、第１遠隔操作装置を構成する出力インターフェースに出力される作業環境画像に作業機械４０が映り込んでいる場合、当該作業機械４０がいずれの遠隔操作装置２０またはいずれのオペレータによる遠隔操作対象であるかが認識される。そして、当該認識結果を表わす標識画像が第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置の出力インターフェースに出力される。この結果、遠隔操作装置を構成する出力インターフェースに出力されている実機画像が、どの遠隔操作装置による遠隔操作対象に該当するかを各オペレータに容易に認識させることができる。
　前記実施形態では、測位装置４６０で計測した作業機械４０の実空間位置に基づいて第１～３作業環境画像に対象実機が含まれているか否かを判定していたが、他の実施形態として、各業環境画像を対象として画像解析処理が実施され、これにより当該第１作業環境画像において作業機械４０を表わす実機画像Ｑｉを抽出してもよい。
　例えば、第１作業環境画像を対象として画像解析処理が実施される場合、これにより当該第１作業環境画像において作業機械４０を表わす実機画像Ｑｉ（ｉ＝１，２，‥）が抽出される（図７）。

　続いて、第１作業環境画像座標系における実機画像Ｑｉの位置に基づき、当該実機画像Ｑｉに相当する作業機械４０の実空間位置が求められる。この際、第１作業環境座標における実機画像Ｑｉにサイズの大小に基づき、撮像装置（例えば撮像装置４１２）から作業機械４０までの実空間距離が推定される。第１作業環境画像の画素値としてＴＯＦセンサなどの測距センサにより取得された撮像対象物までの距離が含まれている場合、当該画素値に基づいて撮像装置（例えば撮像装置４１２）から作業機械４０までの実空間距離が推定されてもよい。さらに、撮像装置座標系における作業機械４０の位置が実空間座標系に座標変換されることにより、実空間座標系における対象実機（作業機械４０）の位置が認識または算定される。当該座標変換に際して、撮像装置座標系における対象実機の位置が認識され、実空間座標系における撮像装置の位置および姿勢を表わす座標変換因子（行列またはクォータニオン）が用いられる。座標変換因子は、データベース１０２に撮像装置の識別子（ひいては画像識別子）と関連付けられて登録されている。
　そして、データベース１０２に登録されている対象実機の実空間位置と一致するまたは対応する実空間位置を有する作業機械４０を示す実機画像Ｑｉの第１作業環境画像における有無が判定される。
　前記実施形態では、前記標識画像要求の対象の作業機械が１つである場合としたが、前記標識画像要求の対象の作業機械は複数でもよい。例えば、１つ目の作業機械の標識画像のテクスチャ画像Ｔに赤色、２つ目の作業機械の標識画像のテクスチャ画像Ｔに白色等を付与することで複数のオペレータの認識を共有するものである。
前記実施形態では、対象実機に相当する実機画像が第１～３作業環境画像に存在しない旨の指定通知が遠隔操作装置２０に対して送信された場合（図５／ＳＴＥＰ１３２）には、標識画像を設定できないようにしているが、他の実施形態として、対象実機に相当する実機画像が第１～３作業環境画像に存在しない場合であっても、標識画像を設定してもよい。例えば、作業現場に使用可能な撮像装置が少ない場合や、作業機械４０が運搬車によって作業現場に輸送中でありこれから作業現場に到着する場合である。この場合、あらかじめ標識画像を設定しておくことにより、認識共有の作業を改めてする必要がなくなるため作業性が向上する。
　第２支援処理要素１２２が、連携作業機械の実空間位置が撮像装置の実空間撮像範囲に含まれるか否かの判定結果が否定的である場合、当該連携作業機械の実空間位置を実空間撮像範囲に包含しうる撮像装置を指定撮像装置として特定し、指定撮像装置により取得された作業環境画像における指定位置における連携作業機械の存在を表わす標識画像を複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力させる選択出力処理を実行する。
　この場合、一の撮像装置の実空間撮像範囲に連携作業機械の実空間位置が含まれない場合、当該連携作業機械の実空間位置を実空間撮像範囲に含みうる他の撮像装置により取得された代替的な作業環境画像が各遠隔操作装置２０の遠隔出力インターフェース２２０に出力されうる。したがって、連携作業機械の存在について複数のオペレータの間で認識の共有を図ることができる。
　第２支援処理要素１２２が、複数の作業機械４０のうち少なくとも１つの作業機械に搭載されている実機撮像装置４１２を指定撮像装置として特定する。
　この場合、複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に個別に出力されている作業環境画像に標識画像要求の対象である連携作業機械が含まれていない場合、当該連携作業機械が含まれている別の遠隔操作装置２０の遠隔出力インターフェース２２０に出力されている標識画像要求が出力されうる。これにより、複数の遠隔操作装置２０とのそれぞれの複数のオペレータのそれぞれの間で標識画像要求の対象である連携作業機械の存在に関して認識の共有を図ることができる。
　第２支援処理要素１２２が、少なくとも１つの作業機械４０に搭載されている実機撮像装置４１２を指定撮像装置として特定することができない場合、複数の作業機械４０のいずれにも搭載されていない撮像装置を指定撮像装置として特定する。
　この場合、少なくとも１つの作業機械に搭載されている撮像装置が指定撮像装置として特定されない場合、複数の作業機械のいずれにも搭載されていない撮像装置（例えば、作業現場に設定された撮像装置）である指定撮像装置により取得された作業環境画像が複数の遠隔操作装置のそれぞれの出力インターフェースに出力されうる。これにより、複数の遠隔操作層とのそれぞれの複数のオペレータのそれぞれの間で標識画像要求の対象である連携作業機械の存在に関して認識の共有を図ることができる。
　第２支援処理要素１２２が、一の遠隔操作装置２０および他の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力されている作業環境画像が共通する場合、他の遠隔操作装置２０を示す情報を、一の遠隔操作装置２０の遠隔出力インターフェース２２０に出力させる。
　この場合、一の遠隔操作装置２０の遠隔出力インターフェース２２０に出力されている作業環境画像が、他の遠隔操作装置２０の遠隔出力インターフェース２２０においても出力されている場合、当該他の遠隔操作装置２０を示す情報が当該一の遠隔操作装置２０の遠隔出力インターフェース２２０に出力される。
　第２支援処理要素１２２が、一の遠隔操作装置２０および他の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力されている標識画像が同一の連携作業機械の存在を表わしている場合、当該標識画像を共通の形態で一の遠隔操作装置２０および他の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力させる。
　この場合、同一の連携作業機械の存在を表わす標識画像が複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０において共通の形態で出力されるので、複数のオペレータ間で標識画像要求の対象である連携作業機械の存在に関する認識の共有を図ることができる。
　第２支援処理要素１２２が、複数の標識画像を相互に識別可能な形態で複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力させる。
　この場合、複数の標識画像が相互に識別可能な形態で複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェースに出力されるので、複数のオペレータの間で標識画像要求の対象である複数の連携作業機械のそれぞれの識別および存在に関して認識の共有を図ることができる。
　第２支援処理要素１２２が、作業環境画像における作業機械に相当する実機画像の位置とデータベースに記憶保持されている連携作業機械の実空間位置とに基づき、実機画像が連携作業機械に該当するか否かを判定し、当該判定結果が肯定的であることを要件として当該連携作業機械の存在を表わす標識画像を複数の遠隔操作装置２０のそれぞれの遠隔出力インターフェース２２０に出力させる。
　この場合、一の遠隔操作装置の出力インターフェースに出力されている作業環境画像に含まれている実機画像が、当該一の遠隔操作装置による遠隔操作対象である連携作業機械に相当するか否かを標識画像の出力の有無によりオペレータに認識させることができる。
　第２支援処理要素１２２が、作業環境画像における作業機械４０に相当する実機画像の位置とデータベース１０２に記憶保持されている複数の作業機械４０のそれぞれの実空間位置とに基づき、実機画像がいずれの作業機械４０に該当するかを認識し、複数の遠隔操作装置２０のそれぞれとの通信に基づき、実機画像がいずれの作業機械４０に該当するかを表わす標識画像を少なくとも一の遠隔操作装置２０の遠隔出力インターフェース２２０に出力させる。
　この場合、遠隔操作装置２０を構成する遠隔出力インターフェース２２０に出力される作業環境画像に作業機械４０が映り込んでいる場合、当該作業機械４０がいずれの遠隔操作装置２０によるまたはいずれのオペレータによる遠隔操作対象であるかが認識される。そして、当該認識結果を表わす標識画像が第１遠隔操作装置および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置の出力インターフェースに出力される。この結果、各遠隔操作装置を構成する出力インターフェースに出力されている実機画像が、どの遠隔操作装置による遠隔操作対象に該当するかを各オペレータに容易に認識させることができる。
１０‥作業支援サーバ、２０‥遠隔操作装置（クライアント）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）。
 

Claims (10)

  1. 　複数の遠隔操作装置のそれぞれを用いた複数の作業機械のそれぞれの遠隔操作を支援するための作業支援サーバであって、
    　前記遠隔操作装置および当該遠隔操作装置と連携している前記作業機械としての連携作業機械のそれぞれの識別子と、前記連携作業機械の実空間位置と、を関連付けて記憶保持するデータベースと、
    　撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を、前記複数の遠隔操作装置のそれぞれとの通信に基づき、前記複数の遠隔操作装置のそれぞれの出力インターフェースに出力させる第１支援処理要素と、
    　前記複数の遠隔操作装置のそれぞれとの通信に基づき、前記連携作業機械の識別子を伴う標識画像要求を受信した場合、前記識別子に関連付けられて前記データベースに記憶保持されている前記連携作業機械の実空間位置を認識し、前記連携作業機械の実空間位置が前記撮像装置の実空間撮像範囲に含まれるか否かを判定し、当該判定結果が肯定的である場合、前記作業環境画像における前記連携作業機械の実空間位置に相当する指定位置における前記連携作業機械の存在を表わす標識画像を前記複数の遠隔操作装置のそれぞれの前記出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。
  2. 　請求項１に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記連携作業機械の実空間位置が前記撮像装置の実空間撮像範囲に含まれるか否かの判定結果が否定的である場合、当該連携作業機械の実空間位置を実空間撮像範囲に包含しうる前記撮像装置を指定撮像装置として特定し、前記指定撮像装置により取得された前記作業環境画像における前記指定位置における前記連携作業機械の存在を表わす前記標識画像を前記複数の遠隔操作装置のそれぞれの前記出力インターフェースに出力させる選択出力処理を実行することを特徴とする作業支援サーバ。
  3. 　請求項２に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記複数の作業機械のうち少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することを特徴とする作業支援サーバ。
  4. 　請求項３に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することができない場合、前記複数の作業機械のいずれにも搭載されていない撮像装置を前記指定撮像装置として特定することを特徴とする作業支援サーバ。
  5. 　請求項３～４のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、一の遠隔操作装置および他の遠隔操作装置のそれぞれの前記出力インターフェースに出力されている前記作業環境画像が共通する場合、前記他の遠隔操作装置を示す情報を、前記一の遠隔操作装置の前記出力インターフェースに出力させることを特徴とする作業支援サーバ。
  6. 　請求項１～５のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、一の遠隔操作装置および他の遠隔操作装置のそれぞれの前記出力インターフェースに出力されている前記標識画像が同一の前記連携作業機械の存在を表わしている場合、当該標識画像を共通の形態で前記一の遠隔操作装置および他の遠隔操作装置のそれぞれの前記出力インターフェースに出力させることを特徴とする作業支援サーバ。
  7. 　請求項１～６のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、複数の前記標識画像を相互に識別可能な形態で前記複数の遠隔操作装置のそれぞれの前記出力インターフェースに出力させることを特徴とする作業支援サーバ。
  8. 　請求項１～７のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記連携作業機械の実空間位置とに基づき、前記実機画像が前記連携作業機械に該当するか否かを判定し、当該判定結果が肯定的であることを要件として当該連携作業機械の存在を表わす前記標識画像を前記複数の遠隔操作装置のそれぞれの前記出力インターフェースに出力させることを特徴とする作業支援サーバ。
  9. 　請求項１～８のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記複数の作業機械のそれぞれの実空間位置とに基づき、前記実機画像がいずれの作業機械に該当するかを認識し、前記複数の遠隔操作装置のそれぞれとの通信に基づき、前記実機画像がいずれの作業機械に該当するかを表わす前記標識画像を前記少なくとも一方の遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。
  10. 　請求項１～９のうちいずれか１項に記載の作業支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする作業支援システム。
     
     
PCT/JP2021/000362 2020-01-30 2021-01-07 作業支援サーバおよび作業支援システム WO2021153187A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/790,807 US12054915B2 (en) 2020-01-30 2021-01-07 Work assisting server and work assisting system
EP21747613.4A EP4072130A4 (en) 2020-01-30 2021-01-07 WORK ASSISTANCE SYSTEM AND WORK ASSISTANCE METHOD
CN202180011401.5A CN115023949A (zh) 2020-01-30 2021-01-07 作业辅助服务器及作业辅助系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020013236A JP7452038B2 (ja) 2020-01-30 2020-01-30 作業支援システム
JP2020-013236 2020-01-30

Publications (1)

Publication Number Publication Date
WO2021153187A1 true WO2021153187A1 (ja) 2021-08-05

Family

ID=77078118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000362 WO2021153187A1 (ja) 2020-01-30 2021-01-07 作業支援サーバおよび作業支援システム

Country Status (5)

Country Link
US (1) US12054915B2 (ja)
EP (1) EP4072130A4 (ja)
JP (1) JP7452038B2 (ja)
CN (1) CN115023949A (ja)
WO (1) WO2021153187A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12084835B2 (en) * 2019-12-19 2024-09-10 Kobelco Construction Machinery Co., Ltd. Remote operation device and remote operation system
WO2023100465A1 (ja) * 2021-12-03 2023-06-08 コベルコ建機株式会社 画像表示システム、画像表示複合システムおよび画像表示方法
JP2024145774A (ja) * 2023-03-31 2024-10-15 株式会社小松製作所 作業機械の遠隔操作システム及び作業機械の遠隔操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP2010123021A (ja) * 2008-11-21 2010-06-03 Alpine Electronics Inc 車載用表示装置および表示方法
JP2012103919A (ja) * 2010-11-10 2012-05-31 Saxa Inc 通行車両監視システム
JP2019004399A (ja) * 2017-06-19 2019-01-10 コベルコ建機株式会社 作業機械の周囲監視システム
JP2019173379A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 遠隔操作システム及び主操作装置
WO2019239858A1 (ja) * 2018-06-12 2019-12-19 コベルコ建機株式会社 施工管理システム及び施工管理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP7032308B2 (ja) * 2016-03-31 2022-03-08 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
JP2018021345A (ja) * 2016-08-02 2018-02-08 株式会社小松製作所 作業車両の制御システム、制御方法、及び作業車両
EP3604695B1 (en) * 2017-03-31 2021-07-28 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel with display device and image display method in shovel
KR102638317B1 (ko) 2018-03-08 2024-02-16 스미도모쥬기가이고교 가부시키가이샤 작업기계, 작업기계용 주변감시시스템
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械
JP7287262B2 (ja) * 2019-12-18 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP2010123021A (ja) * 2008-11-21 2010-06-03 Alpine Electronics Inc 車載用表示装置および表示方法
JP2012103919A (ja) * 2010-11-10 2012-05-31 Saxa Inc 通行車両監視システム
JP2019004399A (ja) * 2017-06-19 2019-01-10 コベルコ建機株式会社 作業機械の周囲監視システム
JP2019173379A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 遠隔操作システム及び主操作装置
WO2019239858A1 (ja) * 2018-06-12 2019-12-19 コベルコ建機株式会社 施工管理システム及び施工管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4072130A4

Also Published As

Publication number Publication date
CN115023949A (zh) 2022-09-06
US12054915B2 (en) 2024-08-06
JP7452038B2 (ja) 2024-03-19
EP4072130A4 (en) 2023-03-22
EP4072130A1 (en) 2022-10-12
US20230023778A1 (en) 2023-01-26
JP2021119649A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
JP7392422B2 (ja) 作業支援サーバおよび作業支援システム
US12123175B2 (en) Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
JP7490948B2 (ja) 作業支援サーバおよび作業支援システム
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2022070567A1 (ja) 遠隔操作支援装置及び遠隔操作支援システム
CN118614057A (zh) 远程操作支援系统和远程操作支援方法
WO2017169598A1 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747613

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021747613

Country of ref document: EP

Effective date: 20220705

NENP Non-entry into the national phase

Ref country code: DE