[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023243369A1 - 映像表示システムおよび作業車両 - Google Patents

映像表示システムおよび作業車両 Download PDF

Info

Publication number
WO2023243369A1
WO2023243369A1 PCT/JP2023/019734 JP2023019734W WO2023243369A1 WO 2023243369 A1 WO2023243369 A1 WO 2023243369A1 JP 2023019734 W JP2023019734 W JP 2023019734W WO 2023243369 A1 WO2023243369 A1 WO 2023243369A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
work vehicle
control device
screen
image
Prior art date
Application number
PCT/JP2023/019734
Other languages
English (en)
French (fr)
Inventor
孝文 藤井
優之 松崎
快己 時枝
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Publication of WO2023243369A1 publication Critical patent/WO2023243369A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a video display system and a work vehicle.
  • the present disclosure provides a technique for displaying on a screen a composite image in which an image showing at least one of a trajectory of a work machine and a work trace after ground work in the traveling direction of a work vehicle is superimposed on the video.
  • An agricultural machine includes a work vehicle, a work machine, and the above video display system.
  • Agricultural machinery includes a work vehicle, a work machine, and the above video display system.
  • Computer-readable storage media may include volatile storage media or non-volatile storage media.
  • the device may be composed of multiple devices. When a device is composed of two or more devices, the two or more devices may be arranged within one device, or may be arranged separately within two or more separate devices. .
  • FIG. 1 is a side view schematically showing an example of a work vehicle and an implement connected to the work vehicle.
  • FIG. 2 is a block diagram showing an example of the configuration of a work vehicle and an implement.
  • FIG. 2 is a conceptual diagram showing an example of a work vehicle that performs positioning using RTK-GNSS.
  • FIG. 3 is a diagram showing an example of an operation terminal and a group of operation switches provided inside the cabin.
  • FIG. 2 is a block diagram illustrating the hardware configuration of a management device and a remote device.
  • FIG. 2 is a diagram schematically showing an example of a situation in which a plurality of work vehicles are automatically traveling on roads inside and outside a field. It is a figure showing an example of a display screen in automatic driving mode.
  • FIG. 2 is a diagram schematically showing an example of an image in front of a work vehicle displayed on a screen.
  • FIG. 2 is a diagram schematically showing an example of a composite image in which the trajectory of the work machine in the traveling direction of the work vehicle is superimposed on the image.
  • FIG. 2 is a diagram schematically showing the positional relationship between a reference point in a local coordinate system of a work vehicle and positions of both end portions of a work implement.
  • FIG. 2 is a diagram schematically showing an example of a composite image in which the trajectory of a working machine and the trajectory of a pair of rear wheels are superimposed on the image.
  • FIG. 2 is a diagram schematically showing an example of a composite image in which a trajectory of a working machine and a target line along a target route are superimposed on the image.
  • FIG. 2 is a schematic diagram for explaining the amount of deviation between a predicted trajectory of a working machine and a reference trajectory.
  • FIG. 6 is a diagram schematically showing an example of a composite video including a warning display that may be displayed on the screen when the amount of deviation is equal to or greater than a threshold value.
  • FIG. 3 is a diagram schematically showing a positional relationship between a reference point in a local coordinate system of a work vehicle and an offset position of one side of the work implement.
  • FIG. 2 is a diagram schematically showing an example of a composite image in which an offset trajectory of a working machine is superimposed on the image.
  • FIG. 2 is a diagram schematically showing an example of an image in which an overpass that intersects with a road at grade level is shown in the traveling direction of a work vehicle traveling on a road outside a field.
  • FIG. 2 is a schematic diagram showing a configuration example of a HUD unit.
  • FIG. 3 is a diagram schematically showing an example of a composite image in which work marks after ground work in the advancing direction are superimposed on the image.
  • FIG. 7 is a diagram schematically showing another example of a composite image in which work marks after ground work in the advancing direction are superimposed on the image.
  • FIG. 2 is a diagram schematically showing an example of a composite image in which work marks after ground work and a target line are superimposed on the image.
  • FIG. 6 is a diagram schematically showing an example of a composite video including a guide display that guides the user to match the guideline.
  • FIG. 7 is a diagram schematically showing an example of a composite video including a warning display warning that the predicted work line does not match the guideline.
  • FIG. 3 is a diagram schematically showing an example of a composite video including a guide display prompting the user to change the target route.
  • FIG. 3 is a diagram schematically showing an example of a composite image including a display of a turning point located in the traveling direction of a work vehicle.
  • agricultural machinery refers to machinery used in agricultural applications.
  • Examples of agricultural machinery include tractors, harvesters, rice transplanters, ride-on management machines, vegetable transplanters, mowers, seeders, fertilizer applicators, agricultural drones (or unmanned aerial vehicles (UAVs)), and agricultural mobile robots.
  • a work vehicle such as a tractor function as an "agricultural machine” alone, but also the implement attached to or towed by the work vehicle and the work vehicle as a whole function as a single "agricultural machine.”
  • Agricultural machines perform agricultural work such as plowing, sowing, pest control, fertilization, planting crops, or harvesting on the ground within a field. These agricultural works are sometimes referred to as "ground work” or simply “work.”
  • the movement of a vehicle-type agricultural machine while performing agricultural work is sometimes referred to as "work driving.”
  • Movement by automatic driving may include not only movement of the agricultural machine toward a destination along a predetermined route, but also movement of the agricultural machine to follow a tracking target.
  • a self-driving agricultural machine may move partially based on user instructions.
  • agricultural machinery that performs automatic driving may operate in a manual driving mode in which the agricultural machine moves by manual operation by a driver.
  • the act of steering agricultural machinery by means of a control device, rather than manually, is called "automatic steering.”
  • Part or all of the control device may be external to the agricultural machine. Communication such as control signals, commands, or data may occur between a control device external to the agricultural machine and the agricultural machine.
  • Agricultural machines that operate automatically may move autonomously while sensing the surrounding environment, without humans being involved in controlling the movement of the agricultural machines.
  • Agricultural machinery capable of autonomous movement can run unmanned within a field or outside the field (for example, on a road). Obstacle detection and obstacle avoidance operations may be performed during autonomous movement.
  • Remote control or “remote control” means the operation of agricultural machinery using a remote control device. Remote control may be performed by an operator (eg, a system administrator or a user of the agricultural machine) who is located remotely from the agricultural machine. "Remote control driving" means that the agricultural machine moves in response to signals sent from a remote control device.
  • the remote control device may include a device with a signal transmission function, such as a personal computer (PC), a laptop computer, a tablet computer, a smartphone, or a remote controller.
  • PC personal computer
  • laptop computer a laptop computer
  • tablet computer a tablet computer
  • smartphone or a remote controller.
  • a “remote device” is a device with communication capabilities that is located away from agricultural machinery.
  • the remote device may be, for example, a remote control device used by an operator to remotely control agricultural machinery.
  • the remote device may include or be connected to a display.
  • the display device is, for example, an image (or video) that visualizes the situation around the agricultural machine based on sensor data (also referred to as "sensing data") output from a sensing device such as a camera or a LiDAR sensor included in the agricultural machine. can be displayed. The operator can grasp the surrounding situation of the agricultural machine while viewing the displayed image, and operate the remote control device to remotely control the agricultural machine if necessary.
  • agricultural materials means materials used in agricultural work performed by agricultural machinery. Agricultural materials are sometimes simply called “materials.” Agricultural inputs may include materials consumed by agricultural operations, such as pesticides, fertilizers, seeds, or seedlings.
  • the work plan may be created by a processing device that communicates with the agricultural machine to manage farm work, or by a processing device mounted on the agricultural machine. For example, the processing device can create a work plan based on information input by a user (such as an agricultural manager or a farm worker) by operating a terminal device.
  • a processing device that communicates with agricultural machinery and manages agricultural work is referred to as a "management device.”
  • the management device may manage agricultural work of a plurality of agricultural machines.
  • the management device may create a work plan that includes information regarding each agricultural work performed by each of the plurality of agricultural machines.
  • the work plan may be downloaded by each farm machine and stored in storage.
  • Each agricultural machine can automatically head to the field and perform the scheduled agricultural work according to the work plan.
  • Environmental map is data that expresses the positions or areas of objects in the environment in which agricultural machinery moves using a predetermined coordinate system.
  • Environmental maps are sometimes simply referred to as "maps" or “map data.”
  • the coordinate system defining the environmental map may be, for example, a world coordinate system, such as a geographic coordinate system fixed relative to the earth.
  • the environmental map may include information other than location (for example, attribute information and other information) about objects existing in the environment.
  • Environmental maps include maps in various formats, such as point cloud maps or grid maps. Local map or partial map data generated or processed in the process of constructing an environmental map is also referred to as a "map" or "map data.”
  • “Rural road” means a road primarily used for agricultural purposes.
  • a farm road is not limited to a road paved with asphalt, but also includes an unpaved road covered with dirt or gravel.
  • Farm roads include roads (including private roads) that are exclusively traversable by vehicle-type agricultural machinery (for example, work vehicles such as tractors), and roads that are also traversable by general vehicles (passenger cars, trucks, buses, etc.). The work vehicle may automatically travel on general roads in addition to farm roads.
  • a general road is a road maintained for general vehicle traffic.
  • a work vehicle such as a tractor
  • a tractor which is an example of an agricultural machine
  • the technology of the present disclosure is applicable not only to tractors but also to other types of agricultural machinery (e.g., rice transplanters, combines, harvesters, riding management machines, vegetable transplanters, grass cutters, seeding machines, fertilizer applicators, agricultural drones, and
  • the present invention can also be applied to agricultural mobile robots, etc., and can be particularly suitably applied to agricultural machines that can be remotely controlled.
  • a work vehicle is equipped with a travel control system for realizing an automatic travel function and a remote control function.
  • the work vehicle 100 in the embodiment of the present disclosure is a tractor.
  • Work vehicle 100 can be equipped with a work implement at one or both of the rear and front parts.
  • the work vehicle 100 can travel within a field while performing agricultural work depending on the type of work machine.
  • the work vehicle 100 When the work vehicle 100 automatically travels along a road outside the field, the work vehicle 100 creates a local route that can avoid obstacles along the target route based on data output from a sensing device such as a camera or a LiDAR sensor. Run while generating. In the field, the work vehicle 100 may travel while generating a local route as described above, or may travel along the target route without generating a local route, and when an obstacle is detected. You may also perform an operation of stopping if there is a problem.
  • a sensing device such as a camera or a LiDAR sensor
  • the management device 600 is a computer that manages agricultural work performed by the work vehicle 100.
  • the management device 600 may be, for example, a server computer that centrally manages information regarding fields on the cloud and supports agriculture by utilizing data on the cloud.
  • the management device 600 can create a work plan for the work vehicle 100 and generate a target route for the work vehicle 100 according to the work plan.
  • management device 600 may generate a target route for work vehicle 100 in response to a user's operation using remote device 400.
  • the remote device 400 can be used to remotely monitor the work vehicle 100 or remotely control the work vehicle 100.
  • the remote device 400 can display images captured by one or more cameras included in the work vehicle 100 on a display.
  • the user can view the video, check the situation around the work vehicle 100, and send instructions to the work vehicle 100, such as stopping, starting, accelerating, decelerating, or changing the running direction.
  • FIG. 1B is a diagram showing another example of the agricultural management system.
  • the agricultural management system shown in FIG. 1B includes a plurality of work vehicles 100. Although three work vehicles 100 are illustrated in FIG. 1B, the number of work vehicles 100 is arbitrary. Agricultural machinery (for example, an agricultural drone, etc.) different from work vehicle 100 may be included in the system.
  • the remote device 400 in the example of FIG. 1B is not a home terminal device but a computer provided at a remote monitoring center for agricultural machinery. Remote device 400 may be connected to a remote control 500 and one or more displays 430 for use by a remote monitoring center operator. Although five displays 430 are illustrated in FIG. 1B, the number of displays 430 is arbitrary.
  • FIG. 2 is a side view schematically showing an example of the work vehicle 100 and the work machine 300 connected to the work vehicle 100.
  • Work vehicle 100 in the embodiment of the present disclosure can operate in both manual driving mode and automatic driving mode.
  • the work vehicle 100 can run unmanned.
  • the work vehicle 100 is capable of automatic operation both inside and outside the field.
  • the control device operates in an automatic driving mode in which the work vehicle 100 travels along a preset target route, and in a remote control mode in which the work vehicle 100 travels in response to a user's operation using the remote device 400.
  • mode and can work in different modes.
  • the user may be, for example, a user of the work vehicle 100 or an operator at a remote monitoring center.
  • the work vehicle 100 can switch between a four-wheel drive (4W) mode in which all of the front wheels 104F and rear wheels 104R are drive wheels, and a two-wheel drive (2W) mode in which the front wheels 104F or the rear wheels 104R are drive wheels. .
  • Work vehicle 100 can also switch between a state in which the left and right brakes are connected and a state in which the left and right brakes are disconnected. By disengaging the left and right brakes, the left and right wheels 104 can be braked independently. This allows turning with a small turning radius.
  • the work vehicle 100 includes a plurality of sensing devices that sense the surroundings of the work vehicle 100.
  • the sensing device includes multiple cameras 120, LiDAR sensors 140, and multiple obstacle sensors 130.
  • the sensing device may include only some of the camera 120, LiDAR sensor 140, and obstacle sensor 130.
  • the sensing device senses the environment around the vehicle body and outputs sensing data.
  • the cameras 120 may be provided, for example, on the front, rear, left and right sides of the work vehicle 100. Camera 120 photographs the environment around work vehicle 100 and generates image data. In this specification, the image data generated by the camera 120 may be simply referred to as an "image.” Further, the act of photographing and generating image data is sometimes expressed as "obtaining an image.” Images captured by camera 120 may be transmitted to remote device 400 for remote monitoring. The image may be used to monitor work vehicle 100 during unmanned operation. The camera 120 is also used to generate images for recognizing surrounding features, obstacles, white lines, signs, signs, etc. when the work vehicle 100 travels on a road outside the field (farm road or general road). can be used.
  • the LiDAR sensor 140 in the example of FIG. 2 is arranged at the lower front of the vehicle body 101. LiDAR sensor 140 may be provided at other locations. While the work vehicle 100 is mainly traveling outside the field, the LiDAR sensor 140 measures the distance and direction of objects in the surrounding environment to each measurement point, or the two-dimensional or three-dimensional coordinate values of each measurement point. Repeatedly outputs sensor data indicating . Sensor data output from LiDAR sensor 140 is processed by the control device of work vehicle 100. The control device can estimate the self-position of the work vehicle 100 by matching the sensor data with the environmental map.
  • the control device further detects objects such as obstacles existing around the work vehicle 100 based on the sensor data, and determines the local route that the work vehicle 100 should actually follow as a target route (also called a global route). .) can be generated along.
  • the control device can also generate or edit an environmental map using an algorithm such as SLAM (Simultaneous Localization and Mapping).
  • Work vehicle 100 may include a plurality of LiDAR sensors arranged at different positions and in different orientations.
  • a plurality of obstacle sensors 130 shown in FIG. 2 are provided at the front and rear of the cabin 105. Obstacle sensor 130 may also be placed at other locations. For example, one or more obstacle sensors 130 may be provided at arbitrary positions on the side, front, and rear of the vehicle body 101. Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 is used to detect surrounding obstacles during automatic driving and to stop work vehicle 100 or take a detour. LiDAR sensor 140 may be utilized as one of the obstacle sensors 130.
  • the GNSS unit 110 may include an inertial measurement unit (IMU). Signals from the IMU can be used to supplement the position data.
  • the IMU can measure the tilt and minute movements of the work vehicle 100. By using data acquired by the IMU to supplement position data based on satellite signals, positioning performance can be improved.
  • the control device of the work vehicle 100 may use sensing data acquired by a sensing device such as the camera 120 or the LiDAR sensor 140 for positioning.
  • a sensing device such as the camera 120 or the LiDAR sensor 140
  • the data acquired by the camera 120 or the LiDAR sensor 140 and the previously stored can be estimated with high accuracy based on the environmental map stored in the device.
  • the position of work vehicle 100 can be specified with higher accuracy.
  • the prime mover 102 may be, for example, a diesel engine.
  • An electric motor may be used instead of a diesel engine.
  • Transmission device 103 can change the propulsive force and moving speed of work vehicle 100 by shifting. The transmission 103 can also switch the work vehicle 100 between forward movement and reverse movement.
  • a coupling device 108 is provided at the rear of the vehicle body 101.
  • the coupling device 108 includes, for example, a three-point support device (also referred to as a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the work implement 300 can be attached to and detached from the work vehicle 100 by the coupling device 108.
  • the coupling device 108 can change the position or posture of the working machine 300 by raising and lowering the three-point link using, for example, a hydraulic device.
  • power can be sent from the work vehicle 100 to the work implement 300 via the universal joint.
  • the work vehicle 100 can cause the work machine 300 to perform a predetermined work while pulling the work machine 300.
  • the coupling device may be provided at the front of the vehicle body 101. In that case, a work machine can be connected to the front of work vehicle 100.
  • FIG. 3 is a block diagram showing a configuration example of the work vehicle 100 and the work machine 300.
  • Work vehicle 100 and work implement 300 can communicate with each other via a communication cable included in coupling device 108 .
  • Work vehicle 100 can communicate with remote device 400 and management device 600 via network 80 .
  • Sensor group 150 includes a steering wheel sensor 152, a turning angle sensor 154, and an axle sensor 156.
  • Travel control system 160 includes a storage device 170 and a control device 180.
  • Control device 180 includes a plurality of electronic control units (ECU) 181 to 186.
  • Work machine 300 includes a drive device 340, a control device 380, and a communication device 390. Note that FIG. 3 shows components that are relatively highly relevant to automatic driving and remote control operations by the work vehicle 100, and illustration of other components is omitted.
  • the GNSS receiver 111 in the GNSS unit 110 receives satellite signals transmitted from multiple GNSS satellites, and generates GNSS data based on the satellite signals.
  • GNSS data is generated in a predetermined format, such as NMEA-0183 format.
  • GNSS data may include, for example, values indicating the identification number, elevation, azimuth, and reception strength of each satellite from which the satellite signal was received.
  • the GNSS unit 110 shown in FIG. 3 performs positioning of the work vehicle 100 using RTK (Real Time Kinematic)-GNSS.
  • FIG. 4 is a conceptual diagram showing an example of a work vehicle 100 that performs positioning using RTK-GNSS.
  • a correction signal transmitted from the reference station 60A is used in positioning using RTK-GNSS.
  • the reference station 60A may be installed near a field where the work vehicle 100 travels for work (for example, within 10 km from the work vehicle 100).
  • the reference station 60A generates, for example, a correction signal in RTCM format based on the satellite signals received from the plurality of GNSS satellites 50, and transmits it to the GNSS unit 110.
  • RTK receiver 112 includes an antenna and a modem, and receives the correction signal transmitted from reference station 60A.
  • the processing circuit 116 of the GNSS unit 110 corrects the positioning result by the GNSS receiver 111 based on the correction signal.
  • RTK-GNSS it is possible to perform positioning with an accuracy of a few centimeters, for example.
  • Location information including latitude, longitude, and altitude information is obtained through highly accurate positioning using RTK-GNSS.
  • GNSS unit 110 calculates the position of work vehicle 100 at a frequency of about 1 to 10 times per second, for example.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with the necessary accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System). If positional information with the necessary accuracy can be obtained without using the correction signal transmitted from the reference station 60A, the positional information may be generated without using the correction signal.
  • GNSS unit 110 may not include RTK receiver 112.
  • the position of work vehicle 100 is estimated.
  • the position of work vehicle 100 can be estimated by matching data output from LiDAR sensor 140 and/or camera 120 with a high-precision environmental map.
  • the GNSS unit 110 in the embodiment of the present disclosure further includes an IMU 115.
  • IMU 115 may include a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 115 may include an orientation sensor such as a 3-axis geomagnetic sensor.
  • IMU 115 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and posture of work vehicle 100.
  • Processing circuit 116 can estimate the position and orientation of work vehicle 100 with higher accuracy based on the signal output from IMU 115 in addition to the satellite signal and correction signal.
  • the signal output from IMU 115 may be used to correct or supplement the position calculated based on the satellite signal and the correction signal.
  • IMU 115 outputs signals more frequently than GNSS receiver 111.
  • the processing circuit 116 can measure the position and orientation of the work vehicle 100 at a higher frequency (eg, 10 Hz or more).
  • a 3-axis acceleration sensor and a 3-axis gyroscope may be provided separately.
  • IMU 115 may be provided as a separate device from GNSS unit 110.
  • a plurality of cameras 120 may be provided at different positions on the work vehicle 100, or a single camera may be provided.
  • a visible camera that generates visible light images and an infrared camera that generates infrared images may be provided separately. Both a visible camera and an infrared camera may be provided as cameras that generate images for surveillance. Infrared cameras can also be used to detect obstacles at night.
  • the obstacle sensor 130 detects objects existing around the work vehicle 100.
  • Obstacle sensor 130 may include, for example, a laser scanner or an ultrasonic sonar. Obstacle sensor 130 outputs a signal indicating that an obstacle exists when an object exists closer than a predetermined distance from obstacle sensor 130 .
  • a plurality of obstacle sensors 130 may be provided at different positions of work vehicle 100. For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different positions on work vehicle 100. By providing such a large number of obstacle sensors 130, blind spots in monitoring obstacles around the work vehicle 100 can be reduced.
  • the steering wheel sensor 152 measures the rotation angle of the steering wheel of the work vehicle 100.
  • the turning angle sensor 154 measures the turning angle of the front wheel 104F, which is a steered wheel. Measured values by the steering wheel sensor 152 and turning angle sensor 154 are used for steering control by the control device 180.
  • the axle sensor 156 measures the rotational speed of the axle connected to the wheel 104, that is, the number of rotations per unit time.
  • the axle sensor 156 may be a sensor using a magnetoresistive element (MR), a Hall element, or an electromagnetic pickup, for example.
  • the axle sensor 156 outputs, for example, a numerical value indicating the number of revolutions per minute (unit: rpm) of the axle.
  • Axle sensor 156 is used to measure the speed of work vehicle 100.
  • the drive device 240 includes various devices necessary for running the work vehicle 100 and driving the work machine 300, such as the above-mentioned prime mover 102, transmission device 103, steering device 106, and coupling device 108.
  • Prime mover 102 may include, for example, an internal combustion engine such as a diesel engine.
  • the drive device 240 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the buzzer 220 is an audio output device that emits a warning sound to notify of an abnormality. For example, the buzzer 220 emits a warning sound when an obstacle is detected during automatic driving. Buzzer 220 is controlled by control device 180.
  • Storage device 170 includes one or more storage media such as flash memory or magnetic disks.
  • the storage device 170 stores various data generated by the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, sensor group 150, and control device 180.
  • the data stored in the storage device 170 may include map data in the environment in which the work vehicle 100 travels (environmental map) and data on a global route (target route) for automatic driving.
  • the environmental map includes information on a plurality of fields where the work vehicle 100 performs agricultural work and roads around the fields.
  • the environmental map and the target route may be generated by a processing device (ie, a processor) in the management device 600.
  • the control device 180 in the embodiment of the present disclosure may have a function of generating or editing an environmental map and a target route. Control device 180 can edit the environmental map and target route acquired from management device 600 according to the driving environment of work vehicle 100.
  • the storage device 170 also stores work plan data that the communication device 190 receives from the management device 600.
  • the work plan includes information regarding a plurality of agricultural tasks to be performed by the work vehicle 100 over a plurality of work days.
  • the work plan may be, for example, work schedule data that includes information on scheduled times for each agricultural work to be performed by the work vehicle 100 on each work day.
  • the storage device 170 also stores computer programs that cause each ECU in the control device 180 to execute various operations described below.
  • Such a computer program may be provided to work vehicle 100 via a storage medium (eg, semiconductor memory or optical disk, etc.) or a telecommunications line (eg, the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include, for example, an ECU 181 for speed control, an ECU 182 for steering control, an ECU 183 for instrument control, an ECU 184 for automatic driving control, an ECU 185 for route generation, and an ECU 186 for map generation.
  • ECU 181 controls the speed of work vehicle 100 by controlling prime mover 102, transmission 103, and brakes included in drive device 240.
  • the ECU 182 controls the steering of the work vehicle 100 by controlling the hydraulic system or electric motor included in the steering device 106 based on the measured value of the steering wheel sensor 152.
  • the ECU 183 controls the operations of the three-point link, PTO axis, etc. included in the coupling device 108 in order to cause the work machine 300 to perform a desired operation. ECU 183 also generates a signal to control the operation of work machine 300 and transmits the signal from communication device 190 to work machine 300.
  • the ECU 184 performs calculations and controls to realize automatic driving based on data output from the GNSS unit 110, camera 120, obstacle sensor 130, LiDAR sensor 140, and sensor group 150. For example, ECU 184 identifies the position of work vehicle 100 based on data output from at least one of GNSS unit 110, camera 120, and LiDAR sensor 140. In the field, ECU 184 may determine the position of work vehicle 100 based only on data output from GNSS unit 110. ECU 184 may estimate or correct the position of work vehicle 100 based on data acquired by camera 120 or LiDAR sensor 140. By using the data acquired by the camera 120 or the LiDAR sensor 140, the accuracy of positioning can be further improved.
  • ECU 184 estimates the position of work vehicle 100 using data output from LiDAR sensor 140 or camera 120. For example, the ECU 184 may estimate the position of the work vehicle 100 by matching data output from the LiDAR sensor 140 or the camera 120 with an environmental map. During automatic driving, the ECU 184 performs calculations necessary for the work vehicle 100 to travel along the target route or the local route based on the estimated position of the work vehicle 100.
  • the ECU 184 sends a speed change command to the ECU 181 and a steering angle change command to the ECU 182.
  • ECU 181 changes the speed of work vehicle 100 by controlling prime mover 102, transmission 103, or brake in response to a speed change command.
  • the ECU 182 changes the steering angle by controlling the steering device 106 in response to a command to change the steering angle.
  • the ECU 184 also controls remote operation of the work vehicle 100.
  • ECU 184 controls ECUs 181, 182, and 183 in response to signals received by communication device 190 from remote device 400.
  • operations such as speed control, steering control, raising and lowering of the work machine 300, and turning on/off of the work machine 300 of the work vehicle 100 can be performed in response to a remote operation from the user.
  • the ECU 185 While the work vehicle 100 is traveling along the target route, the ECU 185 sequentially generates local routes that can avoid obstacles. ECU 185 recognizes obstacles existing around work vehicle 100 based on data output from camera 120, obstacle sensor 130, and LiDAR sensor 140 while work vehicle 100 is traveling. The ECU 185 generates a local route to avoid the recognized obstacle.
  • the ECU 185 may have a function of performing global route planning instead of the management device 600. In that case, ECU 185 may determine the destination of work vehicle 100 based on the work plan stored in storage device 170, and determine the target route from the start point to the destination point of movement of work vehicle 100.
  • the ECU 185 can create, for example, a route that can reach the travel destination in the shortest time as a target route, based on the environmental map that includes road information stored in the storage device 170.
  • the ECU 185 may detect a specific type of road (for example, a farm road, a road along a specific feature such as a waterway, or a satellite signal from a GNSS satellite) based on the attribute information of each road included in the environmental map.
  • a route that gives priority to a route that can be received by the user) may be generated as a target route.
  • the ECU 186 generates or edits a map of the environment in which the work vehicle 100 travels.
  • an environmental map generated by an external device such as the management device 600 is transmitted to the work vehicle 100 and recorded in the storage device 170, but the ECU 186 may generate or edit the environmental map instead. You can also do it.
  • the operation when the ECU 186 generates an environmental map will be described below.
  • the environmental map may be generated based on sensor data output from the LiDAR sensor 140.
  • the ECU 186 sequentially generates three-dimensional point cloud data based on sensor data output from the LiDAR sensor 140 while the work vehicle 100 is traveling.
  • the ECU 186 can generate an environmental map by connecting sequentially generated point cloud data using, for example, an algorithm such as SLAM.
  • the environmental map generated in this way is a highly accurate three-dimensional map, and can be used for self-position estimation by the ECU 184.
  • a two-dimensional map can be generated for use in global route planning.
  • both the three-dimensional map used for self-position estimation and the two-dimensional map used for global route planning are referred to as "environmental maps.”
  • the ECU 186 further determines the recognized features (for example, waterways, rivers, grass, trees, etc.), the type of road (for example, whether it is a farm road or not), and the road surface based on the data output from the camera 120 or the LiDAR sensor 140. Maps can also be edited by adding various attribute information to the map, such as the status or passability of roads.
  • control device 180 realizes automatic driving and remotely controlled driving.
  • control device 180 controls drive device 240 based on the measured or estimated position of work vehicle 100 and the generated route. Thereby, the control device 180 can cause the work vehicle 100 to travel along the target route.
  • control device 180 controls travel of work vehicle 100 based on signals transmitted from remote device 400. In other words, control device 180 controls drive device 240 in response to a user's operation using remote device 400. Thereby, the control device 180 can cause the work vehicle 100 to travel according to instructions from the user.
  • a plurality of ECUs included in the control device 180 can communicate with each other, for example, according to a vehicle bus standard such as CAN (Controller Area Network). Instead of CAN, a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • CAN Controller Area Network
  • a faster communication method such as in-vehicle Ethernet (registered trademark) may be used.
  • An on-vehicle computer that integrates at least some of the functions of the ECUs 181 to 186 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 186, and any number of ECUs may be provided depending on the function.
  • Each ECU includes processing circuitry including one or more processors.
  • the communication device 190 is a device that includes a circuit that communicates with the work machine 300, the remote device 400, and the management device 600. Communication device 190 transmits sensing data output from sensing device 250 to remote device 400. Communication device 190 includes a circuit that transmits and receives signals compliant with the ISOBUS standard, such as ISOBUS-TIM, to and from communication device 390 of working machine 300. Thereby, it is possible to cause the work machine 300 to perform a desired operation or to acquire information from the work machine 300. Communication device 190 may further include an antenna and communication circuitry for transmitting and receiving signals over network 80 to and from respective communication devices of remote device 400 and management device 600. Network 80 may include, for example, a cellular mobile communications network such as 3G, 4G or 5G and the Internet.
  • the communication device 190 may have a function of communicating with a mobile terminal used by a supervisor near the work vehicle 100. Communication with such mobile terminals may be conducted in accordance with any wireless communication standard, such as Wi-Fi (registered trademark), cellular mobile communications such as 3G, 4G or 5G, or Bluetooth (registered trademark). I can.
  • Wi-Fi registered trademark
  • cellular mobile communications such as 3G, 4G or 5G
  • Bluetooth registered trademark
  • the operation terminal 200 is a terminal for a user to perform operations related to traveling of the work vehicle 100 and operation of the work machine 300, and is also referred to as a virtual terminal (VT).
  • Operating terminal 200 may include a display device such as a touch screen and/or one or more buttons.
  • the display device may be a display such as a liquid crystal or an organic light emitting diode (OLED), for example.
  • OLED organic light emitting diode
  • the user can, for example, turn on/off the automatic driving mode, turn on/off the remote control mode, record or edit an environmental map, set a target route, and control the work equipment 300.
  • Various operations such as switching on/off can be performed. At least some of these operations can also be realized by operating the operation switch group 210.
  • FIG. 6 is a block diagram illustrating a schematic hardware configuration of management device 600 and remote device 400.
  • the processor 660 may be, for example, a semiconductor integrated circuit including a central processing unit (CPU).
  • Processor 660 may be implemented by a microprocessor or microcontroller.
  • the processor 660 may be an FPGA (Field Programmable Gate Array) equipped with a CPU, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an ASSP (Application Specific Standard Product), or selected from among these circuits. It can also be realized by a combination of two or more circuits.
  • the processor 660 sequentially executes a computer program stored in the ROM 670 that describes a group of instructions for executing at least one process, thereby realizing a desired process.
  • the RAM 680 provides a work area for temporarily expanding the control program stored in the ROM 670 at boot time.
  • RAM 680 does not need to be a single storage medium, and may be a collection of multiple storage media.
  • the storage device 650 mainly functions as database storage.
  • Storage device 650 may be, for example, a magnetic storage device or a semiconductor storage device.
  • An example of a magnetic storage device is a hard disk drive (HDD).
  • An example of a semiconductor storage device is a solid state drive (SSD).
  • Storage device 650 may be a device independent of management device 600.
  • the storage device 650 may be a storage device connected to the management device 600 via the network 80, such as a cloud storage.
  • the work vehicle 100 in the embodiment of the present disclosure can automatically travel both inside and outside the field.
  • the work vehicle 100 drives the work machine 300 and performs predetermined agricultural work while traveling along a preset target route.
  • the work vehicle 100 detects an obstacle by the obstacle sensor 130 while traveling in the field, the work vehicle 100 stops traveling, emits a warning sound from the buzzer 220, sends a warning signal to the remote device 400, etc. perform an action.
  • positioning of the work vehicle 100 is performed mainly based on data output from the GNSS unit 110.
  • FIG. 7 is a diagram schematically showing an example of a work vehicle 100 that automatically travels along a target route in a field.
  • the farm field includes a work area 72 where the work vehicle 100 works using the work machine 300, and a headland 74 located near the outer periphery of the farm field. Which area of the field on the map corresponds to the work area 72 or the headland 74 can be set in advance by the user.
  • the target route in this example includes a plurality of parallel main routes P1 and a plurality of turning routes P2 connecting the plurality of main routes P1.
  • the main route P1 is located within the work area 72, and the turning route P2 is located within the headland 74.
  • control device 180 Next, an example of control during automatic operation in a field by the control device 180 will be explained.
  • FIG. 8 is a flowchart showing an example of the operation of steering control during automatic driving executed by the control device 180.
  • the control device 180 performs automatic steering by executing the operations from steps S121 to S125 shown in FIG. 8 while the work vehicle 100 is traveling. Regarding the speed, for example, it is maintained at a preset speed.
  • the control device 180 acquires data indicating the position of the work vehicle 100 generated by the GNSS unit 110 (step S121).
  • control device 180 calculates the deviation between the position of work vehicle 100 and the target route (step S122). The deviation represents the distance between the position of work vehicle 100 at that point and the target route.
  • the control device 180 determines whether the calculated positional deviation exceeds a preset threshold (step S123).
  • the control device 180 controls the drive device 240 based only on the deviation between the position of the work vehicle 100 specified by the GNSS unit 110 and the target route, but also takes into account the deviation in the direction. May be controlled. For example, when the azimuth deviation, which is the angular difference between the direction of the work vehicle 100 specified by the GNSS unit 110 and the direction of the target route, exceeds a preset threshold, the control device 180 drives the vehicle according to the deviation. Control parameters (eg, steering angle) of the steering device of device 240 may be changed.
  • FIG. 9A is a diagram showing an example of the work vehicle 100 traveling along the target route P.
  • FIG. 9B is a diagram showing an example of work vehicle 100 in a position shifted to the right from target route P.
  • FIG. 9C is a diagram showing an example of work vehicle 100 in a position shifted to the left from target route P.
  • FIG. 9D is a diagram illustrating an example of work vehicle 100 facing in a direction inclined with respect to target route P.
  • the pose indicating the position and orientation of the work vehicle 100 measured by the GNSS unit 110 is expressed as r(x, y, ⁇ ).
  • (x, y) are coordinates representing the position of the reference point of work vehicle 100 in the XY coordinate system, which is a two-dimensional coordinate system fixed to the earth.
  • the reference point of the work vehicle 100 is located at the location where the GNSS antenna is installed on the cabin, but the location of the reference point is arbitrary.
  • ⁇ is an angle representing the measured direction of work vehicle 100.
  • the target route P is parallel to the Y-axis, but generally the target route P is not necessarily parallel to the Y-axis.
  • control device 180 maintains the steering angle and speed of work vehicle 100 unchanged.
  • the control device 180 steers the work vehicle 100 so that the traveling direction of the work vehicle 100 leans to the right and approaches the route P. Change the corner. In this case as well, the speed may be changed in addition to the steering angle. The amount of change in the steering angle can be adjusted, for example, depending on the magnitude of the positional deviation ⁇ x.
  • the control device 180 steers the work vehicle 100 so that the azimuth deviation ⁇ becomes smaller. Change the corner.
  • the speed may be changed in addition to the steering angle.
  • the magnitude of the steering angle can be adjusted, for example, depending on the magnitude of each of the positional deviation ⁇ x and the azimuth deviation ⁇ . For example, the smaller the absolute value of the positional deviation ⁇ x, the larger the amount of change in the steering angle according to the azimuth deviation ⁇ .
  • the absolute value of the positional deviation ⁇ x is large, the steering angle will be changed significantly in order to return to the route P, so the absolute value of the azimuth deviation ⁇ will inevitably become large. Conversely, when the absolute value of the positional deviation ⁇ x is small, it is necessary to bring the azimuth deviation ⁇ close to zero. Therefore, it is appropriate to relatively increase the weight (ie, control gain) of the azimuth deviation ⁇ for determining the steering angle.
  • a control technique such as PID control or MPC control (model predictive control) may be applied to the steering control and speed control of the work vehicle 100. By applying these control techniques, it is possible to smoothly control the work vehicle 100 to approach the target route P.
  • the control device 180 stops the work vehicle 100. At this time, the buzzer 220 may be made to emit a warning sound or a warning signal may be sent to the remote device 400. If the obstacle can be avoided, the control device 180 may control the drive device 240 to avoid the obstacle.
  • the work vehicle 100 in the embodiment of the present disclosure is capable of automatically traveling not only inside the field but also outside the field.
  • the control device 180 detects objects located relatively far from the work vehicle 100 (for example, other vehicles or pedestrians) based on data output from the camera 120 or the LiDAR sensor 140. can do.
  • the control device 180 generates a local route to avoid the detected object, and performs speed control and steering control along the local route, thereby realizing automatic driving on roads outside the field.
  • control device 180 While traveling, control device 180 sequentially generates local routes and causes work vehicle 100 to travel along the local routes. This allows the vehicle to travel automatically while avoiding obstacles. During driving, the target route may be changed depending on the situation. In this way, the control device 180 in the embodiment of the present disclosure can generate a target route for automatic driving within the field and on the road around the field. In the automatic driving mode, the control device 180 causes the work vehicle 100 to automatically travel within an automatic driving area defined by the field and road where the target route has been generated.
  • FIG. 11 is a diagram showing an example of an image displayed on the display 430 of the remote device 400.
  • the image shown in FIG. 11 shows a field 70, a road 76, the sky 79, and the front part of the work vehicle 100.
  • This image is an image taken by camera 120 that photographs the front of work vehicle 100.
  • the display 430 may display an image taken not only by the camera 120 which photographs the front of the work vehicle 100 but also by the camera 120 which photographs the rear, right side, or left side, for example.
  • the display 430 displays a moving image having a frame rate of 3 fps or more (typically 30 fps or 60 fps, etc.), for example.
  • a plurality of images taken by a plurality of cameras 120 may be displayed on a plurality of displays.
  • multiple images may be displayed on multiple displays 430 at a remote monitoring center.
  • the user who is the observer ie, the operator
  • the user who is the observer can check the situation around the work vehicle 100 in detail while viewing the plurality of images displayed on the plurality of displays 430.
  • a map of the area including work vehicle 100 may be displayed on the display.
  • an image acquired by the camera 120 mounted on the work vehicle 100 (hereinafter also referred to as a "camera image”) is displayed on the display 430 of the remote device 400.
  • images based on point cloud data acquired by the LiDAR sensor 140 and other sensing data may be displayed on the display 430.
  • An image based on point cloud data shows the distribution of features existing around the work vehicle 100, and therefore can be used for monitoring in the same way as a camera image.
  • the operator can grasp the surrounding situation of work vehicle 100 based on the camera image or the image based on point cloud data.
  • moving images or videos based on the image data generated by the camera 120 and the point cloud data generated by the LiDAR sensor 140 may be referred to as "time-series images.”
  • a video display system in an embodiment of the present disclosure includes an imaging device, a screen, and a control device.
  • the imaging device is attached to an agricultural machine (work vehicle 100) to which the work machine 300 is connected, and generates time-series image data by photographing the direction of movement of the work vehicle 100.
  • the control device causes the screen to display an image based on time-series image data.
  • the control device (1) displays on the screen a composite image in which the trajectory of the work equipment is superimposed on the image when the work equipment is connected to the opposite side of the traveling direction of the work vehicle 100; It is configured to display on the screen a composite image in which an image indicating work marks after ground work in the direction of movement predicted while the connected work vehicle 100 is traveling is superimposed on the image.
  • the work machine 300 is connected to the rear of the work vehicle 100.
  • the image acquired by the imaging device is an image in front of the agricultural machine.
  • the work machine 300 may be connected to the front of the work vehicle 100.
  • the image acquired by the imaging device may be an image behind the work vehicle 100.
  • the control device can display an image in front of the work vehicle 100 on the screen.
  • the control device displays on the screen a composite image in which the trajectory of the working machine 300 and/or the work trace after ground work is superimposed on the image.
  • the control device causes the screen S to display a composite image in which the trajectory of the work implement 300 is superimposed on the image when the work implement 300 is connected to the side opposite to the traveling direction of the work vehicle 100.
  • a display indicating the trajectory of the work implement 300 can be confirmed on the ground in the traveling direction of the work vehicle 100.
  • the trajectory of the working machine 300 is expressed by a virtual dotted line display 60.
  • the control device in the first implementation example performs coordinate transformation of a point group defining a virtual straight line in the geographic coordinate system, which indicates the trajectory of the working machine 300, into a pixel position in the image coordinate system.
  • the control device converts the coordinates of a point cloud that defines a virtual straight line from the geographic coordinate system to the local coordinate system by using external parameters of the camera to convert the geographic coordinate system to the local coordinate system. Convert points.
  • the control device further converts the coordinate points of the point cloud defining the virtual straight line from the local coordinate system to the image coordinate system using internal parameters of the camera for converting the local coordinate system to the image coordinate system. .
  • the three-dimensional point group located in the geographic coordinate system can be transferred to the two-dimensional plane of the image coordinate system.
  • control device can generate a composite image in which the straight lines 60L and 60R indicating the trajectories of the left and right side portions of both ends of the working machine 300 are superimposed on the image.
  • the control device may generate a composite video using, for example, real-time rendering (or real-time CG) technology.
  • the control device in the above-described example converts the coordinate points of positions T1 and T2 at both ends of the working machine 300 from the local coordinate system to the geographical coordinate system, and calculates the trajectory calculated based on the positions T1 and T2 in the geographical coordinate system. Display it on screen S.
  • the example of generating a composite video is not limited to this.
  • the control device sets straight lines 60L and 60R (see FIG. 13) that pass through both ends of the work equipment 300 in the local coordinate system, and superimposes the set straight lines 60L and 60R on the image acquired by the imaging device. obtain.
  • the local coordinate system and the image coordinate system can be associated in advance.
  • the control device can generate a composite image in which the straight lines 60L and 60R are superimposed on the image by converting the coordinate points of the straight lines 60L and 60R from the local coordinate system to the image coordinate system according to this association.
  • the control device predicts the trajectory of the wheels 104 of the work vehicle 100 based on the attitude information while the work vehicle 100 is traveling, and causes the screen S to display a composite image in which the trajectory of the wheels of the work vehicle 100 is further superimposed on the image.
  • the work vehicle information may include information on coordinate points in the local coordinate system where each of the four wheels of the work vehicle 100 is located.
  • the control device in the first implementation example creates a virtual Find straight lines 61L and 61R.
  • the control device determines the straight lines 61L and 61R as the trajectory of the pair of rear wheels 104R. In FIG. 13, the straight lines 61L and 61R are shown as broken lines.
  • the display of the trajectory of the wheels 104 is not limited to a line display.
  • FIG. 14 is a diagram schematically showing an example of a composite image in which the trajectory of the working machine 300 and the trajectory of the pair of rear wheels 104R are superimposed on the image.
  • the control device can generate a composite image in which a line display indicating the trajectory of the pair of rear wheels 104R is further superimposed on the image by converting the coordinate points of the straight lines 61L and 61R from the geographic coordinate system to the image coordinate system.
  • FIG. 15 is a diagram schematically showing an example of a composite image in which the trajectory of the working machine 300 and the target line along the target route are superimposed on the image.
  • the control device may cause the screen S to display a composite image in which a target line 62 along a target route set for automatically traveling the work vehicle 100 is further superimposed on the image.
  • the target line 62 is shown by a chain line.
  • the display of the target line 62 is not limited to a line display. According to such a composite image, it may be easier to visually grasp the deviation of the trajectory of the working machine 300 from the target line.
  • FIG. 16 is a schematic diagram for explaining the amount of deviation between the predicted trajectory of the working machine 300 and the reference trajectory.
  • the predicted trajectory and reference trajectory of the work implement 300 are shown by straight lines 60 and 63, respectively.
  • the control device estimates the amount of deviation of the predicted trajectory 60 of the work implement 300 from the reference trajectory based on the predicted trajectory of the work implement 300 and the reference trajectory predicted from the past trajectory of the work implement 300. obtain.
  • the control device determines the regression line 63 from the waypoints that define the past trajectory of the work machine 300 using the least squares method.
  • the control device can determine this regression line 63 as a reference trajectory.
  • the amount of deviation is expressed by the angle ⁇ between the straight line 60 and the regression line 63.
  • FIG. 17 is a diagram schematically showing an example of a composite image including a warning display 81 that may be displayed on the screen S when the amount of deviation is equal to or greater than the threshold value.
  • the control device may cause the screen S to display a composite image including a warning display 81 that warns that the predicted trajectory of the working machine 300 deviates from the past trajectory.
  • Warning display 81 may be displayed at the forefront of the video.
  • a straight line 60 showing the trajectory of the working machine 300 illustrated in FIG. 17 is displayed so as to be in contact with an adjacent ridge 91. According to such a composite image, contact with adjacent ridges can be avoided in advance by, for example, prompting the operator to change the target route.
  • FIG. 19 is a diagram schematically showing an example of a composite image in which the offset trajectory of the working machine 300 is superimposed on the image.
  • FIG. 19 shows mowing by the offset working machine 300.
  • the control device may display on the screen S a composite image in which a straight line 60L indicating the trajectory of the offset left side portion of the working machine 300 is superimposed on the image.
  • the video display system may include a sensing device that acquires sensing data indicating the distribution of features around the work vehicle 100.
  • the sensing device may be sensing device 250 of work vehicle 100.
  • the control device can estimate the size of the feature based on sensing data output from the sensing device.
  • the control device displays a composite image on screen S, including a warning display 82 warning that the work equipment 300 may collide with the feature, depending on the comparison result between the size of the work equipment 300 and the size of the feature. may be displayed.
  • FIG. 20 is a diagram schematically showing an example of an image in which an overpass 78 that intersects with the road 76 at grade level is shown in the traveling direction of the work vehicle 100 traveling on the road 76 outside the field.
  • the work vehicle 100 may travel on a road outside the field with the work machine 300 raised. Therefore, depending on the type of work equipment 300, work equipment 300 may collide with a feature located in the traveling direction of work vehicle 100.
  • the control device may estimate the height of the overpass 78 based on sensing data output from the sensing device. Further, the control device can estimate the height of the top of the working machine 300 with respect to the ground based on the size of the working machine 300 in the height direction. If the estimated height of the top is greater than the estimated height of the overpass 78, the control device causes the screen S to display a composite image including the warning display 82. By displaying a warning display, collisions with features can be avoided in advance.
  • a video display system may include a light source controlled by a control device, and an optical system that receives light emitted from the light source and forms a virtual image in front of a screen.
  • the video display system may include a HUD.
  • a HUD that displays information within the human visual field is used to assist driving by displaying information on the front window of a vehicle.
  • FIG. 21 is a schematic diagram showing an example of the configuration of the HUD unit. As one HUD method, a method using a virtual image optical system will be described below. However, the configuration of the HUD unit is not limited to the example shown in FIG. 21.
  • the HUD unit 800 includes a light source 810, a transmission screen 820, a field lens 830, and a combiner 840.
  • the optical system of the HUD unit 800 includes a transmissive screen 820, a field lens 830, a combiner 840, and may further include a MEME mirror, a movable lens, and the like.
  • the HUD unit 800 is attached, for example, to the ceiling surface of the roof inside the cabin of a work vehicle.
  • a light beam emitted from a light source 810 is focused by a transmission screen 820 to form a real image.
  • Transmissive screen 820 functions as a secondary light source and emits a focused light beam toward combiner 840 so that its irradiation area is approximately rectangular.
  • Combiner 840 forms a virtual image based on the irradiated light beam. Thereby, the driver can check the image together with the scenery through the combiner 840.
  • the light source 810 is a device that draws images.
  • the light source 810 is configured to emit display light toward a transmissive screen 820.
  • known drawing methods include a method using DLP (Digital Light Processing) and a method using a laser projector.
  • Light source 810 may include a laser projector and a MEME mirror that scans the light beam emitted from the laser projector.
  • An example of a laser projector is an RGB laser projector.
  • the transmission screen 820 has a microlens array on the light receiving surface side.
  • Transmissive screen 820 functions to broaden the incident beam.
  • Field lens 830 is arranged between transmissive screen 820 and combiner 840 and near transmissive screen 820 .
  • the field lens 830 is formed of, for example, a convex lens, and changes the traveling direction of the light beam emitted from the transmission screen 820. By using the field lens 830, the light utilization efficiency can be further improved. However, the field lens 830 is not essential.
  • Combiner 840 reflects the diverging light beam from transmissive screen 820 to form a virtual image of light.
  • the combiner 840 has a function of enlarging and displaying the image formed on the transmissive screen 820 into a distant place, and further has a function of displaying the image overlaid on the scenery.
  • the driver can check the image together with the scenery through the combiner 840.
  • the driver can check the image displayed on the screen along with the scenery.
  • the size of the virtual image or the position where the virtual image is formed can be changed.
  • combiner 840 functions as a screen for a video display system.
  • control device 850 is a processor. Control device 850 functions as a control device for the video display system.
  • the technology of the present disclosure can also be applied to video display of a HUD unit.
  • FIG. 22 is a diagram schematically showing an example of a composite image in which work marks after ground work in the advancing direction are superimposed on the image.
  • FIG. 22 shows an example of how the working machine 300 performs ridge-building work in the field 70.
  • the control device in the second implementation example displays on the screen S a composite image in which an image indicating work marks after ground work in the traveling direction is superimposed on the image, which is predicted while the work vehicle 100 to which the work equipment 300 is connected is traveling. Display. Thereby, in the image displayed on the screen S, a display indicating the work trace after the ground work in the traveling direction of the work vehicle 100 can be confirmed.
  • a line (dotted line) 65 indicates the shape of the outer edge of the ridge indicating a virtual work trace.
  • the work traces after the ground work displayed on the screen S include a work completed state that imitates the work performed by the work machine 300.
  • the work trace is represented by a figure or image simulating the completed state of ridge raising
  • tilling it is represented by a figure or image simulating the completed state of tilling
  • a transplant it is represented by a figure or image simulating the completed state of the transplant.
  • the control device in the second implementation example predicts work traces based on work implement information regarding the work implement 300 and posture information regarding the current posture of the work vehicle 100. For example, the control device predicts a trajectory of the work implement including a predicted trajectory of at least one of both end portions of the work implement 300.
  • the work equipment information includes information regarding the size of the work equipment, and may further include information regarding the type of the work equipment.
  • the control device predicts the trajectory of the work implement 300 based on information regarding the size and posture information of the work implement 300.
  • the control device may display on the screen S a composite image in which the predicted trajectory of the work machine 300 is further superimposed on the image.
  • the working machine 300 is a vegetable transplanter, and the control device, for example, By performing real-time rendering, it is possible to draw a three-dimensional virtual crop row image that represents the work tracks left after planting crops.
  • the control device can determine the color information, texture, etc. necessary for displaying the image based on the type of ground work or the type of seedling.
  • FIG. 25 is a diagram schematically showing an example of a composite video including a guide display that guides the user to comply with the guidelines.
  • a work trace 65, a work prediction line 66, and a guideline 67 are shown by dotted lines, broken lines, and thick broken lines, respectively.
  • the automatic driving mode of work vehicle 100 includes, for example, a guide mode that guides the user to match guidelines.
  • FIG. 25 shows how the work vehicle 100 is automatically traveling in the guide mode.
  • the control device can estimate the amount of deviation of the work prediction line 66 from the guideline 67 using a method similar to that described with reference to FIG. 16, for example.
  • the deviation amount is less than the threshold value
  • the predicted work line 66 matches the guideline 67.
  • the control device may emphasize the line display by, for example, making the work prediction line 66 thicker or changing the color of the work prediction line 66.
  • the control device may, for example, cause the work prediction line 66 to blink.
  • FIG. 28 is a diagram schematically showing an example of a composite image including a display of a turning point located in the traveling direction of the work vehicle 100.
  • the control device predicts the point at which the work implement 300 will start, stop, or move up and down in the direction of movement of the work vehicle 100 based on the time-series image data, and generates a composite image including a display of the point. It may also be displayed on the screen S.
  • the composite image illustrated in FIG. 28 includes a turning point display 68. For example, near the turning point, there is generally a ridge across the headland of the field.
  • the control device can detect a ridge in a time-series image using, for example, an object detection method based on machine learning or deep learning.
  • the control device displays a display 68 at the position of the identified object within the image.
  • the present disclosure includes the video display system and work vehicle described in the following items.
  • Information A1 an imaging device that is attached to a work vehicle to which a work machine is connected, and that generates time-series image data by photographing a traveling direction of the work vehicle; screen and a control device that displays an image on the screen based on data of the time-series images; Equipped with When the work implement is connected to a side opposite to the traveling direction of the work vehicle, the control device displays a composite image on the screen, in which a trajectory of the work implement is superimposed on the image.
  • the work machine is connected to the rear of the work vehicle,
  • the image is an image in front of the work vehicle,
  • the control device is capable of displaying the image on the screen,
  • the control device includes: While the work vehicle is traveling, predicting the trajectory of the wheels of the work vehicle based on the attitude information, The video display system according to item A2 or A3, wherein the composite video in which the trajectory of the wheels of the work vehicle is further superimposed on the video is displayed on the screen.
  • the control device includes: estimating the amount of deviation of the predicted trajectory of the work implement with respect to the reference trajectory based on the predicted trajectory of the work implement and a reference trajectory predicted from the past trajectory of the work implement;
  • the video display system according to any one of items A3 to A5, wherein different displays are displayed on the screen depending on whether the amount of deviation is less than a threshold value or the amount of deviation is greater than or equal to a threshold value.
  • the control device causes the screen to display the composite image including a warning display that warns that the predicted trajectory of the work equipment deviates from the past trajectory.
  • the control device predicts a trajectory of the working machine including a predicted trajectory of at least one of both end portions of the working machine located in the width direction of the working machine, according to any one of items A3 to A7.
  • Video display system
  • Information A12 a light source controlled by the control device;
  • the video display system according to any one of items A1 to A11, comprising an optical system that receives light emitted from the light source and forms a virtual image in front of the screen.
  • the control device predicts a trajectory of the work implement including a predicted trajectory of at least one of both end portions of the work implement located in the width direction of the work implement.
  • Video display system
  • the working machine performs at least one of the above-mentioned ground operations including ridge-raising, plowing, crop planting, and crop reaping,
  • the video display system according to any one of items B1 to B15, wherein the control device generates the image showing the work trace after the ground work.
  • [Item B17] a light source controlled by the control device;
  • the video display system according to any one of items B1 to B16, comprising an optical system that receives light emitted from the light source and forms a virtual image in front of the screen.
  • the technology of the present disclosure is a video display system for agricultural machinery that operates automatically, such as a tractor, a harvester, a rice transplanter, a riding management machine, a vegetable transplanter, a lawn mower, a seeding machine, a fertilizer application machine, or an agricultural robot. It can be applied to

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

映像表示システムは、作業機が連結される作業車両に取り付けられ、作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、スクリーンと、時系列画像のデータに基づく映像をスクリーンに表示させる制御装置とを備える。制御装置は、作業機が作業車両の進行方向と反対側に連結されているとき、作業機の軌道を映像に重畳した合成映像をスクリーンに表示させる。

Description

映像表示システムおよび作業車両
　本開示は、映像表示システムおよび作業車両に関する。
　圃場で使用される農業機械の自動化に向けた研究開発が進められている。例えば、ＧＮＳＳ（Global Navigation Satellite System）などの測位システムを利用して圃場内を自動で走行するトラクタ、コンバイン、および田植機などの作業車両が実用化されている。圃場内だけでなく、圃場外でも自動で走行する作業車両の研究開発も進められている。農業機械を遠隔で操作する技術の開発も進められている。
　特許文献１および２は、道路を挟んで互いに離れた２つの圃場間で無人の作業車両を自動走行させるシステムの例を開示している。特許文献３は、自律走行を行う作業車両を遠隔で操作する装置の例を開示している。
特開２０２１－０７３６０２号公報 特開２０２１－０２９２１８号公報 国際公開第２０１６／０１７３６７号
　本開示は、作業車両の進行方向における、作業機の軌道および対地作業後の作業跡の少なくとも１つを示す画像を映像に重畳した合成映像をスクリーンに表示させるための技術を提供する。
　本開示の一態様による映像表示システムは、作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、スクリーンと、前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、を備え、前記制御装置は、前記作業機が前記作業車両の進行方向と反対側に連結されているとき、前記作業機の軌道を前記映像に重畳した合成映像を前記スクリーンに表示させる。
　本開示の一態様による農業機械は、作業車両と、作業機と、上記の映像表示システムとを備える。
　本開示の他の一態様による映像表示システムは、作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、スクリーンと、前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、を備え、前記制御装置は、前記作業機が連結された前記作業車両の走行中に予測される、前記進行方向における対地作業後の作業跡を示す画像を前記映像に重畳した合成映像を前記スクリーンに表示させる。
　本開示の他の一態様による農業機械は、作業車両と、作業機と、上記の映像表示システムとを備える。
　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。
　本開示の実施形態によれば、作業車両の進行方向における、作業機の軌道および対地作業後の作業跡の少なくとも１つを示す画像を映像に重畳した合成映像をスクリーンに表示させることが可能となる。
農業管理システムの構成例を示す図である。 農業管理システムの他の構成例を示す図である。 作業車両、および作業車両に連結されたインプルメントの例を模式的に示す側面図である。 作業車両およびインプルメントの構成例を示すブロック図である。 ＲＴＫ－ＧＮＳＳによる測位を行う作業車両の例を示す概念図である。 キャビンの内部に設けられる操作端末および操作スイッチ群の例を示す図である。 管理装置および遠隔装置のハードウェア構成を例示するブロック図である。 圃場内を目標経路に沿って自動で走行する作業車両の例を模式的に示す図である。 自動運転時の操舵制御の動作の例を示すフローチャートである。 目標経路Ｐに沿って走行する作業車両の例を示す図である。 目標経路Ｐから右にシフトした位置にある作業車両の例を示す図である。 目標経路Ｐから左にシフトした位置にある作業車両の例を示す図である。 目標経路Ｐに対して傾斜した方向を向いている作業車両の例を示す図である。 複数の作業車両が圃場の内部および圃場の外側の道を自動走行している状況の例を模式的に示す図である。 自動走行モードにおける表示画面の一例を示す図である。 スクリーンに表示される作業車両の前方の映像の例を模式的に示す図である。 作業車両の進行方向における作業機の軌道を映像に重畳した合成映像の例を模式的に示す図である。 作業車両のローカル座標系における基準点と、作業機の両端部分の位置との間の位置関係を模式的に示す図である。 作業機の軌道と、一対の後輪の軌道とを映像に重畳した合成映像の例を模式的に示す図である。 作業機の軌道と、目標経路に沿った目標ラインとを映像に重畳した合成映像の例を模式的に示す図である。 作業機の予測される軌道と、参照軌道との間のずれ量を説明するための模式図である。 ずれ量が閾値以上であるときにスクリーン上に表示され得る警告表示を含む合成映像の例を模式的に示す図である。 作業車両のローカル座標系における基準点と、オフセットした作業機の片側部分の位置との間の位置関係を模式的に示す図である。 オフセットした作業機の軌道を映像に重畳した合成映像の例を模式的に示す図である。 圃場外の道を走行している作業車両の進行方向に、道と立体交差する陸橋が映っている映像の例を模式的に示す図である。 ＨＵＤユニットの構成例を示す模式図である。 進行方向における対地作業後の作業跡を映像に重畳した合成映像の例を模式的に示す図である。 進行方向における対地作業後の作業跡を映像に重畳した合成映像の他の例を模式的に示す図である。 対地作業後の作業跡と、目標ラインとを映像に重畳した合成映像の例を模式的に示す図である。 ガイドラインに整合するようにユーザを案内する案内表示を含む合成映像の例を模式的に示す図である。 作業予測ラインがガイドラインに整合していないことを警告する警告表示を含む合成映像の例を模式的に示す図である。 目標経路の変更をユーザに促す案内表示を含む合成映像の例を模式的に示す図である。 作業車両の進行方向に位置する旋回地点の表示を含む合成映像の例を模式的に示す図である。
　（用語の定義）
　本開示において「農業機械」は、農業用途で使用される機械を意味する。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、農業用ドローン（すなわち無人航空機：ＵＡＶ）、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体が１つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。これらの農作業を「対地作業」または単に「作業」と称することがある。車両型の農業機械が農作業を行いながら走行することを「作業走行」と称することがある。
　「自動運転」は、運転者による手動操作によらず、制御装置の働きによって農業機械の移動を制御することを意味する。自動運転を行う農業機械は「自動運転農機」または「ロボット農機」と呼ばれることがある。自動運転中、農業機械の移動だけでなく、農作業の動作（例えば作業機の動作）も自動で制御されてもよい。農業機械が車両型の機械である場合、自動運転によって農業機械が走行することを「自動走行」と称する。制御装置は、農業機械の移動に必要な操舵、移動速度の調整、移動の開始および停止の少なくとも１つを制御し得る。作業機が装着された作業車両を制御する場合、制御装置は、作業機の昇降、作業機の動作の開始および停止などの動作を制御してもよい。自動運転による移動には、農業機械が所定の経路に沿って目的地に向かう移動のみならず、追尾目標に追従する移動も含まれ得る。自動運転を行う農業機械は、部分的にユーザの指示に基づいて移動してもよい。また、自動運転を行う農業機械は、自動運転モードに加えて、運転者の手動操作によって移動する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって農業機械の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が農業機械の外部にあってもよい。農業機械の外部にある制御装置と農業機械との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う農業機械は、人がその農業機械の移動の制御に関与することなく、周囲の環境をセンシングしながら自律的に移動してもよい。自律的な移動が可能な農業機械は、無人で圃場内または圃場外（例えば道路）を走行することができる。自律移動中に、障害物の検出および障害物の回避動作を行ってもよい。
　「遠隔操作」または「遠隔操縦」は、遠隔操作装置を用いた農業機械の操作を意味する。遠隔操作は、農業機械から離れた場所にいるオペレータ（例えばシステム管理者または農業機械のユーザ）によって行われ得る。「遠隔操作走行」は、遠隔操作装置から送信された信号に応答して農業機械が走行することを意味する。遠隔操作装置は、例えばパーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、またはリモートコントローラ（リモコン）などの、信号の送信機能を備えた装置を含み得る。オペレータは、遠隔操作装置を操作することにより、発進、停止、加速、減速、または走行方向の変更等の指令を農業機械に与えることができる。これらの指令に応答して制御装置が農業機械の走行を制御するモードを「遠隔操作モード」と称する。
　「遠隔装置」は、農業機械から離れた場所にある通信機能を備えた装置である。遠隔装置は、例えば、オペレータが農業機械を遠隔操縦するために使用する遠隔操作装置であり得る。遠隔装置は、表示装置（ディスプレイ）を含んでいてもよいし、表示装置に接続されてもよい。表示装置は、例えば、農業機械が備えるカメラまたはＬｉＤＡＲセンサなどのセンシング装置から出力されたセンサデータ（「センシングデータ」ともいう。）に基づく、農業機械の周囲の状況を可視化した画像（または映像）を表示することができる。オペレータは、表示された画像を見ながら、農業機械の周囲の状況を把握し、必要に応じて遠隔操作装置を操作して農業機械を遠隔操縦することができる。
　「作業計画」は、農業機械によって実行される１つ以上の農作業の予定を定めるデータである。作業計画は、例えば、農業機械によって実行される農作業の順序および各農作業が行われる圃場を示す情報を含み得る。作業計画は、各農作業が行われる予定の日および時刻の情報を含んでいてもよい。各農作業が行われる予定の日および時刻の情報を含む作業計画を、特に「作業スケジュール」または単に「スケジュール」と称する。作業スケジュールは、各作業日に行われる各農作業の開始予定時刻および／または終了予定時刻の情報を含み得る。作業計画あるいは作業スケジュールは、農作業ごとに、作業の内容、使用される作業機、および／または、使用される農業資材の種類および分量などの情報を含んでいてもよい。ここで「農業資材」とは、農業機械が行う農作業で使用される物資を意味する。農業資材を単に「資材」と呼ぶことがある。農業資材は、例えば農薬、肥料、種、または苗などの、農作業によって消費される物資を含み得る。作業計画は、農業機械と通信して農作業を管理する処理装置、または農業機械に搭載された処理装置によって作成され得る。処理装置は、例えば、ユーザ（農業経営者または農作業者など）が端末装置を操作して入力した情報に基づいて作業計画を作成することができる。本明細書において、農業機械と通信して農作業を管理する処理装置を「管理装置」と称する。管理装置は、複数の農業機械の農作業を管理してもよい。その場合、管理装置は、複数の農業機械の各々が実行する各農作業に関する情報を含む作業計画を作成してもよい。作業計画は、各農業機械によってダウンロードされ、記憶装置に格納され得る。各農業機械は、作業計画に従って、予定された農作業を実行するために、自動で圃場に向かい、農作業を実行することができる。
　「環境地図」は、農業機械が移動する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を単に「地図」または「地図データ」と称することがある。環境地図を規定する座標系は、例えば、地球に対して固定された地理座標系などのワールド座標系であり得る。環境地図は、環境に存在する物について、位置以外の情報（例えば、属性情報その他の情報）を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。環境地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「地図」または「地図データ」と呼ぶ。
　「農道」は、主に農業目的で利用される道を意味する。農道は、アスファルトで舗装された道に限らず、土または砂利等で覆われた未舗装の道も含む。農道は、車両型の農業機械（例えばトラクタ等の作業車両）のみが専ら通行可能な道（私道を含む）と、一般の車両（乗用車、トラック、バス等）も通行可能な道路とを含む。作業車両は、農道に加えて一般道を自動で走行してもよい。一般道は、一般の車両の交通のために整備された道路である。
　（実施形態）
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
　以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
　以下、農業機械の一例であるトラクタなどの作業車両に本開示の技術を適用した実施形態を主に説明する。本開示の技術は、トラクタに限らず、他の種類の農業機械（例えば、田植機、コンバイン、収穫機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、農業用ドローン、および農業用移動ロボット等）にも適用することができ、特に、遠隔操作走行が可能な農業機械に好適に適用することができる。以下、一例として、自動走行機能および遠隔操作機能を実現するための走行制御システムが作業車両に搭載されている実施形態を説明する。ただし、本開示の技術は、自動走行機能または遠隔操作機能を必ずしも必要としない。走行制御システムの少なくとも一部の機能は、作業車両と通信を行う他の装置（例えば、遠隔操縦を行う遠隔装置、またはサーバ等）に実装されていてもよい。
　図１Ａは、本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。図１Ａに示す農業管理システムは、作業車両１００と、遠隔装置４００と、管理装置６００とを備える。遠隔装置４００は、作業車両１００を遠隔で監視するユーザが使用するコンピュータである。管理装置６００は、農業管理システムを運営する事業者が管理するコンピュータである。作業車両１００、遠隔装置４００、および管理装置６００は、ネットワーク８０を介して互いに通信することができる。図１Ａには１台の作業車両１００が例示されているが、農業管理システムは、複数の作業車両またはその他の農業機械を含んでいてもよい。本開示の実施形態における農業管理システムは、作業車両１００の遠隔操縦システムを含む。遠隔操縦システムは、作業車両１００におけるセンシング装置、通信装置、および制御装置と、遠隔装置４００とを含む。本開示の実施形態における遠隔操縦システムの全体うちの、作業車両１００におけるセンシング装置および通信装置を含む部分を「センシングシステム」と呼ぶ場合がある。すわなち、センシングシステムは遠隔操縦システムの一部である。
　本開示の実施形態における作業車両１００はトラクタである。作業車両１００は、後部および前部の一方または両方に作業機を装着することができる。作業車両１００は、作業機の種類に応じた農作業を行いながら圃場内を走行することができる。
　本開示の実施形態における作業車両１００は、自動運転機能を備える。すなわち、作業車両１００は、手動によらず、制御装置の働きによって走行することができる。本開示の実施形態における制御装置は、作業車両１００の内部に設けられ、作業車両１００の速度および操舵の両方を制御することができる。作業車両１００は、圃場内に限らず、圃場外（例えば道路）を自動走行することもできる。制御装置が作業車両１００を自動走行させるモードを「自動走行モード」と称する。
　作業車両１００は、さらに、遠隔操作走行の機能も備える。制御装置は、ユーザによる遠隔装置４００を用いた遠隔操作に応答して作業車両１００の走行装置を制御することにより、走行速度および走行方向を変化させることができる。作業車両１００は、圃場内に限らず、圃場外でも遠隔操作走行を実行することができる。制御装置が作業車両１００を遠隔操作走行させるモードを「遠隔操作モード」と称する。
　作業車両１００は、ＧＮＳＳ受信機およびＬｉＤＡＲセンサなどの、測位あるいは自己位置推定のために利用される装置を備える。自動走行モードにおいて、作業車両１００の制御装置は、作業車両１００の位置と、管理装置６００によって生成された目標経路の情報とに基づいて、作業車両１００を自動で走行させる。制御装置は、作業車両１００の走行制御に加えて、作業機の動作の制御も行う。これにより、作業車両１００は、圃場内を自動で走行しながら作業機を用いて農作業を実行することができる。さらに、作業車両１００は、圃場外の道（例えば、農道または一般道）を目標経路に沿って自動で走行することができる。作業車両１００は、圃場外の道に沿って自動走行を行うとき、カメラまたはＬｉＤＡＲセンサなどのセンシング装置から出力されるデータに基づいて、障害物を回避可能な局所的経路を目標経路に沿って生成しながら走行する。作業車両１００は、圃場内においては、上記と同様に局所的経路を生成しながら走行してもよいし、局所的経路を生成せずに目標経路に沿って走行し、障害物が検出された場合に停止する、という動作を行ってもよい。
　管理装置６００は、作業車両１００による農作業を管理するコンピュータである。管理装置６００は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置６００は、例えば、作業車両１００の作業計画を作成し、その作業計画に従って、作業車両１００の目標経路を生成することができる。あるいは、管理装置６００は、ユーザによる遠隔装置４００を用いた操作に応答して、作業車両１００の目標経路を生成してもよい。
　遠隔装置４００は、作業車両１００から離れた場所にいるユーザが使用するコンピュータである。図１Ａに示す遠隔装置４００はラップトップコンピュータであるが、これに限定されない。遠隔装置４００は、デスクトップＰＣ（personal computer）などの据え置き型のコンピュータであってもよいし、スマートフォンまたはタブレットコンピュータなどのモバイル端末でもよい。
　遠隔装置４００は、作業車両１００を遠隔監視したり、作業車両１００を遠隔操作したりするために用いられ得る。例えば、遠隔装置４００は、作業車両１００が備える１台以上のカメラが撮影した映像をディスプレイに表示させることができる。ユーザは、その映像を見て、作業車両１００の周囲の状況を確認し、作業車両１００に停止、発進、加速、減速、または走行方向の変更等の指示を送ることができる。
　図１Ｂは、農業管理システムの他の例を示す図である。図１Ｂに示す農業管理システムは、複数の作業車両１００を含む。図１Ｂには３台の作業車両１００が例示されているが、作業車両１００の台数は任意である。作業車両１００とは異なる農業機械（例えば農業用ドローン等）がシステムに含まれていてもよい。図１Ｂの例における遠隔装置４００は、家庭用の端末装置ではなく、農業機械の遠隔監視センターに設けられたコンピュータである。遠隔装置４００は、遠隔監視センターのオペレータが使用する遠隔操縦機５００および１台以上のディスプレイ４３０に接続され得る。図１Ｂには５台のディスプレイ４３０が例示されているが、ディスプレイ４３０の台数は任意である。遠隔操縦機５００は、作業車両１００を遠隔操縦するための各種の機器(例えば、ステアリングホイール、アクセルペダル、左右のブレーキペダル、クラッチペダル、および各種のスイッチまたはレバー類等)を含み得る。図１Ｂに示す遠隔操縦機５００は、作業車両１００の手動運転に使用される操作機器を模した装置であるが、遠隔操縦機５００はこのような装置に限定されない。例えば、ジョイスティックのようなコントローラによって遠隔操縦が行われてもよい。各ディスプレイ４３０は、例えば、作業車両１００が農作業を行う圃場を含む領域の環境地図、および作業車両１００に搭載された１つ以上のカメラによって撮影された画像（例えば動画像）を表示することができる。オペレータは、ディスプレイ４３０に表示された画像を見ながら、作業車両１００の周囲の状況を把握することができる。オペレータは、各作業車両１００の周囲の状況に応じて、自動走行モードと遠隔操作モードとを切り替えたり、各農業機械を遠隔操縦することができる。
　以下、本開示の実施形態におけるシステムの構成および動作をより詳細に説明する。
　［１．構成］
　図２は、作業車両１００、および作業車両１００に連結された作業機３００の例を模式的に示す側面図である。本開示の実施形態における作業車両１００は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両１００は無人で走行することができる。作業車両１００は、圃場内と圃場外の両方で自動運転が可能である。自動運転モードにおいて、制御装置は、予め設定された目標経路に沿って作業車両１００を走行させる自動走行モードと、ユーザによる遠隔装置４００を用いた操作に応答して作業車両１００を走行させる遠隔操作モードとで動作することができる。ユーザは、例えば作業車両１００のユーザまたは遠隔監視センターにおけるオペレータであり得る。自動走行モードと遠隔操作モードとの切り替えは、ユーザが遠隔装置４００を用いて所定の操作を行うことで実行され得る。例えば、自動走行モードにおいて、ユーザが遠隔装置４００を用いて遠隔操作の開始を指示する操作を行うと、遠隔操作モードに移行する。また、遠隔操作モードにおいて、ユーザが遠隔装置４００を用いて自動走行の開始を指示する操作を行うと、自動走行モードに移行する。
　図２に示すように、作業車両１００は、車両本体１０１と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１０１には、タイヤ付きの車輪１０４を含む走行装置と、キャビン１０５とが設けられている。走行装置は、４つの車輪１０４と、４つの車輪を回転させる車軸、および各車軸の制動を行う制動装置（ブレーキ）を含む。車輪１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。作業車両１００が圃場内で作業走行を行うとき、前輪１０４Ｆおよび後輪１０４Ｒの一方または両方は、タイヤ付き車輪ではなく無限軌道（track）を装着した複数の車輪（クローラ）に置き換えられてもよい。
　作業車両１００は、前輪１０４Ｆおよび後輪１０４Ｒの全てを駆動輪とする四輪駆動（４Ｗ）モードと、前輪１０４Ｆまたは後輪１０４Ｒを駆動輪とする二輪駆動（２Ｗ）モードとを切り替えることができる。作業車両１００は、左右のブレーキを連結した状態と、連結を解除した状態とを切り替えることもできる。左右のブレーキの連結を解除することにより、左右の車輪１０４を独立して制動することができる。これにより、旋回半径の小さい旋回が可能である。
　作業車両１００は、作業車両１００の周囲をセンシングする複数のセンシング装置を備える。図２の例では、センシング装置は、複数のカメラ１２０と、ＬｉＤＡＲセンサ１４０と、複数の障害物センサ１３０とを含む。センシング装置は、カメラ１２０、ＬｉＤＡＲセンサ１４０、障害物センサ１３０のうちの一部のみを含んでいてもよい。センシング装置は、車両本体の周囲の環境をセンシングしてセンシングデータを出力する。
　カメラ１２０は、例えば作業車両１００の前後左右に設けられ得る。カメラ１２０は、作業車両１００の周囲の環境を撮影し、画像データを生成する。本明細書において、カメラ１２０が生成する画像データを単に「画像」と称することがある。また、撮影して画像データを生成することを「画像を取得する」と表現することがある。カメラ１２０が取得した画像は、遠隔監視を行うための遠隔装置４００に送信され得る。当該画像は、無人運転時に作業車両１００を監視するために用いられ得る。カメラ１２０は、作業車両１００が圃場外の道（農道または一般道）を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
　図２の例におけるＬｉＤＡＲセンサ１４０は、車両本体１０１の前面下部に配置されている。ＬｉＤＡＲセンサ１４０は、他の位置に設けられていてもよい。ＬｉＤＡＲセンサ１４０は、作業車両１００が主に圃場外を走行している間、周囲の環境に存在する物体の各計測点までの距離および方向、または各計測点の２次元もしくは３次元の座標値を示すセンサデータを繰り返し出力する。ＬｉＤＡＲセンサ１４０から出力されたセンサデータは、作業車両１００の制御装置によって処理される。制御装置は、センサデータと、環境地図とのマッチングにより、作業車両１００の自己位置推定を行うことができる。制御装置は、さらに、センサデータに基づいて、作業車両１００の周辺に存在する障害物などの物体を検出し、作業車両１００が実際に進むべき局所的経路を、目標経路（大域的経路とも呼ぶ。）に沿って生成することができる。制御装置は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）などのアルゴリズムを利用して、環境地図を生成または編集することもできる。作業車両１００は、異なる位置に異なる向きで配置された複数のＬｉＤＡＲセンサを備えていてもよい。
　図２に示す複数の障害物センサ１３０は、キャビン１０５の前部および後部に設けられている。障害物センサ１３０は、他の部位にも配置され得る。例えば、車両本体１０１の側部、前部、および後部の任意の位置に、１つまたは複数の障害物センサ１３０が設けられ得る。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、自動走行時に周囲の障害物を検出して作業車両１００を停止したり迂回したりするために用いられる。ＬｉＤＡＲセンサ１４０が障害物センサ１３０の１つとして利用されてもよい。
　作業車両１００は、さらに、ＧＮＳＳユニット１１０を備える。ＧＮＳＳユニット１１０は、ＧＮＳＳ受信機を含む。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両１００の位置を計算するプロセッサとを備え得る。ＧＮＳＳユニット１１０は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。本開示の実施形態におけるＧＮＳＳユニット１１０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
　ＧＮＳＳユニット１１０は、慣性計測装置（ＩＭＵ）を含み得る。ＩＭＵからの信号を利用して位置データを補完することができる。ＩＭＵは、作業車両１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
　作業車両１００の制御装置は、ＧＮＳＳユニット１１０による測位結果に加えて、カメラ１２０またはＬｉＤＡＲセンサ１４０などのセンシング装置が取得したセンシングデータを測位に利用してもよい。農道、林道、一般道、または果樹園のように、作業車両１００が走行する環境内に特徴点として機能する地物が存在する場合、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータと、予め記憶装置に格納された環境地図とに基づいて、作業車両１００の位置および向きを高い精度で推定することができる。カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータを用いて、衛星信号に基づく位置データを補正または補完することで、より高い精度で作業車両１００の位置を特定できる。
　原動機１０２は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって作業車両１００の推進力および移動速度を変化させることができる。変速装置１０３は、作業車両１００の前進と後進とを切り換えることもできる。
　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、作業車両１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
　車両本体１０１の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Power Take Off）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を作業車両１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両１００から作業機３００に動力を送ることができる。作業車両１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１０１の前方に設けられていてもよい。その場合、作業車両１００の前方に作業機を接続することができる。
　図２に示す作業機３００は、ロータリ耕耘機であるが、作業機３００はロータリ耕耘機に限定されない。例えば、シーダ（播種機）、スプレッダ（施肥機）、移植機、モーア（草刈機）、レーキ、ベーラ（集草機）、ハーベスタ（収穫機）、スプレイヤ、またはハローなどの、任意の作業機を作業車両１００に接続して使用することができる。
　図２に示す作業車両１００は、有人運転が可能であるが、無人運転のみに対応していてもよい。その場合には、キャビン１０５、操舵装置１０６、および運転席１０７などの、有人運転にのみ必要な構成要素は、作業車両１００に設けられていなくてもよい。無人の作業車両１００は、自律走行、またはユーザによる遠隔操作によって走行することができる。
　図３は、作業車両１００および作業機３００の構成例を示すブロック図である。作業車両１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。作業車両１００は、ネットワーク８０を介して、遠隔装置４００および管理装置６００と通信することができる。
　図３の例における作業車両１００は、ＧＮＳＳユニット１１０、センシング装置２５０（カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０）、および操作端末２００に加え、作業車両１００の動作状態を検出するセンサ群１５０、走行制御システム１６０、通信装置１９０、操作スイッチ群２１０、ブザー２２０、および駆動装置２４０を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。ＧＮＳＳユニット１１０は、ＧＮＳＳ受信機１１１と、ＲＴＫ受信機１１２と、慣性計測装置（ＩＭＵ）１１５と、処理回路１１６とを備える。センサ群１５０は、ステアリングホイールセンサ１５２と、切れ角センサ１５４、車軸センサ１５６とを含む。走行制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信装置３９０とを備える。なお、図３には、作業車両１００による自動運転および遠隔操縦の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
　ＧＮＳＳユニット１１０におけるＧＮＳＳ受信機１１１は、複数のＧＮＳＳ衛星から送信される衛星信号を受信し、衛星信号に基づいてＧＮＳＳデータを生成する。ＧＮＳＳデータは、例えばＮＭＥＡ－０１８３フォーマットなどの所定のフォーマットで生成される。ＧＮＳＳデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。
　図３に示すＧＮＳＳユニット１１０は、ＲＴＫ（Real Time Kinematic）－ＧＮＳＳを利用して作業車両１００の測位を行う。図４は、ＲＴＫ－ＧＮＳＳによる測位を行う作業車両１００の例を示す概念図である。ＲＴＫ－ＧＮＳＳによる測位では、複数のＧＮＳＳ衛星５０から送信される衛星信号に加えて、基準局６０Ａから送信される補正信号が利用される。基準局６０Ａは、作業車両１００が作業走行を行う圃場の付近（例えば、作業車両１００から１０ｋｍ以内の位置）に設置され得る。基準局６０Ａは、複数のＧＮＳＳ衛星５０から受信した衛星信号に基づいて、例えばＲＴＣＭフォーマットの補正信号を生成し、ＧＮＳＳユニット１１０に送信する。ＲＴＫ受信機１１２は、アンテナおよびモデムを含み、基準局６０Ａから送信される補正信号を受信する。ＧＮＳＳユニット１１０の処理回路１１６は、補正信号に基づき、ＧＮＳＳ受信機１１１による測位結果を補正する。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。ＧＮＳＳユニット１１０は、例えば１秒間に１回から１０回程度の頻度で、作業車両１００の位置を計算する。
　なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Virtual Reference Station）またはＤＧＰＳ（Differential Global Positioning System）を利用した測位を行ってもよい。基準局６０Ａから送信される補正信号を用いなくても必要な精度の位置情報が得られる場合は、補正信号を用いずに位置情報を生成してもよい。その場合、ＧＮＳＳユニット１１０は、ＲＴＫ受信機１１２を備えていなくてもよい。
　ＲＴＫ－ＧＮＳＳを利用する場合であっても、基準局６０Ａからの補正信号が得られない場所（例えば圃場から遠く離れた道路上）では、ＲＴＫ受信機１１２からの信号によらず、他の方法で作業車両１００の位置が推定される。例えば、ＬｉＤＡＲセンサ１４０および／またはカメラ１２０から出力されたデータと、高精度の環境地図とのマッチングによって、作業車両１００の位置が推定され得る。
　本開示の実施形態におけるＧＮＳＳユニット１１０は、さらにＩＭＵ１１５を備える。ＩＭＵ１１５は、３軸加速度センサおよび３軸ジャイロスコープを備え得る。ＩＭＵ１１５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１１５は、モーションセンサとして機能し、作業車両１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路１１６は、衛星信号および補正信号に加えて、ＩＭＵ１１５から出力された信号に基づいて、作業車両１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１１５から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１１５は、ＧＮＳＳ受信機１１１よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路１１６は、作業車両１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１１５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１１５は、ＧＮＳＳユニット１１０とは別の装置として設けられていてもよい。
　カメラ１２０は、作業車両１００の周囲の環境を撮影する撮像装置である。カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備える。カメラ１２０は、他にも、１つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ１２０は、作業車両１００の走行中、作業車両１００の周囲の環境を撮影し、画像（例えば動画）のデータを生成する。カメラ１２０は、例えば、３フレーム／秒（ｆｐｓ: frames per second）以上のフレームレートで動画を撮影することができる。カメラ１２０によって生成された画像は、例えば遠隔の監視者が遠隔装置４００を用いて作業車両１００の周囲の環境を確認するときに利用され得る。カメラ１２０によって生成された画像は、測位または障害物の検出に利用されてもよい。図２に示すように、複数のカメラ１２０が作業車両１００の異なる位置に設けられていてもよいし、単数のカメラが設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。
　障害物センサ１３０は、作業車両１００の周囲に存在する物体を検出する。障害物センサ１３０は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ１３０は、障害物センサ１３０から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３０が作業車両１００の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両１００の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３０を備えることにより、作業車両１００の周囲の障害物の監視における死角を減らすことができる。
　ステアリングホイールセンサ１５２は、作業車両１００のステアリングホイールの回転角を計測する。切れ角センサ１５４は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５２および切れ角センサ１５４による計測値は、制御装置１８０による操舵制御に利用される。
　車軸センサ１５６は、車輪１０４に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ１５６は、例えば磁気抵抗素子（ＭＲ）、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ１５６は、例えば、車軸の１分あたりの回転数（単位：ｒｐｍ）を示す数値を出力する。車軸センサ１５６は、作業車両１００の速度を計測するために使用される。
　駆動装置２４０は、前述の原動機１０２、変速装置１０３、操舵装置１０６、および連結装置１０８などの、作業車両１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置２４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
　ブザー２２０は、異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動運転時に、障害物が検出された場合に警告音を発する。ブザー２２０は、制御装置１８０によって制御される。
　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、センサ群１５０、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、作業車両１００が走行する環境内の地図データ（環境地図）、および自動運転のための大域的経路（目標経路）のデータが含まれ得る。環境地図は、作業車両１００が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置６００における処理装置（すなわちプロセッサ）によって生成され得る。なお、本開示の実施形態における制御装置１８０は、環境地図および目標経路を生成または編集する機能を備えていてもよい。制御装置１８０は、管理装置６００から取得した環境地図および目標経路を、作業車両１００の走行環境に応じて編集することができる。
　記憶装置１７０は、通信装置１９０が管理装置６００から受信した作業計画のデータも記憶する。作業計画は、複数の作業日にわたって作業車両１００が実行する複数の農作業に関する情報を含む。作業計画は、例えば、各作業日において作業車両１００が実行する各農作業の予定時刻の情報を含む作業スケジュールのデータであり得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して作業車両１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、例えば、速度制御用のＥＣＵ１８１、ステアリング制御用のＥＣＵ１８２、インプルメント制御用のＥＣＵ１８３、自動運転制御用のＥＣＵ１８４、経路生成用のＥＣＵ１８５、および地図生成用のＥＣＵ１８６を含む。
　ＥＣＵ１８１は、駆動装置２４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって作業車両１００の速度を制御する。
　ＥＣＵ１８２は、ステアリングホイールセンサ１５２の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することによって作業車両１００のステアリングを制御する。
　ＥＣＵ１８３は、作業機３００に所望の動作を実行させるために、連結装置１０８に含まれる３点リンクおよびＰＴＯ軸などの動作を制御する。ＥＣＵ１８３はまた、作業機３００の動作を制御する信号を生成し、その信号を通信装置１９０から作業機３００に送信する。
　ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、障害物センサ１３０、ＬｉＤＡＲセンサ１４０、およびセンサ群１５０から出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ＥＣＵ１８４は、ＧＮＳＳユニット１１０、カメラ１２０、およびＬｉＤＡＲセンサ１４０の少なくとも１つから出力されたデータに基づいて、作業車両１００の位置を特定する。圃場内においては、ＥＣＵ１８４は、ＧＮＳＳユニット１１０から出力されたデータのみに基づいて作業車両１００の位置を決定してもよい。ＥＣＵ１８４は、カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータに基づいて作業車両１００の位置を推定または補正してもよい。カメラ１２０またはＬｉＤＡＲセンサ１４０が取得したデータを利用することにより、測位の精度をさらに高めることができる。また、圃場外においては、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータを利用して作業車両１００の位置を推定する。例えば、ＥＣＵ１８４は、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータと、環境地図とのマッチングにより、作業車両１００の位置を推定してもよい。自動運転中、ＥＣＵ１８４は、推定された作業車両１００の位置に基づいて、目標経路または局所的経路に沿って作業車両１００が走行するために必要な演算を行う。ＥＣＵ１８４は、ＥＣＵ１８１に速度変更の指令を送り、ＥＣＵ１８２に操舵角変更の指令を送る。ＥＣＵ１８１は、速度変更の指令に応答して原動機１０２、変速装置１０３、またはブレーキを制御することによって作業車両１００の速度を変化させる。ＥＣＵ１８２は、操舵角変更の指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。
　ＥＣＵ１８４は、作業車両１００の遠隔操作走行に関する制御も行う。遠隔操作モードにおいて、ＥＣＵ１８４は、通信装置１９０が遠隔装置４００から受信した信号に応答して、ＥＣＵ１８１、１８２、１８３を制御する。これにより、ユーザからの遠隔操作に応答して、作業車両１００の速度制御、操舵制御、作業機３００の昇降、および作業機３００のオン／オフ等の動作を実行することができる。
　ＥＣＵ１８５は、作業車両１００が目標経路に沿って走行している間、障害物を回避可能な局所的経路を逐次生成する。ＥＣＵ１８５は、作業車両１００の走行中、カメラ１２０、障害物センサ１３０、およびＬｉＤＡＲセンサ１４０から出力されたデータに基づいて、作業車両１００の周囲に存在する障害物を認識する。ＥＣＵ１８５は、認識した障害物を回避するように局所的経路を生成する。
　ＥＣＵ１８５は、管理装置６００の代わりに大域的経路計画を行う機能を備えていてもよい。その場合、ＥＣＵ１８５は、記憶装置１７０に格納された作業計画に基づいて作業車両１００の移動先を決定し、作業車両１００の移動の開始地点から目的地点までの目標経路を決定してもよい。ＥＣＵ１８５は、記憶装置１７０に格納された道路情報を含む環境地図に基づき、例えば最短の時間で移動先に到達できる経路を目標経路として作成することができる。あるいは、ＥＣＵ１８５は、環境地図に含まれる各道の属性情報に基づいて、特定の種類の道（例えば、農道、水路などの特定の地物に沿った道、またはＧＮＳＳ衛星からの衛星信号を良好に受信できる道など）を優先する経路を目標経路として生成してもよい。
　ＥＣＵ１８６は、作業車両１００が走行する環境の地図を生成または編集する。本開示の実施形態では、管理装置６００などの外部の装置によって生成された環境地図が作業車両１００に送信され、記憶装置１７０に記録されるが、ＥＣＵ１８６が代わりに環境地図を生成または編集することもできる。以下、ＥＣＵ１８６が環境地図を生成する場合の動作を説明する。環境地図は、ＬｉＤＡＲセンサ１４０から出力されたセンサデータに基づいて生成され得る。環境地図を生成するとき、ＥＣＵ１８６は、作業車両１００が走行している間にＬｉＤＡＲセンサ１４０から出力されたセンサデータに基づいて３次元の点群データを逐次生成する。ＥＣＵ１８６は、例えばＳＬＡＭなどのアルゴリズムを利用して、逐次生成した点群データを繋ぎ合わせることにより、環境地図を生成することができる。このようにして生成された環境地図は、高精度の３次元地図であり、ＥＣＵ１８４による自己位置推定に利用され得る。この３次元地図に基づいて、大域的経路計画に利用される２次元地図が生成され得る。本明細書では、自己位置推定に利用される３次元地図と、大域的経路計画に利用される２次元地図とを、いずれも「環境地図」と称する。ＥＣＵ１８６は、さらに、カメラ１２０またはＬｉＤＡＲセンサ１４０から出力されたデータに基づいて認識された地物（例えば、水路、川、草、木など）、道の種類（例えば農道か否か）、路面の状態、または道の通行可能性等に関する種々の属性情報を、地図に付加することによって地図を編集することもできる。
　これらのＥＣＵの働きにより、制御装置１８０は、自動走行および遠隔操作走行を実現する。自動走行時において、制御装置１８０は、計測または推定された作業車両１００の位置と、生成された経路とに基づいて、駆動装置２４０を制御する。これにより、制御装置１８０は、作業車両１００を目標経路に沿って走行させることができる。遠隔操作走行時において、制御装置１８０は、遠隔装置４００から送信される信号に基づいて、作業車両１００の走行を制御する。言い換えると、制御装置１８０は、ユーザによる遠隔装置４００を用いた操作に応答して、駆動装置２４０を制御する。これにより、制御装置１８０は、作業車両１００をユーザからの指示に従って走行させることができる。
　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Controller Area Network）などのビークルバス規格に従って、相互に通信することができる。ＣＡＮに代えて、車載イーサネット（登録商標）などの、より高速の通信方式が用いられてもよい。図３において、ＥＣＵ１８１から１８６のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。ＥＣＵ１８１から１８６の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８６以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む処理回路を備える。
　通信装置１９０は、作業機３００、遠隔装置４００、および管理装置６００と通信を行う回路を含む装置である。通信装置１９０は、センシング装置２５０から出力されるセンシングデータを遠隔装置４００に送信する。通信装置１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信装置３９０との間で実行する回路を含む。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信装置１９０は、さらに、ネットワーク８０を介した信号の送受信を、遠隔装置４００および管理装置６００のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク８０は、例えば、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信網およびインターネットを含み得る。通信装置１９０は、作業車両１００の近くにいる監視者が使用する携帯端末と通信する機能を備えていてもよい。そのような携帯端末との間では、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）などの、任意の無線通信規格に準拠した通信が行われ得る。
　操作端末２００は、作業車両１００の走行および作業機３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード（ＯＬＥＤ）などのディスプレイであり得る。ユーザは、操作端末２００を操作することにより、例えば自動運転モードのオン／オフの切り替え、遠隔操作モードのオン／オフの切り替え、環境地図の記録または編集、目標経路の設定、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現され得る。操作端末２００は、作業車両１００から取り外せるように構成されていてもよい。作業車両１００から離れた場所にいるユーザが、取り外された操作端末２００を操作して作業車両１００の動作を制御してもよい。ユーザは、操作端末２００の代わりに、遠隔装置４００などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両１００の動作を制御してもよい。
　図５は、キャビン１０５の内部に設けられる操作端末２００および操作スイッチ群２１０の例を示す図である。キャビン１０５の内部には、ユーザが操作可能な複数のスイッチを含む操作スイッチ群２１０が配置されている。操作スイッチ群２１０は、例えば、主変速または副変速の変速段を選択するためのスイッチ、自動運転モードと手動運転モードとを切り替えるためのスイッチ、前進と後進とを切り替えるためのスイッチ、四輪駆動と二輪駆動とを切り替えるためのスイッチ、左右のブレーキの連結を解除するためのスイッチ、および作業機３００を昇降するためのスイッチ等を含み得る。なお、作業車両１００が無人運転のみを行い、有人運転の機能を備えていない場合、作業車両１００が操作スイッチ群２１０を備えている必要はない。
　操作端末２００または操作スイッチ群２１０によって実行可能な操作の少なくとも一部は、遠隔装置４００を用いた遠隔操作によっても行われ得る。ユーザが遠隔装置４００のディスプレイに表示された画面上で所定の操作を行うことにより、上記のいずれかの動作が実行され得る。
　図３に示す作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信装置３９０を介して作業車両１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信装置３９０から作業車両１００に送信することもできる。
　次に、図６を参照しながら、管理装置６００および遠隔装置４００の構成を説明する。図６は、管理装置６００および遠隔装置４００の概略的なハードウェア構成を例示するブロック図である。
　管理装置６００は、記憶装置６５０と、プロセッサ６６０と、ＲＯＭ（Read Only Memory）６７０と、ＲＡＭ（Random Access Memory）６８０と、通信装置６９０とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。管理装置６００は、作業車両１００が実行する圃場における農作業のスケジュール管理を行い、管理するデータを活用して農業を支援するクラウドサーバとして機能し得る。ユーザは、遠隔装置４００を用いて作業計画の作成に必要な情報を入力し、その情報をネットワーク８０を介して管理装置６００にアップロードすることが可能である。管理装置６００は、その情報に基づき、農作業のスケジュール、すなわち作業計画を作成することができる。管理装置６００は、さらに、環境地図の生成または編集、および作業車両１００の大域的経路計画も実行することができる。環境地図は、管理装置６００の外部のコンピュータから配信されてもよい。
　通信装置６９０は、ネットワーク８０を介して作業車両１００および遠隔装置４００と通信するための通信モジュールである。通信装置６９０は、例えば、ＩＥＥＥ１３９４（登録商標）またはイーサネット（登録商標）などの通信規格に準拠した有線通信を行うことができる。通信装置６９０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格もしくはＷｉ－Ｆｉ規格に準拠した無線通信、または、３Ｇ、４Ｇもしくは５Ｇなどのセルラー移動体通信を行ってもよい。
　プロセッサ６６０は、例えば中央演算処理装置（ＣＰＵ）を含む半導体集積回路であり得る。プロセッサ６６０は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ６６０は、ＣＰＵを搭載したＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＳＳＰ（Application Specific Standard Product）、または、これらの回路の中から選択される２つ以上の回路の組み合わせによっても実現され得る。プロセッサ６６０は、ＲＯＭ６７０に格納された、少なくとも１つの処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
　ＲＯＭ６７０は、例えば、書き込み可能なメモリ（例えばＰＲＯＭ）、書き換え可能なメモリ（例えばフラッシュメモリ）、または読み出し専用のメモリである。ＲＯＭ６７０は、プロセッサ６６０の動作を制御するプログラムを記憶する。ＲＯＭ６７０は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。複数の記憶媒体の集合体の一部は、取り外し可能なメモリであってもよい。
　ＲＡＭ６８０は、ＲＯＭ６７０に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。ＲＡＭ６８０は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。
　記憶装置６５０は、主としてデータベースのストレージとして機能する。記憶装置６５０は、例えば、磁気記憶装置または半導体記憶装置であり得る。磁気記憶装置の例は、ハードディスクドライブ（ＨＤＤ）である。半導体記憶装置の例は、ソリッドステートドライブ（ＳＳＤ）である。記憶装置６５０は、管理装置６００とは独立した装置であってもよい。例えば、記憶装置６５０は、管理装置６００にネットワーク８０を介して接続される記憶装置、例えばクラウドストレージであってもよい。
　図６に示す遠隔装置４００は、入力装置４２０と、表示装置（ディスプレイ）４３０と、記憶装置４５０と、プロセッサ４６０と、ＲＯＭ４７０と、ＲＡＭ４８０と、通信装置４９０とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。入力装置４２０は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置４２０は、例えば、キーボード、マウス、またはタッチパネルであり得る。表示装置４３０は、例えば液晶ディスプレイまたは有機ＥＬディスプレイであり得る。プロセッサ４６０、ＲＯＭ４７０、ＲＡＭ４８０、記憶装置４５０、および通信装置４９０のそれぞれに関する説明は、管理装置６００のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
　図６の例における遠隔装置４００は、図１Ａに示すような、ディスプレイおよび入力装置を内蔵するコンピュータである。遠隔装置４００は、図１Ｂに例示されるように、遠隔監視センターにおける遠隔操縦機５００およびディスプレイ４３０に接続されるコンピュータであってもよい。
　［２．動作］
　次に、作業車両１００、遠隔装置４００、および管理装置６００の動作を説明する。
　［２－１．自動走行動作］
　まず、作業車両１００による自動走行の動作の例を説明する。本開示の実施形態における作業車両１００は、圃場内および圃場外の両方で自動で走行することができる。圃場内において、作業車両１００は、予め設定された目標経路に沿って走行しながら、作業機３００を駆動して所定の農作業を行う。作業車両１００は、圃場内を走行中、障害物センサ１３０によって障害物が検出された場合、走行を停止し、ブザー２２０からの警告音の発出、および遠隔装置４００への警告信号の送信などの動作を行う。圃場内において、作業車両１００の測位は、主にＧＮＳＳユニット１１０から出力されるデータに基づいて行われる。一方、圃場外において、作業車両１００は、圃場外の農道または一般道に設定された目標経路に沿って自動で走行する。作業車両１００は、圃場外を走行中、カメラ１２０またはＬｉＤＡＲセンサ１４０によって取得されたデータに基づいて局所的経路計画を行いながら走行する。圃場外において、作業車両１００は、障害物が検出されると、障害物を回避するか、その場で停止する。圃場外においては、ＧＮＳＳユニット１１０から出力される測位データに加え、ＬｉＤＡＲセンサ１４０またはカメラ１２０から出力されるデータに基づいて作業車両１００の位置が推定される。
　以下、作業車両１００が圃場内を自動走行する場合の動作をまず説明する。作業車両１００が圃場外を自動走行する動作については、後述する。
　図７は、圃場内を目標経路に沿って自動で走行する作業車両１００の例を模式的に示す図である。この例において、圃場は、作業車両１００が作業機３００を用いて作業を行う作業領域７２と、圃場の外周縁付近に位置する枕地７４とを含む。地図上で圃場のどの領域が作業領域７２または枕地７４に該当するかは、ユーザによって事前に設定され得る。この例における目標経路は、並列する複数の主経路Ｐ１と、複数の主経路Ｐ１を接続する複数の旋回経路Ｐ２とを含む。主経路Ｐ１は作業領域７２内に位置し、旋回経路Ｐ２は枕地７４内に位置する。図７に示す各主経路Ｐ１は直線状の経路であるが、各主経路Ｐ１は曲線状の部分を含んでいてもよい。主経路Ｐ１は、例えば、ユーザが操作端末２００または遠隔装置４００に表示された圃場の地図を見ながら、圃場の端付近の２点（図７における点ＡおよびＢ）を指定する操作を行うことによって自動で生成され得る。その場合、ユーザが指定した点Ａと点Ｂとを結ぶ線分に平行に、複数の主経路Ｐ１が設定され、それらの主経路Ｐ１を旋回経路Ｐ２で接続することによって圃場内の目標経路が生成される。図７における破線は、作業機３００の作業幅を表している。作業幅は、予め設定され、記憶装置１７０に記録される。作業幅は、ユーザが操作端末２００または遠隔装置４００を操作することによって設定され、記録され得る。あるいは、作業幅は、作業機３００を作業車両１００に接続したときに自動で認識され、記録されてもよい。複数の主経路Ｐ１の間隔は、作業幅に合わせて設定され得る。目標経路は、自動運転が開始される前に、ユーザの操作に基づいて作成され得る。目標経路は、例えば圃場内の作業領域７２の全体をカバーするように作成され得る。作業車両１００は、図７に示すような目標経路に沿って、作業の開始地点から作業の終了地点まで、往復を繰り返しながら自動で走行する。なお、図７に示す目標経路は一例に過ぎず、目標経路の定め方は任意である。
　次に、制御装置１８０による圃場内における自動運転時の制御の例を説明する。
　図８は、制御装置１８０によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置１８０は、作業車両１００の走行中、図８に示すステップＳ１２１からＳ１２５の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持される。制御装置１８０は、作業車両１００の走行中、ＧＮＳＳユニット１１０によって生成された作業車両１００の位置を示すデータを取得する（ステップＳ１２１）。次に、制御装置１８０は、作業車両１００の位置と、目標経路との偏差を算出する（ステップＳ１２２）。偏差は、その時点における作業車両１００の位置と、目標経路との距離を表す。制御装置１８０は、算出した位置の偏差が予め設定された閾値を超えるか否かを判定する（ステップＳ１２３）。偏差が閾値を超える場合、制御装置１８０は、偏差が小さくなるように、駆動装置２４０に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップＳ１２３において偏差が閾値を超えない場合、ステップＳ１２４の動作は省略される。続くステップＳ１２５において、制御装置１８０は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両１００が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップＳ１２１に戻り、新たに計測された作業車両１００の位置に基づいて、同様の動作を実行する。制御装置１８０は、動作終了の指令が出されるまで、ステップＳ１２１からＳ１２５の動作を繰り返す。上記の動作は、制御装置１８０におけるＥＣＵ１８２、１８４によって実行される。
　図８に示す例では、制御装置１８０は、ＧＮＳＳユニット１１０によって特定された作業車両１００の位置と目標経路との偏差のみに基づいて駆動装置２４０を制御するが、方位の偏差もさらに考慮して制御してもよい。例えば、制御装置１８０は、ＧＮＳＳユニット１１０によって特定された作業車両１００の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置２４０の操舵装置の制御パラメータ（例えば操舵角）を変更してもよい。
　以下、図９Ａから図９Ｄを参照しながら、制御装置１８０による操舵制御の例をより具体的に説明する。
　図９Ａは、目標経路Ｐに沿って走行する作業車両１００の例を示す図である。図９Ｂは、目標経路Ｐから右にシフトした位置にある作業車両１００の例を示す図である。図９Ｃは、目標経路Ｐから左にシフトした位置にある作業車両１００の例を示す図である。図９Ｄは、目標経路Ｐに対して傾斜した方向を向いている作業車両１００の例を示す図である。これらの図において、ＧＮＳＳユニット１１０によって計測された作業車両１００の位置および向きを示すポーズがｒ（ｘ，ｙ，θ）と表現されている。（ｘ，ｙ）は、地球に固定された２次元座標系であるＸＹ座標系における作業車両１００の基準点の位置を表す座標である。図９Ａから図９Ｄに示す例において、作業車両１００の基準点はキャビン上のＧＮＳＳアンテナが設置された位置にあるが、基準点の位置は任意である。θは、作業車両１００の計測された向きを表す角度である。図示されている例においては、目標経路ＰがＹ軸に平行であるが、一般的には目標経路ＰはＹ軸に平行であるとは限らない。
　図９Ａに示すように、作業車両１００の位置および向きが目標経路Ｐから外れていない場合には、制御装置１８０は、作業車両１００の操舵角および速度を変更せずに維持する。
　図９Ｂに示すように、作業車両１００の位置が目標経路Ｐから右側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が左寄りに傾き、経路Ｐに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図９Ｃに示すように、作業車両１００の位置が目標経路Ｐから左側にシフトしている場合には、制御装置１８０は、作業車両１００の走行方向が右寄りに傾き、経路Ｐに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δｘの大きさに応じて調整され得る。
　図９Ｄに示すように、作業車両１００の位置は目標経路Ｐから大きく外れていないが、向きが目標経路Ｐの方向とは異なる場合は、制御装置１８０は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δｘおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δｘの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δｘの絶対値が大きい場合には、経路Ｐに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δｘの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み（すなわち制御ゲイン）を相対的に大きくすることが妥当である。
　作業車両１００の操舵制御および速度制御には、ＰＩＤ制御またはＭＰＣ制御（モデル予測制御）などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両１００を目標経路Ｐに近付ける制御を滑らかにすることができる。
　なお、走行中に１つ以上の障害物センサ１３０によって障害物が検出された場合には、制御装置１８０は、作業車両１００を停止させる。このとき、ブザー２２０に警告音を発出させたり、警告信号を遠隔装置４００に送信してもよい。障害物の回避が可能な場合、制御装置１８０は、障害物を回避するように駆動装置２４０を制御してもよい。
　本開示の実施形態における作業車両１００は、圃場内だけでなく、圃場外でも自動走行が可能である。圃場外において、制御装置１８０は、カメラ１２０またはＬｉＤＡＲセンサ１４０から出力されたデータに基づいて、作業車両１００から比較的離れた位置に存在する物体（例えば、他の車両または歩行者等）を検出することができる。制御装置１８０は、検出された物体を回避するように局所的経路を生成し、局所的経路に沿って速度制御および操舵制御を行うことにより、圃場外の道における自動走行を実現できる。
　このように、本開示の実施形態における作業車両１００は、無人で圃場内および圃場外を自動で走行できる。図１０は、複数の作業車両１００が圃場７０の内部および圃場７０の外側の道７６を自動走行している状況の例を模式的に示す図である。記憶装置１７０には、複数の圃場およびその周辺の道を含む領域の環境地図および目標経路が記録される。環境地図および目標経路は、管理装置６００またはＥＣＵ１８５によって生成され得る。作業車両１００が道路上を走行する場合、作業車両１００は、作業機３００を上昇させた状態で、カメラ１２０およびＬｉＤＡＲセンサ１４０などのセンシング装置を用いて周囲をセンシングしながら、目標経路に沿って走行する。走行中、制御装置１８０は、局所的経路を逐次生成し、局所的経路に沿って作業車両１００を走行させる。これにより、障害物を回避しながら自動走行することができる。走行中に、状況に応じて目標経路が変更されてもよい。このように、本開示の実施形態における制御装置１８０は、圃場内および圃場の周辺の道上に、自動走行のための目標経路を生成することができる。自動走行モードにおいて、制御装置１８０は、目標経路が生成された圃場および道によって規定される自動走行エリア内で作業車両１００を自動走行させる。
　［２－２．遠隔操縦］
　次に、作業車両１００の遠隔操縦に関する動作を説明する。
　作業車両１００が自動走行を行っているとき、ユーザは、遠隔装置４００を用いて作業車両１００の遠隔監視および遠隔操縦を行うことが可能である。作業車両１００が自動走行を行っているとき、制御装置１８０は、作業車両１００に搭載された１つ以上のカメラ１２０によって撮影された画像（例えば動画像）を、通信装置１９０を介して遠隔装置４００に送信する。遠隔装置４００は、ディスプレイ４３０に当該画像を表示させる。ユーザは、表示された画像を見ながら、作業車両１００の周辺の状況を確認し、必要に応じて遠隔操作走行を開始することができる。
　図１１は、遠隔装置４００のディスプレイ４３０に表示される画像の一例を示す図である。図１１に示す画像には、圃場７０、道７６、空７９および作業車両１００の前部が映っている。この画像は、作業車両１００の前方を撮影するカメラ１２０によって撮影された画像である。作業車両１００の前方を撮影するカメラ１２０に限らず、例えば後方、右方、または左方を撮影するカメラ１２０によって撮影された画像がディスプレイ４３０に表示されてもよい。ディスプレイ４３０は、例えば３ｆｐｓ以上（典型的には３０ｆｐｓまたは６０ｆｐｓ等）のフレームレートを有する動画像を表示する。なお、複数のカメラ１２０によって撮影された複数の画像を複数のディスプレイに表示させてもよい。例えば図１Ｂに示すように、遠隔監視センターにおける複数のディスプレイ４３０に複数の映像が表示されてもよい。その場合、監視者であるユーザ（すなわちオペレータ）は、複数のディスプレイ４３０に表示された複数の映像を見ながら、作業車両１００の周囲の状況を詳細に確認することができる。カメラ１２０で撮影された画像だけでなく、作業車両１００を含む領域の地図がディスプレイに表示されてもよい。
　図１１に示す例では、表示される画像に、遠隔操縦の開始を指示するためのボタン（遠隔操縦開始ボタン）９８と、作業車両１００を緊急停止させるためのボタン（緊急停止ボタン）９９とが含まれている。ユーザは、遠隔操縦開始ボタン９８をタッチまたはクリックすることにより、自動走行モードから遠隔操作モードに切り替えることができる。ユーザはまた、緊急停止ボタン９９をタッチまたはクリックすることにより、作業車両１００を緊急停止させることができる。
　遠隔操縦開始ボタン９８が押されると、遠隔操縦が可能になる。例えば図１Ｂの例においては、オペレータは、遠隔操縦機５００を用いて作業車両１００を遠隔操縦することができる。制御装置１８０は、ユーザによる操作に応答して、指示された動作を作業車両１００に実行させる。
　上記の例では、作業車両１００に搭載されたカメラ１２０によって取得された画像（以下、「カメラ画像」とも称する。）が遠隔装置４００のディスプレイ４３０に表示される。カメラ画像だけでなく、例えばＬｉＤＡＲセンサ１４０によって取得された点群データその他のセンシングデータに基づく画像がディスプレイ４３０に表示されてもよい。点群データに基づく画像は、作業車両１００の周辺に存在する地物の分布を示すため、カメラ画像と同様に監視に用いられ得る。カメラ画像または点群データに基づく画像に基づいて、オペレータは、作業車両１００の周囲の状況を把握することができる。以下の説明において、カメラ１２０によって生成された画像データ、およびＬｉＤＡＲセンサ１４０によって生成された点群データに基づく動画像または映像を「時系列画像」と称することがある。
　［３．映像表示システム］
　本開示の実施形態における映像表示システムは、撮像装置と、スクリーンと、制御装置とを備える。撮像装置は、作業機３００が連結される農業機械（作業車両１００）に取り付けられ、作業車両１００の進行方向の撮影を行うことによって時系列画像のデータを生成する。当該制御装置は、時系列画像のデータに基づく映像をスクリーンに表示させる。制御装置は、（１）作業機が作業車両１００の進行方向と反対側に連結されているとき、作業機の軌道を映像に重畳した合成映像をスクリーンに表示させたり、（２）作業機が連結された作業車両１００の走行中に予測される、進行方向における対地作業後の作業跡を示す画像を映像に重畳した合成映像をスクリーンに表示させたりするように構成される。例えば、作業車両１００の前部に設けられたカメラ１２０が当該撮像装置として機能し得る。図１Ｂに例示する遠隔装置４００のディスプレイ４３０、または図５に例示する操作端末２００のタッチスクリーンが映像表示システムの当該スクリーンとして機能し得る。作業車両１００の制御装置１８０、遠隔装置４００のプロセッサ４６０または操作端末２００のプロセッサが、映像表示システムの制御装置として機能し得る。以降、映像表示システムの制御装置を単に「制御装置」と記載する。
　本開示の実施形態では、作業機３００は、作業車両１００の後方に連結される。撮像装置によって取得される映像は農業機械の前方の映像である。ただし、作業機３００は、作業車両１００の前方に連結され得る。この場合、撮像装置によって取得される映像は作業車両１００の後方の映像であり得る。制御装置は、作業車両１００の前方の映像をスクリーンに表示させることが可能である。制御装置は、作業機３００の軌道および／または対地作業後の作業跡を当該映像に重畳した合成映像をスクリーンに表示させる。
　本開示の実施形態に係る映像表示システムによれば、作業車両１００の進行方向における、作業車両１００の後方に位置する作業機３００の軌道および対地作業後の作業跡の少なくとも１つを示す画像を前方の映像に重畳した合成映像をスクリーンに表示させることが可能となる。これにより、例えば遠隔操縦の操作性が向上し得る。作業機３００の種類に応じて、作業機３００の高さおよび幅が異なり得る。その場合であっても、例えば、遠隔操作装置の操作を行うオペレータは、合成映像から、作業機の軌道または対地作業後の作業跡などの作業車両１００の進行方向における未来の状態を把握することが容易になり得る。したがって、オペレータは、例えば圃場内または圃場外において作業車両１００の遠隔操作を行うとき、作業車両１００の目標経路の変更、作業機３００の動作の開始、停止、または、作業車両１００の走行の停止などの判断を容易に行い得る。
　［３－１．第１実装例］
　図１２Ａから図２１を参照して、第１実装例による合成映像の表示の方法を説明する。
　図１２Ａは、スクリーンＳに表示される作業車両１００の前方の映像の例を模式的に示す図である。図１２Ｂは、作業車両１００の進行方向における作業機３００の軌道を映像に重畳した合成映像の例を模式的に示す図である。作業機３００は、畝立て、耕耘、作物の植え付け、および作物の刈り取りを含む対地作業のうちの少なくとも１つを行い得る。図１２Ａおよび図１２Ｂのそれぞれに、作業機３００が圃場７０で畝立てを行う様子を例示している。図１２Ａに示すように、従来の映像には作業車両１００の進行方向に延びる、作業済の複数の畝９１が含まれ、当然に、進行方向の地面には畝９１は未だ形成されていない。
　第１実装例による制御装置は、作業機３００が作業車両１００の進行方向と反対側に連結されているとき、作業機３００の軌道を映像に重畳した合成映像をスクリーンＳに表示させる。これにより、スクリーンＳに表示される映像中に、作業車両１００の進行方向の地面に作業機３００の軌道を示す表示が確認できる。図１２Ｂに示す例では、作業機３００の軌道は、仮想的な点線のライン表示６０で表現されている。
　図１３は、作業車両１００のローカル座標系における基準点Ｒ１と、作業機３００の両端部分の位置との間の位置関係を模式的に示す図である。ローカル座標系は、作業車両１００および作業機３００とともに移動し、移動体座標系とも呼ばれる。ローカル座標系における基準点Ｒ１は、作業車両１００の任意の位置に設定され得る。図１３に示す例では、基準点Ｒ１はカメラ１２０の配置位置に設定されている。
　本開示の実施形態におけるローカル座標系では、互いに連結された作業車両１００および作業機３００が平坦地を直進走行する状態における、車両の前後方向をＸ方向、左右方向をＹ方向とする。後方から前方に向かう方向を＋Ｘ方向、左から右に向かう方向を＋Ｙ方向とする。ＩＳＯ　１１７８３では、デバイスジオメトリについて、「Ｘ軸は、通常の走行方向を正として指定する」、および「Ｙ軸は、通常の走行方向に対して、デバイスの右側を正として指定する」と定義されている。そのデバイスジオメトリの定義に基づいて当該ローカル座標系におけるＸ方向およびＹ方向が定義され得る。ローカル座標系の座標値の単位は任意であり、例えばミリメートルである。作業車両１００単独におけるローカル座標系、および作業機３００単独におけるローカル座標系においても、上記と同様にＸＹ方向および座標値の単位が定義される。
　制御装置は、作業機３００に関する作業機情報、および、作業車両１００の現在の姿勢に関する姿勢情報を取得する。作業機情報は作業機のサイズ情報を含む。作業機情報は、例えば作業機３００のモデルを特定することが可能な固有情報（例えば型番）をさらに含み得る。作業機３００のサイズ情報は、図１３に示す作業機３００全体のＸおよびＹ方向のそれぞれにおけるサイズを含み、さらに、作業機３００の高さ情報を含み得る。作業機情報は、作業機３００内の記憶装置に予め記憶され得る。本開示の実施形態における姿勢情報は、ＧＮＳＳユニット１１０によって計測された作業車両１００の位置および向きを示すポーズであり、前述したｒ（ｘ，ｙ，θ）で表される。作業車両情報は作業車両１００のサイズ情報を含む。作業車両情報は、例えば、作業車両１００のモデルを特定することが可能な固有情報（例えば型番）をさらに含み得る。作業車両１００のサイズ情報は、図１３に示す作業車両１００全体のＸおよびＹ方向のそれぞれにおけるサイズを含み得る。
　前述したように、作業車両１００と作業機３００とは、例えばＩＳＯＢＵＳ規格に準拠した通信を行うことが可能である。このように、制御装置は、作業機３００と通信を行うことによって、作業機３００のサイズを含む作業機情報を取得し得る。あるいは、制御装置は、ユーザによって入力装置を介して入力された、作業機３００のサイズを含む作業機情報を取得してもよい。ユーザは、例えば遠隔装置４００の入力装置４２０を介して作業機情報を入力し得る。
　図１３に例示するように、作業機３００の幅方向に位置する両端部分の位置Ｔ１およびＴ２は、基準点Ｒ１よりも長さＬＸだけ後方に存在する。位置Ｔ１は、基準点Ｒ１よりも長さＬ１Ｙだけ左方に存在し、位置Ｔ２は、基準点Ｒ１よりも長さＬ２Ｙだけ右方に存在する。第１実装例における制御装置は、Ｘ方向における作業車両１００および作業機３００のそれぞれのサイズに基づいて長さＬＸを演算し、Ｙ方向における作業機３００のサイズに基づいて、長さＬ１ＹおよびＬ２Ｙのそれぞれを演算する。このようにして、制御装置は、ローカル座標系における基準点Ｒ１に対する位置Ｔ１およびＴ２の座標を演算することができる。制御装置は、さらに、姿勢情報に基づいて、ローカル座標系から地理座標系に位置Ｔ１およびＴ２の座標点を変換する。地理座標系における位置Ｔ１およびＴ２の座標のそれぞれは、例えば緯度および経度によって表される。
　作業車両のローカル座標系における基準点と、作業機の特定部分の位置との間の位置関係の決定の例は、本出願人による特許出願である特開２０２２－１０１０３０号公報に詳しく記載されている。特開２０２２－１０１０３０号公報の開示内容のすべてを参照により本明細書に援用する。
　姿勢情報のｒ（θ）は、作業車両１００の進行方向の方位角を意味し、姿勢情報のｒ（ｘ，ｙ）は、それぞれ、例えば緯度および経度で表される。方位角は、例えば真北の方向を基準とした時計回りの角度で表される。第１実装例における制御装置は、作業機情報および姿勢情報に基づいて、作業機３００の軌道を予測する。例えば、制御装置は、作業機情報および姿勢情報に基づいて求めた、作業機３００の両端部分の位置Ｔ１およびＴ２の地理座標系における座標点を通り、かつ、現在の姿勢情報から求まる方位角の方向に延びる仮想的な直線を求め、この直線を作業車両１００の進行方向における作業機３００の未来の軌道として決定する。
　制御装置は、作業機３００の両端部分の少なくとも一方の予測される軌道を含む作業機３００の軌道を予測し得る。図１３に示す例では、制御装置は、作業機３００の両端部分の軌道を予測する。制御装置は、地理座標系における位置Ｔ１の座標点を通り、かつ、真北の方向（θ＝０）に延びる仮想的な直線６０Ｌを求め、さらに、地理座標系における位置Ｔ２の座標点を通り、かつ、真北の方向（θ＝０）に延びる仮想的な直線６０Ｒを求める。制御装置は、直線６０Ｌおよび６０Ｒを、それぞれ、作業機３００の両端の左側および右側部分の軌道として決定する。図１３には、直線６０Ｌおよび６０Ｒを点線で示している。ただし、作業機３００の軌道の表示はライン表示に限定されない。
　第１実装例における制御装置は、作業機３００の軌道を示す、地理座標系における仮想的な直線を規定する点群を、画像座標系における画素の位置に座標変換を行う。具体的に説明すると、制御装置は、地理座標系をローカル座標系に変換するためのカメラの外部パラメータを利用して、地理座標系からローカル座標系に仮想的な直線を規定する点群の座標点を変換する。制御装置は、さらに、ローカル座標系を画像座標系に変換するためのカメラの内部パラメータを利用して、ローカル座標系から画像座標系に仮想的な直線を規定する点群の座標点を変換する。これにより、地理座標系に位置する３次元点群を、画像座標系の２次元平面に移すことができる。このようにして、制御装置は、作業機３００の両端の左側および右側部分の軌道をそれぞれ示す直線６０Ｌおよび６０Ｒを映像に重畳した合成映像を生成することができる。制御装置は、例えばリアルタイムレンダリング（またはリアルタイムＣＧ）の技術を用いて合成映像の生成を行い得る。
　前述した例における制御装置は、作業機３００の両端部分の位置Ｔ１およびＴ２の座標点をローカル座標系から地理座標系に変換して、地理座標系における位置Ｔ１およびＴ２に基づいて演算した軌道をスクリーンＳに表示させる。ただし、合成映像の生成の例はこれに限定されない。例えば、制御装置は、ローカル座標系において、作業機３００の両端部分を通る直線６０Ｌおよび６０Ｒ（図１３を参照）を設定し、設定した直線６０Ｌおよび６０Ｒを、撮像装置によって取得した映像に重畳し得る。ローカル座標系と、画像座標系とは予め関連付けることができる。制御装置は、この関連付けに従って、ローカル座標系から画像座標系に直線６０Ｌおよび６０Ｒの座標点を変換することによって、直線６０Ｌおよび６０Ｒを映像に重畳した合成映像を生成し得る。
　制御装置は、作業車両１００の走行中、作業車両１００の車輪１０４の軌道を姿勢情報に基づいて予測し、作業車両１００の車輪の軌道を映像にさらに重畳した合成映像をスクリーンＳに表示させてもよい。作業車両情報は、作業車両１００において４つの車輪のそれぞれが位置するローカル座標系における座標点の情報を含み得る。第１実装例における制御装置は、作業機３００の軌道と同様に、ローカル座標系における一対の後輪１０４Ｒの座標点を通り、かつ、現在の姿勢情報から求まる方位角の方向に延びる仮想的な直線６１Ｌおよび６１Ｒを求める。制御装置は、直線６１Ｌおよび６１Ｒを一対の後輪１０４Ｒの軌道として決定する。図１３には、直線６１Ｌおよび６１Ｒを破線で示している。ただし、車輪１０４の軌道の表示はライン表示に限定されない。
　図１４は、作業機３００の軌道と、一対の後輪１０４Ｒの軌道とを映像に重畳した合成映像の例を模式的に示す図である。制御装置は、地理座標系から画像座標系に直線６１Ｌおよび６１Ｒの座標点を変換することによって、一対の後輪１０４Ｒの軌道を示すライン表示を映像にさらに重畳した合成映像を生成し得る。
　作業機３００の軌道を示す他の例として、作業車両１００の制御装置１８０は、作業車両情報および姿勢情報などから、映像中の画像座標系における車輪の軌道を推定し得る。作業車両１００のカメラ１２０（基準点Ｒ１）に対する車輪の相対的な位置関係は既知であるために、制御装置は、この位置関係に基づいて、画像座標系における一対の後輪１０４Ｒの軌道から作業機３００の両端部分の軌道を推定し得る。
　図１５は、作業機３００の軌道と、目標経路に沿った目標ラインとを映像に重畳した合成映像の例を模式的に示す図である。制御装置は、作業車両１００を自動走行させるために設定される目標経路に沿った目標ライン６２を映像にさらに重畳した合成映像をスクリーンＳに表示させてもよい。図１５に示す例では、目標ライン６２を一点鎖線で示している。ただし、目標ライン６２の表示はライン表示に限定されない。このような合成映像によれば、目標ラインに対する作業機３００の軌道のずれが視覚的に把握し易くなり得る。
　図１６は、作業機３００の予測される軌道と、参照軌道との間のずれ量を説明するための模式図である。図１６には、作業機３００の予測される軌道および参照軌道を、それぞれ、直線６０および６３で示している。制御装置は、作業機３００の予測される軌道と、作業機３００の過去の軌跡から予測される参照軌道とに基づいて、参照軌道に対する作業機３００の予測される軌道６０のずれ量を推定し得る。制御装置は、例えば、作業機３００の過去の軌跡を規定するウェイポイントから、最小二乗法によって回帰直線６３を求める。制御装置は、この回帰直線６３を参照軌道として決定し得る。ずれ量は、直線６０と回帰直線６３とがなす角度αで表される。
　制御装置は、ずれ量が閾値未満である場合と、ずれ量が閾値以上である場合とで異なる表示をスクリーンＳに表示させてもよい。ずれ量が閾値未満である場合、制御装置は、例えば、作業機３００の軌道を示すライン６０を強調して表示することで、目標経路に沿った自動走行が順調に行われていることをオペレータに知らせてもよい。
　図１７は、ずれ量が閾値以上であるときにスクリーンＳ上に表示され得る警告表示８１を含む合成映像の例を模式的に示す図である。制御装置は、ずれ量が閾値以上であるとき、作業機３００の予測される軌道が過去の軌跡からずれていることを警告する警告表示８１を含む合成映像をスクリーンＳに表示させてもよい。警告表示８１は映像の最前面に表示され得る。図１７に例示する、作業機３００の軌道を示す直線６０は隣の畝９１に接触するように表示されている。このような合成映像によれば、例えばオペレータに目標経路の変更を促すことで、隣接する畝への接触を事前に回避できる。
　図１８は、作業車両１００のローカル座標系における基準点Ｒ１と、オフセットした作業機３００の片側部分の位置との間の位置関係を模式的に示す図である。オフセットした作業機の例は、深耕、反転、鋤込み耕を行うためのプラウ、または、草刈り機である。図１８に示す例における作業機３００は、作業車両１００の中心に対して左側にオフセットしている。図１３を参照して説明したように、制御装置は、オフセットした作業機３００の片側部分Ｔ１の位置の、地理座標系における座標点を、長さＬｘおよびＬ１Ｙに基づいて演算する。制御装置は、地理座標系における位置Ｔ１の座標点を通り、かつ、真北の方向（θ＝０）に延びる仮想的な直線６０Ｌを求める。制御装置は、直線６０Ｌを作業機３００の左側部分の軌道として決定する。
　図１９は、オフセットした作業機３００の軌道を映像に重畳した合成映像の例を模式的に示す図である。図１９には、オフセットした作業機３００による草刈りの様子を示している。制御装置は、オフセットした作業機３００の左側部分の軌道を示す直線６０Ｌを映像に重畳した合成映像をスクリーンＳに表示させてもよい。
　本開示の実施形態に係る映像表示システムは、作業車両１００の周辺の地物の分布を示すセンシングデータを取得するセンシング装置を備え得る。当該センシング装置は、作業車両１００のセンシング装置２５０であり得る。作業車両１００の進行方向に地物が存在する場合、制御装置は、センシング装置から出力されるセンシングデータに基づいて地物のサイズを推定し得る。制御装置は、作業機３００のサイズと、地物のサイズとの比較結果に応じて、作業機３００が地物に衝突する可能性があることを警告する警告表示８２を含む合成映像をスクリーンＳに表示させてもよい。
　図２０は、圃場外の道７６を走行している作業車両１００の進行方向に、道７６と立体交差する陸橋７８が映っている映像の例を模式的に示す図である。作業車両１００は、作業機３００を上昇させた状態で圃場外の道を走行することがある。そのため、作業機３００は、作業機３００の種類によって、作業車両１００の進行方向に位置する地物に衝突することが起こり得る。例えば、制御装置は、センシング装置から出力されるセンシングデータに基づいて陸橋７８の高さを推定し得る。また、制御装置は、作業機３００の高さ方向のサイズから、地面を基準とした作業機３００の最上部の高さを推定できる。推定した最上部の高さが、推定した陸橋７８の高さよりも大きければ、制御装置は、警告表示８２を含む合成映像をスクリーンＳに表示させる。警告表示を表示することで、地物への衝突を事前に回避できる。
　本開示の実施形態に係る映像表示システムは、制御装置によって制御される光源と、光源から出射される光を受けてスクリーンの前方に虚像を形成する光学系と、を備え得る。言い換えると、映像表示システムはＨＵＤを備え得る。人間の視野内に情報を映し出すＨＵＤは、車両のフロントウィンドウに情報を表示して運転をアシストするために利用されている。
　図２１は、ＨＵＤユニットの構成例を示す模式図である。ＨＵＤの１つの方式として、虚像光学系を用いた方式を以下に説明する。ただし、ＨＵＤユニットの構成は、図２１に示す例に限定されない。
　ＨＵＤユニット８００は、光源８１０と、透過型スクリーン８２０と、フィールドレンズ８３０と、コンバイナ８４０とを備える。ＨＵＤユニット８００の光学系は、透過型スクリーン８２０、フィールドレンズ８３０、コンバイナ８４０を有し、さらに、ＭＥＭＥミラー、可動式レンズなどを有し得る。ＨＵＤユニット８００は、例えば作業車両のキャビン内側のルーフの天井面に取り付けられる。
　光源８１０から出射された光ビームが、透過型スクリーン８２０によって集光されて、実像が形成される。透過型スクリーン８２０は、二次光源として機能し、集光された光ビームを、その照射領域が略矩形状になるように、コンバイナ８４０に向けて出射する。コンバイナ８４０は、照射された光ビームに基づく虚像を形成する。これにより、運転者は、コンバイナ８４０を通して風景とともに映像を確認することができる。
　光源８１０は映像を描画するデバイスである。光源８１０は、透過型スクリーン８２０に向けて表示光を出射するように構成されている。例えば、描画する方式として、ＤＬＰ（Digital Light Processing）による方法、レーザプロジェクタを用いる方式が知られている。光源８１０は、レーザプロジェクタ、およびレーザプロジェクタから出射される光ビームをスキャンするＭＥＭＥミラーを有し得る。レーザプロジェクタの例は、ＲＧＢレーザプロジェクタである。
　透過型スクリーン８２０は、マイクロレンズアレイを受光面側に有する。透過型スクリーン８２０は入射ビームを広げる機能を発揮する。フィールドレンズ８３０は、透過型スクリーン８２０とコンバイナ８４０との間に配置され、かつ、透過型スクリーン８２０の近傍に配置される。フィールドレンズ８３０は、例えば、凸レンズから形成され、透過型スクリーン８２０から出射された光ビームの進行方向を変える。フィールドレンズ８３０を用いることにより、光の利用効率をさらに高めることができる。ただし、フィールドレンズ８３０は必須ではない。
　コンバイナ８４０には、例えば、ハーフミラーが一般に用いられるが、ホログラム素子などが用いられてもよい。コンバイナ８４０は、透過型スクリーン８２０からの発散光ビームを反射して、光の虚像を形成する。コンバイナ８４０は、透過型スクリーン８２０において形成された映像を遠方に拡大して表示する機能を有し、さらに風景に映像を重ねて表示する機能を有する。これにより、運転者は、コンバイナ８４０を通して風景とともに映像を確認することができる。言い換えると、運転者は、スクリーン上に映し出された映像を風景とともに確認することができる。コンバイナ８４０の曲率に応じて、虚像の大きさ、または虚像が形成される位置を変えることができる。ＨＵＤユニット８００において、コンバイナ８４０は映像表示システムのスクリーンとして機能する。
　制御装置８５０の例はプロセッサである。制御装置８５０は、映像表示システムの制御装置として機能を発揮する。
　このように、本開示の技術は、ＨＵＤユニットの映像表示にも適用され得る。
　［３－２．第２実装例］
　図２２から図２８を参照して、第２実装例による合成映像の表示の方法を説明する。
　図２２は、進行方向における対地作業後の作業跡を映像に重畳した合成映像の例を模式的に示す図である。図２２には、作業機３００が圃場７０で畝立ての作業を行う様子を例示している。第２実装例における制御装置は、作業機３００が連結された作業車両１００の走行中に予測される、進行方向における対地作業後の作業跡を示す画像を映像に重畳した合成映像をスクリーンＳに表示させる。これにより、スクリーンＳに表示される映像中に、作業車両１００の進行方向における対地作業後の作業跡を示す表示が確認できる。図示する例では、仮想的な作業跡を示す畝の外縁の形状をライン（点線）６５で示している。前方の映像に仮想的な作業跡を表示することで、例えば遠隔操作装置の操作を行うオペレータは、あたかも作業車両１００を後方の側から眺めたような作業機３００による作業跡を実際の作業前に把握できる。例えば数秒後の、予測される作業跡を仮想的にスクリーンＳに表示させることで、オペレータは、合成映像から、対地作業後の作業跡のような未来の状態を把握することが容易になり得る。このことは、遠隔操縦の操作性の向上に寄与し得る。
　スクリーンＳに表示される対地作業後の作業跡は、作業機３００によって行われる作業を模した作業済み状態を含む。例えば、作業跡は、畝立ての場合には、畝立ての作業済み状態を模した図形または画像によって表され、耕耘の場合には、耕耘の作業済み状態を模した図形または画像によって表され、移植の場合には、移植の作業済み状態を模した図形または画像によって表される。
　図２３は、進行方向における対地作業後の作業跡を映像に重畳した合成映像の他の例を模式的に示す図である。図２３には、作業機３００が畝９１に沿って苗の植え付けを行う様子を例示している。図示する例では、対地作業後の作業跡として、仮想的な作物列６５Ｒが、作業車両１００の進行方向における畝９１上に形成されている。言い換えると、制御装置は、畝９１上に形成された仮想的な作物列６５Ｒを映像に重畳した合成映像を生成する。
　図２４は、対地作業後の作業跡と、目標ライン６２とを映像に重畳した合成映像の例を模式的に示す図である。第１実装例と同様に、制御装置は、目標経路に沿った目標ライン６２を映像にさらに重畳した合成映像をスクリーンＳに表示させてもよい。図示する例における映像には、作業跡６５を示す畝上に目標ライン６２が映っている。
　第２実装例における制御装置は、第１実装例と同様に、作業機３００に関する作業機情報、および、作業車両１００の現在の姿勢に関する姿勢情報に基づいて、作業跡を予測する。例えば、制御装置は、作業機３００の両端部分の少なくとも一方の予測される軌道を含む作業機の軌道を予測する。作業機情報は、作業機のサイズに関する情報を含み、作業機の種類に関する情報をさらに含み得る。第１実装例で説明したように、制御装置は、作業車両１００の走行中、作業機３００のサイズに関する情報および姿勢情報に基づいて作業機３００の軌道を予測する。制御装置は、予測される作業機３００の軌道を映像にさらに重畳した合成映像をスクリーンＳに表示させてもよい。
　制御装置は、さらに、予測される作業機３００の軌道および作業機３００の種類に関する情報に基づいて、作業跡を予測する。例えば、作業機３００が耕耘の対地作業を行う場合、作業機情報に含まれる作業機の種類に関する情報は、耕深および耕幅などの情報を含み得る。図２２に示す例では、作業機３００は、畝立てを行うためのロータリ機であり、制御装置は、畝立て作業情報、耕深、耕幅の情報および予測される作業機３００の軌道に関する情報（地理座標系における座標点）に基づいて、例えばリアルタイムレンダリングを実行することで、畝立て作業後の作業跡を表す、３次元の仮想的な畝画像を描画し得る。また、図２３に示す例では、作業機３００は野菜移植機であり、制御装置は、苗の種類を含む作物の植え付け作業情報、および予測される作業機３００の軌道に関する情報に基づいて、例えばリアルタイムレンダリングを実行することで、作物の植え付け作業後の作業跡を表す、３次元の仮想的な作物列の画像を描画し得る。制御装置は、対地作業の種類または苗の種類などから、画像の表示に必要な色情報およびテクスチャなどを決定し得る。
　前述した作業跡の状態を模した図形または画像の描画に必要なデータは、作業の種類に関連付けされた状態で、例えば管理装置６００の記憶装置６５０にデータベースとして予め記憶され得る。制御装置は、例えば、作業機の種類に関する情報および作業機の幅情報などを参照し、作業の種類を特定する。制御装置は、当該データベースから、特定した作業の種類に関連付けされた作業跡の状態を模すために必要なデータを読み出す。制御装置は、耕深、耕幅の情報などをさらに参照し、リードデータに基づいて、作業跡の状態を模した図形または画像をスクリーンＳに描画することができる。
　制御装置は、作業のためのガイドラインを映像にさらに重畳した合成映像をスクリーンＳに表示させてもよい。ガイドラインは、目標ラインに基づいて設定され得る。この例では、作業機３００の軌道は作業予測ラインによって表示される。制御装置は、作業予測ラインが、ガイドラインに整合するようにユーザを案内する案内表示を含む合成映像をスクリーンＳに表示させてもよい。
　図２５は、ガイドラインに整合するようにユーザを案内する案内表示を含む合成映像の例を模式的に示す図である。図２５に、作業跡６５、作業予測ライン６６およびガイドライン６７を、それぞれ、点線、破線および太い破線で示している。作業車両１００の自動走行モードは、例えば、ガイドラインに整合するようにユーザを案内するガイドモードを有する。図２５には、作業車両１００がガイドモードで自動走行している様子を示している。
　制御装置は、例えば図１６を参照して説明した方法と同様な方法で、ガイドライン６７に対する作業予測ライン６６のずれ量を推定し得る。ずれ量が閾値未満であるとき、作業予測ライン６６がガイドライン６７に整合している。ずれ量が閾値以上であるとき、作業予測ライン６６がガイドライン６７に整合していない。作業予測ライン６６がガイドライン６７に整合している間は、制御装置は、例えば作業予測ライン６６を太くしたり、作業予測ライン６６の色を変更したりしてライン表示を強調してもよい。作業予測ライン６６がガイドライン６７に整合していない間は、制御装置は、例えば作業予測ライン６６を点滅させてもよい。このように状況に応じて作業予測ライン６６を強調表示することで、オペレータをガイドすることができる。
　図２６は、作業予測ライン６６がガイドライン６７に整合していないことを警告する警告表示を含む合成映像の例を模式的に示す図である。制御装置は、作業予測ライン６６がガイドライン６７に整合していない間、作業予測ラインがガイドラインに整合していないことを警告する警告表示８３を含む合成映像をスクリーンＳに表示させてもよい。あるいは、作業予測ライン６６がガイドライン６７に整合していない間、例えば作業車両１００のブザー２２０が、作業予測ライン６６がガイドライン６７に整合していないことを報知する報知装置として機能し得る。報知装置の例は、ブザーに限定されず、ＬＥＤ（Light Emitting Diode）ランプのような光学機器、またはバイブレータのような振動機器であり得る。
　図２７は、目標経路の変更をユーザに促す案内表示を含む合成映像の例を模式的に示す図である。制御装置は、ずれ量が閾値以上である場合、つまり、作業予測ライン６６がガイドライン６７に整合していない場合、作業車両１００を自動走行させるために設定される目標経路の変更をユーザに促す案内表示８４を含む合成映像をスクリーンＳに表示させてもよい。
　図２８は、作業車両１００の進行方向に位置する旋回地点の表示を含む合成映像の例を模式的に示す図である。制御装置は、作業車両１００の進行方向において作業機３００が開始、停止または昇降の動作を行うこととなる地点を、時系列画像のデータに基づいて予測し、当該地点の表示を含む合成映像をスクリーンＳに表示させてもよい。図２８に例示する合成映像は、旋回地点の表示６８を含む。例えば旋回地点の近くには、圃場の枕地を隔てた向かい側に畦畔が概して存在する。制御装置は、例えば機械学習またはディープラーニングによる物体検出の手法を用いて時系列画像の中から畦畔を検出することができる。制御装置は、画像内において特定した物体の位置に表示６８を表示する。
　図２８に例示するように、制御装置は、作業車両１００の現在位置から旋回地点までの距離を示す距離情報の表示８５を含む合成映像をスクリーンＳに表示させてもよい。制御装置は、時系列画像の画像解析を行うことで、旋回地点までの距離を計測してもよいし、センシング装置から出力されるセンシングデータに基づいて旋回地点までの距離を計測してもよい。合成映像は、旋回地点に限定されず、作業機３００が開始、停止または昇降の動作を行うこととなるあらゆる地点の表示を含み得る。
　上記の実施形態の構成および動作は例示にすぎず、本開示は上記の実施形態に限定されない。例えば、上記の種々の実施形態を適宜組み合わせて別の実施形態を構成してもよい。
　上記の実施形態では、農業機械が自動運転を行うが、農業機械は自動運転の機能を備えていなくてもよい。本開示の技術は、遠隔操縦が可能な農業機械に広く適用することができる。
　以上の実施形態における自動走行および／または遠隔操作走行の制御を行うシステムまたは映像表示システムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。
　以上のように、本開示は、以下の項目に記載の映像表示システムおよび作業車両を含む。
　［項目Ａ１］
　作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、
　スクリーンと、
　前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、
を備え、
　前記作業機が前記作業車両の進行方向と反対側に連結されているとき、前記制御装置は、前記作業機の軌道を前記映像に重畳した合成映像を前記スクリーンに表示させる、映像表示システム。
　［項目Ａ２］
　前記作業機は、前記作業車両の後方に連結され、
　前記映像は前記作業車両の前方の映像であり、
　前記制御装置は、前記映像を前記スクリーンに表示させることが可能であり、
　前記制御装置は、前記作業機の軌道を前記映像に重畳した合成映像を前記スクリーンに表示させる、項目Ａ１に記載の映像表示システム。
　［項目Ａ３］
　前記制御装置は、前記作業機に関する作業機情報、および、前記作業車両の現在の姿勢に関する姿勢情報に基づいて、前記作業機の軌道を予測する、項目Ａ１またはＡ２に記載の映像表示システム。
　［項目Ａ４］
　前記制御装置は、
　前記作業車両の走行中、前記作業車両の車輪の軌道を前記姿勢情報に基づいて予測し、
　前記作業車両の車輪の軌道を前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、項目Ａ２またはＡ３に記載の映像表示システム。
　［項目Ａ５］
　前記作業車両は自動走行を行うことが可能であり、
　前記制御装置は、前記作業車両を自動走行させるために設定される目標経路に沿った目標ラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、項目Ａ３またはＡ４に記載の映像表示システム。
　［項目Ａ６］
　前記制御装置は、
　前記作業機の予測される軌道と、前記作業機の過去の軌跡から予測される参照軌道とに基づいて、前記参照軌道に対する前記作業機の予測される軌道のずれ量を推定し、
　前記ずれ量が閾値未満である場合と、前記ずれ量が閾値以上である場合とで異なる表示を前記スクリーンに表示させる、項目Ａ３からＡ５のいずれかに記載の映像表示システム。
　［項目Ａ７］
　前記制御装置は、前記ずれ量が前記閾値以上であるとき、前記作業機の予測される軌道
が過去の軌跡からずれていることを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、項目Ａ６に記載の映像表示システム。
　［項目Ａ８］
　前記制御装置は、前記作業機の幅方向に位置する、前記作業機の両端部分の少なくとも一方の予測される軌道を含む前記作業機の軌道を予測する、項目Ａ３からＡ７のいずれかに記載の映像表示システム。
　［項目Ａ９］
　前記制御装置は、前記作業機と通信を行うことによって、前記作業機のサイズを含む前記作業機情報を取得する、項目Ａ３からＡ８のいずれかに記載の映像表示システム。
　［項目Ａ１０］
　前記制御装置は、ユーザによって入力装置を介して入力された、前記作業機のサイズを含む前記作業機情報を取得する、項目Ａ３からＡ８のいずれかに記載の映像表示システム。
　［項目Ａ１１］
　前記作業車両の周辺の地物の分布を示すセンシングデータを取得するセンシング装置を備え、
　前記制御装置は、前記センシング装置から出力される前記センシングデータに基づいて、前記作業車両の前記進行方向に存在する地物のサイズを推定し、
　前記作業機のサイズと、前記地物のサイズとの比較結果に応じて、前記作業機が前記地物に衝突する可能性があることを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、項目Ａ９またはＡ１０に記載の映像表示システム。
　［項目Ａ１２］
　前記制御装置によって制御される光源と、
　前記光源から出射される光を受けて前記スクリーンの前方に虚像を形成する光学系と、を備える、項目Ａ１からＡ１１のいずれかに記載の映像表示システム。
　［項目Ａ１３］
　作業車両と、
　作業機と、
　項目１から１２のいずれかに記載の映像表示システムと、
を備える、農業機械。
　［項目Ｂ１］
　作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、
　スクリーンと、
　前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、
を備え、
　前記制御装置は、前記作業機が連結された前記作業車両の走行中に予測される、前記進行方向における対地作業後の作業跡を示す画像を前記映像に重畳した合成映像を前記スクリーンに表示させる、映像表示システム。
　［項目Ｂ２］
　前記制御装置は、前記作業機に関する作業機情報、および、前記作業車両の現在の姿勢に関する姿勢情報に基づいて、前記作業跡を予測する、項目Ｂ１に記載の映像表示システム。
　［項目Ｂ３］
　前記作業機情報は、前記作業機の種類およびサイズに関する情報を含み、
　前記制御装置は、前記作業車両の走行中、前記作業機のサイズに関する情報および前記姿勢情報に基づいて前記作業機の軌道を予測し、
　前記作業機の軌道および前記作業機の種類に関する情報に基づいて、前記作業跡を予測する、項目Ｂ２に記載の映像表示システム。
　［項目Ｂ４］
　前記制御装置は、予測される前記作業機の軌道を前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、項目Ｂ３に記載の映像表示システム。
　［項目Ｂ５］
　前記作業機の軌道は作業予測ラインによって表示され、
　前記制御装置は、作業のためのガイドラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させ、
　前記作業予測ラインが、前記ガイドラインに整合するようにユーザを案内する案内表示を含む前記合成映像を前記スクリーンに表示させる、項目Ｂ４に記載の映像表示システム。
　［項目Ｂ６］
　前記制御装置は、前記作業予測ラインが前記ガイドラインに整合しない場合には、前記作業予測ラインが前記ガイドラインに整合していないことを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、項目Ｂ５に記載の映像表示システム。
　［項目Ｂ７］
　前記作業予測ラインが前記ガイドラインに整合しない場合に、前記作業予測ラインが前記ガイドラインに整合していないことを報知する報知装置を備える、項目Ｂ５に記載の映像表示システム。
　［項目Ｂ８］
　前記作業車両は自動走行を行うことが可能であり、
　前記制御装置は、
　前記ガイドラインに対する前記作業予測ラインのずれ量を推定し、
　前記ずれ量が閾値以上である場合、前記作業車両を自動走行させるために設定される目標経路の変更をユーザに促す案内表示を含む前記合成映像を前記スクリーンに表示させる、項目Ｂ５からＢ７のいずれかに記載の映像表示システム。
　［項目Ｂ９］
　前記制御装置は、前記目標経路に沿った目標ラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、項目Ｂ８に記載の映像表示システム。
　［項目Ｂ１０］
　前記ガイドラインは、前記目標ラインに基づいて設定される、項目Ｂ９に記載の映像表示システム。
　［項目Ｂ１１］
　前記制御装置は、前記作業機の幅方向に位置する、前記作業機の両端部分の少なくとも一方の予測される軌道を含む前記作業機の軌道を予測する、項目Ｂ３からＢ１０のいずれかに記載の映像表示システム。
　［項目Ｂ１２］
　前記制御装置は、前記作業車両の進行方向において前記作業機が開始、停止または昇降の動作を行うこととなる地点を、前記時系列画像のデータに基づいて予測し、前記地点の表示を含む前記合成映像を前記スクリーンに表示させる、項目Ｂ２からＢ１１のいずれかに記載の映像表示システム。
　［項目Ｂ１３］
　前記制御装置は、前記作業車両の現在位置から前記地点までの距離を示す距離情報を含む前記合成映像を前記スクリーンに表示させる、項目Ｂ１２に記載の映像表示システム。
　［項目Ｂ１４］
　前記制御装置は、前記作業機と通信を行うことによって、前記作業機情報を取得する、項目Ｂ２からＢ１３のいずれかに記載の映像表示システム。
　［項目Ｂ１５］
　前記制御装置は、ユーザによって入力装置を介して入力された前記作業機情報を取得する、項目Ｂ２からＢ１３のいずれかに記載の映像表示システム。
　［項目Ｂ１６］
　前記作業機は、畝立て、耕耘、作物の植え付け、および作物の刈り取りを含む前記対地作業のうちの少なくとも１つを行い、
　前記制御装置は、前記対地作業後の前記作業跡を示す前記画像を生成する、項目Ｂ１からＢ１５のいずれかに記載の映像表示システム。
　［項目Ｂ１７］
　前記制御装置によって制御される光源と、
　前記光源から出射される光を受けて前記スクリーンの前方に虚像を形成する光学系と、を備える、項目Ｂ１からＢ１６のいずれかに記載の映像表示システム。
　［項目Ｂ１８］
　作業車両と、
　作業機と、
　項目Ｂ１からＢ１７のいずれかに記載の映像表示システムと、
を備える、農業機械。
　［項目Ｂ１９］
　前記作業機は前記作業車両の後方に連結される、項目Ｂ１８に記載の農業機械。
　本開示の技術は、例えばトラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、または農業用ロボットなどの自動運転を行う農業機械のための映像表示システムに適用することができる。
　５０：ＧＮＳＳ衛星、６０、６０Ｌ，６０Ｒ，６１，６１Ｌ，６１Ｒ，６３，６３Ｌ，６３Ｒ：ライン表示、６０Ａ：基準局、６２：目標ライン、６５：作業跡、６５Ｒ：作物列、６６：作業予測ライン、６７：ガイドライン、６８：表示、７０：圃場、７２：作業領域、７４：枕地、７６：道、７８：陸橋、７９：空、８０：ネットワーク、８１～８３
：警告表示、８４：案内表示、８５：表示、９１：畝、９８：遠隔操縦開始ボタン、９９：緊急停止ボタン、１００：作業車両、１０１：車両本体、１０２：原動機、１０３：変速装置、１０４：車輪、１０４Ｆ：前輪、１０４Ｒ：後輪、１０５：キャビン、１０６：操舵装置、１０７：運転席、１０８：連結装置、１１０：ＧＮＳＳユニット、１１１：ＧＮＳＳ受信機、１１２：ＲＴＫ受信機、１１６：処理回路、１２０：カメラ、１３０：障害物センサ、１４０：ＬｉＤＡＲセンサ、１５０：センサ群、１５２：ステアリングホイールセンサ、１５４：切れ角センサ、１５６：車軸センサ、１６０：走行制御システム、１７０：記憶装置、１８０：制御装置、１８１～１８６：ＥＣＵ、１９０：通信装置、２００：操作端末、２１０：操作スイッチ群、２２０：ブザー、２４０：駆動装置、２５０：センシング装置、３００：作業機、３４０：駆動装置、３８０：制御装置、３９０：通信装置、４００：遠隔装置、４２０：入力装置、４３０：表示装置（ディスプレイ）、４５０：記憶装置、４６０：プロセッサ、４７０：ＲＯＭ、４８０：ＲＡＭ、４９０：通信装置、５００：遠隔操縦機、６００：管理装置、６５０：記憶装置、６６０：プロセッサ、６７０：ＲＯＭ、６８０：ＲＡＭ、６９０：通信装置、８００：ＨＵＤユニット、８１０：光源、８２０：透過型スクリーン、８３０：フィールドレンズ、８４０：コンバイナ、８５０：制御装置

Claims (32)

  1. 　作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、
    　スクリーンと、
    　前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、
    を備え、
    　前記制御装置は、前記作業機が前記作業車両の進行方向と反対側に連結されているとき、前記作業機の軌道を前記映像に重畳した合成映像を前記スクリーンに表示させる、映像表示システム。
  2. 　前記作業機は、前記作業車両の後方に連結され、
    　前記映像は前記作業車両の前方の映像であり、
    　前記制御装置は、前記映像を前記スクリーンに表示させることが可能であり、
    　前記制御装置は、前記作業機の軌道を前記映像に重畳した合成映像を前記スクリーンに表示させる、請求項１に記載の映像表示システム。
  3. 　前記制御装置は、前記作業機に関する作業機情報、および、前記作業車両の現在の姿勢に関する姿勢情報に基づいて、前記作業機の軌道を予測する、請求項１または２に記載の映像表示システム。
  4. 　前記制御装置は、
    　前記作業車両の走行中、前記作業車両の車輪の軌道を前記姿勢情報に基づいて予測し、
    　前記作業車両の車輪の軌道を前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、請求項２に記載の映像表示システム。
  5. 　前記作業車両は自動走行を行うことが可能であり、
    　前記制御装置は、前記作業車両を自動走行させるために設定される目標経路に沿った目標ラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、請求項３に記載の映像表示システム。
  6. 　前記制御装置は、
    　前記作業機の予測される軌道と、前記作業機の過去の軌跡から予測される参照軌道とに基づいて、前記参照軌道に対する前記作業機の予測される軌道のずれ量を推定し、
    　前記ずれ量が閾値未満である場合と、前記ずれ量が閾値以上である場合とで異なる表示を前記スクリーンに表示させる、請求項３に記載の映像表示システム。
  7. 　前記制御装置は、前記ずれ量が前記閾値以上であるとき、前記作業機の予測される軌道が過去の軌跡からずれていることを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、請求項６に記載の映像表示システム。
  8. 　前記制御装置は、前記作業機の幅方向に位置する、前記作業機の両端部分の少なくとも一方の予測される軌道を含む前記作業機の軌道を予測する、請求項３に記載の映像表示システム。
  9. 　前記制御装置は、前記作業機と通信を行うことによって、前記作業機のサイズを含む前記作業機情報を取得する、請求項３に記載の映像表示システム。
  10. 　前記制御装置は、ユーザによって入力装置を介して入力された、前記作業機のサイズを含む前記作業機情報を取得する、請求項３に記載の映像表示システム。
  11. 　前記作業車両の周辺の地物の分布を示すセンシングデータを取得するセンシング装置を備え、
    　前記制御装置は、前記センシング装置から出力される前記センシングデータに基づいて、前記作業車両の前記進行方向に存在する地物のサイズを推定し、
    　前記作業機のサイズと、前記地物のサイズとの比較結果に応じて、前記作業機が前記地物に衝突する可能性があることを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、請求項９に記載の映像表示システム。
  12. 　前記制御装置によって制御される光源と、
    　前記光源から出射される光を受けて前記スクリーンの前方に虚像を形成する光学系と、を備える、請求項１または２に記載の映像表示システム。
  13. 　作業車両と、
    　作業機と、
    　請求項１または２に記載の映像表示システムと、
    を備える、農業機械。
  14. 　作業機が連結される作業車両に取り付けられ、前記作業車両の進行方向の撮影を行うことによって時系列画像のデータを生成する撮像装置と、
    　スクリーンと、
    　前記時系列画像のデータに基づく映像を前記スクリーンに表示させる制御装置と、
    を備え、
    　前記制御装置は、前記作業機が連結された前記作業車両の走行中に予測される、前記進行方向における対地作業後の作業跡を示す画像を前記映像に重畳した合成映像を前記スクリーンに表示させる、映像表示システム。
  15. 　前記制御装置は、前記作業機に関する作業機情報、および、前記作業車両の現在の姿勢に関する姿勢情報に基づいて、前記作業跡を予測する、請求項１４に記載の映像表示システム。
  16. 　前記作業機情報は、前記作業機の種類およびサイズに関する情報を含み、
    　前記制御装置は、前記作業車両の走行中、前記作業機のサイズに関する情報および前記姿勢情報に基づいて前記作業機の軌道を予測し、
    　前記作業機の軌道および前記作業機の種類に関する情報に基づいて、前記作業跡を予測する、請求項１５に記載の映像表示システム。
  17. 　前記制御装置は、予測される前記作業機の軌道を前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、請求項１６に記載の映像表示システム。
  18. 　前記作業機の軌道は作業予測ラインによって表示され、
    　前記制御装置は、作業のためのガイドラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させ、
    　前記作業予測ラインが、前記ガイドラインに整合するようにユーザを案内する案内表示を含む前記合成映像を前記スクリーンに表示させる、請求項１７に記載の映像表示システム。
  19. 　前記制御装置は、前記作業予測ラインが前記ガイドラインに整合しない場合には、前記作業予測ラインが前記ガイドラインに整合していないことを警告する警告表示を含む前記合成映像を前記スクリーンに表示させる、請求項１８に記載の映像表示システム。
  20. 　前記作業予測ラインが前記ガイドラインに整合しない場合に、前記作業予測ラインが前記ガイドラインに整合していないことを報知する報知装置を備える、請求項１８に記載の映像表示システム。
  21. 　前記作業車両は自動走行を行うことが可能であり、
    　前記制御装置は、
    　前記ガイドラインに対する前記作業予測ラインのずれ量を推定し、
    　前記ずれ量が閾値以上である場合、前記作業車両を自動走行させるために設定される目標経路の変更をユーザに促す案内表示を含む前記合成映像を前記スクリーンに表示させる、請求項１８から２０のいずれかに記載の映像表示システム。
  22. 　前記制御装置は、前記目標経路に沿った目標ラインを前記映像にさらに重畳した前記合成映像を前記スクリーンに表示させる、請求項２１に記載の映像表示システム。
  23. 　前記ガイドラインは、前記目標ラインに基づいて設定される、請求項２２に記載の映像表示システム。
  24. 　前記制御装置は、前記作業機の幅方向に位置する、前記作業機の両端部分の少なくとも一方の予測される軌道を含む前記作業機の軌道を予測する、請求項１６から２０のいずれかに記載の映像表示システム。
  25. 　前記制御装置は、前記作業車両の進行方向において前記作業機が開始、停止または昇降の動作を行うこととなる地点を、前記時系列画像のデータに基づいて予測し、前記地点の表示を含む前記合成映像を前記スクリーンに表示させる、請求項１５から２０のいずれかに記載の映像表示システム。
  26. 　前記制御装置は、前記作業車両の現在位置から前記地点までの距離を示す距離情報を含む前記合成映像を前記スクリーンに表示させる、請求項２５に記載の映像表示システム。
  27. 　前記制御装置は、前記作業機と通信を行うことによって、前記作業機情報を取得する、請求項１５から２０のいずれかに記載の映像表示システム。
  28. 　前記制御装置は、ユーザによって入力装置を介して入力された前記作業機情報を取得する、請求項１５から２０のいずれかに記載の映像表示システム。
  29. 　前記作業機は、畝立て、耕耘、作物の植え付け、および作物の刈り取りを含む前記対地作業のうちの少なくとも１つを行い、
    　前記制御装置は、前記対地作業後の前記作業跡を示す前記画像を生成する、請求項１４から２０のいずれかに記載の映像表示システム。
  30. 　前記制御装置によって制御される光源と、
    　前記光源から出射される光を受けて前記スクリーンの前方に虚像を形成する光学系と、を備える、請求項１４から２０のいずれかに記載の映像表示システム。
  31. 　作業車両と、
    　作業機と、
    　請求項１４から２０のいずれかに記載の映像表示システムと、
    を備える、農業機械。
  32. 　前記作業機は前記作業車両の後方に連結される、請求項３１に記載の農業機械。
     
PCT/JP2023/019734 2022-06-16 2023-05-26 映像表示システムおよび作業車両 WO2023243369A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-097599 2022-06-16
JP2022097599 2022-06-16
JP2022-097600 2022-06-16
JP2022097600 2022-06-16

Publications (1)

Publication Number Publication Date
WO2023243369A1 true WO2023243369A1 (ja) 2023-12-21

Family

ID=89191231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/019734 WO2023243369A1 (ja) 2022-06-16 2023-05-26 映像表示システムおよび作業車両

Country Status (1)

Country Link
WO (1) WO2023243369A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015164001A (ja) * 2014-02-28 2015-09-10 株式会社丸山製作所 ガイド装置
JP2019088204A (ja) * 2017-11-13 2019-06-13 小橋工業株式会社 表示方法
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
JP2021112135A (ja) * 2020-01-16 2021-08-05 松山株式会社 農作業機用表示システム
WO2022004698A1 (ja) * 2020-06-30 2022-01-06 株式会社クボタ 農作業機、農作業機制御プログラム、農作業機制御プログラムを記録した記録媒体、農作業機制御方法
WO2022118567A1 (ja) * 2020-12-02 2022-06-09 ヤンマーホールディングス株式会社 作業車両及び作業車両制御方法
JP2023066736A (ja) * 2021-10-29 2023-05-16 三菱マヒンドラ農機株式会社 作業車両

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015164001A (ja) * 2014-02-28 2015-09-10 株式会社丸山製作所 ガイド装置
JP2019088204A (ja) * 2017-11-13 2019-06-13 小橋工業株式会社 表示方法
JP2021036772A (ja) * 2019-08-30 2021-03-11 井関農機株式会社 作業車両
JP2021112135A (ja) * 2020-01-16 2021-08-05 松山株式会社 農作業機用表示システム
WO2022004698A1 (ja) * 2020-06-30 2022-01-06 株式会社クボタ 農作業機、農作業機制御プログラム、農作業機制御プログラムを記録した記録媒体、農作業機制御方法
WO2022118567A1 (ja) * 2020-12-02 2022-06-09 ヤンマーホールディングス株式会社 作業車両及び作業車両制御方法
JP2023066736A (ja) * 2021-10-29 2023-05-16 三菱マヒンドラ農機株式会社 作業車両

Similar Documents

Publication Publication Date Title
US20240341216A1 (en) Travel control system for agricultural machine capable of performing remotely-manipulated traveling
US20240188475A1 (en) Agricultural assistance system and agricultural assistance method
WO2023119871A1 (ja) 自動走行を行う農業機械のための経路計画システムおよび経路計画方法
WO2023243369A1 (ja) 映像表示システムおよび作業車両
US20240341215A1 (en) Agricultural machine, sensing system, sensing method, remote operation system, and control method
WO2023238827A1 (ja) 農業管理システム
WO2023238724A1 (ja) 農業機械の自動走行のための経路生成システムおよび経路生成方法
WO2023234076A1 (ja) 表示システムおよび作業車両
WO2024004463A1 (ja) 走行制御システム、走行制御方法およびコンピュータプログラム
US20240345603A1 (en) Travel control system for agricultural machine capable of performing remotely-manipulated traveling
WO2023218688A1 (ja) 地図作成システムおよび経路計画システム
US20240338033A1 (en) Obstacle detection system, agricultural machine and obstacle detection method
US20240138282A1 (en) Management system for agricultural machines
US20240337753A1 (en) Agricultural machine, sensing system for use in agricultural machine, and sensing method
US20240317238A1 (en) Agricultural road identification system, control system, and agricultural machine
WO2024004486A1 (ja) 作業車両、制御方法および制御システム
WO2023234255A1 (ja) センシングシステム、農業機械、およびセンシング装置
WO2023007835A1 (ja) 管理システム、および農業機械の圃場へのアクセスを管理するための方法
WO2023127557A1 (ja) 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
JP7584654B2 (ja) 農業機械のための管理システム
WO2023112515A1 (ja) 地図生成システムおよび地図生成方法
WO2023095856A1 (ja) 自動運転を行う農業機械のための経路計画システム
WO2023119986A1 (ja) 農業機械、および、農業機械に用いるジェスチャ認識システム
WO2023248909A1 (ja) 走行制御システム、農業機械および走行制御方法
US20240337500A1 (en) Path planning system for self-driving agricultural machine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823668

Country of ref document: EP

Kind code of ref document: A1