CN118614057A - 远程操作支援系统和远程操作支援方法 - Google Patents

Abstract

本发明提供一种远程操作支援系统和远程操作支援方法，其能够实现提高对作业机械进行远程操作的操作员对空间的识别精度。搭载在作业机械(40)上的拍摄装置(412b)拍摄表示该作业机械(40)的周围的情形的拍摄图像。生成在该拍摄图像上重叠指标图像的合成图像，其中，该指标图像是指虚拟地表示配置在作业机械(40)的驾驶室(454)(司机室)中的指标部件的图像。在用于远程操作作业机械(40)的远程操作装置(20)的远程输出接口(220)上显示该合成图像。

Description

远程操作支援系统和远程操作支援方法

技术领域

本发明涉及具有与作业机械和用于对该作业机械进行远程操作的远程操作装置各自进行相互通信的功能的远程操作支援系统。

背景技术

操作员在进行作业机械的上部回转体的回转等操作时，确认在该作业机械的周围是否存在障碍物。例如，针对作业机械的后方，在作业机械的后方设置可拍摄作业机械的后方的相机，操作员通过确认由该相机拍摄到的图像来确认障碍物。例如，提出有以下一种回转式作业车辆的后方视野显示装置：其具备用于获取上部回转体的后方视野的照相机以及显示由该照相机获取的图像的监视器，使以上部回转体的回转中心为中心的圆弧状的距离显示线与由所述照相机取得的图像重叠地显示(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2005-188160号公报

发明内容

发明要解决的课题

然而，操作员在实际搭乘于作业机械并进行上部回转体相对于下部行驶体的回转等操作的情况下，会下意识地将与该上部回转体一起回转的驾驶室的支柱等存在于其视野中的特定的物体作为识别该上部回转体在实际空间中的位置和/或方位时的基准。操作员在利用远程操作装置操作作业机械时，通过由搭载于该作业机械的照相机或拍摄装置拍摄到的拍摄图像来识别空间。然而，由于特定的物体未映入于该拍摄图像中，因此，有时会难以进行空间识别。

因此，本发明的目的在于提供一种能够实现提高对作业机械进行远程操作的操作员对空间的识别精度的远程操作支援系统等。

用于解决课题的手段

本发明的远程操作支援系统的内容如下。使合成图像显示于用于远程操作所述作业机械的远程操作装置的远程输出接口上，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。

根据具有该结构的远程操作支援系统，在拍摄图像上重叠了指标图像的合成图像被显示于远程输出接口。因此，以合成图像所包含的配置于驾驶室的虚拟性的指标部件为基准，操作人员能够以与实际搭乘于驾驶室时相同或者类似的感觉识别到映入拍摄图像的物体在实际空间中的位置以及姿势。其结果，即使在拍摄图像中没有映入指标部件的情况下，也能够实现提高远程操作作业机械的操作员通过合成图像对空间的识别精度。

在具有上述结构的远程操作支援系统中，优选的是，所述指标图像是可视觉确认所述拍摄图像中的至少一部分重叠区域的具有透明性的图像、或者表示所述指标部件的轮廓线以及棱线中的至少一方的线图。

根据具有该结构的远程操作支援系统，抑制或者避免了拍摄图像的可视性因与该拍摄图像重叠的指标图像的存在而降低，相应地实现了提高远程操作作业机械的操作员通过合成图像对空间的识别精度。

在具有上述结构的远程操作支援系统中，优选的是，所述指标图像以与所述拍摄图像的倍率对应的尺寸进行显示。

根据具有该结构的远程操作支援系统，在根据拍摄图像的倍率而适当地调整了尺寸或者重新调节了尺寸的基础上，将指标图像显示于远程输出接口上。因此，能够使操作员从合成图像中获取到恰当的距离感。

在具有所述构成的远程操作支援系统中，优选的是，在所述作业机械中的搭载有所述实机拍摄装置的上部回转体相对于下部行驶体被进行回转操作的情况下，使所述合成图像显示于所述远程输出接口。

根据具有该结构的远程操作支援系统，在开始对作业机械进行回转操作的情况下显示合成图像，因此在操作员需要显示指标图像的情况下就能显示合成图像。

在具有所述结构的远程操作支援系统中，优选的是，在所述作业机械中的搭载有所述实机拍摄装置的上部回转体对下部行驶体的回转操作结束的情况下，使所述远程输出接口停止对所述合成图像的显示。

根据具有该结构的远程操作支援系统，在对作业机械进行的回转操作结束的情况下停止合成图像的显示，因此能够消除因一直持续显示指标图像而引起的繁琐的情况。

本发明的远程操作支援复合系统由所述作业机械和所述远程操作装置中的至少一方与所述远程操作支援系统构成。

根据具有该结构的远程操作支援系统，能够构成与作业机械以及远程操作装置中的至少一方进行协作的复合系统，从而能够提高实用性。

本发明的远程操作支援方法包括使合成图像显示于用于远程操作所述作业机械的远程操作装置的远程输出接口上的步骤，其中，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。

根据具有该结构的远程操作支援方法，由于包括了使合成图像显示于用于远程操作作业机械的远程操作装置的远程输出接口上的工序，所以实现了提高对作业机械进行远程操作的操作员对空间的识别精度。

附图说明

图1是作为本发明的一个实施方式的远程操作支援系统的结构说明图。

图2是关于图1的远程操作装置的结构的说明图。

图3是关于图1的作业机械的结构的说明图。

图4是关于图1的作业机械的周围环境的说明图。

图5是示出图1的第一实机拍摄装置所拍摄的拍摄图像的例子的说明图。

图6是示出图1的第二实机拍摄装置所拍摄的拍摄图像的例子的说明图。

图7是示出远程操作支援系统的远程操作支援方法的步骤的流程图。

图8是表示图7的合成图像生成处理的子例程的流程图。

图9示出合成图像的显示方式的说明图。

图10示出合成图像的其他显示方式的说明图。

具体实施方式

实施例1

(远程操作支援系统的结构)

图1所示的作为本发明的一个实施方式的远程操作支援系统由远程操作支援服务器10构成，该远程操作支援服务器10用于支援远程操作装置20对一个或多个作业机械40的远程操作。远程操作支援服务器10构成为能够经由网络与远程操作装置20以及多个作业机械40分别进行相互通信。远程操作支援服务器10与远程操作装置20和/或作业机械40之间的通信网络、以及远程操作支援服务器10与作业机械40之间的通信网络可以是相同通信形式的网络，也可以是不同通信形式的网络。

本发明的构成元件(硬件)“取得”各种信息包含以下概念：即，以用于在后续的运算处理中能够利用各种信息的形态而进行准备的所有运算处理，比如，接收该信息；从内部存储装置(例如，存储器)和/或外部存储装置(例如，外部的数据库服务器)读取或检索该信息；以通过接收、读取、检索等获得的信息为对象执行运算处理来计算、推定、预测、鉴定等信息。

(远程操作支援服务器的结构)

远程操作支援服务器10具备包含支援处理元件101的远程操作支援装置100、数据库110以及用于进行经由网络的通信的服务器无线通信设备122。

支援处理元件101由运算处理装置(CPU、单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，并以该数据为对象执行依照该软件的后述的运算处理。

数据库110存储保持位置数据等，该位置数据等是指对由第一实机拍摄装置412a及第二实机拍摄装置412b等拍摄装置取得的拍摄图像数据等、后述的第二拍摄图像重叠了指标图像的数据。数据库110也可以由相对于远程操作支援服务器10独立的数据库服务器构成。

(远程操作装置的结构)

远程操作装置20具备远程控制装置200、远程输入接口210以及远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，并以该数据为对象执行依照该软件的运算处理。

远程输入接口210具备远程操作机构211。远程操作机构211包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置以及对由操作员进行的操作的接受状态进行切换的液压锁定杆(切断杆)。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)，以使作业机械40的具备左右一对履带的下部行驶体430动作。行驶杆也可以兼作行驶踏板。例如，也可以设置行驶踏板，该行驶踏板固定于行驶杆的基部或下端部。

操作回转用操作装置的操作杆(回转杆)，以使构成作业机械40的回转机构440的液压式的回转马达动作。操作动臂用操作装置的操作杆(动臂杆)，以使作业机械40的动臂油缸462动作。操作斗杆用操作装置的操作杆(斗杆杆)，以使作业机械40的斗杆油缸464动作。操作铲斗用操作装置的操作杆(铲斗杆)，以使作业机械40的铲斗油缸466动作。切断杆根据ON/OFF的切换而输出用于禁止/允许作业机械40的操作的信号。例如，在切断杆处于接通(ON)状态下，即使操作员进行了操作，也不会输出用于操作作业机械40的信号。

例如如图2所示，构成远程操作机构211的各操作杆配置在用于供操作员OP就座的座椅St的周围。座椅St可以是带扶手的高靠背座椅那样的形态、也可以是不设头枕的低靠背座椅那样的形态或者不设靠背的座椅那样的形态等操作员OP可就座的任意形态的就座部。

在座椅St的前方左右横向排列地配置有与左右的履带对应的左右一对行驶杆2110。一个操作杆也可以兼作多个操作杆。例如，图2所示设置于座椅St的左侧框架的前方的左侧操作杆2111可以在沿前后方向操作的情况下作为斗杆杆发挥功能，且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，图2所示的设置于座椅St的右侧框体的前方的右侧操作杆2112可以在沿前后方向操作的情况下作为动臂杆发挥功能，且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式也可以根据操作员OP的操作指示而任意地变更。

远程输出接口220具备图像输出装置221和远程无线通信设备222，远程无线通信设备222用于经由网络进行通信。

例如如图2所示，图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形状的屏幕的中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及配置在中央图像输出装置2210的下方的具有大致矩形状的屏幕的下侧图像输出装置2213构成。中央图像输出设备2210、左侧图像输出设备2211、右侧图像输出设备2212和下侧图像输出设备2213的屏幕(图像显示区域)的形状和尺寸可以相同也可以不同。

中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及下侧图像输出装置2213各自的屏幕可以相对于竖直方向平行，也可以相对于竖直方向倾斜。中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及下侧图像输出装置2213中的至少1个图像输出装置也可以由被分割为多个的图像输出装置构成。例如，中央图像输出装置2210可以由具有大致矩形状的屏幕的上下相邻的一对图像输出装置构成。

(作业机械的构成)

如图1所示，作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420和工作机构460。

实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，以该数据为对象来执行按照该软件的运算处理。

作业机械40例如是液压式、电动式或组合了液压式及电动式的混合动力驱动式的履带式挖掘机(作业机械)，如作为作业机械40的侧视图的图3所示，具备下部行驶体430和经由回转机构440可回转地搭载于下部行驶体430的上部回转体450。在上部回转体450的前方左侧部设置有驾驶室454(司机室)。在上部回转体450的前方中央部设置有工作机构460。

实机输入接口41具备实机操作机构411、第一实机拍摄装置412a、第二实机拍摄装置412b以及后方拍摄装置412c。实机操作机构411具备多个实机操作杆，以与远程操作机构211同样的方式配置在驾驶室454的内部所配置的座椅的周围。

在作业机械40中设置有驱动机构或机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。

第一实机拍摄装置412a(主相机)例如设置于驾驶室454的内部。第一实机拍摄装置412a透过前窗及左右一对侧窗拍摄包含至少一部分工作机构460的环境。第一实机拍摄装置412a例如拍摄包含作为附件的铲斗465的至少一部分作业机械40的周围的情况。

如作为作业机械40的俯视图的图4所示，第一实机拍摄装置412a对驾驶室454的前方的规定的拍摄范围AR1进行拍摄，以从右端R1到左端L1的视角对从驾驶室454的室内沿着光轴AX1的方向进行拍摄。如图3所示，拍摄范围AR1表示在朝向水平方向的第一实机拍摄装置412a上以从右端R1到左端L1的左右方向的视角拍摄的范围。图4所示的拍摄范围AR1是设想为水平地面的情况，因此关于沿着光轴AX1的方向未示出范围，但在作业机械40的前方存在向上倾斜的情况下，能够由连接右端R1和左端L1的线划定拍摄范围AR1。

另外，如图5所示，第一实机拍摄装置412a例如以包含作为指标部件的窗框WF和行驶杆2110中的至少一部分的方式拍摄规定的拍摄范围AR1，其中，窗框WF和行驶杆2110配置于驾驶室454的前窗FW或侧窗SW1、SW2的周围。

第二实机拍摄装置412b(副相机)例如设置在驾驶室454的屋顶上或外部空间中的作业机械40的前方侧(驾驶室454的正面侧)，能够拍摄作业机械40的周围的情况。如图4所示，第二实机拍摄装置412b在从驾驶室454的屋顶之上沿着光轴AX2的方向上以从右端R2到左端L2的视角拍摄作业机械40的前方(驾驶室454的正面)。第二实机拍摄装置412b具有能够在上下方向及左右方向上改变朝向的驱动机构或者致动器，在图3中，第二实机拍摄装置412b(或者其光轴AX2)以朝向前方及斜下方的方式配置。因而，图4所示的拍摄范围AR2表示第二实机拍摄装置412b以从右端R2到左端L2的左右方向的视角拍摄的范围。优选的是，以第一实机拍摄装置412a的拍摄范围AR1与第二实机拍摄装置412b的拍摄范围AR2至少一部分重合的方式配置第一实机拍摄装置412a及第二实机拍摄装置412b。

如图6所示，第二实机拍摄装置412b能够拍摄包含至少一部分工作机构460的环境。第二实机拍摄装置412b例如拍摄包含至少一部分作为附件的铲斗465的环境。图6表示第二实机拍摄装置412b的朝向为如图3所示的朝下时的拍摄图像，工作机构460的里面能够看到作业机械40的前方下部的地面。第二实机拍摄装置412b的与第一实机拍摄装置412a的拍摄范围AR1重合的拍摄范围AR2例如优选包含至少一部分铲斗465。第二实机拍摄装置412b也可以设置在作业机械40的驾驶室454以外的场所，例如，可以设置在上部回转体450中可被固定的场所。另外，第二实机拍摄装置412b不一定要设置在作业机械40上，也可以设置在无人机等飞行器上，第二实机拍摄装置412b也可以是固定于作业现场周围设置的支柱等上的固定照相机。

另外，也可以增设第一实机拍摄装置412a及/或第二实机拍摄装置412b。

实机输入接口410包含实机状态传感器组(未图示)。实际状态传感器组(未图示)由角度传感器、用于测定上部回转体450相对于下部行驶体430的回转角度的回转角度传感器、用于测定作用于铲斗465的外力的外力传感器、用于测定作用于上部回转体450的三轴加速度的三轴加速度传感器以及GNSS(G l oba l Nav igat ion Sate l l ite System/全球导航卫星系统)等位置信息获取传感器等构成，其中，角度传感器用于测定动臂461相对于上部回转体450的转动角度(起落角度)、斗杆463相对于动臂461的转动角度以及铲斗465相对于斗杆463的转动角度。

实机输出接口420具备实机无线通信设备422。实机无线通信设备422用于进行经由网络的通信。

工作机构460具备：动臂461，可起落地安装于上部回转体450；斗杆463，可转动地连结于动臂461的顶端；铲斗465，可转动地连结于斗杆463的顶端。在工作机构460安装有由可伸缩的液压缸构成的动臂油缸462、斗杆油缸464以及铲斗油缸466。作为作业部，除了铲斗465之外，也可以使用破碎机、切具或磁体等各种附件。

动臂油缸462介于该动臂461与上部回转体450之间，使得其通过接受工作油的供给而伸缩，从而使动臂461在起落方向转动。斗杆油缸464介于该斗杆463与该动臂461之间，使得其通过接受工作油的供给而伸缩，从而使斗杆463相对于动臂461绕水平轴转动。铲斗油缸466介于铲斗465与斗杆463之间，使得其通过接受工作油的供给而伸缩，从而使该铲斗465相对于该斗杆463绕水平轴转动。

(功能)

使用图7所示的流程图，对通过具有上述构成的远程操作支援服务器10、远程操作装置20、第一实机拍摄装置412a及第二实机拍摄装置412b的协作而发挥作用的远程操作支援系统的远程操作支援处理方法进行说明。

远程操作支援服务器10对应于远程操作装置20的启动而开始远程操作支援处理。当作为操作者的操作员OP例如启动远程操作装置20时，远程操作装置20向远程操作支援服务器10发送操作信号(步骤211)。需要说明的是，例如可以根据操作员OP选择了与远程操作装置20连接(协作)的作业机械40的时机或者操作员OP将切断杆从接通(ON)状态切换为断开(OFF)状态的时机等远程操作装置20的启动后的处理来适当发送该操作信号。

远程操作支援服务器10接收到操作信号时，向作业机械40请求发送图像(步骤111)。

在作业机械40中，实机控制装置400在接收到图像发送请求时，将由第二实机拍摄装置412b拍摄到的拍摄图像(第二拍摄图像)发送至远程操作支援服务器10(步骤511)。

当远程操作支援服务器10的支援处理元件101接收到由第二实机拍摄装置412b拍摄的图像(第二拍摄图像)时，生成合成图像(步骤112)，该合成图像中重叠有与配置在作业机械40的驾驶室454的指标部件对应的指标图像。

远程操作支援服务器10的支援处理元件101向远程操作装置20发送在步骤112中生成的合成图像(步骤113)。

当远程操作装置20接收到合成图像时，如图9所示，在远程输出接口220的图像输出装置221上显示合成图像。换言之，远程操作支援服务器10的支援处理元件101向远程操作装置20发送合成图像，在该远程操作装置20的远程输出接口220显示合成图像。

可以在图像输出装置221的任意的图像输出装置上显示合成图像，例如，也可以在中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212、下侧图像输出装置2213中的任一图像输出装置上显示合成图像。另外，可以跨越多个图像输出装置来显示合成图像。

这样，由于在远程输出接口220上显示在第二拍摄图像上重叠了指标图像的合成图像，例如，作业机械40的操作员OP能够一边目视指标图像，一边对作业机械40进行操作。因此，能够对从驾驶室454的外侧的视点操作作业机械40的操作员OP赋予适当的操作感。

对由远程操作支援服务器10的支援处理元件101进行的步骤112的合成图像生成处理的子例程进行说明。

远程操作支援服务器10的支援处理元件101在接收到第二拍摄图像的情况下，执行合成图像生成处理。

远程操作支援服务器10的支援处理元件101决定下述指标图像的延伸形态(步骤121)：使虚拟地表示构成驾驶室454的指标部件的指标图像重叠在第二拍摄图像上时的指标图像。

具体而言，远程操作支援服务器10的支援处理元件101通过从存储装置或数据库110中读出表示第二拍摄图像的在二维坐标系即第二图像坐标系中表示指标图像的延伸形态的点群的位置的位置数据，来识别第二拍摄图像中的指标图像的延伸形态、进而识别重叠形态。

例如，可以通过下述方式得到该位置数据：支援处理元件101基于实机坐标系(位置及姿势相对于作业机械40固定的三维坐标系)中的第一实机拍摄装置412a及第二实机拍摄装置412b各自的位置及姿势，将在由第一实机拍摄装置412a拍摄到的第一拍摄图像中映入有指标部件(例如，A柱(前柱)SF1、SF2及/或框等驾驶室454的构成部件当中包含于第一实机拍摄装置412a的拍摄范围的部件)的图像区域的至少一部分坐标变换成第二拍摄图像。

另外，也可以通过由操作人员OP指定指标图像在第二拍摄图像中的重叠的位置来决定指标图像重叠于第二拍摄图像的位置的处理。具体而言，操作员OP例如操作远程输入接口210对远程操作装置20指定并输入显示位置，从而设定显示位置。在决定该显示位置时，也可以由操作员OP经由远程输入接口210进行操作，来对基于从存储装置(数据库110)读出的位置数据而重叠于第二拍摄图像的指标图像的显示位置进行修正。

支援处理元件101选择预先指定的指标图像作为要重叠的图像(步骤122)。可以使用具有与指标部件对应的形态的图像作为指标图像。例如，在驾驶室454的构成部件当中可以由第一实机拍摄装置412a拍摄到的构成部件即指标部件是在驾驶室454的前方且沿上下方向延伸的支柱的情况下，指标图像可以采用与指标部件相同的形态，也可以是在第二拍摄图像中沿上下方向延伸的线、矩形状的图形等。另外，也可以在第二拍摄图像中重叠多个指标图像。例如，也可以通过将分别模拟性地表示作为指标部件的A柱SF1、SF2以及行驶杆2110的多个指标图像Img_SF1、Img_SF2以及Img_2110重叠至第二拍摄图像上来生成合成图像。这样，通过将模拟性地表示行驶杆2110的图像作为指标图像重叠到第二拍摄图像上，能够实现提高操作人员OP对相当于该第二拍摄图像的下方附近的存在于作业机械40周边的物体(例如，沙土等)在实际空间中的位置和/或姿势的识别精度。

另外，在作为驾驶室454的构成部件的指标部件是左右一对支柱SF1、SF2的情况下，也可以通过将模拟性地表示至少一方的支柱SFi(i＝1，2)的指标图像Img_SFi重叠于第二拍摄图像来生成合成图像。指标图像Img_SFi的形状或延伸形态也可与指标部件SFi的形状或延伸形态不同。例如，也可以将模拟性地表示成大致直线地延伸的指标部件SFi的指标图像Img_SFi的形状也可以是曲线形状、十字形状、圆形状或多边形状等。

操作员OP例如通过经由远程输入接口210对远程操作装置20执行指定的操作，能够设定合成图像中所包含的指标图像的形态(颜色、形状、图案或者作为它们的任意的组合的外观设计、以及动态外观设计和静态外观设计的不同形态等)。

支援处理元件101调整重叠于第二拍摄图像的指标图像的尺寸(步骤123)。具体而言，支援处理元件101基于在步骤121的重叠位置的决定处理中得到的信息，调整指标图像在第二拍摄图像中重叠的尺寸。可以根据第一拍摄图像和第二拍摄图像各自的像素数以及/或者倍率的不同，以第一拍摄图像中的一个像素与第二拍摄图像中的多个像素对应的方式进行坐标变换，也可以以第一拍摄图像中的多个像素与第二拍摄图像中的一个像素对应的方式进行坐标变换。

例如，在第一拍摄图像的倍率与第二拍摄图像的倍率为相同程度的情况下，支援处理部101将指标图像的尺寸调整成与映入于第一拍摄图像的指标部件是相同程度的尺寸。另外，例如在第二拍摄图像的倍率比第一拍摄图像的倍率高的情况下，支援处理部101调整指标图像的尺寸，以使映入第一拍摄图像的指标部件与该倍率相匹配地增大(或者变粗)。这样，通过重叠具有一定宽度的指标图像，可提高可视性。

因此，能够使指标图像与第二拍摄图像的倍率相对应地显示于远程输出接口220。因此，能够使操作员OP从合成图像中获取到恰当的距离感。

在决定了指标图像对第二拍摄图像的重叠方式的情况下(参照步骤121)，只要没有产生重叠方式的变更操作，就可以省略步骤121的处理。另外，在选择了重叠于第二拍摄图像的指标图像的情况下(参照步骤122)，只要没有进行指标图像的重叠方式的变更操作，就可以省略步骤122的处理。并且，在对重叠于第二拍摄图像的指标图像的尺寸进行了调整的情况下(参照步骤123)，只要没有指标图像的尺寸调整操作，则可省略步骤123的处理。

另外，在识别出第二实机拍摄装置412b的照相机的倍率(透镜的焦距)的情况下，支援处理元件101也可以按与第二拍摄图像的倍率(透镜的焦距)对应的尺寸显示指标图像。通过以这种方式进行处理，能够简化上述处理，从而能够实现降低处理负荷。

另外，也可以以避免第二拍摄图像的可视性降低的方式将指标图像重叠于该第二拍摄图像来生成合成图像。例如，指标图像也可以是可视觉确认拍摄图像中的至少一部分重叠区域的具有透明性的图像、或者表示指标部件的轮廓线以及棱线中的至少一方的线图。此外，也可以通过生成间断地显示指标图像的动态的合成图像，来避免该指标图像所重叠的区域的第二拍摄图像的可视性的降低。

并且，优选的是，指标图像在第二拍摄图像的上下方向上延伸。由此，即使在上部回转体450回转时，也能够实现提高操作员OP对与动态地表示该上部回转体450的周围情形的第二拍摄图像相当的空间的识别精度。

也可以根据操作员OP的意愿来进行指标图像的尺寸调整。例如，操作员OP也可以通过操作远程输入接口210来设定合成图像中的该指标部件的左右方向的尺寸、合成图像中的该指标部件在上下方向上的尺寸、合成图像中的该指标部件的倾斜(指标图像的上下方向的端部在左右方向上的位置)。

支援处理元件101将在步骤123中进行了尺寸调整的指标图像重叠于在步骤121中决定的第二拍摄图像的位置，从而生成合成图像(步骤124)。

支援处理元件101通常可以不在远程输出接口220上显示合成图像，而是在开始对作业机械40进行回转操作时，在远程输出接口220上显示合成图像即可。具体而言，例如，也可以在开始对作业机械40进行了输入操作的情况下、或者在开始对作业机械40进行了输入操作且经过了规定时间的情况下，使远程输出接口220显示合成图像。作为输入操作，例如可以举出：操作员OP把持了使作业机械40回转的杆的情况、在进行了使该杆倾倒等操作的情况等。

另外，支援处理元件101通常也可以不在远程输出接口220上显示合成图像，而是在作业机械40的回转动作开始之后这一时机、或者在作业机械40的回转动作开始后且经过了规定时间的情况下，在远程输出接口220上显示合成图像即可。由此，操作员OP可以在想要进行显示的时机显示合成图像。

另外，在对作业机械40的回转操作结束的情况下，支援处理元件101可以使远程输出接口220停止显示合成图像。具体而言，例如，在对作业机械40的输入操作结束这一时机、对作业机械40的输入操作结束且经过了规定时间的情况下，支援处理元件101可以使远程输出接口220停止显示合成图像。作为输入操作，例如可以举出操作员OP放开使作业机械40回转的杆的情况等。

另外，也可以在作业机械40的回转动作结束这一时机、作业机械40的回转动作结束且经过了规定时间的情况下，使远程输出接口220停止显示合成图像。通过该方式，能够防止在回转操作结束后也一直显示合成图像的情况。

在上部回转体450相对于下部行驶体430回转时，也可以是该回转即将开始之前的作为指标图像的第一指标图像以及作为第一指标图像向与该回转方向相反的方向位移后的结果的第二指标图像双方重叠于第二拍摄图像。

特别是，比如从一个场所向其他场所装载沙土、砂砾等的装载作业那样，需要反复进行上部回转体450相对于下部行驶体430的往复回转的情况下，可以实现提高操作人员OP以合成图像所包含的第一指标图像和/或第二指标图像为基准而对作业机械40周边的空间的识别精度。也可以仅将第二指标图像重叠于第二拍摄图像。

图像输出装置221可以是除了使远程输出接口220输出合成图像之外、还可以进一步输出第一拍摄图像。由于在有构成驾驶室454的指标部件映入的第一拍摄图像以及在第二拍摄图像上重叠有模拟性地表示该指标部件的指标图像的合成图像双方中会映入空间识别的指标或基准，因此，操作员OP能够高精度地识别上部回转体450的回转方式，进而能够高精度地识别该回转中的作业机械40的周边空间。

另外，在上述的实施例中，说明了地面映入于第一拍摄图像和第二拍摄图像的形态。但是，也可以将本发明适用于各种摄影角度的拍摄图像，而无需在第一拍摄图像及第二拍摄图像中映入地面。例如，如图10所示，也可以将驾驶室454的车顶的窗框WF作为指标部件重叠于第二拍摄图像。

根据这样的方式，例如，比如在频繁使用动臂461的升降动作这种上下方向的移动操作较多的情况下等，能够提高第二拍摄图像的可视性。另外，由于窗框WF作为指标部件重叠于第二拍摄图像，因此能够让操作员OP容易地掌握摄影角度并不是向下的情况。

实施例2

在上述的实施例中，在合成图像生成处理的子例程中，决定指标图像重叠于第二拍摄图像的位置的步骤121的处理通过下述方式进行：从该存储装置(数据库110)读出预先存储于存储装置(数据库110)的指标图像重叠于第二拍摄图像的位置数据。但是，也可以基于第一拍摄图像中的规定方向的基准对象物的尺寸及位置关系、以及第二拍摄图像中的该规定方向的基准对象物的尺寸来生成该位置数据。

具体而言，支援处理元件101例如获取映入第一拍摄图像的基准对象物的第一规定方向的尺寸、该基准对象物与指标部件在第一规定方向上的间隔以及映入第二拍摄图像的基准对象物的与第一规定方向对应的第二规定方向的尺寸。第一规定方向与第二规定方向也可以被定义为在实际空间中平行。

具体而言，如图5所示，在将作业机械40的铲斗465设定成基准对象物、将第一拍摄图像的左右方向设定成第一规定方向的情况下，支援处理元件101获取铲斗465的左右方向的尺寸D1及从铲斗465的端点到左右方向的A柱SFi的间隔D2。

支援处理元件101获取与映入于第二拍摄图像的基准对象物的第一规定方向对应的第二规定方向的尺寸。具体而言，如图6所示，在第二规定方向为第二拍摄图像中的左右方向的情况下，支援处理元件101识别铲斗465的左右方向的尺寸D3。

支援处理元件101以使映入第一拍摄图像的基准对象物的第一规定方向的尺寸D1与基准对象物和指标部件在第一规定方向上的间隔D2的关系(比率)同映入第二拍摄图像的基准对象物的尺寸D3与基准对象物和虚拟地表示指标部件的指标图像在第二规定方向上的间隔的关系相匹配的方式，决定该指标图像的重叠方式，并将其作为位置数据存储于存储装置(数据库110)。

根据这种方式，能够通过简单的处理来决定指标图像重叠于第二拍摄图像的位置，因而能够实现减少处理负荷。

在上述实施方式中，通过将指标图像重叠于第二拍摄图像的方式来生成合成图像，但在其他实施方式中，也可以通过将指标图像重叠于第一拍摄图像的方式来生成合成图像。例如，在为了提高第一实机拍摄装置412a的照相机的倍率而致使指标部件不映入于第一拍摄图像中的情况下，也可以将在第一指标图像中映入指标部件时模拟性地表示该指标部件的指标图像重叠于第一拍摄图像来生成合成图像。

在上述实施方式中，远程操作支援系统由远程操作支援服务器10构成。但在其他实施方式中，远程操作支援系统也可以由远程操作装置20(远程控制装置200)及/者作业机械40(实机控制装置400)构成。远程操作系统也可以由(1)远程操作支援服务器10、远程操作装置20以及作业机械40、(2)远程操作支援服务器10以及远程操作装置20、(3)远程操作支援服务器10以及作业机械40、或者(4)远程操作装置20以及作业机械40构成。在该情况下，构成远程操作支援系统的多个装置利用相互通信功能一边进行协作一边执行一系列的处理。

符号说明

10…远程操作支援服务器

101…支援处理元件

20…远程操作装置

220…远程输出接口

40…作业机械

412a…第一实机拍摄装置

412b…第二实机拍摄装置。

Claims (7)

1.一种远程操作支援系统，其特征在于，

使合成图像显示于用于远程操作作业机械的远程操作装置的远程输出接口上，

其中，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。

2.根据权利要求1所述的远程操作支援系统，其特征在于，

所述指标图像是可视觉确认所述拍摄图像中的至少一部分重叠区域的具有透明性的图像、或者表示所述指标部件的轮廓线以及棱线中的至少一方的线图。

3.根据权利要求1或2所述的远程操作支援系统，其特征在于，

所述指标图像以与所述拍摄图像的倍率对应的尺寸进行显示。

4.根据权利要求1～3中任一项所述的远程操作支援系统，其特征在于，

在所述作业机械中的搭载有所述拍摄装置的上部回转体相对于下部行驶体的回转操作开始的情况下，使所述合成图像显示于所述远程输出接口。

5.根据权利要求1～4中任一项所述的远程操作支援系统，其特征在于，

在所述作业机械中的搭载有所述拍摄装置的上部回转体相对于下部行驶体的回转操作结束的情况下，使所述远程输出接口停止对所述合成图像的显示。

6.一种远程操作支援复合系统，其特征在于，

由权利要求1至5中任一项所述的远程操作支援系统、以及所述作业机械和所述远程操作装置中的至少一方构成。

7.一种远程操作支援方法，其特征在于，包括：

使合成图像显示于用于远程操作作业机械的远程操作装置的远程输出接口上的步骤，

其中，所述合成图像是在由搭载于所述作业机械且能够拍摄该作业机械的周围的拍摄装置拍摄到的拍摄图像上重叠与配置于所述作业机械的驾驶室的指标部件对应的指标图像而成。