CN118525258A - 信息处理装置、信息处理方法、信息处理程序和移动装置 - Google Patents
信息处理装置、信息处理方法、信息处理程序和移动装置 Download PDFInfo
- Publication number
- CN118525258A CN118525258A CN202280088118.7A CN202280088118A CN118525258A CN 118525258 A CN118525258 A CN 118525258A CN 202280088118 A CN202280088118 A CN 202280088118A CN 118525258 A CN118525258 A CN 118525258A
- Authority
- CN
- China
- Prior art keywords
- path
- orientation
- followed
- mobile device
- end point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 82
- 230000006854 communication Effects 0.000 description 82
- 238000000034 method Methods 0.000 description 44
- 230000033001 locomotion Effects 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000010391 action planning Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
[问题]使移动装置连续且适当地跟随要跟随的对象。[解决方案]该信息处理装置设置有:方向确定单元,该方向确定单元用于确定要跟随的对象的方向;以及路径生成单元,该路径生成单元基于要跟随的对象的方向来确定路径终点的方向并因此生成路径,该路径终点是用于移动装置跟随要跟随的对象的路径的终点。该信息处理方法:确定要跟随的对象的方向;并且基于要跟随的对象的方向,确定路径终点的方向并因此生成路径,该路径终点是用于移动装置跟随要跟随的对象的路径的终点。
Description
技术领域
本公开内容涉及跟随要跟随的对象的移动装置,以及涉及信息处理装置、信息处理方法和控制移动装置的信息处理程序。
背景技术
跟随被跟随移动对象的移动装置是已知的。根据专利文献1,移动机器人的取向和要跟随的对象(通常是,人;第0021段)的取向相互匹配(第0033段),并且移动机器人与要跟随的对象之间的相对位置关系被保持,使得在无需执行不必要的迂回移动或转向操作的情况下实现自然的跟随操作(第0026段)。
引用列表
专利文献
专利文献1:日本专利申请特许公开第2008-234404号
发明内容
技术问题
例如,当要跟随的对象转弯时,如果移动装置针对要跟随的对象制定路径,以在视野中心捕获要跟随的对象,则存在以下可能性:例如,移动装置丢失要跟随的对象、被卡住、与转角相撞或最终无法跟随要跟随的对象。
鉴于如上所述的情况,期望移动装置适当地继续跟随要跟随的对象。
问题的解决方法
根据本公开内容的一个实施方式的信息处理装置包括:取向确定单元,其确定要跟随的对象的取向;以及路径生成单元,其基于要跟随的对象的取向来确定路径终点的取向并生成路径,路径终点是用于移动装置跟随要跟随的对象的路径的终点。
根据该实施方式,移动装置基于要跟随的对象的取向(即,要跟随的对象将要移动的方向)而不是要跟随的对象当前正在移动的方向来生成移动装置的路径。这使得移动装置可以通过在视野范围内连续捕获要跟随的对象来连续跟随要跟随的对象而不丢失它,并且如果移动装置丢失要跟随的对象,也能快速重新发现要跟随的对象。
路径生成单元可以确定路径终点的取向,使得路径终点的取向与要跟随的对象的取向相匹配。
根据该实施方式,移动装置可以生成不丢失要跟随的对象的路径(在视野内连续包括要跟随的对象),而不是用于追踪要跟随的对象的移动路径的路径。
当移动装置的移动方向与要跟随的对象的取向之间的差值大于阈值时,路径生成单元可以生成曲线路径作为路径。
根据该实施方式,即使要跟随的对象基本上直线移动,移动装置也可以在无需追踪移动路径的情况下,以大弧的方式连续跟随要跟随的对象以在视野内连续捕获移动装置。
信息处理装置还可以包括位置估计单元,位置估计单元确定要跟随的对象的估计位置,并且路径生成单元可以基于估计位置来确定路径终点的位置。
根据该实施方式,由于路径终点的位置在估计位置处确定,所以可以生成不丢失要跟随的对象(跟随对象连续包括在视野内)的路径。
位置估计单元可以从由移动装置捕获的图像中检测要跟随的对象,并且路径生成单元可以基于要跟随的对象的检测结果来确定移动装置的速度。
路径生成单元可以根据丢失要跟随的对象期间的时间长度来增加移动装置的速度。
因此,移动装置的速度随着丢失要跟随的对象期间的时间长度变长而增加,使得移动装置可以很快地重新发现要跟随的对象。
路径生成单元可以生成通向路径终点的贝塞尔(Bezier)曲线,通过多个分割点将贝塞尔曲线进行分割,生成多个子曲线路径,每个子曲线路径包括彼此相邻的两个分割点,并且生成包括多个子曲线路径的路径作为路径。
贝塞尔曲线是连接起点和终点的曲线,并且是基于起点的位置和取向以及终点的位置和取向来确定的。使用贝塞尔曲线生成路径使得可以将路径终点的取向设置为要跟随的对象的取向。
当移动装置的取向和移动方向彼此不关联时,路径生成单元可以生成多个子曲线路径,使得每个子曲线路径的终点的取向与连接子曲线路径的终点和估计位置的直线的取向相匹配。
因此,移动装置在聚焦于要跟随的对象的同时以类似于横向运动(螃蟹行走)的方式移动,使得移动装置不易丢失要跟随的对象,并且可以提高跟随的连续性。
当移动装置的取向和移动方向彼此关联时,路径生成单元可以将贝塞尔曲线确定为路径。
将贝塞尔曲线设置为路径,使得可以将路径终点的取向设置为要跟随的对象的取向。
路径生成单元可以基于每个子曲线路径的终点的取向与该终点的切线的取向之间的差值来确定在多个子曲线路径上移动的移动装置的速度。
因此,如果移动装置的取向与要跟随的对象的取向之间的差值变大,则移动装置更有可能丢失要跟随的对象。根据该实施方式,移动装置基于丢失要跟随的对象的难易度来确定移动装置的速度,使得移动装置可以在视野范围内连续捕获要跟随的对象,不易丢失要跟随的对象,并且可以提高跟随的连续性。
路径生成单元可以确定移动装置的速度,使得在多个子曲线路径上移动的移动装置的速度随着每个子曲线路径的终点的取向与该终点的切线的取向之间的差值变大而增加。
例如,当要跟随的对象位于转角的前方附近时,取向上的差值变大。根据该实施方式,可以增加通向转角的子曲线路径上的速度。因此,移动装置可以很快地到达转角的附近,并执行转向运动,使得移动装置可以在视野范围内连续捕获要跟随的对象,要跟随的对象不易丢失,并且可以提高跟随的连续性。
取向确定单元可以基于由移动装置捕获的图像来确定要跟随的对象的取向。
例如,取向确定单元可以基于根据图像计算出的要跟随的对象的骨骼来确定要跟随的对象的取向。
根据本公开内容的一个实施方式的信息处理方法包括:确定要跟随的对象的取向;基于要跟随的对象的取向来确定路径终点的取向并生成路径,路径终点是用于移动装置跟随要跟随的对象的路径的终点。
根据本公开内容的一个实施方式的信息处理程序使信息处理装置作为以下单元来操作:取向确定单元,其确定要跟随的对象的取向;以及路径生成单元,其基于要跟随的对象的取向来确定路径终点的取向并生成路径,路径终点是用于移动装置跟随要跟随的对象的路径的终点。
根据本公开内容的一个实施方式的移动装置包括:移动机构;取向确定单元,其确定要跟随的对象的取向;路径生成单元,其基于要跟随的对象的取向来确定路径终点的取向并生成路径,路径终点是用于跟随要跟随的对象的路径的终点;以及跟随控制单元,其控制移动机构在路径上移动。
附图说明
[图1]图1示意性地示出了该实施方式的总体概要。
[图2]图2示出了移动装置的配置。
[图3]图3示出了移动装置的操作流程。
[图4]图4示出了位置估计单元的配置。
[图5]图5示出了计算骨骼的方法。
[图6]图6示出了空间位置估计单元的配置。
[图7]图7示出了当移动装置的取向和移动方向彼此不关联时生成曲线路径的方法的流程。
[图8]图8示意性地示出了当移动装置的取向和移动方向彼此不关联时生成曲线路径的方法。
[图9]图9示出了当移动装置的取向和移动方向彼此关联时生成曲线路径的方法的流程。
[图10]图10示意性地示出了当移动装置的取向和移动方向彼此关联时生成曲线路径的方法。
[图11]图11是示出车辆控制系统的配置示例的框图。
[图12]图12是示出感测区域的示例的图。
具体实施方式
在下文中,将参照附图描述本公开内容的实施方式。
1.该实施方式的总体概要
图1示意性地示出了该实施方式的总体概要。
根据本公开内容的一个实施方式的移动装置1跟随移动的要跟随的对象2。移动装置1是自动驾驶车辆、自动导引车辆(AGV)、机器人、宠物型四足机器人、无人机等。
要跟随的对象2是人、动物、车辆、AGV、机器人、宠物型四足机器人、无人机等。要跟随的对象2可以是只要其在移动的同时改变取向的任何对象(通常,其在面对移动方向的状态下移动)。要跟随的对象2可以是生命物质,或者可以不是生命物质。在该实施方式中,将描述要跟随的对象2是人(行人)的示例。
例如,要跟随的对象2移动的环境包括墙壁3,并且墙壁3形成转角4,转角4是在向右方向上具有直角(90度)的角。要跟随的对象2从转角4的前方5开始移动(行走),并且移动至转角4的后方6。由于要跟随的对象2是人,所以人可以在不以直角来转过转角4的情况下,从前方5通过靠近转角4的位置基本上直线地移动至后方6(箭头A)。此后,要跟随的对象2从转角4的后方6进一步移动至右方7(箭头B)。
移动装置1跟随以这种方式移动的要跟随的对象2。具体地,移动装置1确定要跟随的对象2的估计位置2A,生成朝向估计位置2A的路径,并在生成的路径上移动。如果移动装置1移动以追踪要跟随的对象2的移动路径(箭头A),则存在以下可能性:移动装置1与转角4碰撞,或者例如由于在转角4的附近减速,并且然后丢失(失去)要跟随的对象2,移动装置1无法在视野8中捕获被转角4遮挡(隐藏)的要跟随的对象2。由于移动装置1在转角4的前方丢失了要跟随的对象2,则存在以下可能性:移动装置1最终未能跟随从后方6进一步移动至右方7(箭头B)的要跟随的对象2。
鉴于上述情况,在该实施方式中,移动装置1在视野范围内连续捕获要跟随的对象2,并且因此在不丢失要跟随的对象2的情况下连续跟随要跟随的对象2。此外,即使移动装置1丢失了要跟随的对象2,移动装置1也会很快地重新发现要跟随的对象2。换言之,在该实施方式中,移动装置1不生成用于追踪要跟随的对象2的移动路径(箭头A)的路径,而是生成不丢失要跟随的对象2的路径(要跟随的对象2连续被包括在视野中)(箭头C)。在该示例中,即使要跟随的对象2从前方5通过靠近转角4的位置基本上直线地移动至后方6(箭头A),移动装置1也以大弧(箭头C)的形式连续跟随要跟随的对象2,以在无需追踪移动路径(箭头A)的情况下连续在视野中捕获移动装置1。为了实现这一点,移动装置1基于要跟随的对象2的取向而不是要跟随的对象2当前移动的方向来生成移动装置1的路径(箭头C)(即,要跟随的对象2将要移动的方向)。
2.移动装置的配置
图2示出了移动装置的配置。
移动装置1包括:信息处理装置100、检测装置组200和移动机构300。
当中央处理单元(CPU)将记录在只读存储器(ROM)上的信息处理程序加载至随机存取存储器(RAM)并执行该程序时,信息处理装置100作为以下单元来操作:自身位置估计单元110、位置估计单元120、取向确定单元130、路径生成单元140和跟随控制单元150。
检测装置组200包括:作为外部传感器的成像装置210和测距装置220以及内部传感器230。
成像装置210例如是包括图像传感器的RGB摄像装置,并且对环境进行成像以生成图像。
测距装置220具有方向性,并获取用于估计移动装置1的位置和取向的外部数据。具体地,测距装置220基于从环境接收到的信号来测量距离并获取距离数据。更具体地,测距装置220是以下类型的传感器(有源传感器):将电磁波、光、声音等的信号输出至环境并接收反射波。例如,测距装置220是飞行时间(ToF)传感器、LiDAR、毫米波雷达和/或超声波声纳。例如,测距装置220生成诸如点云、激光和/或深度图像的测距数据。
内部传感器230获取用于估计移动装置1的位置和取向的内部数据。具体地,内部传感器230获取诸如移动装置1的马达的角速度、加速度和/或旋转角度的数据。内部传感器230例如是惯性测量单元(IMU)和/或旋转角度编码器。
移动机构300包括:多个轮胎或多个腿部、驱动这些轮胎或腿部的致动器等,并且自动地在环境中移动。
移动装置1可以是移动使得移动装置1的定向和移动方向彼此关联的装置,例如,如在两轮驱动车辆中。替选地,移动装置1可以是移动使得移动装置1的定向和移动方向彼此不关联的装置,例如,如在摄像装置平台或麦克纳姆(mecanum)轮中。另外,移动装置1可以选择性地实现移动装置1的定向和移动方向彼此关联的移动以及它们彼此不关联的移动。
3.移动装置的操作流程
图3示出了移动装置的操作流程。
自身位置估计单元110从内部传感器230获取诸如移动装置1的马达的角速度、加速度和/或旋转角度的内部数据(步骤S101)。自身位置估计单元110基于内部数据来估计移动装置1的自身位置、移动速度、移动方向、取向(姿势)等(步骤S102)。
自身位置估计单元110获取由作为外部传感器的成像装置210捕获的图像。自身位置估计单元110获取由作为外部传感器的测距装置220生成的诸如点云、激光和/或深度图像的测距数据(步骤S103)。
自身位置估计单元110基于由成像装置210获取的图像和由测距装置220生成的测距数据来生成三维环境地图,并将自身位置反映在环境地图中(步骤S104)。环境地图例如是占用网格地图(占用地图)。占用网格地图通过使用堆叠多个体素(立方体)的三维位置关系来表示环境中存在的对象的空间分布,并且通过使用每个体素的色调来表示每个体素中存在对象的概率(占用概率)。
位置估计单元120从由成像装置210获取的图像中检测要跟随的对象2,确定要跟随的对象2的估计位置2A,并且如果丢失要跟随的对象2,则在丢失要跟随的对象2期间进行计时(步骤S105)。取向确定单元130基于由成像装置210获取的图像来确定要跟随的对象2的取向(步骤S105)。下面将描述通过位置估计单元120来确定要跟随的对象2的估计位置2A的方法的具体示例。
图4示出了位置估计单元的配置。
位置估计单元120包括要跟随的对象识别单元121和空间位置估计单元122。要跟随的对象识别单元121从由成像装置210获取的图像中检测用作包括要跟随的对象2的区域的感兴趣的区域(ROI,关注区域),并计算要跟随的对象2的骨骼(每个关节点的坐标)。取向确定单元130基于由要跟随的对象识别单元121计算的骨骼来确定要跟随的对象2的取向。要跟随的对象2的取向是指诸如肩部或臀部的身体部位的取向。
图5示出了计算骨骼的方法。
要跟随的对象识别单元121通过深度学习检测要跟随的对象2的骨架,获得左右肩关节和髋关节对的法向量,计算平均值,并检测要跟随的对象2的取向。
图6示出了空间位置估计单元的配置。
空间位置估计单元122包括当前位置计算单元122A和运动模型估计单元122B。当前位置计算单元122A或空间位置估计单元122基于来自测距装置220的测距数据、来自要跟随的对象识别单元121的ROI和骨骼以及来自取向确定单元130的要跟随的对象2的取向,通过传感器融合来计算作为要跟随的对象2的当前空间位置(每帧)的观测位置。运动模型估计单元122B对来自当前位置计算单元122A的每帧观测位置进行累积,并基于累积的观测位置来估计运动模型。运动模型估计单元122B通过粒子滤波器或卡尔曼滤波器来计算要跟随的对象2的当前位置、未来预测位置、方向和运动状态。
现在返回参照流程图。路径生成单元140生成用于移动装置1跟随要跟随的对象2的路径。路径包括:路径起点(移动装置1的当前位置)、路径终点(移动装置1的目标位置、要跟随的对象2的估计位置2A)、连接这两个点和终点(移动装置1的目标位置)的直线或曲线,以及连接这两个点的直线或曲线。首先,路径生成单元140计算移动装置1的移动方向(步骤S102)与要跟随的对象2的取向之间的差值(步骤S105)(步骤S106),并确定该差值是否等于或小于阈值(步骤S107)。
差值等于或小于阈值意味着移动装置1的移动方向和要跟随的对象2的取向是相似的方向。在这种情况下(步骤S107,是),路径生成单元140确定移动装置1是否已完成在最后一刻生成的曲线路径上的移动(步骤S108)。如果移动装置1已完成在最后一刻生成的曲线路径上的移动(步骤S108,是),则路径生成单元140生成直线路径作为用于移动装置1跟随要跟随的对象2的路径(步骤S110)。
同时,差值大于阈值意味着移动装置1的移动方向与要跟随的对象2的取向有很大程度的不同。在这种情况下(步骤S107,否),并且如果移动装置1尚未完成在最后一刻生成的曲线路径上的移动(步骤S108,否),则路径生成单元140生成曲线路径作为用于移动装置1跟随要跟随的对象2的路径(步骤S110至步骤S112)。下文中,将具体描述通过路径生成单元140生成曲线路径的方法。
路径生成单元140针对以下情况通过不同的方法生成曲线路径:移动装置1的取向和移动方向彼此不关联(能够被独立地控制)的情况(步骤S110,是),以及移动装置1的取向和移动方向彼此关联(不能够被独立地控制)的情况(步骤S110,否)。换言之,路径生成单元140根据移动装置1的控制特性执行生成曲线路径的不同方法。换言之,即使路径起点的位置相同(移动装置1的当前位置的位置)并且路径终点的位置相同(要跟随的对象2的估计位置2),路径生成单元140也根据移动装置1的控制特性来生成不同的曲线路径。
图7示出了当移动装置的取向和移动方向彼此不关联时生成曲线路径的方法的流程。图8示意性地示出了当移动装置的取向和移动方向彼此不关联时生成曲线路径的方法。
首先,将描述当移动装置1的取向和移动方向彼此不关联时生成曲线路径的方法。路径生成单元140确定路径起点401(移动装置1的当前位置)的位置和取向以及路径终点402(移动装置1的目标位置)的位置和取向。路径起点401的位置和取向是移动装置1的当前位置的位置和移动装置1当前取向。路径终点402的位置是要跟随的对象2的估计位置2A(步骤S105)。路径生成单元140基于要跟随的对象2的取向来确定路径终点402的取向。(步骤S105)。具体地,路径生成单元140确定路径终点402的取向,使得路径终点402的取向与要跟随的对象2的取向相匹配。路径生成单元140基于路径起点401的位置和取向以及路径终点402的位置和取向来生成从路径起点401通向路径终点402的贝塞尔曲线400(步骤S201)。贝塞尔曲线是基于起点的位置和取向以及终点的位置和取向确定的连接起点和终点的曲线。
路径生成单元140通过多个分割点对生成的贝塞尔曲线400进行分割,以生成多个子曲线路径,每个子曲线路径包括彼此相邻的两个分割点(步骤S202)。在该示例中,路径生成单元140生成从路径起点401通向第一分割点404的第一子曲线路径406,从第一分割点404通向第二分割点405的第二子曲线路径407,以及从第二分割点405通向路径终点402的第三子曲线路径408。
路径生成单元140生成多个子曲线路径,使得每个子曲线路径的终点的取向与连接子曲线路径的终点和要跟随的对象2的估计位置2A(即,路径终点402)的直线的取向相匹配。换言之,路径生成单元140改变每个子曲线路径的终点的取向,并且然后生成与每个子曲线路径相对应的贝塞尔曲线以更新每个子曲线路径。
在该示例中,路径生成单元140不改变路径起点401的位置和取向以及第一分割点404的位置,而是将第一分割点404的取向改变成从第一分割点404通向路径终点402的直线410的取向。然后,路径生成单元140生成从路径起点401通向第一分割点404的贝塞尔曲线,并将生成的贝塞尔曲线设置为第一子曲线路径406。路径生成单元140不改变第一分割点404的位置和第二分割点405的位置,将第一分割点404的取向设置为改变后的取向,并且将第二分割点405的取向改变成从第二分割点405通至路径终点402的直线411的取向。然后,路径生成单元140生成从第一分割点404通向第二分割点405的贝塞尔曲线,并将生成的贝塞尔曲线设置为第二子曲线路径407(步骤S203)。路径生成单元140生成包括更新后的第一子曲线路径406和第二子曲线路径407以及第三子曲线路径408的路径,该路径作为用于移动装置1跟随要跟随的对象2的路径。因此,移动装置1在聚焦于要跟随的对象2的同时以类似于横向运动(螃蟹行走)的方式移动,使得移动装置1不易丢失要跟随的对象2,并且可以提高跟随的连续性。
另外,路径生成单元140确定在路径上移动的移动装置1的速度(步骤S204)。路径生成单元140基于要跟随的对象2的检测结果来确定移动装置1的速度。例如,路径生成单元140根据丢失要跟随的对象2期间的时间长度来增加移动装置1的速度。具体地,路径生成单元140随着丢失要跟随的对象2期间的时间长度变长而增加移动装置1的速度,以便移动装置1更快地重新发现要跟随的对象2。注意,路径生成单元140将等于或低于可以由装置主体控制的安全速度的速度确定为跟随速度增加时的速度。此外,路径生成单元140仅需要根据距要跟随的对象2的距离等来确定移动装置1的速度。例如,随着距要跟随的对象2的距离变长,移动装置1的速度增加,使得不易丢失要跟随的对象2。
图9示出了当移动装置的取向和移动方向彼此关联时生成曲线路径的方法的流程。图10示意性地示出了当移动装置的取向和移动方向彼此关联时生成曲线路径的方法。
接下来,将描述当移动装置1的取向和移动方向彼此关联时生成曲线路径的方法(步骤S112)。路径生成单元140通过与上述方法类似的方法生成从路径起点401通向路径终点402的贝塞尔曲线400(步骤S201),并且生成多个子曲线路径(从路径起点401通向第一分割点404的第一子曲线路径406、从第一分割点404通向第二分割点405的第二子曲线路径407、以及从第二分割点405通向路径终点402的第三子曲线路径408)(步骤S202)。
如果移动装置1的取向和移动方向彼此不关联,则路径生成单元140生成多个子曲线路径的贝塞尔曲线,并连接这些贝塞尔曲线以更新路径(步骤S203和步骤S204)。另一方面,如果移动装置1的取向和移动方向彼此关联,则路径生成单元140将贝塞尔曲线400(步骤S201)确定为路径。
路径生成单元140计算每个子曲线路径的终点的切线的取向。在该示例中,路径生成单元140计算第一分割点404的切线409相对于第一子曲线路径406的取向以及第二分割点405的切线403相对于第二子曲线路径407的取向,第一分割点404是第一子曲线路径406的终点,第二分割点405是第二子曲线路径407的终点。
路径生成单元140计算每个子曲线路径的终点的取向与该终点的切线的取向之间的差值(步骤S205)。在该示例中,路径生成单元140计算作为第一子曲线路径406的终点的第一分割点404的取向与切线409的取向之间的差值。路径生成单元140计算作为第二子曲线路径407的终点的第二分割点405的取向和切线403的取向。
路径生成单元140基于每个子曲线路径的终点的取向与该终点的切线的取向之间的差值来确定移动装置1在多个子曲线路径上移动的速度(步骤S206)。换言之,路径生成单元140根据每个子曲线路径的终点的取向,使移动装置1在每个子曲线路径上的速度彼此不同。具体地,路径生成单元140确定移动装置1的速度,使得移动装置1在多个子曲线路径上移动的速度随着每个子曲线路径的终点的取向与该终点的切线的取向之间的差值变大而增加。当要跟随的对象2位于转角4的前方附近时,取向上的差值增大。这使得可以增加在通向转角4的子曲线路径上的速度。因此,移动装置1可以很快地到达转角4附近并执行转向运动,使得移动装置1可以在视野8的范围内连续捕获要跟随的对象2,不易丢失要跟随的对象2,并且可以提高跟随的连续性。
以这种方式,如果移动装置1的取向和移动方向彼此关联,则路径生成单元140将贝塞尔曲线400确定为路径,并且然后使用于路径中包括的子曲线路径406、子曲线路径407和子曲线路径408的速度彼此不同。同样在这种情况下,路径生成单元140随着丢失要跟随的对象2期间的时间长度变长而增加移动装置1的速度,以便移动装置1更快地重新发现要跟随的对象2(步骤S207)。
下面的控制单元150控制移动机构300,使得移动装置1以由路径生成单元140确定的速度在由路径生成单元140确定的路径上移动(步骤S113)。这使得移动装置1可以在视野8的范围内连续捕获要跟随的对象2,使得不易丢失要跟随的对象2,并且可以提高跟随的连续性。
4.结论
根据该实施方式,移动装置1基于要跟随的对象2的取向(即,要跟随的对象2将要移动的方向)而不是要跟随的对象2当前移动的方向来生成移动装置1的路径(箭头C)。这使得移动装置1可以在视野8的范围内连续捕获要跟随的对象2,并且因此在不丢失要跟随的对象2的情况下连续跟随要跟随的对象2,并且即使移动装置1丢失了要跟随的对象2,也可以很快地重新发现要跟随的对象2。
5.修改示例
在上述实施方式中,移动装置1包括:信息处理装置100、检测装置组200和移动机构300。除了上述内容之外,移动装置1可以包括:检测装置组200和移动机构300,以及能够无线通信的外部信息处理装置100,外部信息处理装置100可以基于移动装置1的检测装置组200的检测结果来生成移动装置1的路径,并将生成的路径提供至移动装置1。替选地,移动装置1可以包括移动机构300,以及能够无线通信的外部信息处理装置100,外部信息处理装置100可以基于外部检测装置组200的检测结果来生成移动装置1的路径,并将生成的路径提供至移动装置1。
6.当移动装置是自动驾驶车辆时的配置示例
将描述当移动装置1是自动驾驶车辆时的配置示例。
图11是示出作为应用本技术的移动装置控制系统的示例的车辆控制系统11的配置示例的框图。
车辆控制系统11设置在车辆1中,并且执行与车辆1的行驶辅助和自动驾驶有关的处理。
车辆控制系统11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助和自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。
车辆控制ECU 21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助和自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此可通信地连接。通信网络41例如包括:符合数字双向通信标准的车载通信网络、总线等,例如,控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)和以太网(注册商标)。可以取决于要发送的数据的类型来选择性地使用通信网络41。例如,可以将CAN应用于与车辆控制有关的数据,并且可以将以太网应用于大容量数据。注意,在一些情况下,车辆控制系统11的各单元使用假设相对短距离通信的无线通信(例如,近场通信(NFC)和蓝牙(注册商标))直接彼此连接,而不使用通信网络41。
注意,当车辆控制系统11的每个单元经由通信网络41执行通信时,在下文中省略对通信网络41的描述。例如,当车辆控制ECU 21和通信单元22经由通信网络41执行通信时,其被简单地描述成车辆控制ECU 21和通信单元22执行通信。
车辆控制ECU 21例如包括:诸如中央处理单元(CPU)和微处理单元(MPU)的各种处理器。车辆控制ECU 21控制车辆控制系统11的功能的全部或一部分。
通信单元22执行与车辆内部和外部的各种装置、其他车辆、服务器、基站等的通信,并发送和接收各种类型的数据。此时,通信单元22可以使用多种通信方法执行通信。
将示意性地描述可以由通信单元22执行的与车辆的外部的通信。通信单元22通过例如诸如第五代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)的无线通信方法,经由基站或接入点执行与外部网络上的服务器(下文中称为外部服务器)等的通信。通信单元22通过其执行通信的外部网络例如是因特网、云网络或特定于企业经营者的网络。由通信单元22针对外部网络执行的通信方法不受特别地限制,只要该通信方法是能够以预定通信速度或更高的速度且在预定距离或更大的距离执行数字双向通信的无线通信方法即可。
此外,例如,通信单元22可以通过使用对等(P2P)技术来执行与位于本车辆附近的终端的通信。位于本车辆附近的终端例如是:安装在以相对低速移动的移动对象(例如,行人或自行车)上的终端、固定在商店等中的位置处的终端、或机器类型通信(MTC)终端。另外,通信单元22还可以执行车对物(V2X)通信。V2X通信例如是指:本车辆与其他车辆之间的通信,例如,与另一车辆的车对车通信、与路边装置等的车对基础设施通信、与家的车对家通信、以及与由行人携带的终端等的车对行人通信。
通信单元22例如可以从外部(空中)接收用于更新用于控制车辆控制系统11的操作的软件的程序。另外,通信单元22可以从外部接收诸如地图信息、交通信息或车辆1周围的信息的信息。此外,例如,通信单元22可以将关于车辆1的信息、车辆1周围的信息等发送至外部。由通信单元22发送至外部的关于车辆1的信息例如包括:指示车辆1的状态的数据或由识别单元73提供的识别结果。另外,例如,通信单元22执行与诸如eCall的车辆紧急呼叫系统相对应的通信。
例如,通信单元22接收由诸如无线电信标、光信标或FM多路广播的道路交通信息通信系统(车辆信息和通信系统(VICS)(注册商标))发送的电磁波。
将示意性地描述可由通信单元22执行的与车辆内部的通信。通信单元22可以通过使用例如无线通信来执行与每个车载设备的通信。通信单元22可以通过例如能够通过无线通信(例如无线LAN、蓝牙、NFC或无线USB(WUSB))以预定通信速度或更高的速度执行数字双向通信的通信方法来执行与车载设备的无线通信。通信单元22不限于上述内容,并且还可以使用有线通信来执行与每个车载设备的通信。例如,通信单元22可以通过经由连接至连接端子(未示出)的电缆的有线通信来执行与每个车载设备的通信。通信单元22可以通过例如能够通过有线通信(例如,通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)或移动高清晰度链路(MHL))以预定通信速度或更高的速度执行数字双向通信的通信方法来执行与每个车载设备的通信。
这里,车载设备例如是指在车辆中未连接至通信网络41的设备。假设的车载设备的示例包括:由诸如驾驶员的乘客携带的移动设备或可穿戴设备,以及被带入车辆并临时安装在车辆中的信息设备。
地图信息累积单元23累积从外部获取的地图和由车辆1创建的地图中的一者或两者。例如,地图信息累积单元23累积三维高精度地图、精度低于高精度地图低且覆盖宽区域的全局地图等。
高精度地图例如是动态地图、点云地图、矢量地图等。动态地图例如是包括四层动态信息、准动态信息、准静态信息和静态信息的地图,并且从外部服务器等提供至车辆1。点云地图是由点云(点云数据)配置的地图。矢量地图例如是以下地图,在该地图中诸如车道或交通灯的位置的交通信息与点云地图相关联,并适用于高级驾驶员辅助系统(ADAS)或自动驾驶(AD)。
例如,点云地图和矢量地图可以从外部服务器等提供,或者可以由车辆1基于由摄像装置51、雷达52、LiDAR 53等提供的感测结果创建为用于执行与稍后将描述的局部地图的匹配的地图,并且然后累积在地图信息累积单元23中。此外,如果从外部服务器等提供高精度地图,为了减少通信容量,例如,从外部服务器等获取有关车辆1将行驶通过的计划路径的几百平方米的地图数据。
位置信息获取单元24接收来自全球导航卫星系统(GNSS)卫星的GNSS信号,并且获取车辆1的位置信息。获取的位置信息被提供至行驶辅助和自动驾驶控制单元29。注意,位置信息获取单元24不限于使用GNSS信号的方法,并且例如可以通过使用信标来获取位置信息。
外部识别传感器25包括用于识别车辆1外部状况的各种传感器,并将来自传感器的传感器数据提供至车辆控制系统11的各单元。包括在外部识别传感器25中的传感器的类型和数目被任意地设置。
例如,外部识别传感器25包括:摄像装置51、雷达52、LiDAR(光检测和测距、激光成像检测和测距)53和超声波传感器54。外部识别传感器25不限于上述内容,并且可以被配置成包括摄像装置51、雷达52、LiDAR 53和超声波传感器54中的一种或更多种类型的传感器。摄像装置51、雷达52、LiDAR 53和超声波传感器54的数目没有特别地限制,只要它们可以实际安装在车辆1中即可。此外,包括在外部识别传感器25中的传感器的类型不限于上述示例,并且外部识别传感器25可以包括其他类型的传感器。稍后将描述包括在外部识别传感器25中的各个传感器的感测区域的示例。
注意,摄像装置51的成像方法没有特别地限制。例如,可以根据需要将诸如飞行时间(ToF)摄像装置、立体摄像装置、单眼摄像装置和使用能够测距的成像方法的红外线摄像装置的各种成像方法的摄像装置应用于摄像装置51。摄像装置51不限于上述内容,并且可以是不考虑测距,用于简单地获取捕获图像的摄像装置。
此外,例如,外部识别传感器25可以包括用于检测关于车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、大气现象或亮度的环境的传感器,并且可以包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器的各种传感器。
另外,例如,外部识别传感器25包括用于检测车辆1周围的声音或声源的位置的麦克风。
车载传感器26包括用于检测车辆内部的信息的各种传感器,并将来自传感器的传感器数据提供至车辆控制系统11的各单元。车载传感器26中包括的各种传感器的类型或数目没有特别地限制,只要它们可以实际安装在车辆1中即可。
例如,车载传感器26可以包括摄像装置、雷达、座椅传感器、方向盘传感器、麦克风和生物特征传感器中的一种或更多种类型的传感器。作为车载传感器26中包括的摄像装置,例如,可以使用诸如飞行时间(ToF)摄像装置、立体摄像装置、单眼摄像装置和红外线摄像装置的能够测距的各种成像方法的摄像装置。车载传感器26中包括的摄像装置不限于上述内容,并且可以是不考虑测距,用于简单地获取捕获图像的摄像装置。车载传感器26中包括的生物特征传感器被设置在例如座椅或方向盘处,并且检测诸如驾驶员的乘客的各种类型的生物特征信息。
车辆传感器27包括用于检测车辆1的状态的各种传感器,并将从传感器获得的传感器数据提供至车辆控制系统11的各单元。车辆传感器27中包括的各种传感器的类型或数目没有特别地限制,只要它们可以实际安装在车辆1中即可。
例如,车辆传感器27包括:速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)以及集成上述这些传感器的惯性测量单元(IMU)。例如,车辆传感器27包括:检测方向盘的转向角度的转向角传感器、偏航率传感器、检测加速器踏板的操作量的加速器传感器、以及检测制动踏板的操作量的制动传感器。例如,车辆传感器27包括:检测引擎或马达的每分钟转数的旋转传感器、检测轮胎压力的气动传感器、检测车轮的滑移率的滑移率传感器、以及检测车轮的转速的车轮速度传感器。例如,车辆传感器27包括:检测电池的剩余电量和温度的电池传感器,以及检测来自外部的冲击的冲击传感器。
存储单元28包括非易失性存储介质或易失性存储器介质中的至少一个,并存储数据和程序。存储单元28例如用作电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM)。作为存储介质,可以应用诸如硬盘驱动器(HDD)、半导体存储设备、光学存储设备和磁光存储设备的磁存储设备。存储单元28存储由车辆控制系统11的各单元使用的各种程序或数据。例如,存储单元28包括事件数据记录器(EDR)或用于自动驾驶的数据存储系统(DSSAD),并且存储诸如事故的事件之前和之后的车辆1的信息或由车载传感器26获取的信息。
行驶辅助和自动驾驶控制单元29执行车辆1的行驶辅助和自动化驾驶的控制。例如,行驶辅助和自动驾驶控制单元29包括:分析单元61、动作计划单元62和操作控制单元63。
分析单元61执行车辆1和周围状况的分析处理。分析单元61包括:自身位置估计单元71、传感器融合单元72和识别单元73。
自身位置估计单元71基于来自外部识别传感器25的传感器数据和在地图信息累积单元23中累积的高精度地图来估计车辆1的自身位置。例如,自身位置估计单元71基于来自外部识别传感器25的传感器数据生成局部地图,并且通过将该局部地图与高精度地图进行匹配来估计车辆1的自身位置。车辆1的位置例如基于后轮对车轴的中心。
局部地图例如是使用诸如同时定位与地图构建(SLAM)的技术创建的三维高精度地图、占用网格地图等。三维高精度地图例如是上述的点云地图。占用网格地图是通过将车辆1周围的三维空间或二维空间划分为具有预定大小的网格,并以网格为单位指示对象的占用状态而获得的地图。对象的占用状态由例如对象的存在或不存在或者存在的概率来指示。例如,在由识别单元73对车辆1外部的状况进行的检测处理和识别处理中也使用局部地图。
注意,自身位置估计单元71可以基于由位置信息获取单元24获取的位置信息和来自车辆传感器27的传感器数据来估计车辆1的自身位置。
传感器融合单元72通过组合多种不同类型的传感器数据(例如,从摄像装置51提供的图像数据和从雷达52提供的传感器数据)来执行用于获得新信息的传感器融合处理。组合不同类型的传感器数据的方法的示例包括集成、融合和关联。
识别单元73执行用于检测车辆1外部状况的检测处理和用于识别车辆1外部状况的识别处理。
例如,识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等来执行对车辆1外部状况的检测处理和识别处理。
具体地,例如,识别单元73执行对车辆1周围的对象的检测处理、识别处理等。对象的检测处理例如是检测对象的存在或不存在、大小、形状、位置和运动的处理。对象的识别处理例如是识别诸如对象的类型的属性或识别特定对象的处理。注意,在一些情况下,检测处理和识别处理不一定彼此明确地分开并且彼此重叠。
例如,识别单元73基于由雷达52、LiDAR 53等提供的传感器数据通过执行用于将点云分类为点云的聚类的聚类来检测车辆1周围的对象。因此,检测车辆1周围的对象的存在或不存在、大小、形状和位置。
例如,识别单元73执行用于跟随通过聚类而分类的点云的聚类的运动的追踪,以检测车辆1周围的对象的运动。因此,检测车辆1周围的对象的速度和行驶方向(运动矢量)。
例如,识别单元73基于从摄像装置51提供的图像数据来检测或识别车辆、人员、自行车、障碍物、结构体、道路、交通灯、交通标志、道路标志等。此外,识别单元73可以通过执行诸如语义分割的识别处理来识别车辆1周围的对象的类型。
例如,识别单元73可以基于在地图信息累积单元23中累积的地图、自身位置估计单元71估计的自身位置的估计结果、以及由识别单元73识别的车辆1周围对象的识别结果来执行车辆1周围交通规则的识别处理。通过这样的处理,识别单元73可以识别交通灯的位置和状态、交通标志和道路标志的内容、交通限制的内容、可行驶车道等。
例如,识别单元73可以执行车辆1周围环境的识别处理。假设天气、温度、湿度、亮度、路面的状态等作为要由识别单元73识别的周围环境。
行动计划单元62创建车辆1的行动计划。例如,行动计划单元62通过执行路径计划和路径追踪的处理来创建行动计划。
注意,路径计划(全局路径计划)是指计划从起点到目标的粗略路径的处理。这种路径计划还包括被称为轨迹计划的处理,该处理考虑到车辆1在计划的路径中的运动特性,来执行能够在车辆1附近安全且平稳地行驶的轨迹生成(局部路径计划)。
路径追踪是用于在计划的时间内在通过路径计划所计划的路径上安全且平稳地行驶的操作计划的处理。行动计划单元62可以例如基于路径追踪的处理结果来计算车辆1的目标速度和目标角速度。
操作控制单元63控制车辆1的操作,以实现由行动计划单元62创建的行动计划。
例如,操作控制单元63控制在稍后描述的车辆控制单元32中包括的转向控制单元81、制动控制单元82和驱动控制单元83,以执行加速/减速控制和方向控制,使得车辆1在通过轨迹计划计算出的轨迹中行驶。例如,操作控制单元63执行协作控制,以用于实现诸如碰撞避免或冲击减轻、跟随行驶、车速保持行驶、自身车辆的碰撞警告和自身车辆的车道偏离警告的ADAS的功能。例如,操作控制单元63出于以自主的方式行驶而与驾驶员的操作无关的自动驾驶的目的而执行协作控制。
DMS 30基于来自车载传感器26的传感器数据、输入至稍后描述的HMI 31的输入数据等,来执行驾驶员的认证处理、驾驶员的状态的识别处理等。例如,假设健康状况、意识程度、专注程度、疲劳程度、凝视方向、醉酒程度、驾驶操作、姿势等作为要识别的驾驶员的状态。
注意,DMS 30可以执行除驾驶员之外的乘客的认证处理和乘客状态的识别处理。此外,例如,DMS 30可以基于来自车载传感器26的传感器数据来执行车辆内部的状况的识别处理。例如,假设温度、湿度、亮度、气味等作为要识别的车辆内部的状况。
HMI 31输入各种类型的数据、指令等,并向驾驶员等呈现各种类型的数据。
将示意性地描述通过HMI 31的数据的输入。HMI 31包括用于人员输入数据的输入设备。HMI 31基于由输入设备输入的数据、指令等生成输入信号,并将输入信号提供至车辆控制系统11的各单元。HMI 31包括诸如触摸板、按钮、开关或杆的操作元件作为输入设备。HMI 31不限于上述内容,并且还可以包括能够通过除手动操作之外的方法(例如,语音或手势)来输入信息的输入设备。另外,HMI 31还可以使用例如使用红外线或无线电波的远程控制装置,或者与车辆控制系统11的操作相对应的诸如移动设备或可穿戴设备的外部连接设备作为输入设备。
将示意性地描述通过HMI 31的数据的呈现。HMI 31生成用于乘客或车辆外部的视觉信息、听觉信息和触觉信息。此外,HMI 31执行输出控制,以用于控制每条生成信息的输出、输出内容、输出定时、输出方法等。例如,HMI 31生成并输出由图像和灯指示的信息(例如,操作屏幕、车辆1的状态的显示、警告的显示或指示车辆1的周围状况的监视图像)作为视觉信息。此外,HMI 31生成并输出例如由声音指示的信息(例如,语音引导、警告声或警告消息)作为听觉信息。另外,HMI 31生成并输出例如通过力、振动、运动等给予乘客触感的信息作为触觉信息。
作为HMI 31从其输出视觉信息的输出设备,例如,可以应用通过自身显示图像来呈现视觉信息的显示装置或者通过投影图像来呈现视觉信息的投影装置。注意,除了包括普通显示器的显示装置之外,显示装置可以是在乘客的视野内显示视觉信息的装置,例如,平视显示器、透射显示器或具有增强现实(AR)功能的可穿戴设备。此外,在HMI 31中,在车辆1中设置的导航装置、仪表板、摄像装置监控系统(CMS)、电子镜、灯等中包括的显示设备也可以用作输出视觉信息的输出设备。
作为HMI 31从其输出听觉信息的输出设备,例如,可以应用音频扬声器、头戴式耳机或耳机。
作为HMI 31从其输出触觉信息的输出设备,例如,可以应用使用触觉技术的触觉元件。触觉元件设置在例如车辆1的乘客与其接触的部分(例如,方向盘或座椅)处。
车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。
例如,转向控制单元81检测并控制车辆1的转向系统的状态。转向系统包括例如包括方向盘等的转向机构、电动助力转向等。转向控制单元81包括例如控制转向系统的转向ECU、驱动转向系统的致动器等。
例如,制动控制单元82检测并控制车辆1的制动系统的状态。制动系统包括例如包括制动踏板等的制动机构、防抱死制动系统(ABS)、再生制动系统等。制动控制单元82包括例如控制制动系统的制动ECU、驱动制动系统的致动器等。
例如,驱动控制单元83检测并控制车辆1的驱动系统的状态。驱动系统包括例如用于生成驱动力的驱动力生成设备,例如,加速器踏板、内燃机或驱动马达、用于将驱动力传递至车轮的驱动力传递机构等。驱动控制单元83包括例如控制驱动系统的驱动ECU、驱动驱动系统的致动器等。
例如,车身系统控制单元84检测并控制车辆1的车身系统的状态。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带和换档杆。车身系统控制单元84包括例如控制车身系统的车身系统ECU和驱动车身系统的致动器。
例如,光控制单元85检测并控制车辆1的各种灯的状态。例如,假设前灯、后灯、雾灯、转向信号、刹车灯、投影和保险杠的显示作为要控制的灯。灯控制单元85包括控制灯的灯ECU、驱动灯的致动器等。
例如,喇叭控制单元86检测并控制车辆1的汽车喇叭的状态。喇叭控制单元86包括例如控制汽车喇叭的喇叭ECU和驱动汽车喇叭的致动器。
图12是示出图11的外部识别传感器25的摄像装置51、雷达52、LiDAR 53、超声波传感器54等的感测区域的示例的图。注意,图12示意性地示出了从上表面观察的车辆1的状态,其中左端侧是车辆1的前端(前)侧,并且右端侧是车辆1的后端(后)侧。
感测区域101F和感测区域101B表示超声波传感器54的示例性感测区域。感测区域101F通过多个超声波传感器54覆盖车辆1的前端的周边。感测区域101B通过多个超声波传感器54覆盖车辆1的后端的周边。
感测区域101F和感测区域101B中的感测结果例如用于车辆1的停车辅助。
感测区域102F至感测区域102B表示雷达52针对短距离或中距离的示例性感测区域。感测区域102F覆盖车辆1前方的比感测区域101F更远的位置。感测区域102B覆盖车辆1后方的比感测区域101B更远的位置。感测区域102L覆盖车辆1的左侧表面的后方周边。感测区域102R覆盖车辆1的右侧表面的后方周边。
感测区域102F中的感测结果例如用于检测位于车辆1前方的车辆、行人等。感测区域102B中的感测结果例如用于防止车辆1后方的碰撞的功能。感测区域102L和感测区域102R中的感测结果例如用于检测车辆1侧面盲点处的对象。
感测区域103F至感测区域103B表示摄像装置51的示例性感测区域。感测区域103F覆盖车辆1前方的比感测区域102F更远的位置。感测区域103B覆盖车辆1后方的比感测区域102B更远的位置。感测区域103L覆盖车辆1的左侧表面的周边。感测区域103R覆盖车辆1的右侧表面的周边。
感测区域103F中的感测结果可以用于例如交通灯或交通标志的识别、车道偏离防止辅助系统和自动前灯控制系统。感测区域103B中的感测结果可以用于例如停车辅助和环绕视图系统。例如,可以在环绕视图系统中使用感测区域103L和感测区域103R中的感测结果。
感测区域104表示LiDAR 53的示例性感测区域。感测区域104覆盖车辆1前方的比感测区域103F更远的位置。同时,感测区域104在左右方向上具有比感测区域103F的范围更窄的范围。
感测区域104中的感测结果例如用于检测诸如周围车辆的对象。
感测区域105表示雷达52针对长距离的示例性感测区域。感测区域105覆盖车辆1前方的比感测区域104更远的位置。同时,感测区域105在左右方向上具有比感测区域104的范围更窄的范围。
感测区域105中的感测结果例如用于自适应巡航控制(ACC)、紧急制动或碰撞避免。
注意,外部识别传感器25中包括的摄像装置51、雷达52、LiDAR 53和超声波传感器54的各个传感器的感测区域可以具有除图2中所示的配置之外的各种配置。具体地,超声波传感器54可以在车辆1的侧面执行感测,并且LiDAR 53可以在车辆1的后侧执行感测。此外,每个传感器安装的位置不限于上述示例。此外,每种传感器的数目可以是一个或更多个。
本公开内容还可以采用以下配置。
(1)
一种信息处理装置,包括:
取向确定单元,所述取向确定单元确定要跟随的对象的取向;以及
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成所述路径,所述路径终点是用于移动装置跟随所述要跟随的对象的路径的终点。
(2)
根据(1)所述的信息处理装置,其中,
所述路径生成单元确定所述路径终点的取向,以使得所述路径终点的取向与所述要跟随的对象的取向相匹配。
(3)
根据(1)或(2)所述的信息处理装置,其中,
当所述移动装置的移动方向与所述要跟随的对象的取向之间的差值大于阈值时,所述路径生成单元生成曲线路径作为所述路径。
(4)
根据(1)至(3)中任一项所述的信息处理装置,还包括:
位置估计单元,所述位置估计单元确定所述要跟随的对象的估计位置,其中,
所述路径生成单元基于所述估计位置来确定所述路径终点的位置。
(5)
根据(4)所述的信息处理装置,其中,
所述位置估计单元从由所述移动装置捕获的图像检测所述要跟随的对象,并且
所述路径生成单元基于所述要跟随的对象的检测结果来确定所述移动装置的速度。
(6)
根据(5)所述的信息处理装置,其中,
所述路径生成单元根据丢失所述要跟随的对象期间的时间长度来增加所述移动装置的速度。
(7)
根据(1)至(6)中任一项所述的信息处理装置,其中,
所述路径生成单元
生成通向所述路径终点的贝塞尔曲线,
通过多个分割点分割所述贝塞尔曲线,
生成多个子曲线路径,每个子曲线路径包括彼此相邻的两个分割点,以及
生成包括所述多个子曲线路径的路径作为所述路径。
(8)
根据(7)所述的信息处理装置,其中,
当所述移动装置的取向和移动方向彼此不关联时,所述路径生成单元生成所述多个子曲线路径,以使得每个子曲线路径的终点的取向与连接所述子曲线路径的终点和所述估计位置的直线的取向相匹配。
(9)
根据(6)或(7)所述的信息处理装置,其中,
当所述移动装置的取向和移动方向彼此关联时,所述路径生成单元将所述贝塞尔曲线确定为所述路径。
(10)
根据(9)所述的信息处理装置,其中,
所述路径生成单元基于每个子曲线路径的终点的取向与所述终点的切线的取向之间的差值来确定在所述多个子曲线路径上移动的所述移动装置的速度。
(11)
根据(10)所述的信息处理装置,其中,
所述路径生成单元确定所述移动装置的速度,以使得所述移动装置在所述多个子曲线路径上移动的速度随着每个子曲线路径的所述终点的取向与所述终点的切线的取向之间的差值变大而增加。
(12)
根据(1)至(11)中任一项所述的信息处理装置,其中,
所述取向确定单元基于由所述移动装置捕获的图像来确定所述要跟随的对象的取向。
(13)
—种信息处理方法,包括:
确定要跟随的对象的取向;以及
基于所述要跟随的对象的取向来确定路径终点的取向并生成所述路径,所述路径终点是用于移动装置跟随所述要跟随的对象的路径的终点。
(14)
一种信息处理程序,所述信息处理程序使信息处理装置作为以下单元进行操作:
取向确定单元,所述取向确定单元确定要跟随的对象的取向;以及
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成所述路径,所述路径终点是用于移动装置跟随所述要跟随的对象的路径的终点。
(15)
一种移动装置,包括:
移动机构;
取向确定单元,所述取向确定单元确定要跟随的对象的取向;
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成所述路径,所述路径终点是用于跟随所述要跟随的对象的路径的终点;以及
跟随控制单元,所述跟随控制单元控制所述移动机构在所述路径上移动。
(16)
一种记录信息处理程序的非暂态计算机可读记录介质,所述信息处理程序使信息处理装置作为以下单元进行操作:
取向确定单元,所述取向确定单元确定要跟随的对象的取向;以及
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成所述路径,所述路径终点是用于移动装置跟随所述要跟随的对象的路径的终点。
已经描述了本技术的每个实施方式和每个修改示例,但是本技术不限于上述实施方式,并且在不脱离本技术的精神的情况下可以进行各种修改。
附图标记列表
1 移动装置
100 信息处理装置
110 自身位置估计单元
120 位置估计单元
121 要跟随的对象识别单元
122 空间位置估计单元
122A当前位置计算单元
122B 运动模型估计单元
130 取向确定单元
140 路径生成单元
150 跟随控制单元
2 要跟随的对象
200 检测装置组
210 成像装置
220 测距装置
230 内部传感器
300 移动机构
Claims (15)
1.一种信息处理装置,包括:
取向确定单元,所述取向确定单元确定要跟随的对象的取向;以及
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成用于移动装置跟随所述要跟随的对象的路径,所述路径终点是所述路径的终点。
2.根据权利要求1所述的信息处理装置,其中,
所述路径生成单元确定所述路径终点的取向,以使得所述路径终点的取向与所述要跟随的对象的取向相匹配。
3.根据权利要求1所述的信息处理装置,其中,
当所述移动装置的移动方向与所述要跟随的对象的取向之间的差值大于阈值时,所述路径生成单元生成曲线路径作为所述路径。
4.根据权利要求1所述的信息处理装置,还包括:
位置估计单元,所述位置估计单元确定所述要跟随的对象的估计位置,其中,
所述路径生成单元基于所述估计位置来确定所述路径终点的位置。
5.根据权利要求4所述的信息处理装置,其中,
所述位置估计单元从由所述移动装置捕获的图像检测所述要跟随的对象,并且
所述路径生成单元基于所述要跟随的对象的检测结果来确定所述移动装置的速度。
6.根据权利要求5所述的信息处理装置,其中,
所述路径生成单元根据丢失所述要跟随的对象期间的时间长度来增加所述移动装置的速度。
7.根据权利要求1所述的信息处理装置,其中,
所述路径生成单元
生成通向所述路径终点的贝塞尔曲线,
通过多个分割点分割所述贝塞尔曲线,
生成多个子曲线路径,每个子曲线路径包括彼此相邻的两个分割点,以及
生成包括所述多个子曲线路径的路径作为所述路径。
8.根据权利要求7所述的信息处理装置,其中,
当所述移动装置的取向和移动方向彼此不关联时,所述路径生成单元生成所述多个子曲线路径,以使得每个子曲线路径的终点的取向与连接所述子曲线路径的终点和所述估计位置的直线的取向相匹配。
9.根据权利要求6所述的信息处理装置,其中,
当所述移动装置的取向和移动方向彼此关联时,所述路径生成单元将所述贝塞尔曲线确定为所述路径。
10.根据权利要求9所述的信息处理装置,其中,
所述路径生成单元基于每个子曲线路径的终点的取向与所述终点的切线的取向之间的差值来确定在所述多个子曲线路径上移动的所述移动装置的速度。
11.根据权利要求10所述的信息处理装置,其中,
所述路径生成单元确定所述移动装置的速度,以使得所述移动装置在所述多个子曲线路径上移动的速度随着每个子曲线路径的所述终点的取向与所述终点的切线的取向之间的差值变得更大而增加。
12.根据权利要求1所述的信息处理装置,其中,
所述取向确定单元基于由所述移动装置捕获的图像来确定所述要跟随的对象的取向。
13.一种信息处理方法,包括:
确定要跟随的对象的取向;以及
基于所述要跟随的对象的取向来确定路径终点的取向并生成用于移动装置跟随所述要跟随的对象的路径,所述路径终点是所述路径的终点。
14.一种信息处理程序,所述信息处理程序使信息处理装置作为以下单元进行操作:
取向确定单元,所述取向确定单元确定要跟随的对象的取向;以及
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成用于移动装置跟随所述要跟随的对象的路径,所述路径终点是所述路径的终点。
15.一种移动装置,包括:
移动机构;
取向确定单元,所述取向确定单元确定要跟随的对象的取向;
路径生成单元,所述路径生成单元基于所述要跟随的对象的取向来确定路径终点的取向并生成用于跟随所述要跟随的对象的路径,所述路径终点是所述路径的终点;以及
跟随控制单元,所述跟随控制单元控制所述移动机构在所述路径上移动。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022017816 | 2022-02-08 | ||
JP2022-017816 | 2022-02-08 | ||
PCT/JP2022/046624 WO2023153083A1 (ja) | 2022-02-08 | 2022-12-19 | 情報処理装置、情報処理方法、情報処理プログラム及び移動装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118525258A true CN118525258A (zh) | 2024-08-20 |
Family
ID=87564206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280088118.7A Pending CN118525258A (zh) | 2022-02-08 | 2022-12-19 | 信息处理装置、信息处理方法、信息处理程序和移动装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118525258A (zh) |
WO (1) | WO2023153083A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117687047A (zh) * | 2024-01-31 | 2024-03-12 | 中寰星网数字科技(大连)有限公司 | 基于边缘计算的人工智能gnss高精度位移处理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101907548B1 (ko) * | 2016-12-23 | 2018-10-12 | 한국과학기술연구원 | 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법 |
JP6825715B2 (ja) * | 2017-10-06 | 2021-02-03 | 株式会社豊田自動織機 | 移動車両 |
US20230205234A1 (en) * | 2020-06-01 | 2023-06-29 | Sony Group Corporation | Information processing device, information processing system, method, and program |
WO2021246170A1 (ja) * | 2020-06-03 | 2021-12-09 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、および方法、並びにプログラム |
-
2022
- 2022-12-19 WO PCT/JP2022/046624 patent/WO2023153083A1/ja active Application Filing
- 2022-12-19 CN CN202280088118.7A patent/CN118525258A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023153083A1 (ja) | 2023-08-17 |
WO2023153083A9 (ja) | 2024-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11531354B2 (en) | Image processing apparatus and image processing method | |
US11501461B2 (en) | Controller, control method, and program | |
WO2020116195A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
CN114424265B (zh) | 信号处理设备、信号处理方法、程序和移动设备 | |
WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230289980A1 (en) | Learning model generation method, information processing device, and information processing system | |
CN113841100A (zh) | 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法 | |
US20240054793A1 (en) | Information processing device, information processing method, and program | |
WO2022158185A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび移動装置 | |
WO2023153083A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び移動装置 | |
US20230206596A1 (en) | Information processing device, information processing method, and program | |
US20230245423A1 (en) | Information processing apparatus, information processing method, and program | |
WO2024009829A1 (ja) | 情報処理装置、情報処理方法および車両制御システム | |
US20240375613A1 (en) | Information processing device, information processing method, recording medium, and in-vehicle system | |
WO2023162497A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2024024471A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
WO2023149089A1 (ja) | 学習装置、学習方法及び学習プログラム | |
US20240290204A1 (en) | Information processing device, information processing method, and program | |
WO2023063145A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2022259621A1 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム | |
WO2023145460A1 (ja) | 振動検出システムおよび振動検出方法 | |
US20240290108A1 (en) | Information processing apparatus, information processing method, learning apparatus, learning method, and computer program | |
WO2023054090A1 (ja) | 認識処理装置、認識処理方法、および認識処理システム | |
WO2023053498A1 (ja) | 情報処理装置、情報処理方法、記録媒体、および車載システム | |
WO2023171401A1 (ja) | 信号処理装置、信号処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |