CN111595346B - 导航提醒方法、装置、电子设备及存储介质 - Google Patents
导航提醒方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111595346B CN111595346B CN202010491000.1A CN202010491000A CN111595346B CN 111595346 B CN111595346 B CN 111595346B CN 202010491000 A CN202010491000 A CN 202010491000A CN 111595346 B CN111595346 B CN 111595346B
- Authority
- CN
- China
- Prior art keywords
- target
- navigation route
- scene image
- target obstacle
- current navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 13
- 239000011521 glass Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种导航提醒方法、装置、电子设备及存储介质,其中,该导航提醒方法包括:获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物;在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过所述AR设备展示所述AR场景图像;其中,所述提示信息用于提示用户前方存在所述目标障碍物。
Description
技术领域
本公开涉及导航技术领域,具体而言,涉及一种导航提醒方法、装置、电子设备及存储介质。
背景技术
随着经济的发展,为了满足广大用户的精神层面的需求,大量的展览馆应运而生,比如科技展览馆、美术展览馆、历史展览馆等,一般情况下,针对一些大型的展览馆,用户在展览馆可能无法快速找到想要到达的目的地。
随着人工智能的快速发展,虚拟现实、增强现实技术被越来越多地应用,可以通过这些技术来协助进行室内导航,帮助用户快速找到目的地,在基于这些技术进行室内导航时,如何基于这些技术帮助用户安全地到达目的地是值得研究的问题。
发明内容
本公开实施例至少提供一种导航提醒方案。
第一方面,本公开实施例提供了一种导航提醒方法,包括:
获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;
基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物;
在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过所述AR设备展示所述AR场景图像;其中,所述提示信息用于提示用户前方存在所述目标障碍物。
本公开实施例中,通过获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像,可以确定当前导航路线的前进方向上是否存在目标障碍物,从而可以在确定存在目标障碍物的情况下,对用户进行提示,可以提高在基于AR技术进行导航时的安全性。
在一种可能的实施方式中,所述基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物,包括:
将所述目标场景图像输入预先训练的障碍物检测网络,检测出所述目标场景图像中的各个目标障碍物;所述障碍物检测网络为基于标记有至少一个目标障碍物的场景图像样本训练得到的;或者,
将所述目标场景图像输入预先训练的目标检测网络,检测出所述目标场景图像中的各个目标对象,基于检测出的各个目标对象以及预设的多种目标障碍物类别,确定所述各个目标对象中匹配所述目标障碍物类别的目标障碍物;所述目标检测网络为基于标记有至少一个目标对象的场景图像样本训练得到的。
本公开实施例中,可以通过对目标场景图像进行检测,快速确定该目标场景图像中是否包含目标障碍物。
在一种可能的实施方式中,所述基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物,包括:
在检测出所述目标场景图像中存在预设的目标障碍物类别下的目标障碍物的情况下,判断该目标障碍物是否位于所述当前导航路线的前进方向上,若是,则将该目标障碍物作为在所述当前导航路线的前进方向上的目标障碍物,否则,确定在所述当前导航路线的前进方向上不存在目标障碍物。
本公开实施例中,在检测出目标场景图像中存在目标障碍物的情况下,可以进一步确定该目标障碍物是否存在于当前导航路线的前进方向上,便于后期确定是否对其进行提示,从而对用户在行驶路线上进行有效提示。
在一种可能的实施方式中,所述提示信息包括以下至少一种:
警示标志、提示文字、声音提示信息、振动提示信息。
在一种可能的实施方式中,所述在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,包括:
根据所述目标障碍物的类别,确定与该目标障碍物的类别对应的提示信息,并生成包含有该提示信息的AR场景图像。
本公开实施例中,可以通过确定出的该目标障碍物的类别对应的提示信息,对用户进行安全提示。
在一种可能的实施方式中,在确定存在目标障碍物的情况下,所述导航提醒方法还包括:
基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线,并通过所述AR设备展示更新后的导航路线。
在一种可能的实施方式中,所述基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线,包括:
在确定所述目标障碍物为预设的固定障碍物类别的情况下,基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线。
本公开实施例中,在当前导航路线遇到障碍时,可以重新为用户更新导航路线,便于快速指引用户到达目的地。
在一种可能的实施方式中,本公开实施例提供的导航提醒方法还包括:
在到达目标地位置时,生成用于提示到达目的地的虚拟提示动画;
通过所述AR设备展示所述虚拟提示动画。
本公开实施例中,在到达目的地时,通过虚拟提示动画对用户进行提示,可以提高用户到达目的地的速度,示例性地,当展览馆的该目的地位置附近存在多个展厅时,通过虚拟提示动画,可以对用户进行提示,便于用户快速找到目标展厅。
第二方面,本公开实施例提供了一种导航提醒装置,包括:
获取模块,用于获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;
确定模块,用于基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物;
展示模块,用于在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过所述AR设备展示所述AR场景图像;其中,所述提示信息用于提示用户前方存在所述目标障碍物。
在一种可能的实施方式中,所述确定模块在用于基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物时,包括:
将所述目标场景图像输入预先训练的障碍物检测网络,检测出所述目标场景图像中的各个目标障碍物;所述障碍物检测网络为基于标记有至少一个目标障碍物的场景图像样本训练得到的;或者,
将所述目标场景图像输入预先训练的目标检测网络,检测出所述目标场景图像中的各个目标对象,基于检测出的各个目标对象以及预设的多种目标障碍物类别,确定所述各个目标对象中匹配所述目标障碍物类别的目标障碍物;所述目标检测网络为基于标记有至少一个目标对象的场景图像样本训练得到的。
在一种可能的实施方式中,所述确定模块在用于基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物时,包括:
在检测出所述目标场景图像中存在预设的目标障碍物类别下的目标障碍物的情况下,判断该目标障碍物是否位于所述当前导航路线的前进方向上,若是,则将该目标障碍物作为在所述当前导航路线的前进方向上的目标障碍物,否则,确定在所述当前导航路线的前进方向上不存在目标障碍物。
在一种可能的实施方式中,所述提示信息包括以下至少一种:
警示标志、提示文字、声音提示信息、振动提示信息。
在一种可能的实施方式中,所述展示模块用于在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像时,包括:
根据所述目标障碍物的类别,确定与该目标障碍物的类别对应的提示信息,并生成包含有该提示信息的AR场景图像。
在一种可能的实施方式中,在确定存在目标障碍物的情况下,所述展示模块还用于:
基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线,并通过所述AR设备展示更新后的导航路线。
在一种可能的实施方式中,所述展示模块在用于基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线时,包括:
在确定所述目标障碍物为预设的固定障碍物类别的情况下,基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线。
在一种可能的实施方式中,所述展示模块还用于:
在到达目标地位置时,生成用于提示到达目的地的虚拟提示动画;
通过所述AR设备展示所述虚拟提示动画。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的导航提醒方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的导航提醒方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种导航提醒方法的流程图;
图2示出了本公开实施例所提供的一种导航界面示意图;
图3示出了本公开实施例所提供的一种到达目的地的指示方法流程图;
图4示出了本公开实施例所提供的一种导航提醒装置的结构示意图;
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
针对一些大型展览馆,为了方便用户快速找到目的地,可以为用户提供室内导航服务,随着增强现实AR技术的发展,可以通过AR技术来实现室内导航,在通过AR技术来实现室内导航时,如何基于AR技术提高导航安全性,是本公开要解决的技术问题。
基于上述研究,本公开提供了一种导航提醒方法,通过获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像,可以确定当前导航路线的前进方向上是否存在目标障碍物,从而可以在确定存在目标障碍物的情况下,对用户进行提示,示例性地,可以提示用户前方存在玻璃门,请注意安全,按照该方式,以提高在基于AR技术进行导航时的安全性。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种导航提醒方法进行详细介绍,本公开实施例所提供的导航提醒方法的执行主体可以为AR设备,比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,本公开实施例中不作限定,在一些可能的实现方式中,该导航提醒方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的导航提醒方法的流程图,所述方法包括步骤S101~S103:
S101,获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像。
示例性地,AR设备可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等。
示例性地,以目标场景为展览馆为例,在通过AR设备进行室内导航时,用户可以在AR设备中看到用于指示到达目的地的当前导航路线,此外,用户在携带AR设备沿着当前导航路线前进时,AR设备可以拍摄前进方向上的目标场景图像。
S102,基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物。
在得到目标场景图像后,可以对该目标场景图像进行检测,从而确定在当前导航路线的前进方向上是否存在目标障碍物。
示例性地,目标障碍物包括用户可以正常通过的障碍物,比如玻璃门、楼梯、扶梯、电梯等,以及包括用户无法正常通过的障碍物,比如墙壁、栏杆等。
S103,在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过AR设备展示AR场景图像;其中,提示信息用于提示用户前方存在目标障碍物。
其中,提示信息包括以下至少一种:
警示标志、提示文字、声音提示信息、振动提示信息。
其中,警示标志可以形象提示用户目标障碍物的类别,提示文字可以提示需要注意为安全性问题,声音提示信息和振动提示信息均可以通过AR设备发出,同样可以提示用户周围存在目标障碍物。
以上几种提示信息可以同时出现,也可以单独出现,如图2所示,当前导航路线为前往第二展览厅的导航路线,提示信息为同时包含警示标志以及提示文字的情况,比如目标障碍物为楼梯,则该AR场景图像中可以包含警示标志和提示用户注意楼梯的文字,此外,除了提示信息,该AR场景图像中还可以包含当前导航路线以及虚拟指引人,该虚拟指引人位于当前导航路线前进的方向上,对用户进行引导。
本公开实施例中,通过获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像,可以确定当前导航路线的前进方向上是否存在目标障碍物,从而可以在确定存在目标障碍物的情况下,对用户进行提示,可以提高在基于AR技术进行导航时的安全性。
下面将结合具体实施例对上述S101~S103进行详细阐述。
针对上述S102,在基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物时,可以包括以下两种方式:
第一种方式:将目标场景图像输入预先训练的障碍物检测网络,检测出目标场景图像中的各个目标障碍物;障碍物检测网络为基于标记有至少一个目标障碍物的场景图像样本训练得到的。
其中,预先训练的障碍物检测网络为预先训练的用于对设定类别的目标障碍物进行识别的网络,比如可以通过标记有目标障碍物类别的场景图像样本来训练该障碍物检测网络。
通过预先训练的障碍物检测网络能够快速检测出目标场景图像中是否包含目标障碍物。
第二种方式:将目标场景图像输入预先训练的目标检测网络,检测出目标场景图像中的各个目标对象,基于检测出的各个目标对象以及预设的多种目标障碍物类别,确定各个目标对象中匹配目标障碍物类别的目标障碍物;目标检测网络为基于标记有至少一个目标对象的场景图像样本训练得到的。
示例性地,预先训练的目标检测网络为预先训练的用于对各种类别的目标对象进行识别的网络,可以通过标记有至少一个目标对象的场景图像样本训练得到的,在经过大量包含不同类别的目标对象的场景图像对神经网络进行训练后,可以得到该目标检测网络。
该目标检测检测神经网络可以识别出目标场景图像中包含的每种类别的目标对象,然后再基于预设的多种目标障碍物类别,来确定目标对象中匹配目标障碍物类别的目标障碍物。
示例性地,可以通过比对每个目标对象与各个预设的目标障碍物之间的相似度来确定该目标对象属于的目标障碍物,比如可以通过提取每个目标对象在目标场景图像中的多种特征,通过该目标对象包含的多种特征与预先保存的每种预设的目标障碍物包含的多种特征来确定相似度,其中,多种特征可以包括纹理特征、颜色特征、尺寸特征等特征。
本公开实施例中,可以通过对目标场景图像进行检测,快速确定该目标场景图像中是否包含目标障碍物。
针对上述S102,在基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物时,可以包括:
在检测出目标场景图像中存在预设的目标障碍物类别下的目标障碍物的情况下,判断该目标障碍物是否位于当前导航路线的前进方向上,若是,则将该目标障碍物作为在当前导航路线的前进方向上的目标障碍物,否则,确定在当前导航路线的前进方向上不存在目标障碍物。
示例性地,当前导航路线的前进方向的目标障碍物具体可以包括当AR设备的拍摄角度与当前导航路线的指向角度相符时,由AR设备拍摄到的目标障碍物,具体可以包括位于当前导航路线的指向方向上的目标障碍物或者位于当前导航路线两侧的目标障碍物。
特殊情况下,用户在携带AR设备沿着当前导航路线行驶时,若进行转向或者回头,即在AR设备的拍摄角度与当前导航路线的指向角度不相符时拍摄的目标场景图像中虽然可能包含目标障碍物,但是用户在按照当前导航路线前进的方向行驶时,不会遇到这些目标障碍物,这样可以认为在当前导航路线的前进方向上不存在这些目标障碍物
本公开实施例中,在检测出目标场景图像中存在目标障碍物的情况下,可以进一步确定该目标障碍物是否存在于当前导航路线的前进方向上,便于后期确定是否对其进行提示,从而对用户在行驶路线上进行有效提示。
针对上述S103,在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,包括:
根据目标障碍物的类别,确定与该目标障碍物的类别对应的提示信息,并生成包含有该提示信息的AR场景图像。
这里目标障碍物的类别即上文提到的可以正常通过的障碍物,可以记为非固定障碍物,以及无法正常通过的障碍物,可以记为固定障碍物,非固定障碍物是指可以从该障碍物通过,继续前进,可以包括多种类别,比如玻璃门、楼梯、扶梯、电梯等,固定障碍物表示无法从该障碍物穿过继续前进的地方,可以包括卫生间、茶水间等。
在基于目标障碍物的类别生成提示信息时,可以形象展示出与该目标障碍物类别对应的提示信息,比如玻璃门对应的提示信息可以包含门标志,以及提示防止碰撞的信息;卫生间对应的提示信息可以包含卫生间标志,以及提示防止滑倒的信息。
本公开实施例中,可以通过确定出的该目标障碍物的类别对应的提示信息,对用户进行安全提示。
在一种可能的实施方式中,在确定存在目标障碍物的情况下,本公开实施例提供的导航提醒方法还包括:
基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线,并通过AR设备展示更新后的导航路线。
当前导航路线可以根据用户在行驶过程中遇到的障碍物进行更新,比如遇到无法通过的目标障碍物,比如栏杆,或者短时间无法通过的目标障碍物,比如人群拥堵,此时可以基于AR设备的当前位置,以及当前导航路线的目的地位置,重新展示其它导航路线。
示例性地,重新展示的其它导航路线可以包含多条,可以提示用户进行选择,在用户选择后,通过AR设备展示更新后的导航路线。
在一种实施方式中,在基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线时,可以包括:
在确定目标障碍物为预设的固定障碍物类别的情况下,基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线。
当目标障碍物属于用户无法正常通过的固定障碍物类别时,可以快速更新导航路线,指引用户到达目的地。
本公开实施例中,在当前导航路线遇到障碍时,可以重新为用户更新导航路线,便于快速指引用户到达目的地。
在一种实施方式中,如图3所示,本公开实施例提供的导航提醒方法还包括以下S301~S302:
S301,在到达目标地位置时,生成用于提示到达目的地的虚拟提示动画;
S302,通过AR设备展示虚拟提示动画。
示例性地,虚拟提示动画可以为通过虚拟指引人进行语音和手势提示,比如通过手势指示目的地方向,并通过语音进行播报。
本公开实施例中,在到达目的地时,通过虚拟提示动画对用户进行提示,可以提高用户到达目的地的速度,示例性地,当展览馆的该目的地位置附近存在多个展厅时,通过虚拟提示动画,可以对用户进行提示,便于用户快速找到目标展厅。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与导航提醒方法对应的导航提醒装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述导航提醒方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种导航提醒装置400的示意图,该导航提醒装置包括:获取模块401、确定模块402和展示模块403。
其中,获取模块401,用于获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;
确定模块402,用于基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物;
展示模块403,用于在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过AR设备展示AR场景图像;其中,提示信息用于提示用户前方存在目标障碍物。
在一种可能的实施方式中,确定模块402在用于基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物时,包括:
将目标场景图像输入预先训练的障碍物检测网络,检测出目标场景图像中的各个目标障碍物;障碍物检测网络为基于标记有至少一个目标障碍物的场景图像样本训练得到的;或者,
将目标场景图像输入预先训练的目标检测网络,检测出目标场景图像中的各个目标对象,基于检测出的各个目标对象以及预设的多种目标障碍物类别,确定各个目标对象中匹配目标障碍物类别的目标障碍物;目标检测网络为基于标记有至少一个目标对象的场景图像样本训练得到的。
在一种可能的实施方式中,确定模块402在用于基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物时,包括:
在检测出目标场景图像中存在预设的目标障碍物类别下的目标障碍物的情况下,判断该目标障碍物是否位于当前导航路线的前进方向上,若是,则将该目标障碍物作为在当前导航路线的前进方向上的目标障碍物,否则,确定在当前导航路线的前进方向上不存在目标障碍物。
在一种可能的实施方式中,提示信息包括以下至少一种:
警示标志、提示文字、声音提示信息、振动提示信息。
在一种可能的实施方式中,展示模块403用于在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像时,包括:
根据目标障碍物的类别,确定与该目标障碍物的类别对应的提示信息,并生成包含有该提示信息的AR场景图像。
在一种可能的实施方式中,在确定存在目标障碍物的情况下,展示模块403还用于:
基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线,并通过AR设备展示更新后的导航路线。
在一种可能的实施方式中,展示模块403在用于基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线时,包括:
在确定目标障碍物为预设的固定障碍物类别的情况下,基于AR设备的当前位置,以及当前导航路线的目的地位置,生成更新后的导航路线。
在一种可能的实施方式中,展示模块403还用于:
在到达目标地位置时,生成用于提示到达目的地的虚拟提示动画;
通过AR设备展示虚拟提示动画。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的导航提醒方法,本公开实施例还提供了一种电子设备500,如图5所示,为本公开实施例提供的电子设备500结构示意图,包括:
处理器51、存储器52、和总线53;存储器52用于存储执行指令,包括内存521和外部存储器522;这里的内存521也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522交换的数据,处理器51通过内存521与外部存储器522进行数据交换,当所述电子设备500运行时,所述处理器51与所述存储器52之间通过总线53通信,使得所述处理器51执行以下指令:获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;基于目标场景图像,确定在当前导航路线的前进方向上是否存在目标障碍物;在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过AR设备展示AR场景图像;其中,提示信息用于提示用户前方存在目标障碍物。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的导航提醒方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的导航提醒方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的导航提醒方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种导航提醒方法,其特征在于,用于在室内环境下进行导航,包括:
获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;
基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物;
在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过所述AR设备展示所述AR场景图像;其中,所述提示信息用于提示用户前方存在所述目标障碍物;
其中,所述基于目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物,包括:检测AR设备的拍摄角度与当前导航路线的指向角度是否相符;若检测AR设备的拍摄角度与当前导航路线的指向角度不相符,则确定该目标障碍物并非位于当前导航路线的前进方向上,确定在当前导航路线的前进方向上不存在目标障碍物;若检测AR设备的拍摄角度与当前导航路线的指向角度相符,则确定在当前导航路线的前进方向上存在目标障碍物。
2.根据权利要求1所述的导航提醒方法,其特征在于,所述基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物,包括:
将所述目标场景图像输入预先训练的障碍物检测网络,检测出所述目标场景图像中的各个目标障碍物;所述障碍物检测网络为基于标记有至少一个目标障碍物的场景图像样本训练得到的;或者,
将所述目标场景图像输入预先训练的目标检测网络,检测出所述目标场景图像中的各个目标对象,基于检测出的各个目标对象以及预设的多种目标障碍物类别,确定所述各个目标对象中匹配所述目标障碍物类别的目标障碍物;所述目标检测网络为基于标记有至少一个目标对象的场景图像样本训练得到的。
3.根据权利要求1或2所述的导航提醒方法,其特征在于,所述基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物,包括:
在检测出所述目标场景图像中存在预设的目标障碍物类别下的目标障碍物的情况下,判断该目标障碍物是否位于所述当前导航路线的前进方向上,若是,则将该目标障碍物作为在所述当前导航路线的前进方向上的目标障碍物,否则,确定在所述当前导航路线的前进方向上不存在目标障碍物。
4.根据权利要求1至3任一所述的导航提醒方法,其特征在于,所述提示信息包括以下至少一种:
警示标志、提示文字、声音提示信息、振动提示信息。
5.根据权利要求1至4任一所述的导航提醒方法,其特征在于,所述在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,包括:
根据所述目标障碍物的类别,确定与该目标障碍物的类别对应的提示信息,并生成包含有该提示信息的AR场景图像。
6.根据权利要求1至5任一所述的导航提醒方法,其特征在于,在确定存在目标障碍物的情况下,所述导航提醒方法还包括:
基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线,并通过所述AR设备展示更新后的导航路线。
7.根据权利要求6所述的导航提醒方法,其特征在于,所述基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线,包括:
在确定所述目标障碍物为预设的固定障碍物类别的情况下,基于所述AR设备的当前位置,以及所述当前导航路线的目的地位置,生成更新后的导航路线。
8.根据权利要求1至7任一所述的导航提醒方法,其特征在于,还包括:
在到达目标地位置时,生成用于提示到达目的地的虚拟提示动画;
通过所述AR设备展示所述虚拟提示动画。
9.一种导航提醒装置,其特征在于,用于在室内环境下进行导航,包括:
获取模块,用于获取AR设备在基于当前导航路线前进过程中拍摄的目标场景图像;
确定模块,用于基于所述目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物;
展示模块,用于在确定存在目标障碍物的情况下,生成包含有提示信息的AR场景图像,并通过所述AR设备展示所述AR场景图像;其中,所述提示信息用于提示用户前方存在所述目标障碍物;
其中,所述确定模块,在基于目标场景图像,确定在所述当前导航路线的前进方向上是否存在目标障碍物时,用于:检测AR设备的拍摄角度与当前导航路线的指向角度是否相符;若检测AR设备的拍摄角度与当前导航路线的指向角度不相符,则确定该目标障碍物并非位于当前导航路线的前进方向上,确定在当前导航路线的前进方向上不存在目标障碍物;若检测AR设备的拍摄角度与当前导航路线的指向角度相符,则确定在当前导航路线的前进方向上存在目标障碍物。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的导航提醒方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的导航提醒方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010491000.1A CN111595346B (zh) | 2020-06-02 | 2020-06-02 | 导航提醒方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010491000.1A CN111595346B (zh) | 2020-06-02 | 2020-06-02 | 导航提醒方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111595346A CN111595346A (zh) | 2020-08-28 |
CN111595346B true CN111595346B (zh) | 2022-04-01 |
Family
ID=72181870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010491000.1A Active CN111595346B (zh) | 2020-06-02 | 2020-06-02 | 导航提醒方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111595346B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102458102B1 (ko) | 2020-09-18 | 2022-10-24 | 네이버랩스 주식회사 | 증강현실 뷰를 사용하는 경로 안내 방법 및 장치 |
CN112212865B (zh) * | 2020-09-23 | 2023-07-25 | 北京市商汤科技开发有限公司 | Ar场景下的引导方法、装置、计算机设备及存储介质 |
CN113065456A (zh) * | 2021-03-30 | 2021-07-02 | 上海商汤智能科技有限公司 | 信息提示方法、装置、电子设备和计算机存储介质 |
CN113358122B (zh) * | 2021-07-06 | 2022-10-18 | 临沂职业学院 | 一种计算机ar导航装置 |
CN113899359B (zh) | 2021-09-30 | 2023-02-17 | 北京百度网讯科技有限公司 | 导航方法、装置、设备以及存储介质 |
CN114993337B (zh) * | 2022-08-08 | 2022-11-15 | 泽景(西安)汽车电子有限责任公司 | 导航动画的显示方法、装置、arhud及存储介质 |
CN115752481B (zh) * | 2022-12-09 | 2023-09-01 | 广东车卫士信息科技有限公司 | 基于图像识别的ar导航方法、ar眼镜、介质、设备 |
CN116499489A (zh) * | 2023-03-16 | 2023-07-28 | 阿里巴巴(中国)有限公司 | 基于地图导航应用的人机交互方法、装置、设备及产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105174A (zh) * | 2013-01-29 | 2013-05-15 | 四川长虹佳华信息产品有限责任公司 | 一种基于ar增强现实技术的车载实景安全导航方法 |
CN107870669A (zh) * | 2016-09-22 | 2018-04-03 | 维塔瑞有限责任公司 | 用于增强现实体系架构中改进的数据集成的系统和方法 |
CN108491485A (zh) * | 2018-03-13 | 2018-09-04 | 北京小米移动软件有限公司 | 信息提示方法、装置和电子设备 |
CN109050405A (zh) * | 2018-08-23 | 2018-12-21 | 毕则乾 | 一种多功能增强现实抬头显示系统及方法 |
CN109484299A (zh) * | 2017-09-12 | 2019-03-19 | 大众汽车有限公司 | 控制增强现实显示装置的显示的方法、装置、存储介质 |
CN109919118A (zh) * | 2019-03-15 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | Ar导航中的障碍物提示方法、装置、设备及介质 |
CN110191316A (zh) * | 2019-05-20 | 2019-08-30 | 联想(上海)信息技术有限公司 | 一种信息处理方法及装置、设备、存储介质 |
CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293980A1 (en) * | 2017-04-05 | 2018-10-11 | Kumar Narasimhan Dwarakanath | Visually impaired augmented reality |
CN107328424B (zh) * | 2017-07-12 | 2020-12-11 | 三星电子(中国)研发中心 | 导航方法和装置 |
CN110825333B (zh) * | 2018-08-14 | 2021-12-21 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
CN110597246A (zh) * | 2019-08-15 | 2019-12-20 | 北京致行慕远科技有限公司 | 一种行进方法、行进设备、存储介质 |
-
2020
- 2020-06-02 CN CN202010491000.1A patent/CN111595346B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105174A (zh) * | 2013-01-29 | 2013-05-15 | 四川长虹佳华信息产品有限责任公司 | 一种基于ar增强现实技术的车载实景安全导航方法 |
CN107870669A (zh) * | 2016-09-22 | 2018-04-03 | 维塔瑞有限责任公司 | 用于增强现实体系架构中改进的数据集成的系统和方法 |
CN109484299A (zh) * | 2017-09-12 | 2019-03-19 | 大众汽车有限公司 | 控制增强现实显示装置的显示的方法、装置、存储介质 |
CN108491485A (zh) * | 2018-03-13 | 2018-09-04 | 北京小米移动软件有限公司 | 信息提示方法、装置和电子设备 |
CN109050405A (zh) * | 2018-08-23 | 2018-12-21 | 毕则乾 | 一种多功能增强现实抬头显示系统及方法 |
CN109919118A (zh) * | 2019-03-15 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | Ar导航中的障碍物提示方法、装置、设备及介质 |
CN110191316A (zh) * | 2019-05-20 | 2019-08-30 | 联想(上海)信息技术有限公司 | 一种信息处理方法及装置、设备、存储介质 |
CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111595346A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111595346B (zh) | 导航提醒方法、装置、电子设备及存储介质 | |
Chen et al. | Touchdown: Natural language navigation and spatial reasoning in visual street environments | |
JP6898165B2 (ja) | 人流分析方法、人流分析装置及び人流分析システム | |
CN102237011B (zh) | 重叠可视实体的表示 | |
CN101326546B (zh) | 图像处理装置 | |
EP2426646B1 (en) | Image processing device, program, and image processing method | |
CN106643774B (zh) | 一种导航路线生成方法及终端 | |
CN111563396A (zh) | 在线识别异常行为的方法、装置、电子设备及可读存储介质 | |
CN103443743A (zh) | 上下文知晓的增强交互 | |
CN112179331B (zh) | Ar导航的方法、装置、电子设备及存储介质 | |
Lee et al. | Opportunities for human-AI collaboration in remote sighted assistance | |
CN106020437A (zh) | 增强现实 | |
CN112950790A (zh) | 路线导航方法、装置、电子设备及存储介质 | |
CN109059945A (zh) | 路况信息处理的方法、终端设备及计算机可读存储介质 | |
CN112907757A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
CN113282687A (zh) | 数据展示方法、装置、计算机设备及存储介质 | |
CN113359983A (zh) | 增强现实数据呈现方法、装置、电子设备及存储介质 | |
CN113283272A (zh) | 道路拥堵的实时影像信息提示方法、装置和电子设备 | |
CN111027734A (zh) | 信息处理方法、信息显示方法、装置、电子设备及服务器 | |
CN113035196A (zh) | 用于自助一体机的无接触操控方法和装置 | |
CN112288889A (zh) | 指示信息展示方法、装置、计算机设备及存储介质 | |
CN109215368B (zh) | 一种辅助驾驶的方法、装置、设备和计算机存储介质 | |
CN113362474A (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
US20230314156A1 (en) | Information presentation method, information presentation system, and computer-readable medium | |
CN111611812A (zh) | 翻译成盲文 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |