CN111491154A - 基于一个或多个单视场帧的检测和测距 - Google Patents

Abstract

一种方法，可包括经由检测应用获得第一数字图像，其中，第一数字图像可以包括从相机传感器的第一位置描绘场景的单视场图像，该相机传感器可通信地被耦合到检测应用。另外，该方法可以包括：基于第一数字图像，生成单视场的并从不同于第一位置的第二位置描绘场景的第二数字图像。此外，该方法可以包括生成包括第一数字图像和第二数字图像的场景的立体图像。

Description

基于一个或多个单视场帧的检测和测距

技术领域

本发明中讨论的实施例涉及基于一个或多个单视场帧的检测和测距。

背景技术

检测和测距应用的需求随着自动和半自动车辆的出现而增加。为帮助促进车辆的自主和半自主操作，对环境中对象进行检测和测距的功能变得越来越有用处。

本发明所要保护的主题不限于解决任何缺点或仅在如上所述的环境中操作的实施例。相反，该背景技术仅用于说明一个示例技术领域，在该技术领域中可以实施本发明所描述的一些实施例。

发明内容

本发明的实施例讨论了基于一个或多个单视场帧的检测和测距，包括与之相关的系统和方法。一种方法可包括经由检测应用获得第一数字图像，其中，第一数字图像可以包括从相机传感器的第一位置描绘场景的单视场图像，该相机传感器可通信地被耦合到检测应用。另外，该方法可以包括：基于第一数字图像，生成单视场的并从不同于第一位置的第二位置描绘场景的第二数字图像。此外，该方法可以包括生成包括第一数字图像和第二数字图像的场景的立体图像。

实施例的目的和优点将至少通过权利要求中特别指出的元素、特征及组合来实现和完成。

以上的总体描述和以下的详细描述都是作为示例性给出的，并且是解释性的，并非对要求保护的本发明进行限制。

附图说明

示例实施例将通过附图的使用以附加的特征和细节来描述和解释，其中：

图1A示出了被配置为生成立体(3D)图像的示例系统；

图1B示出了发生基于一个或多个单视场帧来生成立体图像的示例环境；

图1C示出了相机可以在第一位置捕获第一数字图像、在第二位置捕获第二数字图像的示例实施例；

图1D示出了相机可以在第一旋转位置捕获第一数字图像、在第二旋转位置捕获第二数字图像的示例实施例；

图2示出了用于基于一个或多个单视场帧对对象进行地图绘制和/或检测和测距的方法的示例流程图；

图3示出了可用于基于一个或多个单视场帧的对象的检测和测距的示例系统；

图4示出了示例深度图；

图5示出了图像的示例立体对；

图6A示出了显示在显示屏上并与第一示例立体图像相应的场景的示例立体描绘；

图6B示出了显示在显示屏上并与第二示例立体图像相应的场景的示例立体描绘；

图6C示出了显示在显示屏上并与第三示例立体图像相应的场景的示例立体描绘；

图6D示出了显示在显示屏上并与第四示例立体图像相应的场景的示例立体描绘；

图6E示出了显示在显示屏上并与第五示例立体图像相应的场景的示例立体描绘；

图6F示出了显示在显示屏上并与第六示例立体图像相应的场景的示例立体描绘；

图6G示出了显示在显示屏上并与第七示例立体图像相应的场景的示例立体描绘；

图7示出了关于用户接口的屏幕的视觉描绘的示例实施例，其中，该用户接口可被配置为控制立体图像的调整。

具体实施方式

除了用于在环境中对对象进行检测和测距的功能之外，车辆的自主和半自主操作的其他考虑因素还可以包括安全，诸如保持在行驶轨迹上并避免与对象碰撞的功能。因此，已开发了一些用于检测、测距和/或安全目的的系统。

例如，在一些传统系统中，可能会使用实际的三维相机来捕获三维图像。在其它传统系统中，可能会采用大量的单视场相机以当来自所有不同相机的组合图像被整合在一起时产生三维效果。这种系统是基于视觉的，而其它传统系统可以是基于信号的。例如，RADAR使用无线电信号对对象进行检测和测距，而LIDAR使用激光信号对对象进行检测和测距。然而，前述传统系统中的每一个可能在一个或多个方面存在缺陷。例如，三维相机笨重和/或昂贵，如LIDAR技术，或如大量单视场相机(如由一些

自动/半自动车辆使用的大约8个相机)。除了成本、大小和/或易于实现外，技术限制也可能是一个因素。例如，LIDAR在夜间、多云天气或高海拔(例如，2000米以上)可能用途有限。另外，例如，由于无线电信号的波长，RADAR可能无法检测到小的对象或无法提供对象的精确图像。

此外，人类具有使用间隔约2.5英寸(约6.5厘米)的两只眼睛的双目视觉系统。每只眼睛从略微不同的视角看世界。大脑利用这些视角的差来计算或估计距离。这种双目视觉系统是用于确定对象的距离具有相对好的准确性的能力的部分原因。视场中的多个对象的相对距离也可以借助于双目视觉被确定。

三维(立体)成像通过向观看者呈现两个图像来充分利用由双目视觉所感知的深度，其中，一个图像呈现给一只眼睛(例如，左眼)，并且另一个图像呈现给另一只眼睛(例如，右眼)。呈现给两只眼睛的图像可以包括基本相同的元素，但是两个图像中的元素会彼此偏移，以模拟观看者的眼睛在日常生活中可以感知的偏移视角。因此，观看者可以感知由图像所描绘的元素的深度。

根据本发明的一个或多个实施例，一个或多个立体图像可基于从相机传感器获得的单个单视场图像被生成。立体图像均可包括第一数字图像和第二数字图像，其中，立体图像在使用任何合适的立体观看技术被观看时可导致用户或软件程序接收针对立体图像中包括的元素的三维效果。单视场图像可以描绘特定地理位置的地理场景，所得到的立体图像可以提供所述地理场景的三维(3D)渲染。使用立体图像可以帮助系统获得更精确的检测和测距能力。在本发明中对“立体图像”的引用可以指可一起产生如观看者或软件程序所感知的3D效果的第一数字图像(单视场的)和第二数字图像(单视场的)的任何配置。

图1A示出了根据本发明的一些实施例的被配置为生成立体(3D)图像的示例系统100。该系统100可包括被配置为生成一个或多个立体图像108的立体图像生成模块104(下文简称“立体图像模块104”)。立体图像模块104可包括被配置为接收单视场图像102并基于单视场图像102中的两个或多个单视场图像生成立体图像108中的每个立体图像的任何合适的系统、装置或设备。例如，在一些实施例中，立体图像模块104可包括含有计算机可执行指令的软件，该计算机可执行指令被配置为使处理器执行用于基于单视场图像102生成立体图像108的操作。

在一些实施例中，单视场图像102可包括通过相机传感器获得的用于描绘场景的数字图像。例如,单视场图像102可以包括描绘场景中的对象的数字图像。在一些实施例中,对象可以是视觉上可检测到的任何元素，如树、行人、飞鸟、飞机、机载导弹、船只、浮标、河流或海洋、路缘、交通标志、交通线(例如,指示“禁止通行区”的双线)、山、墙、房屋、消防栓、狗或任何其他在视觉上可被相机传感器检测到的合适对象。可选择地或附加地，在一些实施例中，单视场图像102可以包括描绘地理场景的鸟瞰图的数字图像。例如，单视场图像102可以包括由飞机、卫星、望远镜等捕获的描绘地理场景的鸟瞰图的数字图像。在一些情况下，单视场图像102中的一个或多个单视场图像可以以从顶部到底部的垂直视角描绘鸟瞰图，这种视角可以是垂直向下看或是基本垂直向下看地理场景。在这些或其他情况下，单视场图像102中的一个或多个单视场图像可能或可以以不是垂直向下看地理场景的倾斜视角描绘鸟瞰图。在一些实施例中，立体图像模块104可以被配置为经由可通信地耦合到相机传感器的检测应用来获取单视场图像102。如本发明所述，“检测应用”是“检测和测距应用”的简称。

在一些实施例中，立体图像模块104可被配置为经由任何合适的网络(诸如图1B的网络128)来访问检测应用(诸如图1B的检测应用124)，以从检测应用请求单视场图像102。在这些或其他实施例中，检测应用和相关联的单视场图像102可以被存储在可包括立体图像模块104的同一设备上。在这些或其他实施例中，立体图像模块104可以被配置为访问存储在可存储单视场图像102的设备上的检测应用，以从该设备的存储区请求单视场图像102。

可选择地或附加地，立体图像模块104可与检测应用包含在一起，其中，立体图像模块104可经由检测应用通过访问检测应用的控制获得单视场图像102的部分来获得单视场图像102。在其他实施例中，立体图像模块104可与检测应用分离开(例如，图1B所示)，但是可以被配置为与检测应用连接以获得单视场图像102。

立体图像模块104可被配置为生成如下所示的立体图像108。为了帮助解释这些概念，给出了关于生成示例立体图像120的描述(在图1B中示出，并在下面进行描述)，该示例立体图像120是图1A的立体图像108之一的示例。此外，给出了关于基于图1B所示的示例第一数字图像110和示例第二数字图像112生成立体图像120的描述。第一数字图像110和第二数字图像112是可包括在图1A的单视场图像102中的单视场图像的示例。

图1B示出了发生基于一个或多个单视场帧生成立体图像的示例环境105。图1B的元素可根据本发明的一个或多个实施例布置。如图所示，图1B包括：具有检测应用124和计算系统126的机器122、网络128以及具有基于图形的模型132和计算系统134的立体图像模块130。进一步示出了场景109、第一数字图像110、第二数字图像112、焦点113、相机114、焦距115a/115b、虚拟相机116和位移因子118。在一些实施例中，立体图像模块130可以与上文结合图1A描述的立体图像模块104相同或类似。可选择地或附加地，计算系统126和计算系统134可以与下文结合图3描述的系统300相同或相似。

在一些实施例中，场景109可以包括相机114可捕获图像的任何地理场景。例如，场景109可以包括车库、车道、街道、人行道、海洋、河流、天空、森林、城市、村庄、着陆/发射区域(如机场跑道和飞行甲板)、仓库、商店、库存通道以及机器122可对对象进行检测和测距的任何其他合适的环境。因此，当相机114捕获第一数字图像110时，第一数字图像110可包括场景109的任何方面和/或部分。可选择地或附加地，第一数字图像110可以包括基于相机114的焦距115a的焦点113。在这些或其他实施例中，到焦点113的焦距115a可以是基于相机114规格的已知常数。

在一些实施例中，相机114可以被附接到机器122。在本发明中，“机器”的引用可以指被配置为存储和/或执行计算机代码(例如，软件应用的可执行指令)的任何设备。在一些实施例中，机器可以从第一地理位置(例如，“A点”)移动到第二地理位置(例如，“B点”)。在这些或其他实施例中，机器122关于在地理位置之间的移动可以是自主的或半自主的。可选择地，机器122可以通过人工操作在地理位置之间移动。机器122的示例可包括机器人、无人机、火箭、空间站、自动驾驶汽车/卡车、人工操作的汽车/卡车、设备(例如，建筑/维修设备，如反铲机、街道清扫机、蒸汽辊等)、储存舱(例如，移动式储存单元等)或被配置为在地理位置之间移动的任何其他适合的设备。

可选择地或附加地，机器可包括固定的设备，在一些实施例中，该固定的设备被固定在位置上。例如，该机器可包括安置在军事基地的反导弹设备、固定在监狱周边的安全设备、悬停直升机或任何其他合适的机器，而不论是暂时固定的还是永久固定的。可选择地或附加地，该机器可包括客户端设备。客户端设备的一些示例可包括移动电话、智能电话、平板计算机、笔记本计算机、台式计算机、机顶盒、虚拟现实设备、可穿戴设备、连接设备、任何具有操作系统的移动设备和卫星等。

在这些或其他实施例中，本申请实现的机器122的检测和测距功能在任何领域或行业(包括，例如：商业/工业用途、制造用途、军事用途(例如，陆军、海军、国民警卫队、海军陆战队、空军和航天部队)、政府机构用途(例如，联邦调查局、中央情报局和国家运输安全委员会)等)中都具有优势。

可选择地或附加地，机器122可沿轨迹进行检测和/或测距。轨迹可包括机器122的任何行驶路径和/或周围区域，而不论是在空中、陆地、空间还是在水上。在这些或其他实施例中，相机114可被配置为在第一数字图像110中捕获机器122的一部分轨迹，例如，最靠近机器122的一部分轨迹，距机器122最远的另一部分轨迹，或是不一定是机器122的轨迹部分的另一部分。作为示例，相机114可捕获机器122的一部分轨迹，该部分轨迹距机器122多达约2米、距机器122多达约5米、距机器122多达约20米、距机器122多达约50米、距机器122多达100米、距机器122多达约200米、距机器122多达约500米、距机器122多达约1000米、距机器122多达约5000米等。相机技术(包括相机镜头技术)的进步可继续促进成像速度、分辨率、测量精度和焦距方面的优势。

在一些实施例中，可通过检测应用124获得由相机114捕获的第一数字图像110。例如，检测应用124可从相机114请求第一数字图像110。附加地或可选择地，检测应用124可接收从相机114发送的第一数字图像110。

在这些或其他实施例中，立体图像模块130可从检测应用124获得第一数字图像110。例如，立体图像模块130可从检测应用124请求第一数字图像110。另外地或可选择地，立体图像模块130可以接收从检测应用124发送的第一数字图像110。在这些或其他实施例中，立体图像模块130可经由网络128获得第一数字图像110，例如，如图1B所示，立体图像模块130被定位成远离机器122(诸如远程服务器)。远程服务器可与计算系统134相同或相似。另外地或可选择地，远程服务器可包括一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、笔记本计算机、平板计算机、台式计算机、智能电话、汽车、无人机、机器人、任何具有操作系统的移动设备等)、数据存储(例如硬盘、存储器、数据库)、网络、软件组件和/或硬件组件。在其他实施例中，立体图像模块130可以在没有网络128的情况下获得第一数字图像110，例如，立体图像模块130与机器122(例如，不位于远程服务器处)集成。

在一些实施例中，网络128可以是被配置为在系统和设备之间发送和接收通信的任何网络或网络配置。在一些实施例中，网络128可以包括传统类型网络、有线或无线网络，并且可以具有多种不同的配置。另外地或可选择地，网络128可以包括任何合适的拓扑、配置或包括星型配置、令牌环配置的配置或其他配置。网络128可以包括局域网(LAN)、广域网(WAN)(如互联网)、DECTULE和/或其他可供多个设备通信的互连数据通路。在一些实施例中，网络128可包括对等网络。网络128还可被耦合到可实现各种不同通信协议中的数据通信的电信网络，或包括所述电信网络的部分。在一些实施例中，网络128可包括用于发送和接收数据的蓝牙

通信网络(如MESH蓝牙)和/或蜂窝通信网络，所述数据包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超文本传输协议(HTTP)、直接数据连接、无线应用协议(WAP)、电子邮件等获取的。此外，网络128可以包括WiFi、NFC、LTE、LTE-advanced、1G、2G、3G、4G、5G等、

(一种无线技术，旨在通过传感器和执行器实现在远距离上的低数据率通信以用于机器到机器的通信以及物联网(IoT)应用)、无线USB，或任何其他此类无线技术。

在一些实施例中，在由立体图像模块130获得第一数字图像110之后，立体图像模块130可将第一数字图像110输入到基于图形的模型132中。如本发明所述，术语“基于图形的模型”可包括深度神经网络、深度信念网络、时间递归神经网络，或者一些其他的图形模型(诸如遗传规划模型、基于树或基于森林的机器学习模型)。因此，基于图形的模型132可包括任何人工智能系统或基于学习的机制，基于图形的模型132的示例可包括：感知器、多层感知器、前馈、径向基网络、深度前馈、时间递归神经网络、长/短期存储器、门控递归单元、自动编码器、可变自动编码器、去噪自动编码器、稀疏自动编码器、任何序列到序列模型，浅层神经网络、马尔可夫链、霍普菲网络、玻尔兹曼机、受限玻尔兹曼机、深度信念网络、深度卷积网络、卷积神经网络(如VGG-16)、去卷积网络、深度卷积逆图形网络、模块化神经网络、生成对抗网络、液态机、极端学习机、回声状态网络、结构递归神经网络、深度残差网络、科荷伦网络、支持向量机、神经图灵机等。

在一些实施例中，基于图形的模型132可被训练为基于以第一数字图像110的形式的输入来生成(例如，借助于系统134)第二数字图像112。基于图形的模型132的训练随后在本公开中进行描述。在这些或其他实施例中，第二数字图像112可以被配置成场景109的相同区域或相似区域的图像。因此，在一些实施例中，第一数字图像110和第二数字图像112可大致重叠。在这些或其他实施例中，可以舍弃与第一数字图像110、第二数字图像112不重叠的部分相对应的数据。另外地或可选择地，第二数字图像112可被生成为单视场图像，该单视场图像在视觉上模拟当虚拟相机116假如为像相机114一样的实际相机时虚拟相机116将要成像的内容。在这些或其他实施例中，虚拟相机116实际定位在与相机114的实际位置不同的位置处。因此，在一些实施例中，可以从第一位置和/或以第一角度对第一数字图像110中成像的对象进行成像。可选择地或附加地，可以从第二位置和/或以第二角度在第二数字图像112中对该对象进行成像，使得第二位置和/或第二角度分别不同于第一位置和第一角度。以这种方式，可以采用由相机114捕获的第一数字图像110和由立体图像模块130生成的第二数字图像112来生成具有可感知深度的立体图像120。

在这些或其他实施例中，相机114相对于虚拟相机116的位置关系可包括位移因子118。如本发明所述，位移因子118可包括：针对一个或多个轴线的角度或方向(如，翻滚角、俯仰角和偏航角)、偏移横向距离或偏移纵向高度等。在一些实施例中，位移因子118可以是已知常数。可选择地或附加地，位移因子118可被设置为使得由第二数字图像112产生的立体图像120具有足够好的质量和精确度的值。例如，位移因子118可被设置为使得基于立体图像120的距离测量足够精确和/或适合特定模型的值。

在其他实施例中，除了捕获第一数字图像110之外，还可捕获第二数字图像112来生成立体图像120，而不是通过如上所述(例如，通过基于图形的模型132)生成的第二数字图像112来生成立体图像120。例如，第一数字图像110和第二数字图像112可由相机114在不同的位置或以不同的旋转角度被捕获，这也可能影响第一数字图像110和第二数字图像112之间重叠区域的大小、形状等。例如，图1C示出了相机114可在第一位置136a捕获第一数字图像110并且相机114可在第二位置136b捕获第二数字图像112的实施例。图1C的实线三角形可对应于第一位置136a处的相机114的视场，图1C的点划线三角形对应于从第一位置136a移动至第二位置136b处的相机114的视场。如图所示，图1C描绘了相机114的侧视图及相机114在第一位置136a和第二位置136b处的视场。在一些实施例中，第一位置136a和第二位置136b之间的距离可与一些实施例中的第一区域和第二区域之间的横向偏移有关。

可选择地或附加地，可根据可基于3D效果的目标程度的目标偏移来确定第一位置136a和第二位置136b之间的距离。例如，在一些实施例中，可基于可与第一区域相关联的坐标来请求第二数字图像112，使得所述坐标中的一个或多个坐标也可被包括在第二区域中，但是与第一数字图像110中的坐标位置相比，所述一个或多个坐标在第二数字图像112中偏移了该目标偏移。

作为另一实施例，图1D示出相机114可在第一旋转位置138a处捕获第一数字图像110并可在第二旋转位置138b处捕获第二数字图像112的示例。图1D的实线三角形可对应于第一旋转位置138a处的相机114的视场，图1D的点划线三角形可对应于第二旋转位置138b处的相机114的视场。第一旋转位置138a和第二旋转位置138b之间的旋转量也会影响第一区域和第二区域之间的横向偏移。可选择地或附加地，在一些实施例中，第一方向和第二方向朝向彼此的旋转量可以基于目标旋转角度。在一些实施例中，目标旋转角度可以基于目标3D效果。可选择地或附加地，目标旋转角度可以基于用于实现目标3D效果的目标焦点(例如，焦点113)。

根据图1C-1D的捕获第一数字图像110和第二数字图像112不仅会使第一区域和第二区域包括场景109的不同大小的部分，而且场景109的视角也会因不同的相机角度而不同。不同的视角也可能影响重叠区域的形状和大小。

可以使用任何合适的技术来确定第一数字图像110和第二数字图像112之间的重叠区域。例如，在一些实施例中，可以基于包括在第一数字图像110和第二数字图像112的像素中的图像数据的比较来确定重叠区域，以确定场景109的哪些元素可以在第一数字图像110和第二数字图像112两者中被描绘。可选择地或附加地，可以使用并基于几何原理来确定重叠区域，所述几何原理可与以下项相关联：在捕获第一数字图像110和第二数字图像112期间的相机位置、在捕获第一数字图像110和第二数字图像112期间的相机旋转、第一方向和第二方向的相对关系、第一区域和第二区域之间的偏移量以及第一数字图像110和第二数字图像112的鸟瞰图中的倾斜量、第一数字图像110的缩放系数、第二数字图像112的缩放因子、第一数字图像110的大小、第二数字图像112的大小、第一区域的大小、第二区域的大小等。

在一些实施例中，第三数字图像可以基于第一数字图像110和第二数字图像112之间的重叠区域被获得。例如，在一些实施例中，可以基于与重叠区域相应的并在第二数字图像中描绘的第二子区域来获得第三数字图像。此外，可以基于第一数字图像110的大小(如分辨率)、纵横比和尺寸(如水平和垂直像素的数量)来获得第三数字图像，使得第三数字图像可具有基本相同的大小、纵横比和尺寸。

在一些实施例中，立体图像120可用于生成深度图。例如，检测应用124和/或立体图像模块130可以生成深度图。深度图的示例如图4所示。深度图可包括关于立体图像120中的每个像素的对应像素。深度图中的每个对应像素可代表关于立体图像120中的每个相应像素的距相机114的相对距离数据。例如，深度图中具有特定紫色或灰度阴影的像素可以对应于特定的相对距离，该特定的相对距离不是实际距离值。因此，在一些实施例中，第一深度图中的像素和第二深度图中的像素可以包括相同的颜色或灰度阴影，但具有不同的实际距离值(例如，甚至是数量级不同的实际距离值)。通过这种方式，生成的深度图中的颜色或灰度并不代表像素的实际距离值；相反地，生成的深度图中的像素的颜色或灰度可以表示相对于相邻像素的距离值。

在一些实施例中，深度图中像素总量的像素子集可与对象相关联。例如，检测应用124和/或立体图像模块130可以确定深度图中的像素子集指示对象。通过这种方式，尽管不一定对对象进行测距，但是可以初步识别或检测到对象的存在，。为了对检测到的对象进行测距，可以分析与对象相关联的像素子集的一部分。在一些实施例中，可以分析与对象相关联的像素子集的部分，而不是分析与对象相关联的像素子集的全部，以减少计算开销，提高测距速度等。例如，不需要对与行人相关联的每个像素(例如，脚、腿、躯干、脖子和头)全部进行测距。相反，与行人相关联的一个或多个部分的像素可被视为代表行人相对于相机114的位置以用于测距的目的。在这些或其他实施例中，与对象相关联的像素子集可以被平均、分段或以其他方式简化为像素子集的一部分。可选择地或附加地，可以暂时降低立体图像120和深度图中的一个或两个的分辨率(并随后恢复到原始分辨率)。通过这样的方式，像素子集的部分可包括充分代表对象的相对距离数据。

在一些实施例中，对象的相对距离数据可被转换为实际距离值(例如，以英寸、英尺、米、公里等为单位)。为了将基于深度图的相对距离数据转换为到对象的实际距离值，可以使用相对距离数据之间的预定关系、第一数字图像110和第二数字图像112的焦点113、相机114和虚拟相机116之间的位移因子118和/或基于立体图像中的感知深度补偿距离测量中的偏移的校正曲线。在这些或其他实施例中，随着与相机114之间的距离增加，深度图中的相对距离数据的精确度降低。因此，一旦从相对距离数据转换实际距离数据，则可以将与实际距离数据的偏移量绘制成曲线或拟合成曲线作为实际距离的函数。因此，在一些实施例中，可以实施校正值的曲线以校正与实际距离数据的偏移。

在一些实施例中，基于图形的模型132可被训练为基于诸如第一数字图像110的单个单视场图像来生成第二数字图像112，以用于后续生成立体图像120。为了训练基于图形的模型132，可以向基于图形的模型132提供立体对图像。所述立体对图像可包括第一单视场图像和第二单视场图像。图5示出了为训练目的提供给基于图形的模型132的立体对的示例。在这些或其他实施例中，第一单视场图像和第二单视场图像可包括从任何相同或相似场景、但从不同位置和/或角度拍摄的图像。这样，一起拍摄的第一单视场图像和第二单视场图像可形成具有可感知深度的立体对。可选择地或附加地，第一单视场图像和第二单视场图像可包括任何类型、性质、位置或主题的场景109。一些立体对图像可以根据类型、性质、位置或主题而关联；然而，除了增加数量之外，立体对图像之间的多样性还可有助于提高基于图形的模型132的训练质量或性能，以生成具有足够好的质量和准确度的第二数字图像112和立体图像120。

在一些实施例中，基于图形的模型132的训练可以发生在服务器端，例如，在当远离机器122定位时的立体图像模块130处发生。可选择地或附加地，基于图形的模型132的训练可以是一次性过程，随后就可以实现第二数字图像112和立体图像120的生成。在其他实施例中，基于图形的模型132的训练可以根据需要、在滚动基础上(例如，连续地)或在间隔基础上(例如，预定的时间表)而发生。作为根据需要的示例，可能会出现不精确或安全威胁的情况，例如，在发生安全违规或事故中。这种情况下，可以向基于图形的模型132提供关注于不精确性或安全威胁的附加训练。可选择地或附加地，基于图形的模型132的训练的一个或多个方面可以发生在机器122处(例如，经由检测应用124)。作为示例，可以在基于图形的模型132处从以下项接收反馈：经由机器122从检测应用程序124、经由机器122从机器122的用户、从诸如执法官员的第三方等。

在不脱离本公开的范围的情况下，可以对环境105进行修改、添加或省略。例如，环境105可以包括除具体列出的那些元素之外的其他元素。另外，环境105可以被包括在任何数量的不同系统或设备中。

图2示出了用于基于一个或多个单视场帧对对象进行地图绘制和/或检测和测距的方法200的示例流程图。所述方法200可根据本公开中描述的至少一个实施例进行布置。在一些实施例中，所述方法200可以全部或部分地由软件系统和/或处理系统(例如下面结合图3描述的系统300)执行。在这些和其他实施例中，所述方法200的一部分或全部步骤可以基于存储在一个或多个非暂时性计算机可读介质上的指令的运行被执行。虽然示出的是离散的块，但各种块可以根据所期望的实现被划分为另外的块，或被组合成更少的块，或被消除。

所述方法200可从块205开始，在块205，第一数字图像经由检测应用和相机传感器中的一个或两个被获得。第一数字图像可以是从可通信地耦合到检测应用的相机传感器的第一位置描绘的场景的单视场图像。在一些实施例中，第一数字图像可包括机器的轨迹。

在块210，第二数字图像可基于第一数字图像被生成。第二数字图像可以是从与第一位置不同的第二位置描绘的场景的单视场图像。在这些或其他实施例中，第二数字图像不是由相机(例如块205捕获第一数字图像的相机)捕获的图像。

在块215，可以生成场景的立体图像。立体图像可包括第一数字图像和第二数字图像。在这些或其他实施例中，立体图像可以是检测和测距确定操作可基于的图像。

本领域技术人员将理解的是，对于本公开中公开的该方法和其他方法，所述方法的块可以以不同的顺序实现。此外，这些块仅作为示例提供，并且一些块可以是可选的，可以被组合成更少的块，或者被扩展成另外的块。

例如，在一些实施例中，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括获得多个立体对图像，每个立体对图像包括第一单视场图像和第二单视场图像；将多个立体对图像作为输入发送到基于图形的模型中。通过这种方式，可训练基于图形的模型以知道如何基于第一数字图像生成块210的第二数字图像，以便随后生成块215的立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括将第一数字图像作为输入发送到基于图形的模型中，其中，第二数字图像基于输入到基于图形的模型中的第一数字图像和多个立体对图像中的一个或两个从基于图形的模型被输出。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括生成包括关于立体图像中的每个像素的对应像素的深度图，深度图中的每个对应像素代表关于立体图像中的每个相应像素的距相机传感器的相对距离数据。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括将深度图中的像素总量的像素子集关联为对象的象征，基于深度图中与对象相关联的像素子集的一部分，使用以下项获得从相机传感器到立体图像中的对象的实际距离：与对象相关联的部分的相对距离数据；第一数字图像和第二数字图像的焦点；以及第一数字图像和第二数字图像之间的位移因子。在一些实施例中，获取到对象的实际距离的方法可包括基于立体图像中的感知深度来确定补偿在距离测量中的偏移的校正值来。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括当到对象的实际距离满足第一阈值距离时，经由检测应用发送用于呈现的警告；和/或，当到对象的实际距离满足第二阈值距离时，经由检测应用使可通信地耦合到检测应用的机器执行校正动作。在一些实施例中，第一阈值距离和第二阈值距离可以相同，然而在其他实施例中，可以是到检测到的对象的不同距离。可选择地或附加地，第一阈值距离和/或第二阈值距离可以根据无数因素中的任何因素而变化。例如，影响第一和第二阈值差异的成因可以包括：机器和/或对象的速度、机器和/或对象的轨迹、校正规则或法则、成本/效益分析、风险预测分析、或使机器和检测到的对象之间的阈值距离合理的任何其他合适类型的因素。

在一些实施例中，经由检测应用的用于呈现(例如，在显示器上)的警告可包括视觉警告信号和/或听觉警告信号。可选择地或附加地，检测应用可使机器执行校正动作，所述校正动作包括使机器停止、使机器减速、使机器转向、降低/升高机器的高度、避免机动或用于减轻对机器和对象的损坏和/或防止机器和对象之间的接触的任何其他合适类型的校正动作。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括确定立体图像内的对象的存在；经由基于图形的模型，基于对象的图像识别处理对对象进行分类。在一些实施例中，确定立体图像内的对象的存在可包括对立体图像内和/或深度图内的像素的分析。例如，如果一组像素形成示例形状或包括特定颜色或灰度，则可推断出对象的存在。在这些或其他实施例中，对象的识别可以是单独的步骤。

在一些实施例中，图像识别可包括基于图形的模型的图像识别训练。例如，可以向基于图形的模型馈送输入数据(例如，对象的图像)，并且可以将基于图形的模型的输出(例如，猜测)与预期结果(诸如预定或人为指定的标签)进行比较。使用通过输入数据的附加循环，可以修正基于图形的模型中的权重、偏差和其他参数以降低猜测的错误率。例如，可以调整基于图形的模型中的权重，使得该猜测更好地匹配对象的图像的预定或人为指定的标签。

在这些或其他实施例中，为训练目的馈送至基于图形的模型的输入数据可包括大量不同对象的图像。可以向基于图形的模型提供数百、数千或数百万个对象图像。可选择地或附加地，提供给基于图形的模型的对象的图像可包括对应于一个或多个特征、像素、边界或对象的任何其他可检测的方面的标签。

在这些或其他实施例中，另外的或可选择的，图像识别技术可与基于图形的模型一起使用以对对象进行分类。例如，图像识别技术的示例可以包括使用以下项：灰度；RGB(红、绿和蓝)值，例如，范围从0到255；预处理技术(例如，图像裁剪/翻转/角度操纵，调整图像色调、对比度和饱和度等)；测试数据的子集或小批量测试数据而不是整个数据集；以及通过获取网格的最大像素值来最大限度地减小图像的尺寸。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第一接口元素处接收关于立体图像中所渲染的立体深度的程度的第一用户输入；基于第一用户输入调整所述立体深度；在用户接口的第二接口元素处接收关于对立体图像的z平面位置的调整的第二用户输入；基于第二用户输入调整z平面位置；以及基于立体深度的调整和z平面位置的调整来生成(例如，重新生成)立体图像。在一些实施例中，场景可包括地理场景，和/或立体图像可包括在地图绘制应用和/或检测和测距应用中使用的地理场景的多个立体图像中的一个立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于立体图像中所描绘的场景的视场大小的第三用户输入；基于第三用户输入调整所述视场大小；以及基于所述视场大小的调整生成(例如，重新生成)立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于描绘立体图像中所描绘的场景的俯仰角的第三用户输入；基于第三用户输入调整所述俯仰角；以及基于所述俯仰角的调整生成(例如，重新生成)立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于视点的距离的第三用户输入，其中，立体图像中所描绘的场景从所述视点进行描绘；基于第三用户输入调整所述距离；以及基于所述距离的调节生成(例如，重新生成)立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于立体图像中所描绘的场景的对象的缩放比例的第三用户输入；基于第三用户输入调整所述缩放比例；以及基于所述缩放比例的调整生成(例如，重新生成)立体图像。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于模拟跟随如多个立体图像中呈现的地理场景内的导航路线的速度的第三用户输入；基于第三用户输入调整所述速度；以及基于调整后的速度模拟跟随地理场景内的导航路线的过程。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于地图绘制应用的飞行模式的第三用户输入，其中，所述飞行模式模拟在多个立体图像中呈现的地理场景的地面上方飞行；以及基于第三用户输入启用所述飞行模式。

可选择地或附加地，方法200中可包括一个或多个另外的块，所述一个或多个另外的块包括以下步骤中的一个或多个：在用户接口的第三接口元素处接收关于地图绘制应用的空中图像模式的第三用户输入，其中，所述空中图像模式基于由相机捕获的地理场景的一个或多个图像来描绘地理场景的立体视图；以及基于第三用户输入启用所述空中图像模式。

图3示出了可用于基于一个或多个单视场帧对对象进行地图绘制和/或检测和测距的示例系统300。系统300可根据本公开中描述的至少一个实施例进行布置。可选择地或附加地，系统300可被配置为执行上文结合图2描述的方法200的一个或多个方面。系统300可包括处理器312、存储器314、通信单元316、显示器318、外围设备322和用户接口单元320，它们都可通信地耦合。在一些实施例中，系统300可以是本发明中描述的任何系统或设备的一部分。

通常，处理器312可以包括任何合适的专用或通用计算机、计算实体或包括各种计算机硬件或软件模块的处理设备，并可被配置为执行存储在任何适用的计算机可读存储介质上的指令。例如，处理器312可包括微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或被配置为解释和/或执行程序指令和/或处理数据的任何其他数字或模拟电路。

尽管在图3中示出为单个处理器，但是应当理解，处理器312可包括分布在任意数量的网络或物理位置上的被配置为单独地或共同地执行本公开中描述的任何数量的操作的任何数量的处理器，其。在一些实施例中，处理器312可以解释和/或执行存储在存储器314中的程序指令和/或处理数据。在一些实施例中，处理器312可以执行存储在存储器314中的程序指令。

例如，在一些实施例中，处理器312可以执行存储在存储器314中的基于单个单视场帧的相关检测和测距的程序指令。在这些和其他实施例中，指令可用于执行本发明中描述的一个或多个操作或功能。

存储器314可包括计算机可读存储介质或一个或多个用于载有或具有存储在其上的计算机可执行指令或数据结构的计算机可读存储媒介。这种计算机可读存储介质可以是可由通用或专用计算机(例如处理器312)访问的任何可用介质。作为示例而非限制，这种计算机可读存储介质可以包括非暂时性计算机可读存储介质(包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程式只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储器)、磁盘存储器或其他磁存储设备、闪存设备(例如，固态存储设备)、或其他任何存储介质，这些存储介质可用于以计算机可执行指令或数据结构的形式载有或存储特定程序代码并可由通用或专用计算机访问。以上的组合也可包括在计算机可读存储介质的范围内。计算机可执行指令可包括例如被配置为使处理器312执行如本公开中描述的特定操作或一组操作的指令和数据。在这些和其他实施例中，本公开中解释的术语“非暂时性”应当解释为仅排除那些在联邦巡回法院决定“In re Nuijten,500F.3d 1346(Fed.Cir.2007)”中被发现不属于可授予专利主题范围的暂时性介质。以上的组合也可包括在计算机可读介质的范围内。

通信单元316可包括被配置为通过网络发送或接收信息的任何组件、设备、系统或其组合。在一些实施例中，通信单元316可与其他位置的其他设备、相同位置的其他设备，或甚至同一系统中的其他组件进行通信。例如，通信单元316可以包括调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备(例如天线)和/或芯片组(例如蓝牙设备、802.6设备(例如，城域网(MAN))、Wi-Fi设备、WiMax设备、蜂窝通信设备等)等。通信单元316可允许与网络和/或本发明中描述的任何其他设备或系统交换数据。

显示器318可被配置为一个或多个显示器，例如LCD、LED或其他类型的显示器。例如，显示器318可被配置为呈拓扑状、指示拓扑突变、指示警告通知、显示验证性能提升值、显示权重、偏差等，以及由处理器312指示的其他数据。

外围设备322可包括一个或多个设备。例如，外围设备可包括传感器、麦克风和/或扬声器，以及其他外围设备。

用户接口单元320可以包括允许用户与系统300对接的任何设备。例如，用户接口单元320可以包括鼠标、跟踪板、键盘、按钮和/或触摸屏、以及其他设备。用户接口单元320可以从用户接收输入并将所述输入提供给处理器312。在一些实施例中，用户接口单元320和显示器318可以组合。

可选择地或附加地，在一些实施例中，图3的用户接口单元320可以包括第一接口元素，第一接口元素被配置为接收关于图1A的立体图像108中所渲染的立体深度的程度的第一用户输入。第一接口元素被配置为基于第一用户输入来指导立体深度的调整，使得图1A的立体图像108具有基于立体深度的调整的立体深度。

立体深度的调整可包括调整由图1A的立体图像108提供的立体效果的程度。例如，图6A示出了场景652的立体描绘650a，立体描绘650a与第一立体图像相应并被显示在显示屏幕654上。另外，图6B示出了场景652的立体描绘650b，立体描绘650b与第二立体图像相应并被显示在显示屏幕654上。如图6A和6B之间的比较所示，第一立体图像和第二立体图像可具有不同程度的立体深度，所述不同程度的立体深度可根据基于用户输入调整的第一接口元素的不同设置。

作为另一示例，图3的用户接口单元320包括第二接口元素，第二接口元素被配置为接收关于图1A的立体图像108的z平面位置的调整的第二用户输入。第二接口元素被配置为基于第二用户输入来指导z平面位置的调整，使得图1A的立体图像108的z平面可具有基于z平面的调整的位置。

z平面的调整可包括图1A的立体图像108所描绘的场景的位置相对于显示立体图像108的屏幕的调整，使得可调整立体图像108相对于屏幕的立体效果的相对位置。例如，z平面的调整可以调整在屏幕外或屏幕后面投射的立体效果的多少。

例如，图6C示出了与第三立体图像相应并被显示在显示屏幕654上的场景652的立体描绘650c。如图6A所示，第一立体图像具有第一z平面位置，在第一z平面位置中大部分立体效果在屏幕654内。相反，如图6C所示，第三立体图像具有第三z平面位置，在第三z平面位置中大部分立体效果在显示屏654之外。不同的z平面位置可根据基于用户输入调整的第二接口元素的不同设置而不同。

作为另一示例，图3的用户接口单元320可以包括第三接口元素，该第三接口元素被配置为接收关于图1A的立体图像108中所描绘场景的视场大小的第三用户输入。第三接口元素被配置为基于第三用户输入来指导视场的大小的调整，使得立体图像108中所描绘的场景的视场可基于视场的调整而定。

视场的调整可包括调整立体图像108中可描绘的场景量，使得包含在立体图像108中的场景量可被调整。所述调整可包括对水平视场、垂直视场或水平或垂直视场的组合进行调整。

例如，图6D示出了与第四立体图像相应并被显示在显示屏654上的场景652的立体描绘650d。如图6A和图6D之间的比较所示，第一立体图像比第四立体图像的视场更广，其基于用户输入调整的第三接口元素的不同设置而定。

作为另一示例，图3的用户接口单元320可包括第四接口元素，第四接口元素被配置为接收关于描绘图1A的立体图像108中所描绘的场景的俯仰角的第四用户输入。第四接口元素被配置为基于第四用户输入指导俯仰角的调整，使得描绘立体图像108中的场景的俯仰角基于俯仰角的调整而定。

俯仰角的调整可包括调整视角，其中，可从所述视角观察到立体图像108中所描绘的场景。例如，可以调整俯仰角，以直接从上方、以45°角、0°角或其间的任何角度观看场景。

例如，图6E示出了与第五立体图像相应并被显示在显示屏幕654上的场景652的立体描绘650e。如图6A所示，可基于第一视角在第一立体图像中描绘场景652。此外，如图6E所示，可基于与第一视角不同的第五视角在第五立体图像中描绘场景652。不同的视角可根据基于用户输入而调整的第四个接口元素的不同设置而定。

作为另一示例，图3的用户接口单元320可包括第五接口元素，第五接口元素被配置为接收关于视点的距离的第五用户输入，其中，从所述视点描绘图1A的立体图像108中所描绘的场景。第五接口元素被配置为基于第五用户输入指导距离的调整，使得立体图像108中的视点的距离可基于距离的调整而定。

距离的调整可包括正被观看的场景的视点与该场景之间距离的调整。例如，在一些实施例中，距离的调整可包括高度的调整，其中，从所述高度可以观看立体图像108所描绘的地理场景。

例如，图6F示出了与第六立体图像相应并被显示在显示屏幕654上的场景652的立体描绘650f。如图6A所示，可基于距离地面的第一空中距离的视点在第一立体图像中描绘场景652。另外，如图6F所示，可基于距离地面的第二空中距离的视点在第六立体图像中描绘场景652，其中，第二空中距离高于第一空中距离。不同的距离可基于根据用户输入而调整的第五接口元素的不同设置而定。

作为另一示例，图3的用户接口单元320可包括第六接口元素，第六接口元素被配置为接收关于可在图1A的立体图像108中描绘的对象的缩放比例的第六用户输入。第六接口元素被配置为指导缩放比例的调整，使得立体图像108中描绘的对象的缩放比例基于可基于所述缩放比例的调整而定。

缩放比例的调整可包括调整在立体图像108中所描绘的对象的大小。例如，场景可包括多个高度不同的建筑物。在某些情况下，一个或多个建筑物可能过于高大，以至于经由立体图像108描绘将在场景的3D渲染中进行缩放的所有建筑物的高度可能会阻碍对该场景的观看。调整缩放比例可以调整较高对象的缩放比例，使得与其他对象相比，较高对象的描绘高度会减少，从而减少对观看的阻碍。

例如，图6G示出了与第七立体图像相应并被显示在显示屏幕654上的场景652的立体描绘650g。如图6A所示，场景652可以包括比其他建筑物高的建筑物660。如图6G所示，可以减小建筑物660的高度。不同的高度可基于是否基于用户输入启用或禁用缩放功能。

如上所述，在一些实施例中，图3的用户接口单元320可被包括在可生成图1A的立体图像108的任何合适的系统中。在这些或其他实施例中，立体图像108可以描绘诸如关于地图绘制应用和/或检测和测距应用的地理场景。可选择地或附加地，图3的用户接口单元320可包括可用于描绘地理场景的一个或多个接口元素。

例如，在一些实施例中，地图绘制应用和/或检测和测距应用可被配置为模拟沿特定导航路线行驶。在这些或其他实施例中，图3的用户接口单元320可包括第七接口元素，第七接口元素被配置为接收关于模拟跟随导航路线的速度的第七用户输入。第七接口元素被配置为指导速度的调整，使得如图1A的立体图像108中所描绘的模拟的行驶速度基于速度的调整而定。

在这些或其他实施例中，地图绘制应用和/或检测和测距应用(或描绘地理场景的任何其他适用系统)可被配置为模拟飞越地理场景。在这些或其他实施例中，图3的用户接口单元320可包括第八接口元素，第八接口元素被配置为接收关于飞行模式的第八用户输入。第八接口元素可被配置为基于第八用户输入来指示启用或禁用飞行模式。

在这些或其他实施例中，地图绘制应用和/或检测和测距应用(或描绘地理场景的任何其他适用系统)可被配置为基于可由一个或多个相机捕获的地理场景的一个或多个图像生成图1A的立体图像108，使得地图绘制应用和/或检测和测距应用可基于所述图像来描绘地理场景的立体视图。可选择地或附加地，地图绘制应用和/或检测和测距应用可被配置为基于地图绘制来生成立体图像108，使得地图绘制应用和/或检测和测距应用可描绘地理场景的绘制立体视图。在这些或其他实施例中，图3的用户接口单元320可包括第九接口元素，第九接口元素被配置为接收关于空中图像模式或地图模式的第九用户输入。第九接口元素可被配置为基于第九用户输入来指导启用或禁用空中图像模式或地图模式。

如上所述，图3的用户接口单元320可因此被配置为基于用户输入控制图1A的立体图像108的一个或多个参数，使得立体图像108可被定制生成。

在不脱离本公开范围的情况下，可以对系统300进行修改、添加或省略。例如，在一些实施例中，系统300可包括未明确示出或描述的任何数量的其他组件。此外，依据特定的实现，系统300可不包括所示出和描述的组件中的一个或多个。另外，作为进一步的示例，包括在图3的用户接口单元320中的接口元素的数量和类型可以变化。另外，尽管针对接口元素、用户输入等使用术语“第一”、“第二”、“第三”、“第四”等，但这些术语不一定意味着元素的特定顺序或数量，而仅用于简化描述。例如，在一些实施例中，图3的用户接口单元320可包括第一接口元素、第二接口元素和第四接口元素而不包括第三接口元素。另外，针对图3的用户接口单元320的图6A-6G示出和描述的效果不一定是按比例或实际的描绘，而是仅用于帮助提高对本公开的理解。此外，尽管针对地图绘制和/或检测和测距应用描述了图3的用户接口单元320的一个或多个特征，但是用户接口单元320不限于这些应用。

图7示出了关于用户接口722的屏幕754的视觉描绘的示例实施例，其中，用户接口722可被配置为控制立体图像的调整。在一些实施例中，用户接口722可以是图3的用户接口单元320的示例。在本示例中，用户接口722可对应于地图绘制应用和/或检测和测距应用。然而，用户接口722的一个或多个接口元素可用于与地图绘制应用和/或检测和测距应用无关的实现中。

在一些实施例中，用户接口722可包括“眼内距离”(IOD)接口元素，IOD接口元素可对应于上面关于图6A和图6B描述的第一接口元素。这样，IOD接口元素可被配置为接收关于立体深度的程度的第一用户输入，并可被配置为基于第一用户输入来指导立体深度的调整。

在所示的示例中，IOD接口元素可包括IOD元素762a和IOD元素762b。IOD元素762a可以包括一字段，其中，用户可在该字段输入指示立体深度量的数字，作为经由输入设备的第一用户输入。IOD元素762b可包括具有滑块的滑动条，其中，用户可移动滑块作为通过输入设备的第一用户输入，来调整立体深度的量。在一些实施例中，IOD接口元素可被这样配置使得IOD元素762b的滑块的移动可导致填充在IOD元素762a的字段内的值自动改变到与滑块的位置相应。可选择地或附加地，IOD接口元素可被这样配置使得IOD元素762a的字段内的值的改变可导致IOD元素762b的滑块移动到与所述字段内的值对应的位置。

IOD接口元素的实施例仅是示例。例如，在一些实施例中，IOD接口元素可仅包括IOD元素762a或仅包括IOD元素762b。在这些或其他实施例中，IOD接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“屏幕Z”接口元素，屏幕Z接口元素可对应于上面关于图6A和6C描述的第二接口元素。这样，屏幕Z接口元素可被配置为接收关于z平面位置的第二用户输入，并且可被配置为基于第二用户输入来指导z平面位置的调整。

在所示的示例中，屏幕Z接口元素可包括屏幕Z元素764a和屏幕Z元素764b。屏幕Z元件764a可包括一字段，其中，用户可在该字段输入指示z平面的位置的数字，作为经由输入设备的第二用户输入。屏幕Z元素764b可包括具有滑块的滑动条，其中，用户可移动滑块作为经由输入装置的第二用户输入，来调整z平面的位置。在一些实施例中，屏幕Z接口元素可被这样配置使得屏幕Z元素764b的滑块的移动可导致在屏幕Z元素764a的字段中填充的值自动改变到与滑块的位置相应。可选择地或附加地，屏幕Z接口元素可被这样配置使得屏幕Z元素764a的字段内的值的改变可导致屏幕Z元素764b的滑块移动到与所述字段内的值对应的位置。

所示屏幕Z接口元素的实施例仅是示例。例如，在一些实施例中，屏幕Z接口元素可以仅包括屏幕Z元素764a或仅包括屏幕Z元素764b。在这些或其他实施例中，屏幕Z接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“视场”(FOV)接口元素，FOV接口元素可对应于上面关于图6A和6D描述的第三接口元素。这样，FOV接口元素可被配置为接收关于视场的大小的第三用户输入，并可被配置为基于第三用户输入来指导视场的调整。

在所示的示例中，FOV接口元素可包括FOV元素760a和FOV元素760b。FOV元素760a可以包括一字段，其中，用户可在该字段输入指示视场大小的数字，作为经由输入设备的第三用户输入。FOV元素760b可包括具有滑块的滑动条，其中，用户可移动滑块作为经由输入设备的第三用户输入，来调整视场的大小。在一些实施例中，FOV接口元素可被这样配置使得FOV元件760b的滑块的移动可导致填充在FOV元素760a的字段内的值自动改变到与滑块的位置相应。可选择地或附加地，FOV接口元素可被这样配置使得FOV元件760a的字段内的值的改变可导致FOV元素760b的滑块移动到与所述字段内的值对应的位置。

所示的FOV接口元素的实施例仅是示例。例如，在一些实施例中，FOV接口元素可仅包括FOV元素760a或仅包括FOV元素760b。在这些或其他实施例中，FOV接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“俯仰角”接口元素，俯仰角接口元素可对应于上面关于图6A和6E描述的第四接口元素。这样，俯仰角接口元素可被配置为接收关于视角的第四用户输入，并且可被配置为基于第四用户输入来指导视角的调整。

在所示的示例中，俯仰角接口元素可包括俯仰角元素766a和俯仰角元素766b。俯仰角元素766a可包括一字段，其中，用户可在该字段输入指示视角的数字，作为经由输入设备的第四用户输入。俯仰角元素766b可包括具有滑块的滑动条，其中，用户可移动滑块作为经由输入装置的第四用户输入，来调整视角。在一些实施例中，俯仰角接口元素可被这样配置使得俯仰角元素766b的滑块的移动可导致在俯仰角元素766a的字段中填充的值自动改变到与滑块的位置相应。可选择地或附加地，俯仰角接口元素可被这样配置使得俯仰角元素766a的字段内的值的改变可导致俯仰角元素766b的滑块移动到与所述字段内的值对应的位置。

所示俯仰角接口元素的实施例仅是示例。例如，在一些实施例中，俯仰角接口元素可以仅包括俯仰角元素766a或仅包括俯仰角元素766b。在这些或其他实施例中，俯仰角接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“距离”接口元素，距离接口元素可对应于第五接口元素，距离接口元素可被配置为接收关于观看距离的第五用户输入，并可被配置为基于第五用户输入来指导观看距离的调整。

在所示的示例中，距离接口元素可包括距离元素768a和距离元素768b。距离元素768a可以包括一字段，其中，用户可在该字段输入指示观看距离的数字，作为经由输入设备的第五用户输入。距离元素768b可包括具有滑块的滑动条，其中，用户可移动滑块作为经由输入设备的第五用户输入，来调整观看距离。在一些实施例中，距离接口元素可被这样配置使得距离元件768b的滑块的移动可导致填充在距离元素768a的字段内的值自动改变到与滑块的位置相应。可选择地或附加地，距离接口元素可被这样配置使得距离元件768a的字段内的值的改变可导致距离元素768b的滑块移动到与所述字段内的值对应的位置。

所示距离接口元素的实施例仅是示例。例如，在一些实施例中，距离接口元素可仅包括距离元素768a或仅包括距离元素768b。在这些或其他实施例中，距离接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“缩放比例”接口元素，缩放比例接口元素可对应于第六接口元素，缩放比例接口元素可被配置为接收关于对象的缩放比例的第六用户输入，并且可被配置为基于第六用户输入来指导缩放比例的调整。

在所示的示例中，缩放比例接口元素772可包括选择按钮，其中，所述选择按钮响应于被选择可在缩放对象与非缩放对象之间进行切换。所示的缩放比例接口元素772的实施例仅是示例。例如，在一些实施例中，缩放比例接口元素可包括滑动条或可允许用户调整缩放量的字段。在这些或其他实施例中，缩放比例接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“速度”接口元素，速度接口元素可对应于第七接口元素，速度接口元素被配置为接收关于跟随导航路线的速度的第七用户输入，并可以被配置为基于第七用户输入来指导速度的调整。

在所示的示例中，速度接口元素可包括速度元素770a和速度元素770b。速度元件770a可包括一字段，其中，用户可在该字段输入指示速度的数字，作为经由输入设备的第七用户输入。速度元素770b可包括具有滑块的滑动条，其中，用户可移动滑块作为经由输入装置的第七用户输入，来调整速度。在一些实施例中，速度接口元素可被这样配置使得速度元素770b的滑块的移动可导致在速度元素770a的字段中填充的值自动改变到与根据滑块的位置相应。可选择地或附加地，速度接口元素可被这样配置使得速度元素770a的字段内的值的改变可导致速度元素770b的滑块移动到与所述字段内的值对应的位置。

所示速度接口元素的实施例仅是示例。例如，在一些实施例中，速度接口元素可以仅包括速度元素770a或仅包括速度元素770b。在这些或其他实施例中，速度接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“飞行”接口元素780，飞行接口元素可对应于第八接口元素。这样，飞行接口元素可被配置为接收关于飞行模式的启用的第八用户输入，并可被配置为基于第八用户输入来指导启用或禁用飞行模式。

在所示的示例中，飞行接口元素780可包括选择按钮，其中，所述选择按钮响应于被选择可在启用与禁用飞行模式之间进行切换。所示的飞行接口元素780的实施例仅是示例。例如，飞行接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“空中图像”接口元素778，空中图像接口元素可对应于第九接口元素，空中图像接口元素可被配置为接收关于空中图像模式或地图模式的第九用户输入，并可被配置为基于第九用户输入来指导启用或禁用空中图像模式或地图模式。

在所示的示例中，空中图像接口元素778可包括选择按钮，其中所述选择按钮响应于被选择可在空中图像模式和地图模式之间进行切换。所示的空中图像接口元素778的实施例仅是示例。例如，空中图像接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“重置默认值”接口元素774，重置默认值接口元素774响应于被选择可将一个或多个上述参数(例如，FOV、IOD、屏幕Z、间距、距离、速度、缩放比例、空中图像、飞行等)恢复到默认设置。在所示的示例中，重置默认值接口元素774可包括选择按钮，所述选择按钮响应于被选择可对默认值进行重置。所示的重置默认值元素774的实施例仅是示例。例如，重置默认值接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“确认”接口元素776，确认接口元素776响应于被选择可保存关于上述参数的所选设置。可选择地或附加地，响应于选择确认接口元素776，可以退出用户接口722的菜单屏幕。在所示的示例中，确认接口元素776可包括选择按钮，其中，选择按钮响应于被选择可保存设置并退出菜单。所示的确认接口元素776的实施例仅是示例。例如，确认接口元素可包括另一种类型的接口元素。

在一些实施例中，用户接口722可包括“取消”接口元素782，取消接口元素782响应于被选择可取消对关于上述参数的所选设置已作出的任何更改。可选择地或附加地，响应于选择取消接口元素782，可以退出用户接口722的菜单屏幕。在所示的示例中，取消接口元素782可包括选择按钮，其中，所述选择按钮响应于被选择可取消任何更改并可退出菜单。所示的取消接口元素的实施例仅是示例。例如，取消接口元素可包括另一种类型的接口元素。

在不脱离本公开的范围的情况下，可以对图7进行修改、添加或省略。例如，包含在用户接口722中的接口元素的数量和类型可以变化。此外，尽管针对地图绘制应用和/或检测和测距应用描述了用户接口722的一个或多个特征，但是用户接口722不仅限于地图绘制应用和/或检测和测距应用。

根据惯例，附图中示出的各种特征可能未按比例绘制。本公开中呈现的图示并不意味着是任何特定装置(例如，设备、系统等)或方法的实际视图，而是仅用于描述本公开的各种实施例的理想化表示。因此，为了清晰起见，各种特征的尺寸可以任意地扩大或缩小。另外，为了清晰起见，可以简化一些附图。因此，附图可能未描绘所给出装置(例如，设备)的所有组件或特定方法的所有操作。

本文所使用的术语，尤其是权利要求(例如，权利要求的正文)中的术语通常旨在作为“开放”术语(例如，术语“包括”应被解释为“包括，但不限于”，术语“具有”应被解释为“至少具有”，术语“包含”一词应被解释为“包含但不限于”等。)。

另外，如果想要在权利要求叙述中引入特定的数量，这样的意图将在权利要求中明确叙述，如果没有这样的叙述，则不存在这样的意图。例如，为了帮助理解，权利要求可以包含介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求叙述。然而，这些短语的使用不应被这样解释：引入不定冠词的权利要求叙述将包含这种引入的任何特定权利要求限制为仅包含一个这样叙述的实施例，即使是相同的权利要求包括介绍性短语“一个或多个”或“至少一个”和“一个”这样的不定冠词(例如，“一个”应该被解释为“至少一个”或“一个或多个”)；对于用来引入权利要求叙述的定冠词也是如此。

另外，即使明确地叙述了引入权利要求叙述的特定数量，本领域技术人员也将认识到，这种叙述应该被解释为表示至少所引入的数字(例如，在没有其他修饰语的情况下，“两次叙述”的简单叙述表示至少两次叙述，或两次或多次叙述)。此外，在使用类似于“A、B和C等中的至少一个”或“A、B和C中的一个或多个等”的惯例的情况下，一般来说，这种结构是想要包括单独的A、单独的B、单独的C、A和B同时、A和C同时、B和C同时、或A、B和C同时等。例如，使用术语“和/或”旨在以这种方式解释。另外，术语“大约”、“基本上”和“近似”应被解释为表示实际值的10％内的值，例如，如3mm或100％(百分比)的值。

此外，不论在说明书、权利要求书或附图中，表示两个或更多个可选事物的任何析取词或短语应被理解为考虑包括所述事物中的一个、所述事物中的任何一个或两个事物的可能性。例如，短语“A或B”应被理解为包括“A”或“B”或“A和B”的可能性。

然而，这样短语的使用不应被这样解释：引入不定冠词“一个”的权利要求叙述将包括这种叙述的任何特定权利要求限制为仅包含一个这样叙述的实施例，即使是相同的权利要求包括介绍性短语“一个或多个”或“至少一个”和“一个”这样的不定冠词(例如，“一个”应该被解释为“至少一个”或“一个或多个”)；对于用来引入权利要求叙述的定冠词也是如此。

另外，术语“第一”、“第二”、“第三”等的使用在本文中不一定用于表示特定顺序或元素的数量。通常，术语“第一”、“第二”、“第三”等用于作为通用标识符将不同元素区分开。如果没有术语“第一”、“第二”、“第三”等表示特定顺序，则这些术语不应被理解为表示具体的顺序。此外，如果没有术语“第一”、“第二”、“第三”等表示元素的特定数量，则这些术语不应被理解为表示元素的特定数量。例如，第一小部件可被描述为具有第一侧，并且第二小部件可被描述为具有第二侧。针对第二小部件使用术语“第二侧”可以是将第二小部件的这一侧与第一小部件的“第一侧”区分开，而不是表示第二小部件具有两侧。

本文所述的所有示例和条件语言旨在用于教学对象，以帮助读者理解本发明和发明人为进一步发展本领域所贡献的构思，且将被解释为不限于这些具体叙述的示例和条件。虽然本公开的实施例已进行详细描述，但应当理解的是，可以在不脱离本公开的精神和范围的情况下进行各种变更、替换和更改。

Claims (40)

1.一种方法，其特征在于，包括：

经由检测应用获得第一数字图像，第一数字图像包括从相机传感器的第一位置描绘场景的单视场图像，所述相机传感器被可通信地耦合到所述检测应用；

基于第一数字图像，生成单视场的并从不同于第一位置的第二位置描绘所述场景的第二数字图像；以及

生成包括第一数字图像和第二数字图像的所述场景的立体图像。

2.如权利要求1所述的方法，其特征在于，还包括：

获取多个立体对图像，所述多个立体对图像均包括第一单视场图像和第二单视场图像；

将所述多个立体对图像作为输入发送到基于图形的模型中。

3.如权利要求2所述的方法，其特征在于，还包括：

将第一数字图像作为输入发送到所述基于图形的模型中，其中，第二数字图像是基于输入到所述基于图形的模型中的第一数字图像和所述多个立体对图像中的一个或两个从所述基于图形的模型被输出。

4.如权利要求1所述的方法，其特征在于，还包括：

生成包括所述立体图像中每个像素的对应像素的深度图，所述深度图中的每个对应像素代表所述立体图像中的每个相应像素的距所述相机传感器的相对距离数据。

5.如权利要求4所述的方法，其特征在于，还包括：

将所述深度图中的像素总量的像素子集关联为对象的象征；

基于所述深度图中与对象相关联的像素子集的一部分，使用如下项来获得从所述相机传感器到所述立体图像中的对象的实际距离：

与对象相关联的部分的相对距离数据；

第一数字图像和第二数字图像的焦点；以及

第一数字图像和第二数字图像之间的位移因子。

6.如权利要求5所述的方法，其特征在于，还包括：

当到对象的实际距离满足第一阈值距离时，经由所述检测应用发送用于呈现的警告；或者，

当到对象的实际距离满足第二阈值距离时，经由所述检测应用使可通信地被耦合到所述检测应用的机器执行校正动作。

7.如权利要求5所述的方法，其特征在于，获得到对象的实际距离的步骤包括基于所述立体图像中的感知深度来确定补偿距离测量中的偏移的校正值来。

8.如权利要求1所述的方法，其特征在于，还包括：

确定所述立体图像内对象的存在；以及

经由基于图形的模型，基于对象的图像识别处理对对象进行分类。

9.如权利要求1所述的方法，其特征在于，第一数字图像包括机器的轨迹。

10.如权利要求1所述的方法，其特征在于，还包括：

在用户接口的第一接口元素处接收关于所述立体图像中所渲染的立体深度的程度的第一用户输入；

基于第一用户输入调整所述立体深度；

在所述用户接口的第二接口元素处接收关于所述立体图像的z平面位置的调整的第二用户输入；

基于第二用户输入调整所述z平面位置；以及

基于所述立体深度的调整和所述z平面位置的调整生成所述立体图像。

11.如权利要求10所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于所述立体图像中所描绘的场景的视场大小的第三用户输入；

基于第三用户输入调整所述视场大小；以及

基于所述视场大小的调整生成所述立体图像。

12.如权利要求10所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于描绘所述立体图像中所描绘的场景的俯仰角的第三用户输入；

基于第三个用户输入调整所述俯仰角；以及

基于所述俯仰角的调整生成所述立体图像。

13.如权利要求10所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于视点的距离的第三用户输入，其中，从所述视点描绘在所述立体图像中所描绘的场景；

基于第三用户输入调整所述距离；以及

基于所述距离的调整生成所述立体图像。

14.如权利要求10所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于所述立体图像中所描绘的场景的对象的缩放比例的第三用户输入；

基于第三用户输入调整所述缩放比例；以及

基于所述缩放比例的调整生成所述立体图像。

15.如权利要求10所述的方法，其特征在于，所述场景是地理场景，所述立体图像是在地图绘制应用中使用的所述地理场景的多个立体图像中的一个立体图像。

16.如权利要求15所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于模拟跟随所述多个立体图像中呈现的所述地理场景内的导航路线的速度；

基于第三用户输入调整所述速度；以及

基于调整后的速度模拟跟随所述地理场景中的导航路线的过程。

17.如权利要求15所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于地图绘制应用的飞行模式的第三用户输入，所述飞行模式模拟在所述多个立体图像中呈现的地理场景的地面上方飞行；以及

基于第三用户输入启用所述飞行模式。

18.如权利要求15所述的方法，其特征在于，还包括：

在所述用户接口的第三接口元素处接收关于地图绘制应用的空中图像模式的第三用户输入，所述空中图像模式基于由所述相机传感器捕获的地理场景的一个或多个图像来描绘所述地理场景的立体视图；以及

基于第三用户输入启用所述空中图像模式。

19.如权利要求1所述的方法，其特征在于，生成第二数字图像的步骤包括经由所述相机传感器捕获第二数字图像。

20.如权利要求19所述的方法，其特征在于，捕获第二数字图像的步骤包括将所述相机传感器从第一位置移动到第二位置。

21.一种系统，包括：

显示器；

处理器，被耦合到显示器并被配置为引导数据呈现在显示器上；以及

至少一个非暂时性计算机可读介质，被可通信地耦合到所述处理器并被配置为存储一个或多个指令，其中，所述一个或多个指令在由所述处理器执行时，使得或指导系统执行包括以下操作的操作：

经由与机器相关联的相机传感器获得第一数字图像，第一数字图像包括从可通信地被耦合到机器的相机传感器的第一位置描绘场景的第一区域的单视场图像；

基于第一数字图像，生成单视场的并从不同于第一位置的第二位置描绘所述场景的第二数字图像；以及

生成包括第一数字图像和第二数字图像的所述场景的立体图像。

22.如权利要求21所述的系统，其特征在于，所述操作还包括：

生成包括所述立体图像中每个像素的对应像素的深度图，所述深度图中的每个对应像素代表所述立体图像中的每个相应像素的距所述相机传感器的相对距离数据。

23.如权利要求22所述的系统，其特征在于，所述操作还包括：

将所述深度图中的像素总量的像素子集关联为对象的象征；

基于所述深度图中与对象相关联的像素子集的一部分，使用如下项来获得从所述相机传感器到所述立体图像中的对象的实际距离：

与对象相关联的部分的相对距离数据；

第一数字图像和第二数字图像的焦点；以及

第一数字图像和第二数字图像之间的位移因子。

24.如权利要求23所述的系统，其特征在于，所述操作还包括：

当到对象的实际距离满足第一阈值距离时，经由检测应用将用于呈现的警告发送到显示器上；或者

当到对象的实际距离满足第二阈值距离时，经由检测应用使可通信地被耦合到检测应用的机器执行校正动作。

25.如权利要求23所述的系统，其特征在于，获取到对象的实际距离的步骤包括基于所述立体图像中的感知深度来确定补偿距离测量中的偏移的校正值。

26.如权利要求21所述的系统，其特征在于，所述操作还包括：

确定所述立体图像内的对象的存在；并且

经由基于图形的模型，基于对象的图像识别处理对对象进行分类。

27.如权利要求21所述的系统，其特征在于，第一数字图像包括机器的轨迹。

28.如权利要求21所述的系统，其特征在于，所述操作还包括：

获取多个立体对图像，所述多个立体对图像均包括第一单视场图像和第二单视场图像；

将所述多个立体对图像作为输入发送到基于图形的模型中。

29.如权利要求28所述的系统，其特征在于，所述操作还包括：

将第一数字图像作为输入发送到所述基于图形的模型中，其中，所述第二数字图像是基于输入到所述基于图形的模型中的第一数字图像和所述多个立体对图像中的一个或两个从所述基于图形的模型被输出。

30.如权利要求21所述的系统，其特征在于，显示器包括被配置为控制调整所述立体图像的用户接口，用户接口包括：

第一接口元素，被配置为：

接收关于所述立体图像中所渲染的立体深度的程度的第一用户输入；并且

基于第一用户输入指导所述立体深度的调整；

第二接口元素，被配置为：

接收关于所述立体图像的z平面位置的调整的第二用户输入；并且

基于第二用户输入指导所述z平面位置的调整。

31.如权利要求30所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于所述立体图像中所描绘的场景的视场大小的第三用户输入；以及

基于第三用户输入指导所述视场的大小的调整。

32.如权利要求30所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于描述所述立体图像中所描绘的场景的俯仰角的第三用户输入；以及

基于第三用户输入指导所述俯仰角的调整。

33.如权利要求30所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于视点的距离的第三用户输入，其中，从所述视点描绘在所述立体图像中所描绘的场景；以及

基于第三用户输入指导所述距离的调整。

34.如权利要求30所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于所述立体图像中所描绘的场景的对象的缩放比例的第三用户输入；以及

基于第三用户输入指导所述缩放比例的调整。

35.如权利要求30所述的系统，其特征在于，所述场景是地理场景，并且所述立体图像是在地图绘制应用中使用的所述地理场景的多个立体图像中的一个立体图像。

36.如权利要求35所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于模拟跟随所述多个立体图像中呈现的所述地理场景内的导航路线的速度的第三用户输入；以及

基于第三用户输入指导所述速度的调整。

37.如权利要求35所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于地图绘制应用的飞行模式的第三用户输入，其中，所述飞行模式模拟在所述多个立体图像中呈现的地理场景的地面上方飞行；以及

基于第三用户输入指导所述飞行模式的启用。

38.如权利要求35所述的系统，其特征在于，还包括：

第三接口元素，被配置为：

接收关于地图绘制应用的空中图像模式的第三用户输入，其中，所述空中图像模式基于由所述相机传感器捕获的地理场景的一个或多个图像来描绘所述地理场景的立体视图；以及

基于第三用户输入指导所述空中图像模式的启用。

39.如权利要求21所述的系统，其特征在于，产生第二数字图像的操作包括经由所述相机传感器捕获第二数字图像。

40.如权利要求39所述的系统，其特征在于，捕获第二数字图像的步骤包括使所述相机传感器从所述第一位置移动到所述第二位置。

Images