CN115512534A - 远程设备的发现和连接 - Google Patents

Abstract

本公开涉及远程设备的发现和连接。本发明公开了一种方法，包括在主机设备处，基于指示远程设备的位置和设备类型的接收的信号来识别所述远程设备。所述方法还包括：在位置的图像中识别可见设备；以及将第一可见设备匹配到第一远程设备。所述第一可见设备基于所述第一可见设备在所述图像的搜索区域内的存在而与所述第一远程设备匹配，所述图像的所述搜索区域基于所述第一远程设备的所述位置来确定，所述第一可见设备基于所述第一远程设备的所述设备类型而与所述第一远程设备匹配，并且所述第一可见设备基于所述第一可见设备所输出的机器可识别指示符而与所述第一远程设备匹配。所述方法还包括将所述第一远程设备与所述主机设备配对。

Description

远程设备的发现和连接

本申请是申请日为2020年5月21日、中国国家申请号为202010437588.2、发明名称为“远程设备的发现和连接”的发明专利申请的分案申请。

技术领域

本申请整体涉及计算设备之间的数据连接。

背景技术

一些电子设备可连接到附近的其他设备，以允许这些设备彼此发送和接收信息。在附近的设备之间建立通信的过程可称为配对。作为一个示例，在配对之后，可从主机设备发送音频或视频内容，以便在附近的设备上播放。作为另一示例，在配对之后，可将诸如文字处理文档的数据文件从主机设备发送到附近的设备。一种常见的配对方法涉及从附近设备的列表中选择设备并且任选地输入密码或代码。

发明内容

本公开的一方面为一种方法，该方法包括由主机设备基于接收的信号识别远程设备，其中接收的信号指示远程设备中的每一个相对于主机设备的位置以及远程设备中的每一个的设备类型。该方法还包括：在位置的图像中识别可见设备；以及将可见设备中的第一可见设备匹配到远程设备中的第一远程设备。第一可见设备基于第一可见设备在图像的搜索区域内的存在而与第一远程设备匹配，图像的搜索区域基于第一远程设备的位置来确定，第一可见设备基于第一远程设备的设备类型而与第一远程设备匹配，并且第一可见设备基于第一可见设备所输出的机器可识别指示符而与第一远程设备匹配。该方法还包括将第一远程设备与主机设备配对。

在一些实施方式中，响应于来自用户的用户输入，执行第一远程设备与主机设备的配对。该用户输入可通过将对应于第一远程设备的设备类型的设备类型指示包括在内来指示将主机设备与第一远程设备配对的意图。可使用与主机设备相关联的成像设备来捕获位置的图像，并且用户输入基于成像设备的视角来指示将主机设备与第一远程设备配对的意图。用户输入可包括用户说出的口头命令。

在一些实施方式中，将第一可见设备匹配到第一远程设备包括基于第一可见设备的位置与第二可见设备的位置之间的差值来排除第二远程设备，作为与第一可见设备的潜在匹配。

在一些实施方式中，机器可识别指示符包括被输出以便在第一远程设备的屏幕上显示的内容。该内容可为预先确定的内容。第一远程设备可将显示该内容的屏幕截图发射到主机设备。在一些实施方式中，机器可识别指示符可包括可见照明。在一些实施方式中，机器可识别指示符包括红外照明。

该方法还可包括在将第一远程设备与主机设备配对之后，使用主机设备控制第一远程设备的功能。

本公开的另一方面为一种方法，该方法包括在主机设备处接收识别先前未连接到主机设备的控制设备的接收的信号，其中该接收的信号指示控制设备的位置，控制设备连接到受控设备，并且控制设备被配置为更改受控设备的操作状态。该方法还包括：在位置的图像中识别可见设备；基于可见设备中的第一可见设备在图像的搜索区域内的存在，将控制设备匹配到该第一可见设备，并且图像的搜索区域基于控制设备的位置来确定；将受控设备匹配到图像中的可见设备中的第二可见设备；以及将控制设备与主机设备配对。

还可基于控制设备的设备类型，将第一可见设备与控制设备匹配。还可基于控制设备所输出的机器可识别指示符，将第一可见设备与控制设备匹配。

可基于识别受控设备的用户输入，将第二可见设备与受控设备匹配。可通过使用控制设备更改受控设备的操作状态并且检测到图像中的第二可见设备的操作状态的更改，将第二可见设备与受控设备匹配。

在一些实施方式中，该方法还包括使用主机设备控制控制设备以在第一操作状态和第二操作状态之间更改受控设备的操作状态。在一些实施方式中，控制设备为开关并且受控设备为灯。

本公开的另一方面为一种方法，该方法包括在位置的图像中识别第一控制设备和受控设备，其中第一控制设备被配置为更改受控设备的操作状态。该方法还包括：识别第二控制设备；配置第二控制设备与受控设备之间的关系；以及将第二控制设备的配对信息提供给主机设备。该方法还包括：将第一控制设备替换为第二控制设备，使得第二控制设备被配置为更改受控设备的操作状态；以及使用配对信息将第二控制设备与主机设备配对。

该方法还可包括使用主机设备控制第二控制设备以在第一操作状态和第二操作状态之间更改受控设备的操作状态。在一些实施方式中，第一控制设备为第一开关，第二控制设备为第二开关，并且受控设备为灯。

本公开的另一方面为一种方法，该方法包括：由主机设备基于来自与建筑物内的空间相关联的定位器部件的接收的信号来识别建筑物内的空间；将与建筑物内空间相关联的可见特征与来自定位器部件的接收的信号进行匹配；以及响应于对可见特征的用户选择，访问与建筑物内的空间相关联的调度界面。该方法还可包括响应于用户输入来更新包括在建筑物内的空间的调度界面中的信息。

附图说明

图1为示出了手持式计算机生成的现实设备和远程设备的图示。

图2为示出了图1的手持式计算机生成的现实设备的框图。

图3为示出了根据第一示例的用于设备发现和配对的过程的流程图。

图4为示出了远程设备和主机设备的俯视图示。

图5为示出了描绘第一可见设备和第二可见设备以及搜索区域的图像的图示。

图6为示出了根据第二示例的用于设备发现和配对的过程的流程图。

图7为示出了根据第三示例的用于设备发现和配对的过程的流程图。

图8为示出了根据示例的用于房间调度的过程的流程图。

具体实施方式

本文所公开的系统和方法涉及对于远程设备的发现和连接。作为示例，本文中设想的设备之间的连接可允许第一设备将数据文件(例如，文档文件或媒体文件)传送到第二设备，可允许第一设备将媒体内容(例如，音频录制或视频)流式传送到第二设备，可允许第一设备访问和检索存储在第二设备上的信息，或者可允许第一设备对第二设备的一个或多个功能进行控制。本文所述的数据连接可促进其他类型的动作。通过从列表中选择第二设备来将两个设备配对并不允许用户理解所列出的设备名称如何与实际设备关联。本文所述的系统和方法将无线位置感测和机器视觉技术相结合地使用，以允许用户选择他们想要连接到的设备。

图1为示出了手持式计算机生成现实(CGR)设备100的图示。在该示例中，手持式CGR设备100是其形状因数允许其被用户102握持的电子设备。作为形状因数的示例，手持式CGR设备100可以智能电话或平板电脑的形式实现。用户102正握持手持式CGR设备100，使得视向104朝向远程设备取向，这些远程设备在例示的示例中包括第一远程设备106a、第二远程设备106b和第三远程设备106c。第一远程设备106a、第二远程设备106b和第三远程设备106c被配置为将信号107a、107b、107c发射到手持式CGR设备100，作为位置检测系统的一部分，如将在本文中描述的。

图2为示出了可包括在手持式CGR设备100中的硬件部件的示例的框图。手持式CGR设备100可包括外壳210、显示面板211、传感器212、相机213、无线位置感测系统214、处理器215、存储器216、存储装置217、数据连接218和电池219。作为示例，手持式CGR设备100可以智能电话、智能手表或平板电脑的形式实现。

如将在本文详细解释的，手持式CGR设备100包括发现和配对软件240，该发现和配对软件允许手持式CGR设备100与诸如第一至第三远程设备106a-106c的远程设备建立通信。例如，发现和配对软件240可存储在存储装置217中并按需加载到存储器216中，使得可由处理器215执行该软件以控制手持式CGR设备100的操作的各方面。

外壳210是手持式CGR设备100的其他部件连接到并由其支撑的物理结构。各种配置和材料可用于外壳210。显示面板211是可操作以输出图像诸如静止图像或视频图像的设备。作为示例，显示面板211可以是LCD显示面板、LED显示面板或OLED显示面板。

传感器212是诸如通过位于外壳210内部或通过永久地连接到外壳210而结合在手持式CGR设备100中的设备。传感器212能够输出表示感测状况的信号。可结合在传感器212中的各个传感器的示例包括利用加速度计、陀螺仪和磁力计来输出描述运动的信息的惯性测量单元、可见光谱相机、红外光谱相机、结构光立体设备、深度相机、激光雷达设备、雷达设备、超声波设备、测量来自外部红外源信号的红外检测器、发射可通过外部红外检测器测量的信号的红外信标、生物识别传感器、电容传感器、温度传感器、光传感器和力传感器。

相机213包括一个或多个可见光谱相机和/或红外相机，这些相机可操作以捕获手持式CGR设备100周围的环境的图像(例如，各自包括像素阵列的视频帧)。作为示例，手持式CGR设备100可以是视频直通增强现实设备，其利用相机所获得的图像来生成使用显示器面板211向手持式CGR设备100的用户显示的内容。例如，相机213可获得图像、向图像添加元素以限定增强图像、以及使用手持式CGR设备100的显示面板211输出增强图像。

无线位置感测系统214为传感器系统，其被配置为向兼容的感测设备发射信号和从兼容的感测设备接收信号。无线位置感测系统所发射和接收的信号可以是射频信号。无线位置感测系统214所发射和接收的信号可用于确定发射设备相对于接收设备的范围和角度，并且还包括识别发射设备的信息(诸如字母数字标识符)。

无线位置感测系统214可包括例如发射器元件和接收器元件。发射器元件可用于从手持式CGR设备100发射信号，这些信号可由兼容设备使用来确定范围和到达角。接收器元件可用于从兼容的感测设备接收信号，并且这些信号可由兼容的感测设备以与手持式CGR设备100的无线位置感测系统214的发射器元件发射信号相同的方式发射。可使用常规技术和现在已知或以后开发的其他技术来执行无线测距和到达角估计。作为示例，估计设备之间的距离的无线测距技术可基于到达时间、基于信号的已知发射时间与信号的测量到达时间之间的时间差值。为了估计到达角，接收器元件可以是包括多个天线的天线阵列。通过确定如包括在接收器元件中的多个天线所测量的所接收的信号的时间、相位和频率的差值，可估计信号的到达角。

处理器215诸如通过位于外壳210中而被结合在手持式CGR设备100中。处理器215可操作为执行计算机程序指令并且执行由计算机程序指令描述的操作。作为示例，处理器215可以是常规设备诸如中央处理单元。存储器216可以是易失性、高速、短期信息存储设备诸如随机存取存储器模块。存储器217可以是非易失性信息存储设备诸如闪存模块、硬盘驱动器或固态驱动器。处理器215、存储器216和存储装置217电连接(例如，通过系统总线)，以允许它们之间的数据高速传送。

数据连接218为通信连接，其允许在手持式CGR设备100与其他计算设备(例如，第一至第三远程设备106a-106c)之间交换信息。当连接到与互联网的合适的连接源时，数据连接218也可由手持式CGR设备100使用来获得任何互联网可访问的信息。数据连接218可以是使用任何合适的通信协议的有线连接或无线连接。

作为一个示例，数据连接218可被实现为无线局域网(WAN)。在一个实施方式中，可使用来自电气和电子工程师学会(IEEE)802.11标准系列的无线数据通信标准(即，Wi-Fi)，诸如802.11ac标准、802.11ad标准、或802.11ax标准。作为另一示例，数据连接218可被实现为无线个人局域网(WPAN)。在一个实施方式中，可使用由

Special InterestGroup发布的

无线数据通信标准来实现WPAN。

电池219被结合到手持式CGR设备100中，以允许手持式CGR设备100的操作，而无需到电源的有线电力传输连接。

还可使用头戴式CGR设备(例如，头戴式显示器)取代手持式CGR设备100来实现本文所述的系统和方法。头戴式CGR设备为其形状因数允许其佩戴在用户102的头部上的电子设备。头戴式CGR设备可利用已知配置，并且可以(作为示例)视频直通增强现实设备或光学直通增强现实设备的形式来实现。在其中头戴式CGR设备具有眼动追踪能力的实施方式中，用户102通过他们的头部的位置和角取向并且任选地基于他们的眼睛的注视角来控制头戴式CGR设备的视向104的取向。在例示的示例中，头戴式CGR设备被取向为使得视向104朝向远程设备取向，这些远程设备在例示的示例中包括第一远程设备106a、第二远程设备106b和第三远程设备106c。第一远程设备106a、第二远程设备106b和第三远程设备106c将信号107a、107b、107c发射到头戴式CGR设备以进行位置检测，如将在本文描述的。

头戴式CGR设备可包括与结合手持式CGR设备100所描述的部件类似的部件，诸如外壳、头带、显示面板、光学器件、传感器、相机、无线位置感测系统、处理器、存储器、存储装置、数据连接和电池。作为示例，头戴式CGR设备可被配置为光学直通增强现实系统或视频直通增强现实系统。头戴式CGR设备可包括发现和配对软件240。

头戴式CGR设备与手持式CGR设备的不同之处在于，它旨在佩戴在用户的头上并且定位在用户的眼睛附近。因此，例如，外壳连接到头带，该头带相对于用户的头部支撑外壳。作为示例，可用于头带的常见配置包括“护目镜”类型配置、“光环”类型配置或“莫霍克”类型配置。

头戴式CGR设备的显示面板与光学器件相关联，这些光学器件被配置为将从显示面板发射的光引导到用户的眼睛，并且还可允许来自外部环境的光到达用户的眼睛。作为示例，光学器件可包括透镜、反射器、偏振器、波导和/或其他部件。在一个实施方式中，光学器件可包括定位在显示面板和用户眼睛之间的透镜。在另一实施方式中，光学器件可被配置为光学组合器诸如离轴组合器、偏振光束组合器或波导组合器。

图3为示出了根据第一示例的用于设备发现和配对的过程350的流程图。可例如使用手持式CGR设备100或头戴式CGR设备来执行过程350。过程350的各部分可被实现为计算机程序指令，诸如发现和配对软件240。可由诸如手持式CGR设备100的处理器215的计算设备来执行计算机程序指令。在被执行时，这些指令致使计算设备执行本文所述的操作。在一些实施方式中，在非暂态计算机可读存储设备上，以计算机可执行程序指令的形式实现过程350。

过程350允许主机设备连接到远程设备，这一过程需要最少的用户输入并且确保与其建立了通信的设备是用户旨在连接到的设备。在过程350中，利用定位信号和图像来定位和识别远程设备，并且确定这些设备与配对信息之间的相关性，该配对信息允许主机设备与远程设备建立连接。主机设备的示例包括手持式CGR设备100和头戴式CGR设备。远程设备的示例包括第一远程设备106a、第二远程设备106b和第三远程设备106c。

在过程350的执行期间，主机设备接收输入，这些输入用作用于发现远程设备并通过将主机设备与远程设备配对来连接到远程设备的基础。这允许主机设备控制远程设备的一个或多个功能。主机设备所接收的输入可包括图像、定位信号以及包括配对信息的配对信号。在本文所述的实施方式中，由主机设备在操作351-553中接收这些输入。具体地，操作351包括获得包含可见设备的图像，操作352包括从远程设备接收定位信号，并且操作353包括从远程设备接收包括配对信息的配对信号。操作351、352和353可以任何次序发生，并且不需要串行地执行。例如，可通过在不同速率下的并行过程来更新在操作351-553中所接收的输入。

在操作351中，沿着视向从主机设备获得包含可见设备的图像。术语“可见设备”是指可在图像中看到的可能与远程设备中包括的设备相同的设备。这允许将图像用作用于识别这些设备的位置并且在后续操作中将这些设备匹配到远程设备的基础。一旦匹配，则例如仍然可由主机设备追踪可见设备，以允许主机设备向用户显示存在这些设备(例如，通过用注释增强图像)或者允许主机设备基于注视方向来解释用户意图。

可通过使用与主机设备相关联的相机捕获图像来获得图像。另选地，可由主机设备外部的相机捕获图像，并且可由主机设备通过来自外部相机的发射获得图像。视向可对应于相机的光轴，并且可以在图像分析期间可解释的形式来表达和存储。

在操作351中获得的图像可以是由像素阵列限定的数字图像，该像素阵列各自具有像素值(例如，表示为RGB值或根据另一种颜色表示方案)。可通过静止图像相机或摄像机获得图像。这些图像可以是可见光谱图像，或者可以是可见光谱图像之外的图像，诸如红外光谱图像。作为一个示例，在操作351中，可由手持式CGR设备100的相机213捕获图像。

在操作352中，从远程设备接收定位信号。例如，由主机设备使用手持式CGR设备100的无线位置感测系统214来检测定位信号。

由主机设备在操作352中所接收的定位信号可允许主机设备确定远程设备中的每一个相对于主机设备的相对位置。例如，定位信号可允许主机确定远程设备中的每一个相对于主机设备的方位和距离。如相对于手持式CGR设备100的无线位置感测系统214所解释的，可使用无线测距和到达角估计技术来确定远程设备中的每一个相对于主机设备的相对位置。

定位信号中的每一个还包括允许主机识别发射了信号的远程设备的信息。作为示例，从远程设备中的每一个所接收的信号可包括字母数字标识符，该字母数字标识符识别发射了该信号的设备。该标识符可被称为定位信号设备标识符。

在操作353中，从远程设备接收配对信息。使用无线通信信道以配对信号的形式从远程设备接收配对信息。作为示例，配对信号可以是从远程设备中的每一个向范围内的所有设备发射的无线广播消息，以指示每个远程设备用于使用该无线通信信道进行通信的可用性。

用于在操作353中发射和接收配对信息的无线通信信道可以是在以后可通过其与远程设备建立通信的相同的通信信道，以从主机设备向远程设备发射信号和数据。作为示例，可由手持式CGR设备100使用数据连接218来接收配对信息。用于在操作353中发射和接收配对信息的无线通信信道与用于发射和接收定位信号的无线通信信道是分开的并且是不同的。

配对信号中的每一个都识别与其相关联的远程设备。作为示例，从远程设备中的每一个所接收的信号可包括字母数字标识符，该字母数字标识符识别发射了该信号的设备。该标识符可被称为配对信号设备标识符。

操作354包括基于所接收的信号来识别远程设备。由主机设备使用主机设备所接收的信号(包括主机设备所接收的定位信号，如相对于操作352所描述)并且使用主机设备所接收的配对信号和配对信息(如相对于操作353所描述)来执行操作354。因此，所接收的信号可包括通过主机设备的处理和解释来指示远程设备中的每一个相对于主机设备的位置(例如，距离和方位)以及远程设备中的每一个的设备类型的信息。

可通过将定位信号和配对信号所包含的设备标识符或其他识别信息匹配来使这些定位信号和配对信号彼此关联。例如，可基于定位信号设备标识符和配对信号设备标识符来使所接收的信号关联，使得可限定远程设备列表，该远程设备列表包括远程设备中的每一个的定位信息和配对信息两者。这允许使用设备的位置(如使用定位信号所确定)作为用于将主机设备与远程设备中的特定一个配对的基础。

操作355包括在操作351中所获得的位置的图像中识别可见设备。可分析在操作351中所获得的图像，以确定图像中可见的设备的存在。然而，在过程350中的这个时候，这些可见设备尚未使用定位信息和配对信息匹配到远程设备中的一个。

如在机器视觉领域中众所周知的，可使用常规的对象检测技术来确定可见设备在图像中的存在。一般来讲，可通过使用对象检测模型检测潜在匹配设备的存在来在图像中识别可见设备，该对象检测模型被配置为检测具有不同视觉外观的大量不同设备中的任一个的存在。

在一些实施方式中，对象检测任务可利用识别远程设备的类型的信息来增强对图像中的可见设备的检测。例如，可使用定位信息或配对信息来确定图像中可能存在的设备的特定类型(分类、制造商和/或型号)。此信息既可帮助检测设备在图像中的存在，又可将可见设备与附近的远程设备进行匹配。作为一个示例，基于设备类型的对象检测可将相同类型设备的已知图像用于比较目的。作为另一示例，基于设备类型的对象检测可使用经训练以识别对应类型的设备的模型(例如，使用相同类型的设备的图像来训练的模型)。

操作356包括将第一可见设备匹配到第一远程设备。第一可见设备是在操作355中识别出的可见设备中的一个。第一远程设备是在操作354中识别出的远程设备中的一个。如本文中将解释的，第一可见设备可基于在图像中的存在、基于设备类型以及基于机器可识别指示符的检测来与第一设备匹配。匹配也可基于其他类型的信号和数据。在操作356中将第一可见设备匹配到第一远程设备可包括确定在操作355中识别出的可见设备中的特定一个与在操作354中识别出的远程设备中的特定一个相对应(即，为相同设备)的可能性。

操作356可包括基于位置来过滤远程设备，以消除远程设备中的一些，作为与可见设备的潜在匹配。例如，可使用定位信号来创建位于主机设备附近的远程设备的列表。初始，可识别从中接收到定位信号的所有设备。然后可过滤此初始列表，以创建位于主机设备附近的远程设备的列表。作为一个示例，可基于范围来排除设备。排除与范围超过阈值的定位信号相对应的设备(例如，指示远程设备不与主机设备位于同一房间中)，因为它们不位于主机设备附近。

作为另一示例，可基于到达角来排除设备。如图4所示，该图为示出了第一远程设备和第二远程设备440-641以及主机设备442的自顶向下图示，可使用定位信号来确定哪些设备的到达角与包括在主机设备442中的成像设备(例如，在操作351中获得图像的成像设备)的视野443不相对应。第一远程设备440在成像设备的视野443内，这可通过将到达角α与成像设备的光轴444进行比较(例如，到达角α从光轴偏离小于阈值)来确定。第二远程设备441不在成像设备的视野443内，这可通过将到达角β与成像设备的光轴444进行比较(例如，到达角β从光轴偏离超过阈值)来确定。

因此，在一些实施方式中，将可见设备匹配到远程设备可包括基于可见设备的位置与一个或多个其他远程设备的位置之间的差值，排除一个或多个其他远程设备，作为与第一可见设备的潜在匹配。

在已基于定位信号执行了初始过滤之后，可相对于未从潜在匹配设备中排除的剩余远程设备开始进行匹配。如图5所示，该图为示出了描绘第一可见设备和第二可见设备546-747以及搜索区域548的图像545的图示，可在基于位置的匹配操作中，使用在操作351中获得的图像的取向以及将相应远程设备的定位投影到图像空间中的到达角来限定远程设备中的相应一个的预期位置。由于存在与到达角估计中的每一个相关联的一定程度的误差(例如，正负十度)，因此远程设备中的每一个的预期位置都可表示为图像的区域，在所示的示例中，该区域为图像545的搜索区域548。第一可见设备546可匹配到第一远程设备(针对其限定了搜索区域548)，因为它出现在搜索区域548内。可以确定的是，第二可见设备547不匹配，因为它不位于搜索区域548内。

因此，在基于位置的匹配操作中，第一可见设备可基于第一可见设备在图像的搜索区域内的存在而与第一远程设备匹配。搜索区域为图像的一部分，其中第一远程设备应当可见并且基于第一远程设备的位置来确定。

将图像的搜索区域中的每个可见设备与附近的远程设备进行比较。将图像中的每个可见设备的位置与附近的远程设备的已知位置(基于定位信号)进行比较。当图像位置和定位信号位置相差超过阈值时，排除潜在匹配。

可基于在操作355中针对可见设备所识别的设备类型来评估潜在匹配。例如，如果针对可见设备所识别的设备类型与基于定位信号或配对信号所确定的设备类型不匹配，则可排除潜在匹配。

如果在基于位置的匹配和基于设备类型的匹配之后，可见设备中的两个或更多个仍然保持作为可能与远程设备中的单个远程设备相对应的潜在匹配，则可使用附加技术来解决这种模糊性。在一个实施方式中，可使用可见设备所输出的机器可识别指示符来将可见设备匹配到已知设备中的一个。机器可识别指示符为可见设备的输出，诸如可听输出或可见输出。主机设备可例如使用主机设备所获得的图像或通过使用麦克风获得音频来识别机器可识别指示符的存在。

作为一个示例，机器可识别指示符包括被输出以便在所选择的远程设备的屏幕上显示的内容。主机设备可向所选择的远程设备发送引起内容的显示的请求。内容可以是预先确定的内容，其被输出以便在所选择的远程设备的屏幕上显示。该内容可以是任意内容，诸如当主机设备向所选择的远程设备发送请求时当前显示的内容，并且所选择的远程设备可将屏幕截图发射到主机设备，其中屏幕截图显示内容并且可由主机设备用作用于通过识别主机设备所获得的图像中的相同内容来识别所选择的远程设备的基础。

作为另一示例，机器可识别指示符可包括所选择的远程设备所输出的声音。可例如响应于来自主机设备的请求而输出声音。主机设备可使用定向麦克风(例如，麦克风阵列)来确定声音的源方向，并且这可用作用于将所选择的主机设备匹配到可见设备的附加信号。

作为另一示例，机器可识别指示符可以是由所选择的远程设备输出的可见照明图案，例如具有特定颜色图案和/或闪光图案的可见照明图案。作为另一示例，机器可识别指示符可以是红外信标。例如，所选择的远程设备可持续地或以闪光模式照亮红外光源。

在操作357中，使一个或多个远程设备可用于配对。可通过将远程设备的配对信息与描绘该设备的图像区域相关联来使该设备可用于配对。可通过图标、轮廓或其他图形指示符在图像中指示远程设备的可用性。

在一些实施方式中，仅当确定性值满足确定性阈值时，一个或多个远程设备才可用于配对。确定性阈值可以是预选值。确定性值可以是数字分数，其表示来自图像的可见设备与由定位信号和配对信号所识别的设备相同的可能性。可使用诸如以下各项的因素来计算数字表示：基于定位信号的远程设备的预期位置与来自图像的远程设备的观察到的位置之间的差值；基于设备类型的匹配的置信度；和/或无法被排除作为潜在匹配的其他远程设备的存在。

在操作358中，将主机设备与远程设备配对。作为一个示例，主机设备可响应于来自用户的命令而与远程设备配对。作为另一示例，主机设备可响应于由主机设备正在执行的软件过程所发出的命令而与远程设备配对。作为另一示例，响应于在操作355中使远程设备可用于配对，可将主机设备与远程设备自动配对。

在一些实施方式中，可部分地基于主机设备的视角来选择在操作356中与主机设备配对的远程设备。在一些实施方式中，当主机设备的视角对应于远程设备附近的位置时，主机设备可询问用户(例如，在对话框中或通过语音提示)是否想要连接到远程设备。在一些实施方式中，在主机设备的视角对应于远程设备附近的位置时，用户可发出配对命令(例如，口头地或使用按钮或触摸感测界面)。

在一些实施方式中，可部分地基于用户发出的命令中包括的信息来选择在操作356中与主机设备配对的远程设备。例如，配对命令还包括指示当多个设备位于主机设备的视角附近时预期将哪个设备配对的信息。该信息可由用户在自然语言命令的背景下说出并由主机设备解释。作为示例，主机设备的视角可指向智能电话和平板电脑附近的位置。使用图像分析，为这些远程设备中的每一个分配设备类型。因此，诸如“连接到我的电话”的配对命令将引起与位于主机设备的视角所指示的位置附近并且与配对命令所指示的设备类型相匹配的设备的配对。因此，可响应于来自用户的用户输入，执行第一远程设备与主机设备的配对。用户输入可基于成像设备的视角指示将主机设备与第一远程设备配对的意图，并且用户输入可包括用户说出的口头命令。

将主机设备与远程设备配对可在设备之间建立通信连接，这允许在设备之间诸如通过从主机设备发出由远程设备执行的命令或通过将文件从主机设备发射到远程设备或从远程设备发射到主机设备来传送信息。在操作359中，由主机设备诸如通过将命令从主机设备发射到远程设备来控制远程设备的至少一个功能，其中当由远程设备解释时，该命令致使远程设备执行功能。在一些实施方式中，将远程设备与主机设备配对可允许主机设备在增强现实视图中显示用于远程设备的界面。例如，可在无按钮和/或信息显示的设备旁边显示虚拟按钮和/或信息显示，以允许由主机设备控制该设备，或者可在具有很少按钮和/或信息显示的设备旁边显示附加按钮(例如，对于诸如智能手表的小型设备)。

在配对之后，用于配对的一些信号也可用于准确地追踪远程设备相对于主机设备的位置和取向。作为一个示例，可将图像中的远程设备的识别与远程设备的已知几何配置结合使用，以追踪图像中的远程设备的位置和姿态。作为另一示例，主机设备可使用有关在远程设备的屏幕上显示的内容的知识(例如，来自远程设备的发射到主机设备的内容的屏幕截图)来追踪图像中的远程设备的位置和姿态。例如，可将屏幕截图(或内容的其他表示)与主机设备所捕获的图像中的观察到的内容进行比较，并且通过确定匹配两者所需的三维变换，可确定远程设备的位置和姿态。作为另一示例，主机设备可将待由主机设备显示的内容发射到主机设备，以用于基于匹配图像所需的相对三维变换来追踪主机设备所获得的图像中的远程设备的位置和姿态。

图6为示出了根据第二示例的用于设备发现和配对的过程650的流程图。可例如使用手持式CGR设备100或头戴式CGR设备来执行过程650。过程650的各部分可被实现为计算机程序指令，诸如发现和配对软件240。可由诸如手持式CGR设备100的处理器215的计算设备来执行计算机程序指令。在被执行时，这些指令致使计算设备执行本文所述的操作。在一些实施方式中，在非暂态计算机可读存储设备上，以计算机可执行程序指令的形式实现过程650。

过程650允许主机设备连接到控制设备，该控制设备连接到受控设备并且限定控制设备和受控设备之间的关联，使得主机设备可通过响应于选择将受控设备作为目标的用户命令向控制设备发送命令来操作受控设备。控制设备的示例为智能灯开关，并且受控设备的示例为灯(例如，建筑物中安装在墙壁或天花板上的灯)，其可通过电线连接到控制设备，或以其他方式连接，使得控制设备连接到受控设备以在第一操作状态(例如，灯熄)和第二操作状态(例如，灯亮)之间更改受控设备的操作状态。主机设备的示例包括手持式CGR设备100和头戴式CGR设备。控制设备的示例包括第一远程设备106a、第二远程设备106b和第三远程设备106c。过程650可利用并结合有相对于先前实施方式所描述的设备和技术，诸如相对于图1至图5所描述的设备和技术。

操作651包括在主机设备处接收识别控制设备的接收信号。控制设备可以是先前未连接到主机设备的控制设备。如相对于过程350的操作352所讨论的，接收的信号指示控制设备的位置。控制设备连接到受控设备。例如，控制设备可通过电线连接到受控设备，以向受控设备提供电力。作为另一示例，控制设备可通过无线或有线连接连接到受控设备，以向受控设备发送命令。控制设备被配置为例如在第一操作状态(例如，“开”)和第二操作状态(例如，“关”)之间更改受控设备的操作状态。

操作652包括在位置的图像中识别可见设备，这可以相对于过程350的操作355所描述的方式来执行。

操作653包括基于第一可见设备在图像的搜索区域内的存在，将控制设备匹配到图像中的可见设备中的第一可见设备。可以相对于过程350的操作356所描述的方式来执行匹配。如相对于搜索区域548所描述的，基于控制设备的位置来确定图像的搜索区域。如在过程350中所描述，可使用其他过滤和匹配技术。作为一个示例，还可基于控制设备的设备类型，将第一可见设备与控制设备匹配。作为另一示例，还可基于控制设备所输出的机器可识别指示符，将第一可见设备与控制设备匹配。

操作654包括将受控设备匹配到图像中的可见设备中的第二可见设备。作为一个示例，可基于识别所述受控设备的用户输入，将第二可见设备与受控设备匹配。用户输入可以是使用图形用户界面或触摸界面作出的选择。用户输入可以是口头命令。口头命令可通过用设备类型标识符(“吸顶灯”)提及预期对象来指示预期对象。用户输入可包括设备(诸如手持式CGR设备100或头戴式CGR设备)的注视角，其中通过受控设备与注视角的接近度来选择受控设备。

在一个实施方式中，可通过使用控制设备更改受控设备的操作状态并且检测图像中的第二可见设备的操作状态的更改，将第二可见设备与受控设备匹配。例如，当配对控制设备(其在该示例中为开关)时，主机设备可指引用户使该开关在开状态和关状态之间手动循环，或者主机设备可控制在开状态和关状态之间的循环。在开状态和关状态之间的循环期间，主机设备获得图像，并且检测到图像中的更改的操作状态，以将受控设备匹配到控制设备。

操作655包括将控制设备与主机设备配对。可如操作358所述执行配对。另外，可存储将控制设备与受控设备相关联的信息。该信息可用于允许将指向受控设备的命令(“打开灯”)路由到控制设备。该信息还可用于通过显示设备向用户显示控制设备和受控设备之间的关联，诸如链接两个设备的图形指示符。

操作656包括使用主机设备控制控制设备以在第一操作状态和第二操作状态之间更改受控设备的操作状态。可以相对于操作359所描述的方式执行操作656。

图7为示出了根据第三示例的用于设备发现和配对的过程750的流程图。可例如使用手持式CGR设备100或头戴式CGR设备来执行过程750。过程750的各部分可被实现为计算机程序指令，诸如发现和配对软件240。可由诸如手持式CGR设备100的处理器215的计算设备来执行计算机程序指令。在被执行时，这些指令致使计算设备执行本文所述的操作。在一些实施方式中，在非暂态计算机可读存储设备上，以计算机可执行程序指令的形式实现过程750。

过程750允许主机设备连接到控制设备，该控制设备连接到受控设备并且限定控制设备和受控设备之间的关联，使得主机设备可通过响应于选择所选择的受控设备作为目标的用户命令向控制设备发送命令来操作受控设备。控制设备的示例为智能灯开关，并且受控设备的示例为灯(例如，建筑物中安装在墙壁或天花板上的灯)，其可通过电线连接到控制设备，或以其他方式连接，使得控制设备连接到受控设备以在第一操作状态(例如，灯熄)和第二操作状态(例如，灯亮)之间更改受控设备的操作状态。主机设备的示例包括手持式CGR设备100和头戴式CGR设备。控制设备的示例包括第一远程设备106a、第二远程设备106b和第三远程设备106c。过程750可利用并结合有相对于先前实施方式所描述的设备和技术，诸如相对于图1至图5所描述的设备和技术。

操作751包括在位置的图像中识别第一控制设备和受控设备。如先前相对于手持式CGR设备100和头戴式CGR设备所描述的，可使用与主机设备相关联的成像设备来获得位置的图像。可使用机器视觉技术在图像中识别设备，如过程350的操作355中所描述的。

第一控制设备被配置为更改受控设备的操作状态。作为示例，第一控制设备可以是常规开关或智能开关，并且受控设备可以是任何常规或智能开关操作的部件(例如，灯)。

操作752包括识别第二控制设备。第二控制设备是可连接到主机设备(诸如手持式CGR设备100或头戴式CGR设备)并由其控制的智能控制设备。第二控制设备是与第一控制设备正在执行的功能兼容的设备。通过访问描述了第二控制设备与正在使用第一控制设备的应用程序的兼容性的信息来执行第二控制设备的识别。例如，可通过搜索电子商务数据库并选择可用作第一控制设备的替代设备的适当设备来识别第二控制设备。

操作753包括配置第二控制设备与受控设备之间的关系。可诸如在诸如通过电子商务系统购买和订购第二控制设备时，在第二控制设备未与主机设备位于同一地点的同时配置该关系。配置第二控制设备与受控设备之间的关系可包括向第二控制设备提供描述受控设备的设备类型和受控设备的操作状态的信息。

操作754包括将第二控制设备的配对信息提供给主机设备。例如，配对信息可从电子商务平台发射到主机设备。

在配置了第二控制设备和主机设备之间的关系并将第二控制设备递送到第一控制设备和主机设备的物理位置之后，通过在操作755中将第一控制设备替换为第二控制设备来安装第二控制设备以便与受控设备一起使用，使得第二控制设备被配置为更改受控设备的操作状态。

操作756包括使用配对信息将第二控制设备与主机设备配对，这如先前所述执行，除了先前在操作754中将配对信息提供给主机设备。操作757包括使用主机设备控制第二控制设备以例如在第一操作状态和第二操作状态之间更改受控设备的操作状态。在一些实施方式中，第一控制设备为第一开关(例如，常规开关或智能手表)，第二控制设备为第二开关(例如，智能手表)，并且受控设备为灯。

图8为示出了根据示例的用于房间调度的过程850的流程图。可例如使用手持式CGR设备100或头戴式CGR设备来执行过程850。过程850的各部分可被实现为计算机程序指令，诸如发现和配对软件240。可由诸如手持式CGR设备100的处理器215的计算设备来执行计算机程序指令。在被执行时，这些指令致使计算设备执行本文所述的操作。在一些实施方式中，在非暂态计算机可读存储设备上，以计算机可执行程序指令的形式实现过程850。

过程850允许主机设备识别建筑物中的房间(例如，会议室)并且访问调度信息和/或更改调度信息。与相应房间相关联的远程设备所广播的定位信息用于帮助主机设备识别特定房间，以便访问有关它们的数据。可将过程850扩展到调度之外，以更一般地允许消除相似物理位置或对象的歧义并且访问和修改关于它们的信息。过程850可利用如先前描述的实施方式(诸如过程350)中的定位、识别和匹配技术。

操作851包括由主机设备基于来自与建筑物内的空间相关联的定位器部件的接收的信号来识别建筑物内的空间。定位器部件可操作为发射如相对于无线位置感测系统214所描述的定位信号以及第一至第三远程设备106a-106c所发送的信号107a-107c。

操作852包括将与建筑物内的空间相关联的可见特征与来自定位器部件的接收的信号进行匹配。可以先前例如相对于过程350的操作356所讨论的基于图像的匹配相同的方式来执行对可见特征的匹配。该接收的信号可诸如通过描述特征的类型或通过允许访问具有相似或实际特征的图像以进行比较的信息来识别可见特征。

操作853包括从主机设备所捕获的图像中接收对可见特征的用户选择。作为示例，可使用图形用户界面、触摸界面或用户说出的识别可见特征的口头命令来进行用户输入。响应于对可见特征的用户选择，操作854包括访问与建筑物内的空间相关联的调度界面。调度界面可包括例如日历视图，该日历视图显示空间是否可用。调度界面可通过向日历(或其他调度界面)添加指示空间正在使用的项来允许用户保留物理空间。

操作855包括响应于用户输入来更新包括在建筑物内的空间的调度界面中的信息。例如，用户可访问该房间的调度界面并在该房间安排会议，使得该房间被指示为正在使用中，并且在指定时间段内不再可供其他人使用。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可利用数字光投影、OLED、LED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

如上所述，本发明技术的一个方面在于采集和使用得自各种来源的数据，以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他识别信息或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于识别可供使用的设备以及与这些设备的配置连接。因此，此类个人信息数据的使用使用户能够无缝地连接到各种设备并控制各种设备。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略，并应随着数据的采集和/或使用变化而更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就连接到设备并配置设备以供使用而言，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中，用户可选择不提供用于连接到和配置设备的个人数据。在又一示例中，用户可选择限制个人数据的维护时间长度，或者完全禁止使用和存储个人数据。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对设备可用的其他非个人信息、或可公开获得的信息)来执行要连接的设备以及这些设备的配置。

Claims (16)

1.一种方法，包括：

获得一个或多个远程设备的位置和设备类型；

在一个或多个图像中识别一个或多个可见设备，所述一个或多个可见设备具有位置和设备类型；

基于所述一个或多个可见设备中的第一可见设备的位置和设备类型与所述一个或多个远程设备中的第一远程设备的位置和设备类型匹配，将所述第一可见设备匹配到所述第一远程设备；

获得用户输入；以及

基于所述用户输入来控制所述第一远程设备的功能。

2.根据权利要求1所述的方法，其中所述一个或多个远程设备的所述位置和所述一个或多个远程设备的所述设备类型基于从所述一个或多个远程设备接收的信号而被确定。

3.根据权利要求1所述的方法，其中使用对象检测模型在所述一个或多个图像中识别所述一个或多个可见设备，并且所述对象检测模型被配置为识别所述一个或多个可见设备的所述设备类型。

4.根据权利要求1所述的方法，其中所述一个或多个可见设备的所述位置基于用于获得所述一个或多个图像的成像设备的视向而被确定。

5.根据权利要求1所述的方法，其中将所述一个或多个可见设备中的所述第一可见设备匹配到所述一个或多个远程设备中的所述第一远程设备包括：基于所述第一可见设备的所述位置与所述一个或多个远程设备中的第二远程设备的位置不匹配来排除所述第二远程设备作为与所述第一可见设备的潜在匹配。

6.根据权利要求1所述的方法，其中将所述一个或多个可见设备中的所述第一可见设备匹配到所述一个或多个远程设备中的所述第一远程设备包括：基于所述第一可见设备的所述设备类型与所述一个或多个远程设备中的第二远程设备的设备类型不匹配来排除所述第二远程设备作为与所述第一可见设备的潜在匹配。

7.根据权利要求1所述的方法，其中所述位置的所述一个或多个图像使用与主机设备相关联的成像设备而被获得，并且所述用户输入使用与所述主机设备相关联的输入设备而被获得。

8.根据权利要求1所述的方法，所述用户输入指向所述第一可见设备。

9.一种系统，包括：

存储器；以及

一个或多个处理器，所述一个或多个处理器被配置为执行在所述存储器中存储的指令，其中所述指令在被执行时使所述一个或多个处理器：

获得一个或多个远程设备的位置和设备类型；

在一个或多个图像中识别一个或多个可见设备，所述一个或多个可见设备具有位置和设备类型；

基于所述一个或多个可见设备中的第一可见设备的位置和设备类型与所述一个或多个远程设备中的第一远程设备的位置和设备类型匹配，将所述第一可见设备匹配到所述第一远程设备；

获得用户输入；以及

基于所述用户输入来控制所述第一远程设备的功能。

10.根据权利要求9所述的系统，其中所述一个或多个远程设备的所述位置和所述一个或多个远程设备的所述设备类型基于从所述一个或多个远程设备接收的信号而被确定。

11.根据权利要求9所述的系统，其中使用对象检测模型在所述一个或多个图像中识别所述一个或多个可见设备，并且所述对象检测模型被配置为识别所述一个或多个可见设备的所述设备类型。

12.根据权利要求9所述的系统，其中所述一个或多个可见设备的所述位置基于用于获得所述一个或多个图像的成像设备的视向而被确定。

13.根据权利要求9所述的系统，其中使所述一个或多个处理器将所述一个或多个可见设备中的所述第一可见设备匹配到所述一个或多个远程设备中的所述第一远程设备的所述指令还使所述一个或多个处理器：基于所述第一可见设备的所述位置与所述一个或多个远程设备中的第二远程设备的位置不匹配来排除所述第二远程设备作为与所述第一可见设备的潜在匹配。

14.根据权利要求9所述的系统，其中使所述一个或多个处理器将所述一个或多个可见设备中的所述第一可见设备匹配到所述一个或多个远程设备中的所述第一远程设备的所述指令还使所述一个或多个处理器：基于所述第一可见设备的所述设备类型与所述一个或多个远程设备中的第二远程设备的设备类型不匹配来排除所述第二远程设备作为与所述第一可见设备的潜在匹配。

15.根据权利要求9所述的系统，其中所述位置的所述一个或多个图像使用与主机设备相关联的成像设备而被获得，并且所述用户输入使用与所述主机设备相关联的输入设备而被获得。

16.根据权利要求9所述的系统，所述用户输入指向所述第一可见设备。

Images