CN108476258B - 用于电子设备控制对象的方法以及电子设备 - Google Patents

Abstract

一种用于电子设备控制对象的方法包括：辨认第一对象和第二对象，识别第一对象的第一属性和第二对象的第二属性，基于第一属性和第二属性来选择控制的对象，生成用于选择的对象的操作信号，并且向选择的对象发送生成的操作信号。

Description

用于电子设备控制对象的方法以及电子设备

技术领域

与示范性实施例一致的装置和方法涉及用于电子设备控制由用户选择的至少一个对象的方法以及电子设备。

背景技术

移动终端可被配置成执行各种功能。各种功能的示例包括数据和语音通信功能、通过相机捕获照片或视频的功能、语音存储功能、通过扬声器系统播放音乐文件的功能、图像或视频显示功能等等。

一些移动终端具有用于执行游戏的附加功能，并且一些其它移动终端可被实现为多媒体播放器。而且，移动终端提供用于远程控制其它设备的遥控功能。然而，由于设备具有不同的控制接口，因此用户通过移动终端控制其它设备是不方便的。

发明内容

技术问题

示范性实施例可至少解决以上问题和/或缺点以及以上未描述的其它缺点。而且，示范性实施例无需克服以上所述的缺点，并且可能不解决以上所述的任何问题。

一个或多个示范性实施例提供用于基于通过相机或短距离无线通信接口辨别出的多个对象中的每一个的属性、根据用户的意图自动控制至少一个对象的方法和电子设备。

有益技术效果

根据示范性实施例，电子设备基于由电子设备辨别出的多个对象的属性、根据用户的意图确定控制的目标对象以及目标操作，由此使得用户能够方便地控制外部设备。

附图说明

通过参照附图描述某些示范性实施例，以上和/或其它方面将变得更加清楚，在附图中：

图1是图示根据示范性实施例的对象控制系统的图；

图2是图示根据示范性实施例的用于电子设备控制对象的方法的流程图；

图3是根据示范性实施例的对象间关联属性表；

图4是图示根据示范性实施例的通过图像传感器辨别对象的方法的流程图；

图5A和5B是图示根据示范性实施例的电子设备接收用于选择对象的用户输入的操作的图；

图6是图示根据示范性实施例的通过短距离通信辨别对象的方法的流程图；

图7是图示根据示范性实施例的对象映射的图；

图8是图示当所有的多个对象是可控设备时根据示范性实施例的用于电子设备控制对象的方法的序列图；

图9是图示当电子设备连接到多个对象以用于通信时根据示范性实施例的用于电子设备基于多个对象的属性来控制一个对象的方法的序列图；

图10A、图10B和图10C是图示根据示范性实施例的电子设备基于电视(TV)的属性和灯具的属性来控制灯具的操作的图；

图11是图示当由电子设备辨别出的多个对象中的仅仅一个是可控设备时的根据示范性实施例的用于电子设备控制对象的方法的序列图；

图12是图示根据示范性实施例的电子设备基于人的属性和TV的属性来控制TV的操作的图；

图13是图示根据示范性实施例的电子设备基于周围的属性和音频系统的属性来控制音频系统的操作的图；

图14是图示根据示范性实施例的电子设备基于事物属性和除湿机的属性和来控制除湿机的操作的图；

图15是图示当对象由电子设备辨别为不可控对象时根据示范性实施例的用于电子设备控制附加对象的方法的序列图；

图16是图示根据示范性实施例的电子设备基于人的属性和玩偶的属性来控制TV的操作的图；

图17是图示根据示范性实施例的电子设备基于由电子设备辨别出的人的属性和玩偶的属性来播放内容的操作的图；

图18是图示根据示范性实施例的电子设备基于由电子设备辨别出的冰箱的属性和人的属性来显示通知的操作的图；

图19是图示根据示范性实施例的电子设备基于由电子设备辨别出的冰箱的属性和人的属性来控制外部设备的显示的操作的图；

图20是图示根据示范性实施例的电子设备远程控制外部设备的操作的图；

图21是图示根据示范性实施例的电子设备显示多个辨别出的对象的属性的方法的流程图；

图22是图示根据示范性实施例的电子设备显示TV的属性和灯具的属性的操作的图；

图23是图示根据示范性实施例的电子设备推荐多个操作的方法的流程图；

图24是图示根据示范性实施例的电子设备基于TV的属性和灯具的属性来推荐多个操作的操作的图；

图25是图示根据示范性实施例的应用执行系统的图；

图26是图示根据示范性实施例的服务器生成对象辨别模型信息的方法的序列图；

图27是图示根据示范性实施例的类别和关键词的图；

图28是图示根据示范性实施例的生成用于对象辨别的图像的操作的图；

图29是图示当存在对象辨别错误时根据示范性实施例的修改对象辨别模型信息的方法的序列图；

图30是图示在电子设备中发生对象辨别错误的情况的图；

图31是图示根据示范性实施例的生成个性化的对象辨别模型信息的方法的序列图；

图32是图示根据示范性实施例的链接对象和应用的操作的图；

图33A是图示根据示范性实施例的获取对象的视频的电子设备的操作的图；

图33B是图示电子设备从服务器下载对象辨别模型信息的操作的图；

图34是图示根据示范性实施例的链接对象和控制器的操作的图；

图35是图示根据示范性实施例的更新对象辨别模型信息的方法的流程图；

图36是图示根据示范性实施例的电子设备在用户请求下修改对象辨别模型信息的操作的图；

图37是图示根据示范性实施例的执行应用的电子设备或控制器的方法的流程图；

图38是图示根据示范性实施例的电子设备显示对应于TV的控制器的操作的图；

图39是图示根据示范性实施例的通过链接备忘录或网站地址和对象来生成对象辨别模型信息的方法的序列图；

图40是图示根据示范性实施例的链接信用卡和备忘录的操作的图；

图41是图示根据示范性实施例的链接窗口和网站地址的操作的图；

图42是图示根据示范性实施例的电子设备显示对应于窗口的天气信息的操作的图；

图43是图示根据示范性实施例的电子设备的配置的框图；以及

图44是图示根据示范性实施例的服务器的配置的框图；

具体实施方式

根据示范性实施例一方面，一种控制对象的方法包括：辨别第一对象和第二对象，识别第一对象的第一属性和第二对象的第二属性，基于第一对象的第一属性和第二对象的第二属性来在第一对象与第二对象之间选择控制的对象，生成对于所选择的对象的操作信号，并且向所选择的对象发送生成的操作信号。

根据示范性实施例一方面，一种电子设备包括处理器和通信接口，该处理器被配置成：辨别第一对象和第二对象，识别第一对象的第一属性和第二对象的第二属性，基于第一对象的第一属性和第二对象的第二属性来在第一对象与第二对象之间选择控制的对象，并且生成对于所选择的对象的操作信号，该通信接口被配置成向所选择的对象发送生成的操作信号。

本发明的模式

将参照附图更详细地描述某些示范性实施例。

在下面描述中，即使在不同的附图中，相同的附图标记也用于相同的元件。提供描述中定义的事项，诸如详细的结构和元件，以帮助全面理解示范性实施例。然而，清楚的是：能够在没有那些特别定义的事项的情形下实践示范性实施例。而且，由于公知的功能或结构将用不必要的细节模糊描述，因此不详细描述公知的功能或结构。

考虑到示范性实施例中的功能而尽可能选择当前广泛使用的通用术语作为示范性实施例中使用的术语，但是可根据本领域普通技术人员的意图、先例、新技术的出现等等而变化。特别地，一些术语可由申请人任意选择，并且在这种情况下，将在对应的描述中陈述术语的详细含义。因此，应当基于术语的含义连同整个说明书中的描述而不是其简单名称来定义示范性实施例中使用的术语。

在整个说明书中，当部分“包括”元件时，除非另有描述，否则可进一步包括另一个元件而不是排除其它元件的存在。而且，本文使用的诸如“部分”、“模块”等之类的术语指示用于处理至少一个功能或操作的单元，其中该单元可被体现为硬件或软件，或者可通过硬件和软件来体现。

如本文所使用的，术语“和/或”包括相关联的所列项中的一个或多个的任何和所有组合。当在元件列表之前时，诸如“……中的至少一个”之类的表达修饰整个元件列表而不是修饰列表的单个元件。

图1是图示根据示范性实施例的对象控制系统的图。

参考图1，根据示范性实施例的对象控制系统可包括电子设备100和多个对象。然而，所有图示的组件都不是必要的组件。对象控制系统可由比图示的组件数量更多或更少的组件来实现。

电子设备100可以是能够控制外部对象的设备。例如，电子设备100可通过网络将控制信息传送给外部对象。根据示范性实施例，网络可用无线通信技术或移动通信技术来实现，诸如无线保真(Wi-Fi)、家庭射频(RF)、蓝牙、高速无线个人区域网络(HR-WPAN)、超宽带(UWB)、低速率无线个人区域网络(LR-WPAN)、电气和电子工程师协会(IEEE)1394等，但不限于此。

根据示范性实施例的电子设备100可以各种形式来实现。例如，电子设备100可以是数码相机、智能手机、膝上型计算机、平板PC、电子书终端、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、MP3播放器等，但不限于此。本文所述的电子设备100可以是用户可佩戴的设备。可佩戴设备可包括附件设备(例如手表、戒指、手环、脚环、项链、眼镜或隐形眼镜)、头戴式设备(HMD)、与织物或衣服(例如电子衣服)集成地形成的设备、身体可附接设备(例如皮肤垫)和可植入设备(例如可植入电路)，但不限于此。为了便于描述，电子设备100是移动终端的情况将被描述为示例。

在示范性实施例中，对象可以是可被电子设备100辨别的事物、人、设备(例如物联网(IoT)设备)、动物、环境等，但不限于此。例如，对象可以是显示设备(例如TV)、智能手机、膝上型计算机、平板PC、电子书终端、数字广播终端、PDA、PMP、导航设备、MP3播放器、消费电子(CE)设备(例如灯具、冰箱、空调、净水器、除湿机、加湿器、浓缩咖啡机、烤箱、机器人真空吸尘器等)、可佩带设备(例如带子、手表、眼镜、虚拟现实(VR)耳机、鞋、皮带、手套、戒指、项链等)、人(例如家庭成员、朋友等)、动物(例如猫、狗等)、事物(例如玩偶、衣服、床、窗户等)、环境(例如天气、季节、温度、湿度等)，但不限于此。

根据示范性实施例，电子设备100可根据用户输入来控制外部对象。例如，为了在TV 200上观看电影，用户可能想要降低灯具300的照度。此时，参考图1的附图标记10，电子设备100可通过短距离通信(例如蓝牙)来搜索周围设备，并且显示检测到的设备的列表。当用户在检测到的设备之中选择要控制的灯具300的标识信息时，电子设备100可执行与灯具300的配对过程，并且然后显示用于调节灯具300的照度的图形用户界面(GUI)。当用户通过GUI将灯具300的照度设置成20％时，电子设备100可向灯具300发送将照度设置成20％的指令。然而，对于用户来说在检测的设备列表中找到查找灯具300的标识信息以用于配对过程是不容易的。而且，对于用户来说执行若干过程以调节灯具300的照度是不方便的。

因此，根据示范性实施例，电子设备100可提供界面20，界面20使得用户能够一眼辨别对象并且容易操纵如图1中所示的对象的功能。例如，当用户在电子设备100的相机的实时取景(live view)中绘制将TV 200连接到灯具300的线时，电子设备100可控制灯具300根据在TV 200上播放的内容的类型而自动调节照度。

以下将参照图2详细描述电子设备100根据用户的意图自动控制对象的方法。

图2是图示根据示范性实施例的电子设备控制对象的方法的流程图。

在操作S210中，电子设备100可辨别第一对象和第二对象。

在示范性实施例中，“辨别对象”可表示对象被识别并且屏幕处于可能显示对应于对象的图像(例如实际图像或替代图像)的状态。

根据示范性实施例，电子设备100可使用图像传感器或相机辨别存在于电子设备100外部的第一对象和第二对象。例如，电子设备100可获取包括第一对象和第二对象的原始帧，并且通过对原始帧的图像处理来识别第一对象和第二对象。例如，电子设备100可通过对原始帧的分析来检测第一对象的轮廓和第二对象的轮廓。然后，电子设备100可将检测到的第一对象和第二对象的轮廓与预定义的模板比较，以检测对象的类型、名称等。例如，当第一对象的轮廓与TV的模板相似时，电子设备100可将包括在原始帧中的第一对象辨别为TV，并且当第二对象的轮廓与冰箱的模板相似时可将第二对象辨别为冰箱。

根据示范性实施例，电子设备100还可对包括在原始帧中的对象执行面部辨别。例如，电子设备100可检测原始帧中的人的面部区域。检测面部区域的方法包括基于知识的方法、基于特征的方法、模板匹配方法、基于外观的方法等，但不限于此。

电子设备100可从检测的面部区域提取面部的特征(例如眼睛、鼻子和嘴的形状等)。电子设备100可使用Gabor滤波器、局部二元模式(LBP)等从面部区域提取面部的特征，但是用于从面部区域提取面部的特征的方法不限于此。

电子设备100可将从面部区域提取的面部的特征与预先注册的用户的面部特征比较。例如，当提取的面部特征与提前注册的第一用户(例如Tom)的面部相似时，电子设备100可将该对象辨识为第一用户(例如Tom)。而且，当提取的面部特征与提前注册的儿童的面部相似时，电子设备100可将该对象辨识为儿童。

而且，电子设备100可将原始帧的某个区域与彩色地图(彩色直方图)比较，并且提取图像的诸如颜色排列、图案、气氛等之类的视觉特征作为图像分析信息。在这种情况下，电子设备100可辨识落在窗外的雨或雪。

此外，电子设备100可对包括在对象中的字符执行光学字符识别(OCR)。OCR表示用于将包括在图像文档中的各种人类语言、数字字体等的字母表转换成在电子设备100中可编辑的字符代码的技术。因此，电子设备100可通过辨识对象中所示的字符来识别对象。

根据示范性实施例，电子设备100还可通过短距离通信辨识对象。例如，电子设备100可通过BLE通信接收由对象(或附接到对象的蓝牙低能耗(BLE)标签)广播的广告分组，并且提取包括在广告分组中的识别信息以辨识对象。电子设备100还可基于BLE信号的强度来计算离对象的距离。

当第一对象是平板PC时，电子设备100可通过BLE通信从第一对象(平板PC)接收包括第一对象的识别信息(例如对应于平板PC的代码)的广告分组。电子设备100可分析广告分组，并且辨识出第一对象是平板PC。而且，当第二对象是玩偶时，电子设备100可分析从附接到玩偶的BLE标签接收的广告分组，并且辨识出第二对象是玩偶。

根据示范性实施例，通过通过光保真(Li-Fi)通信、Wi-Fi通信和蓝牙通信中的至少一个接收第一对象的识别信息和第二对象的识别信息，电子设备100可辨识出第一对象和第二对象，但是用于接收第一和第二对象的识别信息的方法不限于此。

Li-Fi可以是用于使用从发光二极管(LED)发射的光的波长来传送信息的一种可见光通信(VLC)技术。通过光的闪烁执行数据传输。闪烁是以百万分之一秒的间隔进行的，并且因而不会被人眼注意到。换句话说，灯泡看上去打开了，但实际上正在发送数据。因此，Li-Fi可用于有照明并且对人体无害的任何地方。

而且，根据示范性实施例，当电子设备100连接到家庭网络时，电子设备100可辨识连接到家庭网络的其它对象。例如，通过从家庭网关(其可表达为转发器、服务器或IoT集线器)接收其它对象的识别信息、位置信息、状态信息、功能信息等，电子设备100可辨识其它对象。电子设备100可在屏幕上显示对应于辨识出的对象的图标图像。

根据示范性实施例，由电子设备100辨识出的第一对象和第二对象都可以是可控设备。例如，“可控设备”可表示可具有与电子设备100建立的通信链路并且根据通过通信链路从电子设备100传送的控制信号来操作的设备。

根据示范性实施例，由电子设备100辨识出的第一对象和第二对象中的仅仅一个可以是可控设备，并且另一个可以是不可控对象。例如，不可控对象可以是不能够在技术意义上单向或双向通信的事物、人、动物、环境(天气、季节、温度等)，但不限于此。

同时，由电子设备100辨识出的第一对象和第二对象都可以是不可控对象(例如环境、事物等)。以下将参照图15详细描述这种情况。

根据示范性实施例，当三个或更多个对象被通过相机或通信接口辨识出时，电子设备100可在屏幕上显示辨识出的对象，并且从用户接收用于在辨识出的对象之中选择第一对象和第二对象的输入。

电子设备100可以各种形式显示对象。例如，电子设备100可使用示出通过相机辨识出的主体的实时取景来显示对象的实际图像。以下将参照图4、图5A和图5B详细描述通过实时取景显示对象的电子设备100的操作。

根据示范性实施例，电子设备100可生成包括对应于对象的虚拟图像(例如图标图像、文本图像等)的对象映射，并且在屏幕上显示对象映射。以下将参照图6和图7详细描述对象映射。

根据示范性实施例，电子设备100可以VR模式显示辨识出的对象。例如，电子设备100可用实际图像或实时图像显示辨识出的对象中的一些，并用虚拟图像(例如VR图像或适当的可辨识图标)显示一些对象。

在操作S220，电子设备100可识别第一对象的属性和第二对象的属性。

这里，对象的属性可包括对象的标识符(ID)、对象的类型、由对象提供的功能、对象的当前状态等，但不限于此。对象的属性可根据对象的类型而变化。

当对象是设备时，对象的属性可包括由对象提供的功能、对象的当前状态、对象的位置、由对象支持的通信方法等等。例如，当对象是TV时，对象的属性可包括由TV提供的功能(例如亮度调节、音量调节、功率控制、应用执行等)，在TV上显示的内容的类型(例如电影、新闻、游戏、音乐等)、内容的风格(例如动作、浪漫、幻想等)、当前频道、当前音量等级、当前亮度等级、TV处于开还是关状态、TV是否处于操作错误状态等，但不限于此。

当对象是人时，对象的属性可包括人的ID、人的年龄、人的性别、人偏好的频道、人偏好的内容(例如电影、音乐等)、人的设备信息、人的生物统计数据等，但不限于此。当对象是事物时，对象的属性可包括事物的类型、事物的名称、事物的功能等，但不限于此。当对象是环境时，对象的属性可包括天气、温度、湿度、季节等，但不限于此。

根据示范性实施例，当第一对象和第二对象是能够通信的设备时，电子设备100可从第一对象接收第一对象的属性信息，并且从第二对象接收第二对象的属性信息。电子设备100可通过短距离通信(例如蓝牙、Wi-Fi直连(WFD)等)直接从对象接收对象的属性信息或通过网关接收对象的属性信息。

根据示范性实施例，电子设备100可参照存储在存储器中的对象间关联属性表来识别第一对象的属性和第二对象的属性。例如，当第一对象的识别信息被获取时，电子设备100可在对象间关联属性表中搜索对应于第一对象的识别信息的第一属性。

参照图3，描述对象间关联属性表310。对象间关联属性表310可以是其中例如基于用户的使用历史、用户的偏好或任何其它适当的方法定义对应于多个对象的属性的组合的控制信息的表。例如，控制信息可包括关于多个对象之中待控制的设备(以下称为控制设备或目标对象)以及将由控制设备执行的操作(以下称为控制操作)的信息。例如，当电子设备100参考对象间关联属性表310时，TV的属性是“内容(电影)”和“亮度”，灯具的属性是“亮度”，对应于作为TV的属性之一的“内容”和作为灯具的属性的“亮度”的组合的第一控制信息是：“控制设备：灯具，操作：将亮度设置成20％”，并且对应于作为TV的另一个属性的“亮度”和作为灯具的属性的“亮度”的组合的第二控制信息是：“控制设备：TV，操作：调节TV的亮度以对应于照明的亮度”。

同时，当每个对象具有多个属性时，电子设备100可参照对象间关联属性表310选择一个属性以用于对象控制。例如，当第一对象和第二对象被选择时，电子设备100可参照对象间关联属性表310来在第一对象的多个属性之中选择第一属性，并且在第二对象的多个属性之中选择第二属性。

根据示范性实施例，电子设备100可在对应于对象的多个属性之中选择具有较高优先级的属性。换句话说，对象的多个属性可具有优先级次序。例如，当对象是TV并且TV的属性包括回放内容、音量、亮度等时，电子设备100可在TV的属性之中选择具有最高优先级的“回放内容”。即，例如可基于用户的使用历史、用户的偏好或任何其它适当的方法，以回放内容、音量、亮度的优先级次序排列TV的属性。

根据示范性实施例，第一对象的多个属性的优先级次序可根据第二对象的类型而变化。例如，当第一对象是TV并且第二对象是人时，电子设备100可在第一对象的属性之中选择“回放内容”。另一方面，当第一对象是TV并且第二对象是灯具时，电子设备100可在第一对象的属性之中选择“亮度”。

根据示范性实施例，电子设备100可基于用户输入来选择对应于对象的多个属性之中的一个。例如，电子设备100可将对应于多个对象中的每一个的属性连同多个对象显示在屏幕上，并且接收用于选择显示的属性中的一个的用户输入。以下将参照图21和图22详细描述显示对应于至少一个对象的属性的电子设备100的操作。

在操作S230中，电子设备100可基于第一对象的属性和第二对象的属性来在第一对象与第二对象之间选择控制的对象。为了便于描述，“待控制的对象”将被称为“目标对象(或控制设备)”。

根据示范性实施例，电子设备100可基于第一对象的属性和第二对象的属性来选择第一对象与第二对象之间的可控对象作为目标对象。例如，当分析第一对象的属性和第二对象的属性的结果指示第一对象是事物并且第二对象是显示设备时，电子设备100可在第一对象与第二对象之间选择第二对象(显示设备)作为目标对象。

根据示范性实施例，电子设备100可参照对象间关联属性表310在第一对象与第二对象之间选择控制的对象。例如，当第一对象是TV，第一对象的属性是“内容(电影)”，第二对象是灯具，并且第二对象的属性是“亮度”时，电子设备100可在对象关联属性表310中选择第一控制信息(例如，控制设备：灯具，操作：将亮度设置成20％)，第一控制信息对应于作为TV的属性的“内容(电影)”和作为灯具的属性的“亮度”的组合。电子设备100可分析第一控制信息并检查灯具是否是目标对象。

在操作S240中，电子设备100可生成对于选择的对象的操作信号。例如，操作信号可以是指示选择的对象(目标对象)的特定操作的信号，并且被表达为控制信号。例如，电子设备100可确定将由选择的对象执行的操作，并且生成指示确定的操作的操作信号。根据示范性实施例，当选择的对象具有红外(IR)发送器时，电子设备100可搜索对应于选择的对象的IR发送器的模型的IR信号，并使用检测的IR信号生成操作信号。

根据示范性实施例，电子设备100可基于第一对象的属性和第二对象的属性来确定将由选择的对象执行的操作(以下称为控制操作)。例如，控制操作可以是由选择的对象提供的功能中的一个。例如，当目标对象是TV时，控制操作可以是“频道改变”、“视频点播(VOD)播放”、“亮度调节”、“音量调节”和“应用执行”中的一个，但不限于此。而且，当目标对象是灯具时，控制操作可以是“亮度调节”、“颜色调节”和“闪烁周期的调节”中的一个，但不限于此。

根据示范性实施例，当第二对象被选为第一对象与第二对象之间的目标对象时，电子设备100可基于第一对象的属性之中的状态信息和第二对象的属性之中的功能信息来确定第二对象的控制操作。例如，当第一对象是环境并且第二对象(目标对象)是TV时，电子设备100可基于第一对象的状态信息(例如，当前天气：雨)和第二对象的功能信息(例如频道改变)来确定“将TV的当前频道改变成天气频道”作为控制操作。

根据示范性实施例，电子设备100可基于对象间关联属性表310来确定对应于第一对象的属性和第二对象的属性的操作。例如，当第一对象是TV时，第一对象的属性是“内容(电影)”，第二对象是人，并且第二对象的属性是“儿童”时，电子设备100可选择第二控制信息(例如，控制设备：TV，操作：为儿童播放VOD)，第二控制信息对应于作为TV的属性的“内容(电影)”和作为人的属性的“儿童”的组合。电子设备100可分析第二控制信息并检查将由TV执行的操作是“为儿童播放VOD”。

根据示范性实施例，电子设备100可根据目标对象的控制协议来生成操作信号。例如，根据目标对象的控制协议，电子设备100可生成包括由目标对象可读取的控制命令的操作信号。

同时，根据示范性实施例，电子设备100可基于用户选择显示在屏幕上的第一对象和第二对象的顺序来生成操作信号。例如，当用户选择第一对象并且然后选择第二对象时，电子设备100可生成第一操作信号使得第一对象执行第一操作，并且当用户选择第二对象并且然后选择第一对象时，电子设备100可生成第二操作信号使得第一对象执行第二操作。例如，当用户用他或她的手指触摸显示在屏幕上的第一对象(儿童)并且然后将第一对象拖动到第二对象(音频系统)时，电子设备100可生成指示音频系统为儿童播放音乐的操作信号。另一方面，当用户用他或她的手指触摸显示在屏幕上的第二对象(音频系统)并且然后将第二对象拖动到第一对象(儿童)时，电子设备100可生成指示音频系统将音量调节到用于儿童入睡的等级2的操作信号。

根据示范性实施例，当用户选择第一对象并且然后选择第二对象时，电子设备100可生成用于控制第二对象的第三操作信号，并且当用户选择第二对象并且然后选择第一对象时，电子设备100可生成用于控制第一对象的第四操作信号。另一方面，当用户选择第一对象并且然后选择第二对象时，电子设备100可生成用于控制第一对象的第五操作信号，并且当用户选择第二对象并且然后选择第一对象时，电子设备100可生成用于控制第二对象的第六操作信号。

例如，当用户用他或她的手指触摸显示在屏幕上的TV并且然后用手指触摸灯具时，电子设备100可根据在TV上播放的内容来生成用于调节灯具的照明等级的操作信号。而且，当用户用他或她的手指触摸显示在屏幕上的灯具并且然后用手指触摸TV时，电子设备100可根据灯具的照明等级来生成用于调节TV的亮度的操作信号。

在操作S250中，电子设备100可向选择的对象发送生成的操作信号。

根据示范性实施例的电子设备100可通过有线和/或无线通信向目标对象发送包括控制命令的操作信号。例如，电子设备100可使用短距离通信(蓝牙、WFD、Li-Fi、UWB等)或移动通信向目标对象发送操作信号。

根据示范性实施例，电子设备100可或直接或通过转发器设备(例如服务器、家庭网关、IoT集线器等)向目标对象发送操作信号。例如，当电子设备100向转发器设备发送操作信号连同目标对象的标识信息时，转发器设备可将操作信号传送给目标对象。根据示范性实施例，转发器设备可转换操作信号以对应于目标对象的控制协议，并将转换的操作信号传送给目标对象。

根据示范性实施例，目标对象可分析接收的操作信号并执行对应于操作信号的操作。例如，当音频系统接收包括将音量设置成等级3的指令的操作信号时，音频系统可将音量从等级10调节成等级3。

以下将进一步详细描述电子设备100接收用于在多个对象之中选择第一对象和第二对象的用户输入的操作。

图4是图示根据示范性实施例的通过图像传感器辨识对象的方法的流程图。

例如，图4的操作S410和S420可对应于图2的操作S210。

在操作S410中，电子设备100可显示通过图像传感器辨识出的多个对象。例如，电子设备100可使用示出通过图像传感器辨识出的主体的实时取景来显示多个对象的实际图像。

在操作S420中，电子设备100可接收用于在多个对象之中选择第一对象和第二对象的用户输入。

例如，用于选择第一对象和第二对象的用户输入可变化。例如，用于选择第一对象和第二对象的用户输入可以是触摸输入、语音输入、眼睛输入和弯曲输入中的至少一个，但不限于此。

在整个说明书中，“触摸输入”表示由用户在触摸屏上做出以控制电子设备100的手势等。例如，示范性实施例中所述的触摸输入可以是轻击、触摸并保持、双击、拖动、平移、轻拂、拖放等等。

“轻击”表示用户用他或她的手指或触摸工具(例如电子笔)触摸屏幕并且立即从屏幕上提起手指或触摸工具而不移动它的动作。

“触摸并保持”表示用户用他或她的手指或触摸工具(例如电子笔)触摸屏幕并将触摸输入维持阈值时间(例如两秒)或更长的动作。例如，这是其中触摸到(touch-in)时间点与触摸离开(touch-out)时间点之间的差是阈值时间(例如两秒)或更长的情况。为了使用户辨识出触摸输入是轻击还是触摸并保持，当触摸输入被维持阈值时间或更长时，可以听觉或触觉的方式提供反馈信号。阈值时间可根据时限的示例而改变。

“双击”表示用户用他或她的手指或触摸工具(例如电子笔)触摸屏幕两次的动作。

“拖动”表示用户用他或她的手指或触摸工具触摸屏幕并且在维持触摸的同时将手指或触摸工具移动到屏幕中的另一个位置的动作。由于拖动动作，执行以下将描述的对象移动或平移动作。

“平移”表示用户进行拖动动作而不选择对象的动作。由于平移动作不选择任何对象，因此没有对象在页面中移动，并且页面本身在屏幕中移动，或者对象组在页面中移动。

“轻拂”表示用户使用他或她的手指或触摸工具以阈值速度(例如100像素/秒)或更快地进行拖动动作的动作。可基于手指或触摸工具的移动速度是阈值速度(例如100像素/秒)还是更快来区分拖动(或平移)动作和轻拂动作。

“拖放”表示用户使用他或她的手指或触摸工具将对象拖动到屏幕中的一位置并且放下对象的动作。

“捏”表示用户在用两根手指触摸屏幕的同时在不同方向上移动两根手指的动作。捏可以是用于放大(夹开)或缩小(夹紧)对象的手势，并且放大值或缩小值根据两根手指之间的距离来确定。

“滑动”表示用户用手指或触摸工具触摸屏幕中的对象的同时在水平或垂直方向上移动他或她的手指或触摸工具达一段距离的动作。对角线方向上的运动不被识别为滑动事件。

根据示范性实施例，电子设备100可接收用于用线连接第一对象和第二对象的拖动输入。而且，电子设备100可接收轻击、双击、或者触摸并保持第一对象和第二对象中的每一个的输入，但是触摸输入不限于此。

根据示范性实施例，电子设备100可分析用户的语音并辨识包括在用户的语音中的第一对象的识别信息和第二对象的识别信息。而且，当电子设备100包括柔性显示器时，电子设备100可接收弯曲部分区域以选择第一对象和第二对象的弯曲输入。

根据示范性实施例，当第一对象和第二对象未被显示在一个屏幕中时，用户可在第一实时取景中选择第一对象并且在第二实时取景中选择第二对象。此时，在第二实时取景的部分区域(例如左上部分)中，电子设备100可显示对应于在第一实时取景中选择的第一对象的图标。

例如，在第一实时取景中触摸儿童之后，用户可移动电子设备100，并且当包括TV的第二实时取景被显示在电子设备100中时，用户可触摸TV。以下将参照图5B进一步描述其中第一对象和第二对象未被显示在一个屏幕中的情况。

在操作S430中，电子设备100可识别第一对象的属性和第二对象的属性。

根据示范性实施例，电子设备100可通过图像处理识别由用户在实时取景中选择的第一对象和第二对象。例如，通过包括第一对象和第二对象的图像的图像处理，电子设备100可将对应于第一触摸位置的第一对象识别为TV，并且将对应于第二触摸位置的第二对象识别为儿童。

根据示范性实施例，电子设备100可识别由用户选择的第一对象和第二对象，并且然后识别第一对象的属性和第二对象的属性，如以上参照图2的操作S220所述的。

图5A和图5B是图示根据示范性实施例的电子设备接收用于选择对象的用户输入的操作的图。

参考图5A的第一屏幕510，电子设备100可显示包括TV、灯具、音频设备和洗衣机的实时取景。通过对应于实时取景的图像的图像处理，电子设备100可在实时取景中辨别TV、灯具、音频设备和洗衣机的位置。

电子设备100可在实时取景中标记由用户可选择的对象。例如，当由用户可选择的对象是TV、灯具和音频设备时，电子设备100可显示接近TV的第一图标、接近灯具的第二图标以及接近音频设备的第三图标。

根据示范性实施例，电子设备100可接收用于在实时取景中选择TV和灯具的输入。例如，电子设备100可接收触摸并拖动接近TV显示的第一图标到接近灯具显示的第二图标的拖动输入。通过识别拖动输入的开始点和结束点，电子设备100可辨别出用户已经选择了TV和灯具。

参考第二屏幕520，电子设备100可接收绘制闭合图形(例如圆形、矩形等)的输入。电子设备100可选择闭合图形所穿过的对象以及闭合图形中的对象。例如，当用户在实时取景上绘制穿过TV、灯具和音频设备的圆形时，电子设备100可辨别出用户已经选择了TV、灯具和音频设备。

根据示范性实施例，电子设备100可接收用于在三个或更多个对象之中选择三个或更多个对象并控制两个或更多个对象的输入。例如，电子设备100可基于TV的属性、灯具的属性以及音频设备的属性来将灯具和音频设备确定为目标对象，向灯具发送指示根据在TV上播放的内容改变照度的第一操作信号，并且向音频设备发送指示根据播放的内容调节音量的第二操作信号。

为了便于描述，以下将把其中电子设备100控制两个辨别出的对象中的一个的情况描述为示例。

参考第三屏幕530，电子设备100可接收用电子笔进行的输入。例如，电子设备100可接收用电子笔触摸和拖动接近TV显示的第一图标到接近灯具显示的第二图标的拖动输入。通过检查拖动输入的开始点和结束点，电子设备100可辨别出用户已经选择了TV和灯具。

参考第四屏幕540，电子设备100可接收绘制闭合图形(例如圆形、矩形等)的输入。例如，电子设备100可接收用电子笔绘制穿过音频设备和洗衣机的圆形的输入。

参考第五屏幕550，电子设备100可接收用于在实时取景中选择TV和灯具的眼睛输入。眼睛输入表示用户调节眨眼、注视位置、他或她的眼球的移动速度等以控制电子设备100的输入。例如，电子设备100可感测在实时取景上看着TV三秒或更长，将他或她的眼睛移动到灯具，并且然后看着灯具三秒或更长的用户输入。电子设备100可分析用户的注视位置并确定用户已经选择了TV和灯具。

参考图5B，当在一个屏幕上第一对象和第二对象未被显示在一起时，用户可移动电子设备100。在这种情况下，可移动包括在电子设备100中的图像镜头的视野。

例如，当第一对象是儿童501并且第二对象是TV 502时，儿童501和TV 502可能彼此远离，并且在电子设备100的实时取景中未被显示在一起。在这种情况下，当TV 502被显示在第二实时取景570中时，用户可首先在第一实时取景560中选择儿童501，移动电子设备100，并且然后在第二实时取景570中选择TV 502。根据示范性实施例，当在用户选择儿童501之后移动电子设备100时，电子设备100可在电子设备100的屏幕的某个区域中显示对应于儿童501的图标503。

同时，当在一个实时取景中第一对象和第二对象未被一起显示时，用户可调节视角。例如，通过扩大视角(例如缩小)，用户可使得第一对象和第二对象被一起显示在实时取景中。

图6是图示根据示范性实施例的通过短距离通信辨别对象的方法的流程图。

在操作S610中，电子设备100可通过短距离通信辨别多个对象。例如，电子设备100可使用蓝牙通信搜索蓝牙通信半径内的对象。而且，电子设备100可通过经由BLE通信接收由对象广播的BLE广告数据包来辨别BLE通信半径内的对象。在除了蓝牙和BLE通信之外的各种短距离通信方法中，电子设备100可辨别某个范围内的对象。例如，电子设备100可使用WFD、近场通信(NFC)、Li-Fi等等来辨别对象。

根据示范性实施例，电子设备100可基于通信信号的强度来确定多个对象与电子设备100之间的距离。例如，当来自第一对象的通信信号的强度大于来自第二对象的通信信号的强度时，电子设备100可确定第一对象比第二对象更接近。而且，电子设备100可计算对应于通信信号的强度的距离。

根据示范性实施例，当电子设备100连接到家庭网络时，电子设备100可接收关于连接到家庭网络的对象的信息(例如对象标识值、对象的当前状态、位置等)。

在操作S620中，电子设备100可显示对象映射，该对象映射包括在一对一的基础上对应于多个对象的图像。

对象映射可以是示出在电子设备100周围的对象之中由用户可选择的对象的图像的映射。例如，在一对一的基础上对应于多个对象的图像可以是图标图像、缩略图图像、标志、图形、文本图像等，但不限于此。

根据示范性实施例，对象映射可以各种形式来实现。例如，对象映射可以在平面图上示出存储的对象图像的形式，或者在磁性映射上示出电子设备100周围的设备的图像的形式，但不限于此。

根据示范性实施例，可根据离电子设备100的距离来布置对应于对象的图像。例如，当电子设备100比音频设备更接近TV时，TV在对象映射中可在音频设备的前面。

在操作S630中，电子设备100可接收用于在多个对象之中选择第一对象和第二对象的用户输入。

这里，用于选择第一对象和第二对象的用户输入可变化。例如，用于选择第一对象和第二对象的用户输入可以是触摸输入、语音输入、眼睛输入和弯曲输入中的至少一个，但不限于此。

根据示范性实施例，电子设备100可接收用于在对象映射上用线连接第一对象和第二对象的拖动输入。而且，电子设备100可接收轻击、双击、或者触摸并保持第一对象和第二对象中的每一个的输入，但是触摸输入不限于此。

根据示范性实施例，电子设备100可分析用户的语音并辨别包括在用户的语音中的第一对象的标识信息和第二对象的标识信息。而且，当电子设备100包括柔性显示器时，电子设备100可接收弯曲部分区域以选择第一对象和第二对象的弯曲输入。

图7是图示根据示范性实施例的对象映射的图。

根据示范性实施例，电子设备100可显示包括周围对象的虚拟图像的对象映射700。例如，对象映射700可包括通过短距离通信辨别(例如感测)的对象的图像(例如TV图标701、灯具图标702、狗704、音频设备图标706、窗口708、真空吸尘器图标710、计算机图标712、电子设备100的图像714、以及微波图标716)。

根据示范性实施例，当移动电话被辨别出时，电子设备100可在对象映射700中显示移动电话用户的面部图像。例如，当辨别出第一用户(例如母亲)的电话时，可在对象映射700中显示第一用户(例如母亲)的面部图像703。

根据示范性实施例，即使在通过短距离通信未辨别出预定义的对象时，电子设备100也可在对象映射700中显示预定义的对象的图像。例如，当用户进行设置以使得各自的家庭成员的图像被显示在对象映射700中时，电子设备100可在对象映射700中显示第一用户(例如母亲)的面部图像703、第二用户(例如女儿)的面部图像、小狗的图像等。而且，根据示范性实施例，电子设备100可总是在对象映射700中显示表示环境的窗口图标708。

根据示范性实施例，用户可通过对象映射700检查可选择的对象并在可选择的对象之中选择两个对象。例如，电子设备100可接收触摸并拖动TV图标701到灯具图标702的拖动输入。电子设备100可使用包括在对象映射700中的对象映射图标的位置信息来辨别用户已经选择了TV和灯具。

以下将详细描述电子设备100基于第一对象的属性和第二对象的属性来控制第一对象和第二对象中的一个的操作。

图8是图示当所有的多个对象是可控设备时根据示范性实施例的电子设备控制对象的方法的序列图。在图8中，将把其中第一对象801和第二对象802两者都是能够与电子设备100通信的设备的情况描述为示例。

在操作S810中，电子设备100可辨别第一对象801和第二对象802。

根据示范性实施例，电子设备100可使用图像传感器或相机辨别存在于电子设备100外部的第一对象801和第二对象802。而且，电子设备100可通过短距离通信辨别第一对象801和第二对象802。

同时，当通过相机或通信接口辨别出三个或更多个对象时，电子设备100可基于用户输入、在辨别出的对象之中选择第一对象801和第二对象802。

由于操作S810对应于图2的操作S210，因此将不重复其详细描述。

在操作S820中，电子设备100可设置与第一对象801和第二对象802的通信连接。例如，当电子设备100未连接到第一对象801和第二对象802以用于通信时，电子设备100可建立与第一对象801的第一通信链路并建立与第二对象802的第二通信链路。

电子设备100可通过与第一对象801和第二对象802交换标识信息(例如设备ID、媒体访问控制(MAC)地址、设备名称等)、功能信息(例如对BLE的支持、蓝牙、Ant+、Wi-Fi和NFC)、关于优选通信方法(例如蓝牙)的信息等来建立第一通信链路和第二通信链路。

根据示范性实施例，第一通信链路和第二通信链路可包括蓝牙网络、BLE网络、无线局域网(WLAN和/或Wi-Fi网络)、WFD网络、UWB网络和移动通信网络(例如第二代(2G)、3G、4G、5G等网络)，但不限于此。

在操作S830中，第一对象801可向电子设备100发送第一属性信息。例如，第一对象801可通过第一通信链路向电子设备100发送第一属性信息(例如第一对象801的当前状态信息、关于由第一对象801支持的功能的信息等)。

根据示范性实施例，第一对象801可周期性地向电子设备100发送第一属性信息，或者可在从电子设备100接收请求时向电子设备100发送第一属性信息。

在操作S840中，第二对象802可向电子设备100发送第二属性信息。例如，第二对象802可通过第二通信链路向电子设备100发送第二属性信息(例如第二对象802的当前状态信息、关于由第二对象802支持的功能的信息等)。

根据示范性实施例，第二对象802可周期性地向电子设备100发送第二属性信息，或者可在从电子设备100接收请求时向电子设备100发送第二属性信息。

在操作S850中，电子设备100可使用对象间关联属性表来确定目标对象和操作。

根据示范性实施例，电子设备100可参照对象间关联属性表310来在第一对象801与第二对象802之间选择控制的目标对象。而且，电子设备100可确定对应于第一对象801的属性和第二对象802的属性的操作。例如，当第一对象801是TV，第一对象801的属性是“内容(电影)”，第二对象802是灯具，并且第二对象802的属性是“亮度”时，电子设备100可在对象间关联属性表310中选择第一控制信息(例如，控制设备：灯具，操作：将亮度设置成20％)，该第一控制信息对应于作为TV的属性的“内容(电影)”和作为灯具的属性的“亮度”的组合。电子设备100可分析第一控制并检查灯具是目标对象，并且将由灯具执行的操作是“将亮度等级设置成20％”。

在操作S860中，电子设备100可生成并发送操作信号。例如，当第一对象801被确定为目标对象时，电子设备100可在操作S870中向第一对象801发送对应于第一对象801的第一操作信号。在操作S875中，第一对象801可执行对应于第一操作信号的第一操作。

当第二对象802被确定为目标对象时，电子设备100可在操作S880中向第二对象802发送对应于第二对象802的第二操作信号。在操作S885中，第二对象802可执行对应于第二操作信号的第二操作。

根据示范性实施例，可省略操作S810到S885中的一些，或者可改变一些操作的顺序。例如，可在操作S810之前执行操作S820。而且，仅仅可省略操作S820到S840。

以下将参照图9详细描述其中电子设备100在用户选择控制的对象之前收集对象的属性信息的情况。

图9是图示当电子设备连接到多个对象以通信时根据示范性实施例的用于电子设备基于多个对象的属性来控制一个对象的方法的序列图。在图9中，将会将其中第一对象901和第二对象902两者都是能够与电子设备100通信的设备的情况描述为示例。

电子设备100在操作S905中可建立与第一对象901的第一通信链路，并且在操作S910中建立与第二对象902的第二通信链路。

根据示范性实施例，电子设备100可直接通过短距离通信(例如蓝牙、Wi-Fi等)或者通过家庭网关间接连接到第一对象901和第二对象902。

由于操作S905和S910对应于图8的操作S820，因此将不重复其详细描述。

在操作S920中，电子设备100可收集对象的属性信息。例如，在操作S925中，电子设备100可通过第一通信链路从第一对象901接收第一属性信息。例如，第一属性信息可包括第一对象901的标识信息、状态信息和功能信息，但不限于此。

在操作S930中，电子设备100可通过第二通信链路从第二对象902接收第二属性信息。例如，第二属性信息可包括第二对象902的标识信息、状态信息和功能信息中的至少一个，但不限于此。

根据示范性实施例，电子设备100可以以某些间隔(例如10分钟)从第一对象901或第二对象902接收第一属性信息或第二属性信息。而且，当发生特定事件时，电子设备100可从第一对象901或第二对象902接收第一属性信息或第二属性信息。例如，特定事件可包括其中第一对象901或第二对象902的电力被接通的事件，其中第一对象901或第二对象902建立与电子设备100的通信链路的事件，其中第一对象901或第二对象902的状态被改变的事件等，但不限于此。

根据示范性实施例，电子设备100可基于从第一对象901或第二对象902接收的新的第一属性信息或新的第二属性信息来更新对象的属性信息数据库(DB)。

在操作S940中，电子设备100可识别第一对象901和第二对象902。

根据示范性实施例，电子设备100可使用图像传感器或相机识别存在于电子设备100外部的第一对象901和第二对象902。而且，电子设备100可使用短距离通信来识别第一对象901和第二对象902。

同时，当三个或更多个对象被通过相机或通信接口识别时，电子设备100可基于用户输入在识别的对象之中选择第一对象901和第二对象902。由于操作S940对应于图2的操作S210，因此将不重复其详细描述。

在操作S950中，电子设备100可提取第一属性信息和第二属性信息。

根据示范性实施例，电子设备100可在存储收集的对象的属性信息的属性信息DB中搜索与第一对象901的标识信息对应的第一属性信息。而且，电子设备100可在属性信息DB中搜索与第二对象902的标识信息对应的第二属性信息。

在操作S960中，使用对象间关联属性表，电子设备100可将第一对象901确定为控制的目标对象。根据示范性实施例，对象间关联属性表可被包括在属性信息DB中，或者可与属性信息DB分离。

根据示范性实施例，电子设备100可参照对象间关联属性表310检查与第一对象901的第一属性信息和第二对象902的第二属性信息对应的第一控制信息。当第一对象901已经在第一控制信息中被定义为控制设备时，电子设备100可选择第一对象901作为目标对象。

在操作S970中，电子设备100可生成第一操作信号。

根据示范性实施例，电子设备100可确定与第一对象901的第一属性信息和第二对象902的第二属性信息对应的操作。而且，电子设备100可生成对应于确定的操作的第一操作信号。可基于第一对象901的控制协议信息来生成第一操作信号。

由于操作S970对应于图2的操作S240，因此将不重复其详细描述。

在操作S980中，电子设备100可向第一对象901发送第一操作信号。例如，电子设备100可通过第一通信链路向第一对象901发送第一操作信号。

在操作S990中，第一对象901可根据第一操作信号执行第一操作。根据示范性实施例，当第一操作完成时，第一对象901可向电子设备100发送完成消息。

以下将参照图10A、10B和10C详细描述其中电子设备100基于多个对象的属性信息来控制特定对象的示范性实施例。

图10A、10B和10C是图示根据示范性实施例的电子设备基于TV的属性和灯具的属性来控制灯具的操作的图。

参考图10A，电子设备100可显示包括多个对象的实时取景。电子设备100可识别包括在实时取景中的多个对象并显示指示在对应的对象周围的多个所识别出的对象的指示符(例如图标)。而且，电子设备100可在实时取景中显示多个对象中的每一个的状态信息。

例如，电子设备100可识别出TV 1001、灯具1002、音频设备2224、洗衣机2226和机器人真空吸尘器2228。而且，电子设备100可显示TV 1001的状态信息(例如，观看，音量：60)、灯具1002的状态信息(例如，亮度：70％)、音频设备2224的状态信息(例如，等待，音量：60)、洗衣机2226的状态信息(例如，清洗，剩余时间：30分钟)、机器人真空吸尘器2228的状态信息(例如，清洁，电池：剩余60％)等等。

当用户想要在黑暗环境中观看在TV 1001上播放的电影时，电子设备100可通过实时取景接收用于选择TV 1001和灯具1002的用户输入。例如，电子设备100可接收触摸并拖动TV 1001到灯具1002的拖动输入。

在这种情况下，电子设备100可识别TV 1001的属性(例如，播放电影内容)和灯具1002的属性(例如，亮度：70％)，并且参照对象间关联属性表310来确定目标对象和目标操作。例如，电子设备100可将灯具1002确定为目标对象，并将“亮度：设置成10％”确定为目标操作。

参考图10B，电子设备100可显示弹出窗口1003，该弹出窗口1003请求确认基于TV1001的属性和灯具1002的属性确定的目标对象(灯具1002)和目标操作(“亮度：设置成10％”)。例如，电子设备100可显示包括消息“你是否想要调节用于电影模式的照明？”的弹出窗口。

参考图10C，当用户在弹出窗口中选择“是”时，电子设备100可生成指示将亮度等级设置成10％的操作信号。而且，电子设备100可向灯具发送生成的操作信号。根据接收的操作信号，灯具可将亮度等级从70％调节到10％(附图标记1004)。

图11是图示当由电子设备识别的多个对象中的仅仅一个是可控设备时根据示范性实施例的用于电子设备控制对象的方法的序列图。在图11中，将把其中第一对象1101是可控制设备并且第二对象1102是不可控事物的情况描述为示例。

在操作S1110中，电子设备100可辨别第一对象1101和第二对象1102。

根据示范性实施例，电子设备100可使用图像传感器或相机辨别存在于电子设备100的外部的第一对象1101和第二对象1102。而且，电子设备100可通过短距离通信辨别第一对象1101和第二对象1102中的至少一个。

同时，当三个或更多个对象被通过相机或通信接口辨别时，电子设备100可基于用户输入在辨别出的对象中选择第一对象1101和第二对象1102。

由于操作S1110对应于图2的操作S210，因此将不重复对其的详细描述。

在操作S1120中，电子设备100可设置与第一对象1101的通信连接。

例如，当电子设备100未连接到第一对象1101以用于通信时，电子设备100可请求来自第一对象1101的通信连接以建立通信链路。

根据示范性实施例，通信链路可包括蓝牙网络、BLE网络、WLAN(Wi-Fi网络)、WFD网络、UWB网络和移动通信网络(例如2G、3G、4G、5G等网络)中的至少一个，但不限于此。

同时，第二对象1102可以是事物(例如人或环境)，并且因而电子设备100不能建立与第二对象1102的通信链路。

在操作S1130中，第一对象1101可向电子设备100发送第一属性信息。

例如，第一对象1101可通过通信链路向电子设备100发送第一属性信息(例如第一对象1101的当前状态信息、关于由第一对象1101支持的功能的信息等)。

根据示范性实施例，第一对象1101可周期性地向电子设备100发送第一属性信息，或者可在从电子设备100接收请求时向电子设备100发送第一属性信息。

同时，由于第二对象1102是事物(或者人或环境)，因此电子设备100不能够从第二对象1102接收第二对象1102的第二属性信息。因此，根据示范性实施例，电子设备100可从储存器获取第二对象1102的第二属性信息。例如，电子设备100可在存储在储存器中的属性信息DB中搜索对应于第二对象1102的标识信息的第二属性信息。

在操作S1140中，电子设备100可使用对象间关联属性表将第一对象1101确定为目标对象。

例如，由于第一对象1101是可控设备并且第二对象1102是不可控的事物，因此电子设备100可参照对象间关联属性表310将第一对象1101与第二对象1102之间的第一对象1101选为控制的目标。

在操作S1150中，电子设备100可生成对于第一对象1101的操作信号。

根据示范性实施例，电子设备100可确定对应于第一对象1101的第一属性信息和第二对象1102的第二属性信息的操作。然后，电子设备100可生成对应于确定的操作的操作信号。可基于第一对象1101的控制协议信息来生成操作信号。

由于操作S1150对应于图2的操作S240，因此将不重复其详细描述。

在操作S1160中，电子设备100可向第一对象1101发送操作信号。例如，电子设备100可通过预先建立的短距离通信链路向第一对象1101发送操作信号。

在操作S1170中，第一对象1101可执行对应于操作信号的操作。根据示范性实施例，当操作完成时，第一对象1101可向电子设备100发送完成消息。

以下将参照图12至14详细描述其中电子设备100控制第一对象1101的示范性实施例。

图12是图示根据示范性实施例的电子设备基于人的属性和TV的属性来控制TV的操作的图。

参考图12的屏幕1210，电子设备100可显示实时取景，该实时取景包括其中人1201坐在TV 1202旁边的图像。例如，电子设备100可通过图像处理技术来识别显示在实时取景中的人1201和TV 1202。

电子设备100可接收用于连接人1201的图像和TV 1202的图像的拖动输入。电子设备100可识别人1201的属性(例如儿童)和TV 1202的属性(例如内容)。

在对象间关联属性表310中，电子设备100可搜索控制信息(例如，控制设备：TV，操作：播放儿童的VOD)，该控制信息对应于作为TV 1202的属性的“内容”和作为人1201的属性的“儿童”的组合。通过分析控制信息，电子设备100可将TV 1202确定为目标对象，并检查将由TV执行的操作是“为儿童播放VOD。”

参考图12，电子设备100可生成包括指示“为儿童播放VOD”的控制命令的操作信号。然后，电子设备100可通过短距离通信向TV 1220发送生成的操作信号。

基于从电子设备100接收的操作信号，TV 1220可为儿童搜索或播放VOD内容(例如动画内容)。

根据示范性实施例，在不经过复杂过程的情况下，用户可通过连接显示在电子设备100的实时取景中的儿童和TV 1220来使得在TV 1220上为儿童播放VOD内容。

图13是图示根据示范性实施例的电子设备基于周围的属性和音频系统的属性来控制音频系统的操作的图。

参考图13的屏幕1310，电子设备100可显示实时取景，该实时取景包括其中雨被示出在窗口1301外部并且音频系统1302位于邻接窗口1301的图像。例如，电子设备100可通过图像处理技术来识别显示在实时取景中的窗口1301和音频系统1302。

电子设备100可接收用于连接窗口1301的图像和音频系统1302的图像的拖动输入。电子设备100可识别窗口1301的属性(天气)和音频系统1302的属性(音乐内容)。例如，当用户触摸窗口1301时，电子设备100可使用天气应用来检查天气(雨)。而且，电子设备100可通过图像处理技术来辨识落在窗口1301外部的雨滴。

在对象间关联属性表310中，电子设备100可搜索与作为窗口1301的属性的“天气：雨”和作为音频系统1302的属性的“音乐内容”的组合对于的控制信息(例如，控制设备：音频系统，操作：播放适合于天气的音乐)。通过分析该控制信息，电子设备100可将音频系统1302确定为目标对象，并检查将由音频系统执行的操作是“播放适合天气的音乐”。

参考图13，电子设备100可生成操作信号，该操作信号包括指示“播放在下雨天好听的可推荐音乐”的控制命令。然后，电子设备100可通过短距离通信向音频系统1320发送生成的操作信号。

当没有对应于“在下雨天好听的可推荐音乐”的音乐文件被存储在音频系统1320中时，音频系统1320可在音乐服务器中搜索“在下雨天好听的可推荐音乐”并播放该音乐。

而且，当没有对应于“在下雨天好听的可推荐音乐”的音乐文件被存储在音频系统1320中时，电子设备100可向音频系统1320发送对应于“在下雨天好听的可推荐音乐”的音乐文件。例如，音乐文件可能已被存储在电子设备100的储存器中，或者可在音乐服务器中被实时搜索。

根据示范性实施例，音频系统1320可下载和播放音乐文件，或者可以流式方式播放音乐文件。

图14是图示根据示范性实施例的电子设备基于事物的属性和除湿机的属性来控制除湿机的操作的图。

参考图14的屏幕1410，电子设备100可显示包括晾衣架1401和除湿器1402的实时取景。例如，电子设备100可通过图像处理技术来识别包括在实时取景中的晾衣架1401和除湿器1402。

电子设备100可接收用于连接晾衣架1401的图像和除湿器1402的图像的拖动输入。电子设备100可识别晾衣架1401的属性(例如衣物)和除湿器1402的属性(例如除湿)。

在对象间关联属性表310中，电子设备100可搜索与作为晾衣架1401的属性的“衣物”和作为除湿器1402的属性的“除湿”的组合对应的控制信息(例如，控制设备：除湿器，操作：通电)。通过分析该控制信息，电子设备100可将除湿器1402确定为目标对象，并检查将由除湿器1420执行的操作是“激活除湿功能”。

参考图14，电子设备100可生成包括指示“激活除湿功能”的控制命令的操作信号。然后，电子设备100可通过短距离通信向除湿器1420发送生成的操作信号。

基于从电子设备100接收的操作信号，除湿器1420可打开电源并执行除湿功能。

根据示范性实施例，在不经过复杂过程的情况下，用户可通过连接显示在电子设备100的实时取景中的晾衣架1401的图像和除湿器1402的图像来使得除湿器1420操作。

图15是图示当所有的多个对象被电子设备辨别为不可控对象时根据示范性实施例的电子设备控制附加对象的方法的序列图。在图15中，将把其中第一对象1501和第二对象1502都是不可控对象的情况描述为示例。

在操作S1510，电子设备100可辨别第一对象1501和第二对象1502。

根据示范性实施例，电子设备100可使用图像传感器或相机辨别存在于电子设备100外部的第一对象1501和第二对象1502。而且，电子设备100可通过短距离通信辨别第一对象1501和第二对象1502之中的至少一个。

同时，当三个或更多个对象被通过相机或通信接口辨别时，电子设备100可基于用户输入从辨别出的对象之中选择第一对象1501和第二对象1502。

由于操作S1510对应于图2的操作S210，因此将不重复其详细描述。

在操作S1520中，电子设备100可使用对象间关联属性表310将第三对象确定为目标对象。

例如，当第一对象1501和第二对象1502是不可控对象时，电子设备100不能从第一对象1501和第二对象1502中选择目标对象。因此，电子设备100可基于第一对象1501的属性和第二对象1502的属性来选择可控的第三对象。

在操作S1530中，电子设备100可确定被确定为目标对象的第三对象是存在于电子设备100外部的外部设备1503还是电子设备100本身。

在操作S1540，电子设备100可生成操作信号以向外部设备1503发送。

电子设备100可基于第一对象1501的属性和第二对象的属性来确定外部设备1503的操作。然后，电子设备100可生成对应于确定的操作的操作信号。可基于外部设备1503的控制协议信息来生成操作信号。

在操作S1550中，当被确定为目标对象的第三对象是外部设备1503时，电子设备100可建立与外部设备1503的通信链路。

例如，当电子设备100未连接到外部设备1503以用于通信时，电子设备100可请求来自外部设备1503的通信连接以建立通信链路。根据示范性实施例，通信链路可包括蓝牙网络、BLE网络、WLAN(Wi-Fi网络)、WFD网络、UWB网络和移动通信网络(例如2G、3G、4G、5G等网络)中的至少一个，但不限于此。

根据示范性实施例，电子设备100可直接通过短距离通信(例如蓝牙、Wi-Fi等)或通过家庭网关间接连接到外部设备1503。

同时，当电子设备100已经提前连接到外部设备1503以用于通信时，可省略操作S1550。

在操作S1560中，电子设备100可向外部设备1503发送操作信号。例如，电子设备100可通过预先建立的短距离通信链路向外部设备1503发送操作信号。

在操作S1570中，外部设备1503可执行对应于操作信号的操作。根据示范性实施例，当执行操作时，外部设备1503可向电子设备100发送操作开始消息。

在操作S1540和S1580中，当被确定为目标对象的第三对象不是外部设备1503时，电子设备100可执行确定的操作。例如，电子设备100可自己执行基于第一对象1501的属性和第二对象1502的属性确定的操作，而不生成对于外部设备1503的操作信号。

以下将参照图16至20详细描述其中电子设备100控制第三对象的示范性实施例。

图16是图示根据示范性实施例的电子设备基于人的属性和玩偶的属性来控制TV的操作的图。在图16中，将把其中TV 1603是存在于电子设备100外部的外部设备的情况描述为示例。

参考图16的屏幕1610，电子设备100可显示实时取景，该实时取景包括其中人1601与玩偶1602一起玩的图像。例如，电子设备100可通过图像处理技术来识别显示在实时取景中的人1601和玩偶1602。

电子设备100可接收用于连接人1601的图像和玩偶1602的图像的拖动输入。电子设备100可识别人1601的属性(例如，年龄：儿童)和玩偶1602的属性(例如角色)。

在对象间关联属性表310中，电子设备100可搜索控制信息(例如，控制设备：TV，操作：播放其中出现角色的动画内容)，该控制信息对应于作为人1601的属性的“儿童”和作为玩偶1602的属性的“角色”的组合。通过分析控制信息，电子设备100可将TV 1603确定为目标对象，并检查将由TV 1603执行的操作是“播放其中出现角色的动画内容。”

参考图16，当玩偶1602是第一角色的玩偶时，电子设备100可生成包括指示“播放其中出现第一角色的动画内容”的控制命令的操作信号。然后，电子设备100可通过短距离通信向TV 1603发送生成的操作信号。

基于从电子设备100接收的操作信号，TV 1603可播放其中出现第一角色的动画内容。

当没有其中出现第一角色的动画内容被存储在TV 1603中时，TV 1603可在内容提供服务器中搜索动画内容并播放动画内容。替代地，电子设备100可发送其中出现第一角色的动画内容连同操作信号。

根据示范性实施例，在不经过复杂过程的情况下，用户可简单地在TV1603上播放其中儿童的玩偶1602出现的动画内容。

图17是图示根据示范性实施例的电子设备基于由电子设备辨识出的人的属性和玩偶的属性来播放内容的操作的图。在图17中，将把其中电子设备100是移动电话并且TV是外部设备的情况描述为示例。

参考图17的屏幕1710，电子设备100可显示实时取景，该实时取景包含其中人1701与玩偶1702一起玩的图像。例如，电子设备100可通过图像处理技术来识别显示在实时取景中的人1701和玩偶1702。

电子设备100可接收用于连接人1701的图像和玩偶1702的图像的拖动输入。电子设备100可识别人1701的属性(例如，年龄：儿童)和玩偶1702的属性(例如角色)。

在对象间关联属性表310中，电子设备100可搜索与作为人1701的属性的“儿童”和作为玩偶1702的属性的“角色”的组合对应的控制信息(例如，控制设备：TV，操作：播放其中出现角色的动画内容)。通过分析该控制信息，电子设备100可将TV确定为目标对象，并检查将由TV执行的操作是“播放其中出现角色的动画内容。“

参考图17的屏幕1720，电子设备100可尝试与TV建立通信链路。然而，当用户正在户外玩时，电子设备100可能无法连接到TV以用于通信。

电子设备100可显示用于自己播放其中出现角色的动画内容的确认窗口1703。

参考图17的屏幕1730，当用户在确认窗口1703中选择“移动播放”时，电子设备100可自己播放其中出现角色的动画内容。

根据示范性实施例，电子设备100可播放存储在存储器中的动画内容，或者可在内容提供服务器中搜索动画内容并播放动画内容。

图18是图示根据示范性实施例的电子设备基于由电子设备辨别出的冰箱的属性和人的属性来显示通知的操作的图。

参考图18的屏幕1810，电子设备100可显示包括冰箱1801的实时取景。例如，电子设备100可通过图像处理技术来辨别显示在实时取景中的冰箱1801。

而且，电子设备100可识别冰箱1801的属性信息，并且可在多个属性与冰箱1801匹配时显示指示多个属性的图标。例如，当在对应于冰箱1801的属性之中存在“杂货店购物”和“过期日期”时，电子设备100可显示杂货店购物图标1811和过期日期图标1812。

同时，电子设备100可显示包括至少一个对象图像的对象面板1800。根据示范性实施例，对象面板1800可位于屏幕的某个区域中。而且，对象面板1800通常不被示出，但可在用户的请求下出现在屏幕的一侧上。

根据示范性实施例，显示在对象面板1800中的对象图像可以是由用户频繁选择的对象的图像。用户可将新的对象图像添加到对象面板1800，或者从对象面板1800移除至少一个对象图像。

电子设备100可接收用于连接过期日期图标1812和与电子设备100的用户对应的图标1802的拖动输入。电子设备100可识别冰箱1801的属性(例如过期日期)和人的属性(例如电子设备100的用户)。

在对象间关联属性表310中，电子设备100可搜索与作为冰箱1801的属性的“过期日期”和作为人的属性的“电子设备100的用户”的组合对应的控制信息(例如，控制设备：电子设备100，操作：显示非常靠近其过期日期的食品列表)。通过分析控制信息，电子设备100可检查将由电子设备100执行的操作是“显示非常靠近其过期日期的食物列表”。

参考图18的屏幕1820，电子设备100可显示非常接近其过期日期的食物列表1803。

例如，电子设备100可建立与冰箱1801的通信链路，并从冰箱1801接收非常接近其过期日期的食物(例如牛奶、香肠、蛋、辣椒粉等)的信息。然后，电子设备100可显示弹出窗口，该弹出窗口包括关于非常接近其过期日期的食物(例如牛奶、香肠、蛋、辣椒粉等)的信息。

图19是图示根据示范性实施例的电子设备基于由电子设备辨别出的冰箱的属性和人的属性来控制外部设备的显示的操作的图。

参考图19的屏幕1910，电子设备100可显示对象面板1800和包括冰箱1901的实时取景。

电子设备100可识别冰箱1901的属性信息，并且可在多个属性与冰箱1901匹配时显示指示多个属性的图标。例如，当在对应于冰箱1901的属性之中存在“杂货店购物”和“过期日期”时，电子设备100可显示杂货店购物图标1911和过期日期图标1912。

电子设备100可接收用于连接杂货店购物图标1911和对应于第二用户(例如妻子)的图标1902的拖动输入。电子设备100可识别冰箱1901的属性(例如杂货店购物)和人的属性(例如第二用户)。

在对象间关联属性表310中，电子设备100可搜索与作为冰箱1901的属性的“杂货店购物”和作为人的属性的“第二用户”的组合对应的控制信息(例如，控制设备：第二用户的手机1900，操作：显示杂货店购物列表)。通过分析该控制信息，电子设备100可将第二用户的移动电话1900确定为目标对象，并检查将由第二用户的移动电话1900执行的操作是“显示杂货店购物列表”。

参考图19的屏幕1920，电子设备100可生成操作信号，该操作信号包括指示“显示杂货店购物列表”的控制命令。然后，电子设备100可通过短距离通信向第二用户的移动电话1900发送生成的操作信号。在这种情况下，第二用户的移动电话1900可显示杂货店购物列表1903(例如牛奶、护发素、蛋、纸巾盒等)。

根据示范性实施例，电子设备100可向第二用户的移动电话1900发送存储在存储器中的杂货店购物列表1903，或者可从冰箱1901接收杂货店购物列表1903并向第二用户的移动电话1900发送杂货店购物列表1903。

而且，第二用户的移动电话1900可从冰箱1901或中继服务器(例如家庭网关或IoT集线器)接收杂货店购物列表1903，并且在屏幕上显示接收的杂货购物列表1903。

图20是图示根据示范性实施例的电子设备远程控制外部设备的操作的图。

参考图20的屏幕2000-1，电子设备100可显示包括播放第一用户(例如Jane)的音乐会视频的第一TV 2010的实时取景。例如，电子设备100可通过图像处理技术或短距离通信来辨别显示在实时取景中的第一TV 2010。

而且，电子设备100可显示包括至少一个对象图像的对象面板1800。当第二用户(电子设备100的用户)触摸对应于对象面板1800中第三用户(例如Tom)的图标2020时，电子设备100可显示与第三用户匹配的属性。例如，电子设备100可显示镜像图标2021和设置图标2022。

电子设备100可接收用于连接第一TV 2010和镜像图标2021的图像的拖动输入。电子设备100可识别第一TV 2010的属性(例如内容)和第三用户的属性(例如镜像)。

在对象间关联属性表310中，电子设备100可搜索控制信息(例如，控制设备：第三用户的第三TV 2030，操作：显示在第一TV 2010上播放的内容)，该控制信息对应于作为第一TV 2010的属性的“内容”和作为第三用户的属性的“镜像”的组合。通过分析控制信息，电子设备100可将第三用户的第三TV 2030确定为目标对象并检查将由第三TV 2030执行的操作是“显示正在第一TV 2010上播放的内容(第一用户(例如Jane)的音乐会视频)”。

参考图20的附图标记2000-2，电子设备100可生成操作信号，该操作信号包括指示“显示第一用户(例如Jane)的音乐会视频”的控制命令。然后，电子设备100可通过长距离通信向第三用户的第三TV 2030发送操作信号。电子设备100可向第三用户的第三TV 2030发送第一用户(例如Jane)的音乐会视频文件或者示出第一用户(例如Jane)的音乐会视频的屏幕。

第三用户的第三TV 2030可根据接收的操作信号显示第一用户(例如Jane)的音乐会视频。

根据示范性实施例，电子设备100可接收用于连接第一TV 2010的图像和设置图标2022的拖动输入。电子设备100可识别第一TV 2010的属性(例如显示内容)和第三用户的属性(例如设置)。

在对象间关联属性表310中，电子设备100可搜索与作为第一TV 2010的属性的“显示内容”和作为第三用户的属性的“设置”的组合对应的控制信息(例如，控制设备：第三用户的第三TV 2030，操作：反映第一TV 2010的设置信息)。电子设备100可分析控制信息并控制第一TV 2010，使得在第一TV 2010上显示在第三用户的第三TV 2030上显示的屏幕图像。而且，电子设备100可从第二用户接收用于在第一TV 2010上显示的屏幕图像的设置。例如，当屏幕图像包括用于设置显示比率的界面时，电子设备100可接收用于将显示比率设置成90％的输入。

在这种情况下，电子设备100可生成操作信号，该操作信号包括指示“将第三TV2030的显示比率设置成90％”的控制命令。然后，电子设备100可通过长距离通信向第三用户的第三TV 2030发送操作信号。第三用户的第三TV 2030可根据接收的操作信号将显示比率设置成90％。

根据示范性实施例，第二用户可简单地并且远程地控制感觉难以操纵设备的他或她的父母的设备。

图21是图示根据示范性实施例的电子设备显示多个辨别出的对象的属性的方法的流程图。

在操作S2110，电子设备100可显示多个对象的属性。例如，电子设备100可在屏幕上显示对应于第一对象的至少一个属性和对应于第二对象的至少一个属性。

根据示范性实施例，电子设备100可显示多个对象的属性。例如，电子设备100可显示对应于多个对象的属性的指示符。例如，指示符可以是图标、标志、文本等，但不限于此。

在操作S2120中，电子设备100可接收用于选择显示的属性中的至少一个的用户输入。

例如，电子设备100可接收用于选择第一对象的第一属性和第二对象的第二属性的用户输入。而且，当存在对应于第二对象的一个属性时，电子设备100可接收用于选择第一对象和第二对象的第一属性的用户输入。

在操作S2130中，电子设备100可确定对应于至少一个属性的目标对象和操作。

例如，电子设备100可基于第一对象的第一属性和第二对象的第二属性来在第一对象与第二对象之间确定控制的目标对象。替代地，电子设备100可基于第一对象的第一属性和第二对象的第二属性来确定第三对象作为控制的目标对象。

根据示范性实施例，电子设备100可使用对象间关联属性表310来确定对应于第一对象的第一属性和第二对象的第二属性的组合的操作。然后，电子设备100可生成对应于确定的操作的操作信号。

图22是图示根据示范性实施例的电子设备显示TV的属性和灯具的属性的操作的图。

参考图22，电子设备100可显示包括TV、灯具、音频设备2224，洗衣机2226和机器人真空吸尘器2228的实时取景。通过对应于实时取景的图像的图像处理，电子设备100可识别TV、灯具、音频设备、机器人真空吸尘器和洗衣机在实时取景中的位置。而且，通过短距离通信，电子设备100可识别TV、灯具、音频设备、机器人真空吸尘器和洗衣机在实时取景中的位置。

电子设备100可识别对象的属性信息，并且显示对象的属性的指示符。例如，当多个属性(例如亮度、风格和音量)与TV 2210匹配时，电子设备100可显示第一亮度图标2211、风格图标2212和音量图标2213。而且，当多个属性(例如颜色和亮度)与灯具2220匹配时，电子设备100可显示颜色图标2221和第二亮度图标2222。

同时，电子设备100可接收用于连接风格图标2212和第二亮度图标2222的拖动输入。电子设备100可在对象关联属性表310中搜索控制信息(例如，控制设备：灯具，操作：根据风格调节亮度)，该控制信息对应于TV 2210的属性(风格)和灯具2220的属性(亮度)的组合。

通过分析控制信息，电子设备100可将灯具2220确定为目标对象，并检查将由灯具执行的操作是“根据风格调节亮度”。电子设备100可基于TV2210的状态信息检查当前正在TV 2210上播放电影，并且生成指示将亮度设置成对应于电影模式的10％的操作信号。然后，电子设备100可向灯具发送生成的操作信号。

图23是图示根据示范性实施例的电子设备推荐多个操作的方法的流程图。

在操作S2310中，电子设备100可基于第一对象的属性和第二对象的属性来推荐多个操作。

例如，当两个属性对应于第一对象并且两个属性对应于第二对象时，可能存在对应于第一对象的属性和第二对象的属性的组合的四个操作。因此，电子设备100可提供对应于由用户选择的第一对象和第二对象的多个操作的列表。例如，电子设备100可显示所有的四个操作或者四个操作中的推荐的两个。

根据示范性实施例，包括推荐的操作的推荐列表可由用户提前设置。而且，电子设备100可学习用户的使用模式并根据用户的使用模式生成推荐列表。例如，电子设备100可生成包括由用户频繁使用的操作的推荐列表。电子设备100可生成包括用户每周使用一次或多次的操作的推荐列表。

同时，当一个操作对应于第一对象的属性和第二对象的属性的组合时，电子设备100可立即生成对应于该操作的操作信号而不显示推荐的列表。

在操作S2320中，电子设备100可接收用于选择多个推荐操作中的一个的用户输入。

这里，用于选择多个操作中的一个的用户输入可变化。例如，用于选择多个操作中的一个的用户输入可以是触摸输入(例如轻击、触摸并保持、双击、拖动、平移、轻拂、拖放)、语音输入、眼睛输入和弯曲输入中的至少一个，但不限于此。

在操作S2330中，电子设备100可生成对应于选择的操作的操作信号。然后，电子设备100可向目标对象发送操作信号。例如，可基于目标对象的控制协议信息来生成操作信号。

图24是图示根据示范性实施例的电子设备基于TV的属性和灯具的属性来推荐多个操作的操作的图。

参考图24，电子设备100可显示包括TV 2410、灯具2420、音频设备2224、机器人真空吸尘器2228和洗衣机2226的实时取景。电子设备100可通过对应于实时取景的图像的图像处理来识别TV 2410、灯具2420、音频设备2224、机器人真空吸尘器2228和洗衣机2226之中的至少一个在实时取景中的位置。而且，电子设备100可通过短距离通信来识别TV 2410、灯具2420、音频设备2224、机器人真空吸尘器2228和洗衣机2226之中的至少一个在实时取景中的位置。

当用户想要在黑暗环境中观看在TV 2410上播放的内容时，电子设备100可通过实时取景接收用于选择TV 2410和灯具2420的用户输入。例如，电子设备100可接收触摸并拖动TV 2410到灯具2420的拖动输入。

电子设备100可识别TV 2410的属性和灯具2420的属性。然后，电子设备100可在对象间关联属性表310中搜索对应于TV的属性和灯具的属性的组合的控制信息。

然而，由于多个属性(例如亮度、风格和音量)与TV匹配并且多个属性(例如颜色和亮度)与灯具匹配，因此可在对象间关联属性表310中搜索到多条控制信息。

因此，电子设备100可在多条控制信息中包括的操作之中显示推荐操作列表2430。例如，推荐操作列表2430可包括第一操作(例如根据戏剧调节照明的亮度)、第二操作(例如根据照明的亮度调节TV 2410的辉度)和第三操作(例如根据TV 2410的辉度调节照明)，该第一操作对应于作为TV 2410的属性的“风格”和作为灯具2420的属性的“亮度”的组合，该第二操作对应于作为TV 2410的属性的“亮度”和作为灯具2420的属性的“亮度”的组合，该第三操作对应于作为TV 2410的属性的“亮度”和作为灯具2420的属性的“亮度”的组合。

当用户选择推荐操作列表2430中的第一操作时，电子设备100可向灯具2420发送包括指示调节亮度等级的控制命令的操作信号。

图25是图示根据示范性实施例的应用执行系统的图。

参考图25，根据示范性实施例的应用执行系统2500可包括电子设备100和多个对象(例如灯具2501、TV 2502、机器人真空吸尘器2503、空调2504等)。而且，根据示范性实施例，除了电子设备100和多个对象之外，应用执行系统还可包括服务器(未示出)。

电子设备100可以是可执行与多个对象中的每一个有关的应用的设备。应用可表示一组被设计成执行特定任务的计算机程序。例如，应用可以是日程管理应用、地址簿应用、视频播放器应用、地图应用、广播应用、锻炼管理应用、支付应用、育儿应用、医疗保健应用、电子书应用等，但不限于此。

同时，根据示范性实施例，应用可包括用于控制对象的控制器应用。为了便于描述，以下将会将控制器应用称为“控制器”。

根据示范性实施例，电子设备100可在用户的请求下执行与特定对象有关的应用。然而，由于在电子设备100中存在各种应用，因此对于用户来说难以快速在电子设备100中执行与特定对象有关的应用。例如，用户可能想要执行改变灯具2501的照度的第一应用。然而，当电子设备100上安装有许多应用时，用户可能难以快速找到第一应用。

因此，以下将描述电子设备100通过利用对象辨别模型信息快速搜索或执行与对象有关的应用来向用户提供便利的方法。

在示范性实施例中，对象辨别模型信息可表示关于用于辨别多个对象中的每一个并执行对应于多个对象中的每一个的功能(例如应用或控制器)的模型的信息。用于辨别对象的模型(以下其将被称为“对象辨别模型”)可包括用于识别对象的图像。例如，用于辨别第一对象(例如TV)的第一对象辨别模型可包括对应于第一对象的第一图像(例如TV图像)，并且用于辨别第二对象(例如冰箱)的第二对象辨别模型可包括对应于第二对象的第二图像(例如冰箱图像)。

同时，根据示范性实施例，对象辨别模型信息可包括关于链接到多个对象中的每一个的应用(或控制器)的信息。例如，对象辨别模型信息可包括关于链接到第三对象(例如扬声器)的第三应用(例如音乐播放器应用)的信息。

根据示范性实施例，对象辨别模型信息可由电子设备100或服务器生成。以下将参照图26详细描述服务器生成一般对象的对象辨别模型信息的操作。

图26是图示根据示范性实施例的服务器生成对象辨别模型信息的方法的序列图。

在操作S2610中，服务器2600可确定多个类别和多个关键词。

例如，参考图27，服务器2600可将产品分组(例如TV、空调、真空吸尘器等)确定为类别2710。而且，服务器2600可将其中使用产品的地点(例如起居室、厨房、办公室等)、产品的制造商的名称、使用产品的形式(例如站立式、壁挂式和移动式)等确定为关键词2720，但是关键词2720不限于此。

在操作S2620中，服务器2600可搜索对应于多个类别和多个关键词的对象的图像。

例如，当类别2710是“TV”并且关键词2720是“起居室”时，服务器2600可在搜索站点中搜索对应于起居室TV的图像。而且，当类别2710是“TV”并且关键词2720是“办公室”时，服务器2600可在搜索站点中搜索对应于办公室中的TV的图像。

根据示范性实施例，服务器2600可搜索对应于类别和关键词的应用或控制器。例如，当类别2710是“TV”并且关键词2720是“起居室”时，服务器2600可在网站中搜索对应于起居室TV的控制器。而且，当类别2710是“水瓶”并且关键词2720是“智能”时，服务器2600可在网站中搜索智能水瓶的应用。

根据示范性实施例，服务器2600可根据类别生成文件夹并分类找到的图像。在示范性实施例中，文件夹可以是用于一起示出与某个基础(类别)有关的内容(例如图像)的用户界面。

在操作S2630中，服务器2600可使用找到的对象的图像来生成对象辨别模型信息。

根据示范性实施例，为了增加对象辨别率，服务器2600可使用深度学习技术来生成对应于找到的对象的图像的训练图像。深度学习是机器学习的分支，并且通过模拟人类大脑来使得能够复杂建模。机器学习是使得计算机能够用数据训练并像人一样理解目标或情况的人工智能技术。

例如，服务器2600可改变找到的图像的角度以生成用于辨别对象的训练图像。参考图28，当起居室TV图像2800被获取时，服务器2600可生成通过将起居室TV图像2800逆时针旋转30度而获得的第一训练图像2801，通过将起居室TV图像2800顺时针旋转5度而获得的第二训练图像2802、通过将起居室TV图像2800顺时针旋转20度而获得的第三训练图像2803、通过将起居室TV图像2800的对称左右变换获得的第四训练图像2804等等。

根据示范性实施例，服务器2600可生成多个对象辨别模型，多个对象辨别模型包括找到的对象的图像以及对应于找到的对象的图像的训练图像。例如，服务器2600可生成包括原始起居室TV图像2800、第一训练图像2801、第二训练图像2802、第三训练图像2803和第四训练图像2804的起居室TV的对象辨别模型。

根据示范性实施例，服务器2600可通过将多个对象辨别模型中的每一个与应用(或控制器)信息相互匹配来生成对象辨别模型信息。例如，由服务器2600生成的对象辨别模型信息可包括：通过将起居室TV的对象辨别模型与用于控制起居室TV的控制器信息匹配而获得的第一匹配信息、通过匹配冰箱的对象辨别模型与冰箱管理应用信息而获得的第二匹配信息等等。

在操作S2640，服务器2600可向电子设备100发送对象辨别模型信息。

根据示范性实施例，服务器2600可在从电子设备100接收请求时向电子设备100发送对象辨别模型信息，或者可以规则的时间间隔向电子设备100发送对象辨别模型信息。而且，当发生特定事件时，服务器2600可向电子设备100发送对象辨别模型信息。例如，当对象辨别模型信息被更新时，服务器2600可自动向电子设备100发送更新的对象辨别模型信息。

在操作S2650，电子设备100可存储从服务器2600接收的对象辨别模型信息。

根据示范性实施例，电子设备100可在电子设备100中的存储器或电子设备100外部的存储设备中存储对象辨识模型信息。

根据示范性实施例，当通过图像传感器获取了特定对象的图像时，电子设备100可使用存储的对象辨识模型信息自动执行对应于特定对象的应用。以下将参照图37详细描述电子设备100使用对象辨识模型信息执行应用的操作。

图26将其中服务器2600执行操作S2610至操作S2640的情况图示为示例，但是示范性实施例不受限制。根据示范性实施例，电子设备100可执行操作S2610至操作S2630。

而且，根据示范性实施例，可省略操作S2610至操作S2650之中的一些操作。例如，当提前确定多个类别和多个关键词时，可省略操作S2610。而且，当电子设备100执行操作S2610至操作S2630时，可省略操作S2640。

同时，当服务器2600搜索对象的一般图像并生成对象辨识模型信息时，包括在对象辨识模型信息中的图像可不同于由用户实际使用的对象的图像。在这种情况下，在电子设备100中可能发生对象辨识错误。因此，以下将描述服务器2600修改对象辨识模型信息以校正对象辨识错误的方法。

图29是图示当存在对象辨识错误时根据示范性实施例修改对象辨识模型信息的方法的序列图。

在操作S2910中，电子设备100可通过图像传感器获取第一对象的图像。

例如，电子设备100可激活图像传感器并使用激活的图像传感器捕获(拍摄)在电子设备100外部的第一对象的图像，由此获取第一对象的图像。

在操作S2920中，电子设备100可使用第一对象的图像和对象辨识模型信息来识别第一对象。

例如，电子设备100可通过比较通过图像传感器获取的第一对象的图像和包括在对象辨识模型信息中的图像来识别第一对象。作为示例，当通过图像传感器获取的第一对象的图像与包括在对象辨识模型信息中的第二图像相似并且第二图像是TV的图像时，电子设备100可将第一对象识别为TV。

在操作S2930中，电子设备100可显示第一对象的识别信息。例如，第一对象的识别信息可包括第一对象的名称、第一对象的图标、第一对象的商标等，但是包括在识别信息中的信息不限于此。

例如，当第一对象被识别为TV时，电子设备100可在屏幕上显示包括TV图标的弹出窗口。

在操作S2940，电子设备100可接收对修改第一对象的标识信息的请求。

例如，当第一对象是冰箱但电子设备100将第一对象识别为TV时，电子设备100可接收对第一对象的识别信息的修改的请求。电子设备100可从用户接收第一对象的名称等。

在操作S2950中，当存在对修改第一对象的识别信息的请求时，电子设备100可请求服务器2600修改对象辨识模型信息。

例如，当存在对修改第一对象的识别信息的请求时，第一对象的对象辨识模型已被错误地生成，并且因而电子设备100可向服务器2600发送对修改第一对象的对象辨识模型的请求。电子设备100可向服务器2600发送通过图像传感器和第一对象的识别信息(例如第一对象的名称等)获取的第一对象的图像。

在操作S2960中，服务器2600可修改对象辨识模型信息。

根据示范性实施例，服务器2600可使用第一对象的图像来生成对应于第一对象的训练图像。然后，服务器2600可通过将新生成的训练图像添加到第一对象的对象辨识模型来更新对象辨识模型。而且，在对象辨识模型信息中，服务器2600可存储通过将第一对象的对象辨识模型与第一对象的识别信息匹配而获得的信息。

同时，当在对象辨识模型信息中没有定义第一对象的对象辨识模型时，服务器2600可通过在对象辨识模型信息中新定义第一对象的对象辨识模型来修改对象辨识模型信息。

根据示范性实施例，当对象辨识模型信息的修改完成时，服务器2600可向电子设备100发送经修改的对象辨识模型信息。在这种情况下，电子设备100的对象辨识率可增加。

图30是图示其中在电子设备中发生对象辨别错误的情况的图。

参考图30的第一屏幕3010，电子设备100可接收触摸捕获按钮3001的输入。在这种情况下，电子设备100可使用图像传感器拍摄外部对象3000。例如，当外部设备3000是TV时，电子设备100可获取包括TV的图像。

参考图30的第二屏幕3020，电子设备100可通过将获取的图像与包括在对象辨识模型信息中的图像比较来识别外部设备3000，并显示外部设备3000的识别信息。例如，电子设备100可将外部设备3000确定为空调并显示空调的图标和文本。然而，拍摄的外部设备3000实际上不是空调而是TV，因而用户可触摸用于请求修改对象辨识模型信息的上传按钮3002。

参考图30的第三屏幕3030，电子设备100可显示用于询问用户已经响应于触摸上传按钮3002的输入而拍摄了哪个产品的框3003。电子设备100可接收指示外部设备3000是TV的输入，并且在向服务器2600发送图像和外部设备3000的名称(即，“TV”)的同时请求修改对象辨识模型信息。

根据示范性实施例，当在对象辨识模型信息被修改之后用电子设备100拍摄外部设备3000时，电子设备100可使用修改的对象辨识模型信息来正确地确定外部设备3000是TV。

同时，除了由服务器2600生成的用于一般对象的对象辨识模型之外，电子设备100或服务器2600还可根据用户的请求生成用于特定对象的个性化的对象辨识模型。以下将详细描述电子设备100或服务器2600生成个性化的对象辨识模型的操作。

图31是图示根据示范性实施例的生成个性化的对象辨别模型信息的方法的序列图。

在操作S3110中，电子设备100可通过图像传感器获取第一对象的图像。第一对象的图像可以是静止图像或视频。当第一对象的图像是视频时，第一对象的图像可包括多个视频帧。由于操作S3110对应于图29的操作S2910，因此将不重复其详细描述。

根据示范性实施例，电子设备100可从用户接收第一对象的标识信息。例如，电子设备100可接收拍摄的第一对象的产品分组、用途、产品名称、图标等。

在操作S3120中，电子设备100可接收选择应用(或控制器)的输入。例如，当第一对象的图像被捕获时，电子设备100可接收用户的选择用户想要执行的与第一对象有关的应用的输入。

根据示范性实施例，电子设备100可显示安装在其上的应用的列表，并且接收在应用列表中选择至少一个应用的输入。

根据示范性实施例，电子设备100可通过分析第一对象的图像来识别第一对象，并且推荐对应于第一对象的至少一个应用。电子设备100可接收选择推荐的应用的输入。

根据示范性实施例，电子设备100可接收搜索特定应用的输入。在这种情况下，电子设备100可在应用商店中搜索特定应用并安装特定应用。

在操作S3130中，电子设备100可向服务器2600发送第一对象的图像和关于应用(或控制器)的信息。例如，关于应用(或控制器)的信息可包括应用的名称、版本信息、开发者信息等，但不限于此。

例如，在向服务器2600发送通过图像传感器获取的第一对象的图像以及关于由用户选择的特定应用(或控制器)的信息的同时，电子设备100可请求生成第一对象的对象辨识模型。根据示范性实施例，电子设备100还可向服务器2600发送第一对象的识别信息(例如第一对象的名称)。

在操作S3140中，服务器2600可生成第一对象的对象辨识模型。例如，服务器2600可生成对应于从电子设备100接收的第一对象的图像的训练图像。由于已经参照图28描述了服务器2600生成训练图像的操作，因此将不重复其详细描述。服务器2600可生成包括第一对象的图像和对应于第一对象的图像的训练图像的第一对象的对象辨识模型。

根据示范性实施例，服务器2600可生成通过将第一对象的对象辨别模型与关于由用户选择的应用(或控制器)的信息匹配而获得的第一对象的匹配信息。

在操作S3150中，服务器2600可使用第一对象的对象辨识模型来更新先前生成的对象辨识模型信息。例如，服务器2600可将第一对象的对象辨识模型和第一对象的匹配信息新添加到先前生成的对象辨识模型信息。

根据示范性实施例，当不存在先前生成的对象辨识模型信息时，对象辨识模型信息的更新可包括新生成对象辨识模型信息。

在操作S3160中，服务器2600可向电子设备100发送更新的对象辨识模型信息。

根据示范性实施例，服务器2600可分离地发送由用户选择的特定对象的个性化的对象辨识模型信息以及一般对象的一般对象辨识模型信息。而且，服务器2600可将个性化的对象辨识模型信息与一般对象辨识模型信息集成，并将集成的信息作为一个文件向电子设备100发送。同时，根据示范性实施例，服务器2600可仅仅向电子设备100发送由用户选择的特定对象的个性化的对象辨识模型信息。

在操作S3170中，电子设备100可基于从服务器2600接收的对象辨识模型信息来更新先前存储的对象辨识模型信息。

例如，电子设备100可将先前存储的对象辨识模型信息的版本与从服务器2600接收的对象辨识模型信息的版本比较，并且在从服务器2600接收的对象辨识模型信息是比先前存储的对象辨识模型信息晚的版本时利用从服务器2600接收的对象辨识模型信息而改变先前存储的对象辨识模型信息。

图31通过示例的方式图示其中服务器2600生成第一对象的对象辨识模型的情况，但是示范性实施例不受限制。例如，电子设备100可自己生成第一对象的对象辨识模型。

以下将参照图32至34进一步描述生成由用户选择的特定对象的个性化的对象辨识模型信息的操作。

图32是图示根据示范性实施例的链接对象和应用的操作的图。作为示例，图32通过示例方式图示其中用户向服务器2600新注册温度控制器的情况。

参考图32的第一屏幕3210，电子设备100可响应于触摸捕获按钮的输入来拍摄外部对象3200。例如，电子设备100可通过图像传感器获取包括外部对象3200的图像。

根据示范性实施例，电子设备100可通过分析通过图像传感器获取的图像来识别外部对象3200。例如，电子设备100可将包括在获取的图像中的外部对象3200的特征点(或特征向量)与包括在先前存储的图像中的对象的特征点(或特征向量)比较，由此将外部对象3200识别为温度控制器。

根据示范性实施例，电子设备100可从用户接收外部对象3200的标识信息。例如，电子设备100可接收指示拍摄的外部对象3200是温度控制器的输入。

参考图32的第二屏幕3220，电子设备100可提供用于接收选择用户想要链接到温度控制器的应用的用户输入的GUI。

根据示范性实施例，电子设备100可提供用于显示推荐的应用的推荐窗口3201。例如，电子设备100可在推荐窗口3201中显示由温度控制器的制造商提供的应用“OOO”。

根据示范性实施例，电子设备100可提供用于输入用户想要将其链接到温度控制器的网站的地址(例如统一资源定位符(URL))的输入窗口3202。而且，根据示范性实施例，电子设备100可显示先前安装在电子设备100上的应用的列表3203。

当用户选择由温度控制器的制造商提供的应用“OOO”时，电子设备100可使用温度控制器的图像、温度控制器的识别信息和关于应用“OOO”的信息来生成温度控制器的对象辨识模型信息。

例如，电子设备100可在向服务器2600发送温度控制器的图像、温度控制器的识别信息和关于应用“OOO”的信息的同时请求生成温度控制器的对象辨识模型信息。在这种情况下，服务器2600可使用温度控制器的图像来生成训练图像。而且，服务器2600可通过将温度控制器的识别信息、训练图像和关于应用“OOO”的信息相互匹配来生成温度控制器的对象辨识模型信息。

当温度控制器的对象辨识模型信息的生成由服务器2600完成时，电子设备100可从服务器2600接收温度控制器的对象辨识模型信息。

参考图32的第三屏幕3230，当温度控制器的对象辨识模型信息的生成完成时，电子设备100可显示显示消息的完成屏幕3204(例如“温度控制器已被注册”)。

参考图32的第四屏幕2340，电子设备100可提供用于设置其中使用外部对象3200的地点的设置窗口3205。电子设备100可通过设置窗口3205接收设置其中使用外部对象3200的地点的输入。例如，当在家中使用温度控制器时，电子设备100可通过设置窗口3205接收选择“家”的输入。

电子设备100可将地点信息添加到温度控制器的对象辨识模型信息。在这种情况下，虽然通过图像传感器获得相同对象的图像，但是电子设备100可根据电子设备100所在的位置来执行不同的应用。例如，电子设备100可当温度控制器的图像在家中被捕获时执行应用“OOO”，并且可当温度控制器的图像在办公室中被捕获时执行应用“XXX”。

图33A是图示根据示范性实施例的电子设备获取对象的视频的操作的图。图33B是图示电子设备从服务器下载对象辨别模型信息的操作的图。图33A和图33B通过示例方式图示其中用户向服务器2600新注册扬声器的情况。

参考图33A的第一屏幕3310，为了增加对象辨识率，电子设备100可显示用于诱导用户捕获外部对象3300(例如扬声器)的视频而不是静止图像的消息(例如，“以圆形为中心目标绘制圆形的同时捕获视频”)。电子设备100可接收触摸视频捕获按钮3301的输入。

参考图33A的第二屏幕3320，电子设备100可响应于选择视频捕获按钮3301的输入来捕获外部对象3300的视频。根据示范性实施例，电子设备100可显示指示视频正被捕获(例如视频捕获正在进行或完成)的指示符3302，例如条形。

参考图33A的第三屏幕3330，当外部对象3300的视频的捕获完成时，电子设备100可显示用于输入外部对象3300的识别信息的输入窗口3303。

例如，电子设备100可显示预定义类别的列表(例如TV、空调、扬声器等)。当用户在输入窗口3303中选择扬声器时，电子设备100可辨识外部对象3300是扬声器。

参考图33A的第四屏幕3340，电子设备100可提供可链接到外部对象3300的功能的列表3304。例如，电子设备100可显示包括操纵功能、应用执行功能、备忘录功能、照片显示功能等等的列表3304。当用户选择应用执行功能时，电子设备100可提供用于输入对应于扬声器的特定应用的GUI。

在向服务器2600发送扬声器的视频、扬声器的识别信息和关于通过GUI选择的特定应用的信息的同时，电子设备100可请求生成扬声器的对象辨识模型信息。

参考图33B的第五屏幕3350，当扬声器的视频被完全发送到服务器2600时，电子设备100可显示指示上传已经完成的指示符3305。

参考图33B的第六屏幕3360，电子设备100可显示指示服务器2600正在生成扬声器的对象辨识模型信息的消息。

服务器2600可使用扬声器的视频生成训练图像。由于扬声器的视频包括多个视频帧，因此服务器2600可使用多个视频帧来生成各种训练图像。而且，服务器2600可通过将扬声器的识别信息、训练图像和关于特定应用的信息彼此匹配来生成扬声器的对象辨识模型信息。

参考图33B的第七屏幕3370，当扬声器的对象辨识模型信息的生成完成时，电子设备100可自动从服务器2600下载扬声器的对象辨识模型信息，如由条形3372所示。

图34是图示根据示范性实施例的链接对象和控制器的操作的图。图34通过示例的方式图示其中用户向服务器2600新注册灯的情况。

参考图34的第一屏幕3410，电子设备100可响应于触摸捕获按钮的输入来拍摄外部对象3400。例如，电子设备100可通过图像传感器获取包括外部对象3400(例如灯)的图像。

根据示范性实施例，电子设备100可通过分析通过图像传感器获取的图像来识别外部对象3400。例如，电子设备100可将包括在获取的图像中的外部对象3400的特征点(或特征向量)与包括在先前存储的图像中的对象的特征点(或特征向量)比较，由此将外部对象3400识别为灯。

根据示范性实施例，电子设备100可从用户接收外部对象3400的识别信息。例如，电子设备100可接收指示拍摄的外部对象3400是黄灯的输入。

参考图34的第二屏幕3420，电子设备100可接收将灯链接到控制器3401的输入。例如，控制器3401可包括用于调节灯的颜色和/或亮度的接口。同时，控制器3401可能已经由灯的制造商开发。

在向服务器2600发送灯的图像、灯的识别信息和关于控制器3401的信息的同时，电子设备100可请求生成灯的对象辨识模型信息。在这种情况下，服务器2600可使用灯的图像生成训练图像。而且，服务器2600可通过将灯的识别信息、训练图像和关于控制器3401的信息相互匹配来生成灯的对象辨识模型信息。

当灯的对象辨识模型信息的生成由服务器2600完成时，电子设备100可从服务器2600接收灯的对象辨识模型信息。

参考图34的第三屏幕3430，当电子设备100在存储灯的对象辨识模型信息之后通过图像传感器获取灯的图像时，电子设备100可使用灯的对象辨识模型信息自动执行控制器3401。以下将参照图37详细描述电子设备100自动执行控制器3401的操作。

同时，用户可能想要改变链接到特定对象的应用或控制器。以下将参照图35详细描述电子设备100根据用户的请求改变链接到特定应用的应用或控制器的操作。

图35是图示根据示范性实施例的更新对象辨别模型信息的方法的流程图。

在操作S3510中，电子设备100可接收改变链接到第一对象的应用或控制器的输入。

例如，电子设备100可接收将链接到第一对象的第一应用改变成第二应用的输入。替代地，电子设备100可接收将链接到第一对象的第一应用改变成第一控制器的输入。

在操作S3520中，电子设备100可响应于改变链接到第一对象的应用或控制器的输入来更新对象辨识模型信息。

根据示范性实施例，当接收到将链接到第一对象的第一应用改变成第二应用的输入时，电子设备100可请求服务器2600修改第一对象的对象辨识模型信息。

服务器2600可通过将第一对象的对象辨识模型信息与第二应用而不是第一应用匹配来修改第一对象的对象辨识模型信息。

电子设备100可从服务器2600接收修改的第一对象的对象辨识模型信息，并且基于修改的第一对象的对象辨识模型信息来更新先前存储的对象辨识模型信息。

同时，根据示范性实施例，电子设备100可通过自己修改第一对象的对象辨识模型信息来更新先前存储的对象辨识模型信息。

将参照图36进一步描述电子设备100根据用户的请求改变链接到特定对象的应用或控制器的操作。

图36是图示根据示范性实施例的电子设备在用户的请求下修改对象辨识模型信息的操作的图。

参考图36的第一屏幕3610，电子设备100可提供其对象辨识模型已被生成的对象的列表。例如，可在列表中显示对象的识别信息(例如TV、扬声器、照片等)和关于链接到对象中的每一个的应用(或控制器)的信息。

电子设备100可接收在列表中选择TV 3601的输入。例如，TV 3601可链接到控制器。

参考图36的第二屏幕3620，电子设备100可接收编辑TV 3601与控制器之间的联接(linkage)的请求。例如，电子设备100可接收触摸联接编辑按钮3602的输入。

参考图36的第三屏幕3630，电子设备100可响应于触摸联接编辑按钮3602的输入来提供可链接到TV 3601的功能的列表。用户可在列表中选择应用执行功能3603。

参考图36的第四屏幕3640，当用户选择应用执行功能3603时，电子设备100可提供用于输入对应于TV 3601的特定应用的GUI。电子设备100可通过GUI提供推荐的应用的列表3604和预设应用的列表3605。

在向服务器2600发送TV 3601的识别信息和关于通过GUI选择的特定应用的信息的同时，电子设备100可请求修改TV 3601的对象辨识模型信息。例如，服务器2600可通过将TV 3601的识别信息与特定应用而不是控制器的信息匹配来修改TV 3601的对象辨识模型信息。

图37是图示根据示范性实施例的电子设备执行应用或控制器的方法的流程图。

在操作S3710中，电子设备100可通过图像传感器获取第一对象的图像。

例如，电子设备100可激活图像传感器并使用激活的图像传感器捕获(拍摄)在电子设备100外部的第一对象的图像，由此获取第一对象的图像。

在操作S3720，电子设备100可使用对象辨别模型信息来识别第一对象。

例如，电子设备100可通过比较通过图像传感器获取的第一对象的图像和包括在对象辨别模型信息中的图像来识别第一对象。作为示例，当通过图像传感器获取的第一对象的图像与包括在对象辨别模型信息中的第二图像相似并且第二图像是扬声器的图像时，电子设备100可将第一对象识别为扬声器。

在操作S3730中，电子设备100可执行对应于第一对象的应用或控制器。

根据示范性实施例，电子设备100可检查包括在对象辨别模型信息中的匹配信息并且执行与第一对象的对象辨别模型匹配的特定应用(或控制器)。例如，当第一对象是扬声器并且扬声器和音乐播放器应用与对象辨别模型信息匹配时，电子设备100可执行音乐播放器应用。

图38是图示根据示范性实施例的电子设备显示对应于TV的控制器的操作的图。

参考图38的第一屏幕3810，电子设备100可通过将通过图像传感器获取的外部对象3800的图像与包括在对象辨识模型信息中的图像比较来识别外部对象3800。例如，当外部对象3800的图像与包括在对象辨识模型信息中的TV的图像之间的相似度的程度大于阈值(例如大约95％)时，电子设备100可将外部对象3800辨识为TV。

参考图38的第二屏幕3820，当TV和控制器3801已经与存储在电子设备100中的对象辨识模型信息匹配时，电子设备100可在屏幕上显示控制器3801，例如控制器GUI。

因此，根据示范性实施例，用户可通过简单地捕获电子设备100中的对象的图像来快速执行与对象有关的应用。

同时，根据示范性实施例，除了应用和/或控制器之外，用户还可将特定对象链接到备忘录和/或网站。以下将详细描述电子设备100根据用户的请求链接对象和备忘录(或网站地址)的操作。

图39是图示根据示范性实施例的通过链接备忘录或网站地址和对象来生成对象辨识模型信息的方法的序列图。

在操作S3910中，电子设备100可通过图像传感器获取第一对象的图像。第一对象的图像可以是静止图像或视频。当第一对象的图像是视频时，第一对象的图像可包括多个视频帧。由于操作S3910对应于图29的操作S2910，因此将不重复其详细描述。

根据示范性实施例，电子设备100可从用户接收第一对象的识别信息。例如，电子设备100可接收拍摄的第一对象的产品分组、用途、产品名称、图标等。

在操作S3920中，电子设备100可接收备忘录或网站地址。

例如，当第一对象的图像被捕获时，电子设备100可接收存储用户想要显示的与第一对象有关的备忘录的输入。替代地，当第一对象的图像被捕获时，电子设备100可接收定义用户想要连接的与第一对象有关的网站地址的输入。

在操作S3930中，电子设备100可向服务器2600发送第一对象的图像和关于备忘录(或网站地址)的信息。

例如，在向服务器2600发送通过图像传感器获取的第一对象的图像、关于由用户输入的备忘录(或网站地址)的信息以及第一对象的识别信息(例如第一对象的名称、产品分组等)的同时，电子设备100可请求生成第一对象的对象辨识模型信息。

在操作S3940中，服务器2600可根据从电子设备100接收的请求来生成第一对象的对象辨识模型信息。

例如，服务器2600可生成对应于从电子设备100接收的第一对象的图像的训练图像。由于已经参照图28描述了服务器2600生成训练图像的操作，因此将不重复其详细描述。服务器2600可生成包括第一对象的图像和对应于第一对象的图像的训练图像的第一对象的对象辨识模型。而且，服务器2600可生成第一对象的对象辨识模型信息，该对象辨识模型信息包括通过将第一对象的对象辨识模型与由用户输入的备忘录(或网站地址)匹配而获得的匹配信息。

当第一对象的对象辨识模型信息的生成由服务器2600完成时，电子设备100可从服务器2600接收第一对象的对象辨识模型信息。

图40是图示根据示范性实施例的链接信用卡和备忘录的操作的图。

参考图40的第一屏幕4010，电子设备100可响应于触摸捕获按钮的输入来拍摄外部对象4000。例如，电子设备100可通过图像传感器获取包括信用卡的图像。

根据示范性实施例，电子设备100可通过分析通过图像传感器获取的图像来识别外部对象4000。例如，电子设备100可通过分析获取的图像来将外部对象4000识别为信用卡，并辨识在信用卡上标记的文本或数字。

根据示范性实施例，电子设备100可从用户接收外部对象4000的标识信息。例如，电子设备100可接收指示拍摄的外部对象4000是信用卡的输入。

根据示范性实施例，当外部对象4000被识别出时，电子设备100可提供可链接到外部对象4000的功能的列表4001。例如，电子设备100可显示包括备忘录注册功能4001、照片联接功能、应用联接功能等等的列表。电子设备100可接收在列表中选择备忘录注册功能4001的输入。

参考图40的第二屏幕4020，当用户选择备忘录注册功能4001时，电子设备100可显示备忘录输入窗口4002。电子设备100可通过备忘录输入窗口4002从用户接收包括信用卡的支付帐户信息的备忘录。

在向服务器2600发送信用卡的图像、信用卡的识别信息和关于备忘录的信息的同时，电子设备100可请求生成信用卡的对象辨识模型信息。在这种情况下，服务器2600可使用信用卡的图像生成训练图像。而且，服务器2600可通过将信用卡的识别信息、训练图像和备忘录彼此匹配来生成信用卡的对象辨识模型信息。

参考图40的第三屏幕4030，当信用卡的对象辨识模型信息的生成由服务器2600完成时，电子设备100可从服务器2600接收信用卡的对象辨识模型信息。而且，电子设备100可显示完成消息4003(例如“备忘录已被注册”)。

当电子设备100在存储信用卡的对象辨识模型信息之后通过图像传感器获取信用卡的图像时，电子设备100可使用信用卡的对象辨识模型信息在屏幕上自动显示包括信用卡的支付账户信息的备忘录。

图41是图示根据示范性实施例的链接窗口和网站地址的操作的图。

参考图41的第一屏幕4110，电子设备100可响应于触摸捕获按钮4101的输入来拍摄外部对象4100。例如，电子设备100可通过图像传感器获取包括窗口的图像。

根据示范性实施例，电子设备100可通过分析通过图像传感器获取的图像来识别外部对象4100。例如，电子设备100可通过分析获取的图像来将外部对象4100识别为窗口。

根据示范性实施例，电子设备100可从用户接收外部对象4100的识别信息。例如，电子设备100可接收指示拍摄的外部对象4100是窗口的输入。

参考图41的第二屏幕4120，电子设备100可使用位置传感器(例如全球定位系统(GPS))来显示当前位置信息4102。而且，当窗口的图像被获取时，电子设备100可接收用户意图连接的网站的地址信息(例如URL)4103。例如，电子设备100可接收提供天气信息的网站的地址信息(例如“http：//OOOO.weather.com”)。

在向服务器2600发送窗口的图像、窗口的识别信息、提供天气信息的网站的地址信息4103、位置信息4102等的同时，电子设备100可请求生成窗口的对象辨识模型信息。在这种情况下，服务器2600可使用窗口的图像来生成训练图像。而且，服务器2600可通过将窗口的识别信息、训练图像、提供天气信息的网站的地址信息4103以及位置信息4102相互匹配来生成窗口的对象辨识模型信息。

参考图41的第三屏幕4130，当窗口的对象辨识模型信息的生成由服务器2600完成时，电子设备100可从服务器2600接收窗口的对象辨识模型信息。而且，电子设备100可显示完成消息4104(例如“该信息已被注册”)。

图42是图示根据示范性实施例的电子设备显示对应于窗口的天气信息的操作的图。

参考图42的第一屏幕4210，电子设备100可响应于触摸捕获按钮4201的输入而通过图像传感器拍摄外部对象4200。电子设备100可通过将通过图像传感器获取的外部对象4200的图像与包括在对象辨识模型信息中的图像比较来识别外部对象4200。例如，当外部对象4200的图像与包括在对象辨识模型信息中的窗口的图像之间的相似度的程度大于阈值(例如大约95％)时，电子设备100可将外部对象4200辨识为窗口。

参考图42的第二屏幕4220，当提供天气信息的网站的窗口和地址信息与存储在电子设备100中的对象辨识模型信息匹配时，电子设备100可连接到提供天气信息的网站并在屏幕上显示天气信息4202。因此，用户可通过简单地捕获窗口的图像来快速检查天气信息。

图43是图示根据示范性实施例的电子设备的配置的框图。

参考图43，电子设备100可包括输出发送器110、通信接口120、用户接口130、音频/视频(A/V)输入接收器140、存储器150(例如存储设备)、传感器160以及处理器170(例如微处理器)。然而，所有图示的组件不是必要的组件。电子设备100可由比图示组件数量更多或更少的组件来实现。例如，电子设备100可由处理器170和通信接口120来实现，或者由处理器170、通信接口120和输出发送器110来实现，但不限于此。

输出发送器110旨在输出音频信号、视频信号或振动信号，并且可包括显示器111、声音输出发送器112、振动马达113等等。

显示器111可显示由电子设备100处理的信息。例如，显示器111可显示由电子设备100辨识出的多个对象。

当显示器111和触摸垫构成分层结构并被配置为触摸屏时，显示器111可用作输入设备以及输出设备。显示器111可包括液晶显示器(LCD)、薄膜晶体管(TFT)-LCD、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器和电泳显示器中的至少一个。根据电子设备100的实施形式，电子设备100可包括两个或更多个显示器111。在这种情况下，可使用铰链将两个或更多个显示器布置成彼此面对。

显示器111可显示由电子设备100辨识出的多个对象。例如，显示器111可显示通过图像传感器辨识出的多个对象。而且，显示器111可显示通过短距离通信辨识出的多个对象。显示器111可显示多个对象的实际图像或虚拟图像。例如，显示器111可显示包括多个对象的实时取景或者包括多个对象的虚拟图像的对象映射。

显示器111可显示第一对象和第二对象的至少一个属性。例如，显示器111可显示对应于至少一个属性的图标、符号或文本。

显示器111可显示包括基于第一对象的属性和第二对象的属性确定的多个操作的推荐操作列表。而且，显示器111可显示对应于多个对象的状态信息。

声音输出发送器112可输出从通信接口120接收或存储在储存器150中的音频数据。而且，声音输出发送器112可输出与由电子设备100执行的功能有关的声音信号(例如呼叫信号接收音、消息接收音以及通知声音)。例如，声音输出发送器112可包括扬声器、蜂鸣器等，但不限于此。

振动马达113可输出振动信号。例如，振动马达113可输出对应于音频数据(例如呼叫信号接收音、消息接收音等)或视频数据的输出的振动信号。

通信接口120可包括使得能够在电子设备100与外部对象之间或者在电子设备100与服务器之间通信的一个或多个组件。例如，通信接口120可包括短距离无线通信接口121、移动通信接口122和广播接收器123。

短距离无线通信接口121可包括蓝牙通信接口、BLE通信接口、NFC通信接口、WLAN和/或Wi-Fi通信接口、Zigbee通信接口、红外数据协会(IrDA)通信接口、WFD通信接口、UWB通信接口、Ant+通信接口等，但不限于此。例如，短距离无线通信接口121可包括Li-Fi通信接口。

Li-Fi可以是用于使用从LED发射的光的波长来传送信息的VLC技术的子技术。Li-Fi可用在其中存在照明并且对人体无害的任何地方。而且，Li-Fi由于其短距离而具有高稳定性和安全性，并且使得能够以低成本高速通信。

移动通信接口122与移动通信网络中的基站、外部终端和服务器中的至少一个交换无线信号。例如，根据语音呼叫信号、视频呼叫信号或文本/多媒体消息的交换，无线信号可包括各种形式的数据。

广播接收器123通过广播信道从电子设备100的外部接收广播信号和/或与广播有关的信息。广播信道可包括卫星信道和地面信道。例如，电子设备100不包括广播接收器123。

通信接口120可辨识位于离电子设备100的某一距离内的多个对象。

通信接口120可向目标对象(例如第一对象、第二对象或第三对象)发送基于第一对象的属性和第二对象的属性生成的操作信号。通信接口120可从目标对象接收操作完成消息或操作开始消息。

用户接口130表示用于用户输入用于控制电子设备100的数据的装置。例如，用户接口130可以是小键盘、圆顶开关、触摸垫(触摸电容型、耐压型、IR光束感测型、表面声波型、整体应变片型、压电效应型等)、微动轮、微动开关等，但不限于此。

用户接口130可接收用于在显示器111上显示的多个对象之中选择第一对象和第二对象的用户输入。而且，用户接口130可接收用于选择显示在显示器上的至少一个属性的用户输入111。用户接口130可接收用于选择多个推荐的操作中的一个的用户输入。用户输入可以是触摸输入、语音输入、弯曲输入和眼睛输入中的一个，但不限于此。

A/V输入接收器140旨在输入音频信号或视频信号，并且可包括相机141、麦克风142等等。相机141可在视频通话模式或摄影模式下获得静止图像、视频等的视频帧。通过相机捕获的图像可由处理器170或附加图像处理器(未示出)处理。

由相机141处理的视频帧可存储在储存器150中或者通过通信接口120发送给外部。可根据电子设备100的配置来提供两个或更多个相机141。

麦克风142接收外部声音信号并将其处理为电语音数据。例如，麦克风142可从外部设备或扬声器接收声音信号。麦克风142可使用各种噪声去除算法来去除在接收外部声音信号的过程中出现的噪声。

存储器150可存储用于处理器170的处理和控制的程序，并且可执行数据的输入和/或输出(例如对象的属性信息、通信连接信息等)。

存储器150例如可包括内部存储器或外部存储器。内部存储器可包括易失性存储器(例如动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和非易失性存储器(例如一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、闪速存储器(例如NAND闪速存储器、NOR闪速存储器等)、硬盘驱动器或固态驱动器(SSD))中的至少一个。

外部存储器可包括闪速驱动器，例如紧凑型闪速(CF)存储卡、安全数字(SD)存储卡、微型SD存储卡、迷你SD存储卡、极限数字(XD)存储卡、多媒体卡(MMC)、存储棒等等。通过各种接口，外部存储器可在功能上和/或物理上连接到电子设备100。而且，电子设备100可管理在互联网上执行储存器150的存储功能的web存储。

存储在存储器150中的程序可根据其功能而被分类为多个模块，例如被分类为对象辨识模块151、眼球追踪模块152等，但是多个模块不限于此。

对象辨识模块151可包括用于辨识包括在原始帧中的第一对象和第二对象的图像处理算法。对象辨识模块151可通过分析原始帧来检测第一对象的轮廓和第二对象的轮廓。然后，对象辨识模块151可将检测的第一对象和第二对象的轮廓与预定义的模板比较，以检测对象的类型、名称等。

对象辨识模块151可包括用于对对象执行面部辨识的面部辨识算法。对象辨识模块151可将从面部区域提取的面部的特征与预先注册的用户的面部特征比较。对象辨识模块151可包括用于对包括在对象中的字符执行OCR的OCR算法。

对象辨识模块151可基于对象的通信信号的强度来确定从电子设备100到通过短距离通信辨识的对象的距离。

眼球追踪模块152可分析眨眼、注视位置和/或眼球的移动速度以解释用户的眼睛输入。

存储器150可存储对象间关联属性表153、设备专用的操作控制信息154以及对象辨识模型信息155。

对象间关联属性表153或310可以是其中定义对应于多个对象的属性的组合的控制信息的表。例如，控制信息可包括关于多个对象之中将被控制的设备(以下称为控制设备或目标对象)以及将由控制设备执行的操作的信息。

设备专用的操作控制信息154可包括关于设备专用的控制协议的信息。例如，设备专用的操作控制信息154可包括用于生成操作信号的数据格式、包括在操作信号中的关于控制命令语言的信息等等。

对象标识模型信息155可包括用于辨识多个对象中的每一个并且执行对应于多个对象中的每一个的功能(例如应用或控制器)的信息。例如，对象辨识模型信息155可包括多个对象辨识模型，用于识别与多个对象辨识模型中的每一个匹配的多个对象和功能信息(例如应用信息、控制器信息、备忘录信息、网站地址信息等)中的每一个。

传感器160可感测电子设备100的状态或电子设备100的周围的状态，并将感测的信息传送给处理器170。

传感器160可包括磁传感器161、加速度传感器162、倾斜传感器163、IR传感器164、陀螺仪传感器165、位置传感器166、指纹传感器167、接近传感器168和光电传感器169中的至少一个，但不限于此。由于每个传感器的功能可由本领域普通技术人员从其名称直观地推断，因此将省略其详细描述。

处理器170通常控制电子设备100的整体操作。例如，通过控制存储在存储器150中的程序，处理器170可控制输出发送器110、通信接口120、用户接口130、A/V输入接收器140、存储器150、传感器160等等中的所有元件。

处理器170可辨识第一对象和第二对象并识别第一对象的属性和第二对象的属性。处理器170可基于第一对象的属性和第二对象的属性来在第一对象与第二对象之间选择控制的对象，并且生成对于选择的对象的操作信号。例如，当在第一对象与第二对象之间选择第二对象时，处理器170可基于第一对象的状态信息和第二对象的功能信息来生成对于第二对象的操作信号。

处理器170可基于用户触摸第一对象和第二对象的顺序来生成对于选择的对象的操作信号。例如，当用户在第一方向(例如从第一对象到第二对象的方向)上拖动对象时，处理器170可生成对应于第一操作的第一操作信号，并且当用户在第二方向(例如从第二对象到第一对象的方向)上拖动对象时，处理器170可生成对应于第二操作的第二操作信号。

当第一对象和第二对象是不可控对象时，处理器170可基于第一对象的属性和第二对象的属性来选择可控的第三对象。处理器170可生成对于第三对象的操作信号，并且控制通信接口120以向第三对象发送对于第三对象的操作信号。

当第一对象和第二对象是不可控对象时，处理器170可基于第一对象的属性和第二对象的属性来选择电子设备100的操作，并且执行选择的操作。

根据用于选择基于第一对象的属性和第二对象的属性推荐的多个操作中的一个的用户输入，处理器170可生成对应于选择的操作的操作信号。

图44是图示根据示范性实施例的服务器的配置的框图。

参考图44，根据示范性实施例的服务器2600可包括通信接口2610、处理器2620(例如微处理器)和存储器2630(例如存储设备)。然而，所有图示的组件都不是必要的组件。服务器2600可由比图示的组件数量更多或更少的组件来实现。

通信接口2610可包括使得能够在服务器2600与电子设备100之间通信的一个或多个组件。例如，通信接口2610可从电子设备100接收对象的图像、关于链接到对象的应用(控制器、备忘录或网站地址)的信息、对象的识别信息以及对于生成对象辨识模型信息的请求。

当对象辨识模型信息被生成时，通信接口2610可向电子设备100发送对象辨识模型信息。通信接口2610可周期性地或当特定事件发生时向电子设备发送对象辨识模型信息。

处理器2620通常控制服务器2620的整体操作。例如，处理器2620可生成一般对象的一般对象辨识模型信息或者由用户选择的特定对象的个性化的对象辨识模型信息。

存储器2630可存储用于处理器2620的处理的过程并存储输入和/或输出数据。例如，存储器2630可存储图像搜索模块2631、训练图像生成模块2632等等。

图像搜索模块2631可搜索对应于多个类别和多个关键词的对象的图像。例如，当类别是“TV”并且关键词是“起居室”时，图像搜索模块2631可在搜索服务器中搜索对应于起居室TV的图像。

训练图像生成模块2632可使用深度学习技术来生成对应于找到的对象图像的训练图像。例如，训练图像生成模块2632可通过改变找到的图像的角度来生成用于辨识对象的训练图像。

而且，存储器2630可构建用于管理由服务器2600生成的对象辨识模型信息的DB2633。

根据示范性实施例的方法可以由各种计算工具可执行并记录在计算机可读记录介质中的程序指令的形式来体现。计算机可读记录介质可单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质中的程序指令可被设计或配置用于示范性实施例，或者可为计算机软件领域的普通技术人员所知并由其使用。计算机可读记录介质的示例包括专门配置成存储和执行程序指令的诸如硬盘、软盘和磁带之类的磁介质，诸如致密盘ROM(CD-ROM)和数字多功能盘(DVD)之类的光学介质，诸如光盘之类的磁光介质，以及诸如ROM、RAM、闪速存储器等之类的硬件设备。程序指令的示例包括由计算机使用解释器等可执行的高级语言代码以及由编译器创建的机器语言代码。

根据示范性实施例，电子设备100基于由电子设备100辨识出的多个对象的属性、根据用户的意图确定控制的目标对象以及目标操作，由此使得用户能够方便地控制外部设备。

虽然已经示出和描述了少数示范性实施例，但是示范性实施例不限于此。本领域技术人员将理解：可对这些示范性实施例进行改变而不会脱离本公开的原理和精神，本公开的范围在权利要求及其等同中限定。

Claims (15)

1.一种用于电子设备控制对象的方法，该方法包括：

辨识多个对象；

显示所述多个对象；

接收用于选择所述多个对象中的第一对象和第二对象的输入；

识别第一对象的第一属性和第二对象的第二属性，其中，第一属性和第二属性中的每一个指示以下一个或多个：第一对象和第二对象中的每一个的当前状态信息，以及关于由第一对象和第二对象中的每一个支持的功能的信息；

基于第一属性和第二属性两者来选择控制的目标对象，该目标对象是至少从多个对象当中选择的；

基于与第一属性和第二属性的组合相对应的控制信息来生成对于目标对象的操作信号，其中，基于用户的使用历史、或用户的偏好来预先定义控制信息；并且

基于所生成的操作信号来控制目标对象的操作。

2.如权利要求1所述的方法，其中，辨识多个对象包括：

显示由图像传感器捕获的多个对象；并且

接收用于在多个对象当中选择第一对象和第二对象的用户输入。

3.如权利要求1所述的方法，其中，辨识多个对象包括：

显示位于离电子设备某一距离内的多个对象的图像，所述多个对象已经经由短距离通信而被定位；并且

接收用于在多个对象当中选择第一对象和第二对象的用户输入。

4.如权利要求1所述的方法，还包括：在第一对象和第二对象的每一个是人、动物或环境的至少一个的情况下所述方法进一步包括：

基于第一属性和第二属性，在多个对象当中选择第三对象作为控制的目标对象；

生成对于第三对象的操作信号；并且

向第三对象发送所生成的用于控制第三对象的操作信号。

5.如权利要求1所述的方法，

在第一对象和第二对象的每一个是人、动物或环境的至少一个的情况下进行检测；

其中，选择包括通过显示确认窗口来选择电子设备自身为目标对象，以及

所述方法进一步包括：

基于第一属性和第二属性来选择电子设备的操作；并且

执行所选择的操作。

6.如权利要求1所述的方法，其中，第一属性是第一对象的多个属性中的一个，

第二属性是第二对象的多个属性中的一个，以及

识别第一属性和第二属性包括：显示第一对象的多个属性当中的至少一个属性以及第二对象的多个属性当中的至少一个属性。

7.如权利要求6所述的方法，其中，识别第一属性和第二属性进一步包括：

接收用于从所显示的属性中选择至少一个作为第一属性或第二属性的用户输入。

8.如权利要求1所述的方法，其中，生成对于目标对象的操作信号包括：

当第二对象被选为目标对象时，基于第一对象的状态信息和第二对象的功能信息来生成对于第二对象的操作信号。

9.如权利要求1所述的方法，其中，生成对于目标对象的操作信号包括：

基于用户触摸第一对象和第二对象的顺序，生成对于目标对象的操作信号。

10.如权利要求1所述的方法，其中，生成对于目标对象的操作信号包括：

基于第一属性和第二属性来推荐多个操作；

接收用于选择多个推荐的操作中的一个的用户输入；并且

生成对应于所选择的操作的操作信号。

11.一种存储程序的非临时性计算机可读记录介质，该程序在由计算机系统执行时使得所述计算机系统执行如权利要求1所述的方法。

12.一种电子设备，包括：

处理器，被配置成：辨识多个对象；显示所述多个对象；接收用于选择所述多个对象中的第一对象和第二对象的输入；识别第一对象的第一属性和第二对象的第二属性，基于第一属性和第二属性两者来从多个对象当中选择控制的目标对象，并且基于与第一属性和第二属性的组合相对应的控制信息来生成对于目标对象的操作信号；和

通信接口，被配置成向目标对象发送所生成的操作信号，

其中，目标对象是电子设备外部的对象，

其中，第一属性和第二属性中的每一个指示以下一个或多个：第一对象和第二对象中的每一个的当前状态信息，以及关于由第一对象和第二对象中的每一个支持的功能的信息，以及

其中，基于用户的使用历史、或用户的偏好来预先定义控制信息。

13.如权利要求12所述的电子设备，进一步包括：

显示器，被配置成显示由图像传感器捕获的多个对象；和

用户接口，被配置成接收用于在多个显示的对象当中选择第一对象和第二对象的用户输入。

14.如权利要求12所述的电子设备，进一步包括：

显示器，被配置成显示位于离电子设备某一距离内的多个对象的图像，所述多个对象已经经由短距离通信而被定位；和

用户接口，被配置成接收用于在多个对象当中选择第一对象和第二对象的用户输入。

15.如权利要求12所述的电子设备，其中，在第一对象和第二对象的每一个是人、动物或环境的至少一个的情况下，所述处理器被进一步配置成：基于第一属性和第二属性来在多个对象当中选择第三对象作为控制的目标对象，生成对于第三对象的操作信号，并且控制通信接口以向第三对象发送用于控制第三对象的操作信号。

Images