CN112236767A - 用于通过输入单元向应用提供与图像相关的信息的电子装置和方法 - Google Patents

Abstract

公开了一种电子装置，包括：存储器；显示器；以及处理器，其中所述处理器被配置为：在显示器上显示输入单元，所述输入单元能够接收对正由所述电子装置执行的应用执行的用户输入；至少基于所述显示来标识存储在所述存储器或外部电子装置中的一个或多个图像；与所述输入单元相关联地显示所述一个或多个图像中的至少一些图像；获取通过识别在至少一些图像中的根据指定输入选择的图像中包括的至少一部分内容而生成的识别信息；至少基于所述获取来获取对应于所述识别信息的字符信息；以及将所述字符信息作为通过所述输入单元的用户输入的至少一部分提供给所述应用。

Description

用于通过输入单元向应用提供与图像相关的信息的电子装置 和方法

技术领域

本公开涉及一种为基于图像的信息检索提供虚拟键盘(例如，输入单元)的电子装置及其方法。

背景技术

随着各种技术的发展，需要用于提供更直观的信息检索服务的电子装置。例如，使用图像而不是文本来执行信息检索的电子装置可能更加用户友好。

以上信息仅作为背景信息提供，以帮助理解本公开。关于上述任何一项是否可以作为本公开的现有技术来应用，还没有做出确定，也没有做出断言。

发明内容

问题的解决方案

根据本公开的一个方面，一种电子装置包括存储器、显示器和至少一个处理器，其中该至少一个处理器被配置为：在显示器上显示输入单元，该输入单元能够接收对正由该电子装置执行的应用的用户输入；标识存储在该存储器或外部电子装置中的一个或多个图像，该一个或多个图像与该应用相关；将该一个或多个图像中的一些图像与输入单元相关联地显示；识别在该一个或多个图像当中选择的图像中包括的内容的至少一部分；基于所识别的内容的至少一部分向应用提供字符信息作为通过输入单元进行的用户输入的一部分。

根据本公开的另一方面，提供了一种电子装置。该电子装置包括存储指令的存储器、显示器和至少一个处理器，其中该至少一个处理器被配置为：当执行该指令时显示应用的用户界面；响应于标识到对包括在用户界面中的文本输入部分执行的输入，在虚拟键盘的显示区域内显示指定对象和指示多个字符的多个键，虚拟键盘的显示区域的至少一部分被叠加在用户界面上；至少基于标识到对指定对象执行的输入，标识与存储在电子装置中的多个应用当中的应用相关的一个或多个图像；以及在虚拟键盘的显示区域内显示用于表示一个或多个图像的一个或多个缩略图像，其中对一个或多个缩略图像中选定的一个的选择导致基于一个或多个缩略图像中的该选定的一个缩略图像的查询。

根据本公开的另一方面，提供了一种电子装置。该电子装置包括：存储指令的存储器；显示器；以及至少一个处理器，其中该至少一个处理器被配置为：基于在虚拟键盘与第一应用的第一用户界面一起显示的至少一部分时间期间接收到对虚拟键盘中包括的指定对象执行的输入，将用于表示存储在电子装置中的多个图像当中的第一图像的第一缩略图像与第一用户界面一起显示；基于接收到对第一缩略图像执行的至少一个输入，在第一用户界面内提供基于第一图像检索的内容；基于在虚拟键盘与不同于第一应用的第二应用的第二用户界面一起显示的至少一部分时间期间接收到对包括在虚拟键盘中的指定对象执行的输入，将用于表示多个图像当中不同于第一图像的第二图像的第二缩略图像与第二用户界面一起显示；以及基于接收到对第二缩略图像执行的至少一个输入，在第二用户界面内提供与至少基于第二图像检索的内容不同的其他内容。

本公开中所追求的技术主题不限于上述技术主题，并且本公开领域的技术人员可以通过以下描述清楚地理解未提及的其他技术主题。

附图说明

从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：

图1是示出根据某些实施例的网络环境中的电子装置的框图；

图2A是示出根据某些实施例的程序的框图；

图2B示出了根据某些实施例的电子装置的处理器所使用的软件的示例；

图3A示出了根据某些实施例的电子装置的操作的示例；

图3B示出了根据某些实施例的电子装置的操作的另一个示例；

图4示出了根据某些实施例的电子装置中显示的屏幕的示例；

图5A示出了根据某些实施例的电子装置存储图像的操作的示例；

图5B示出了根据某些实施例的由电子装置获取图像的方法的示例；

图5C示出了根据某些实施例的生成由电子装置获取的图像的相关信息的方法的示例；

图5D示出了根据某些实施例的存储由电子装置获取的图像的相关信息的方法的示例；

图5E示出了根据某些实施例的存储由电子装置获取的图像的相关信息的方法的另一个示例；

图6示出了根据某些实施例的电子装置通过虚拟键盘提供基于图像的检索服务的操作的示例；

图7A示出了根据某些实施例的电子装置获取至少一条文本的操作的示例；

图7B示出了根据某些实施例的电子装置获取至少一条文本的操作的另一个示例；

图7C示出了根据某些实施例的由电子装置显示至少一条文本的方法的示例；

图7D示出了根据某些实施例的电子装置中显示的屏幕的示例；

图8A示出了根据某些实施例的电子装置将检索到的多媒体内容与图像相关联地存储的操作的示例；

图8B示出了根据某些实施例的存储与由电子装置获取的图像相关联的信息的方法的示例；

图9A示出了根据某些实施例的电子装置的操作的另一个示例；

图9B示出了根据某些实施例的电子装置的屏幕的示例，该屏幕根据与虚拟键盘一起提供的应用的类型来提供不同的缩略图像；

图10A示出了根据某些实施例的电子装置与多个键一起显示指定对象的操作的示例；和

图10B示出了根据某些实施例的配置视觉键盘功能的方法的示例。

具体实施方式

当电子装置通过专用应用(例如，比克斯比视觉)或特定应用内的图像检索功能提供图像检索服务时，图像检索服务区域不应局限于专用应用或特定应用内。因此，可以允许独立于应用或服务进行图像检索。

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参考图1，网络环境100中的电子装置101，可经由第一网络198(例如，短程无线通信网络)与电子装置102通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户标识模块(SIM)196或天线模块197。在一些实施例中，可以从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可以或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。

处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦合的至少一个其他部件(例如，硬件部件或软件部件)，并可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少一部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可替代地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123而非主处理器121可控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。

存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、或键盘。

声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙^TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户标识模块196中的用户信息(例如，国际移动用户标识码(IMSI))标识并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或多个天线，并且可由例如通信模块190(例如，无线通信模块192)从其中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

图2A是示出根据各种实施例的程序140的框图200。根据实施例，程序140可包括用于控制电子装置101的一个或更多个资源的操作系统(OS)142、中间件144或可在OS 142中运行的应用146。OS 142可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如，可在制造期间将程序140中的至少一部分预载入到电子装置101上，或者可在用户使用期间从外部电子装置(例如，电子装置102或电子装置104，或者服务器108)加载或由外部电子装置更新程序140中的至少一部分。

OS 142可控制电子装置101的一个或更多个系统资源(例如，进程、存储器或电源)的管理(例如，分配或解除分配)。另外或可替换地，OS 142可包括用于驱动电子装置101的其它硬件装置(例如，输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户标识模块196或天线模块197)的一个或更多个驱动程序。

中间件144可向应用146提供各种功能，使得应用146可使用从电子装置101的一个或更多个资源提供的功能或信息。中间件144可包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211、包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、电话管理器225或语音识别管理器227。

应用管理器201例如可管理应用146的生命周期。窗口管理器203例如可管理在屏幕上使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器205例如可标识将用于播放媒体文件的一个或更多个格式，并可使用适合于从所述一个或更多个格式中选择的相应格式的编解码器对媒体文件之中的相应媒体文件进行编码或解码。资源管理器207例如可管理应用146的源代码或存储器130的存储空间。电力管理器209例如可管理电池189的容量、温度或电力，并可至少部分基于电池189的容量、温度或电力的相应信息来确定或提供将用于电子装置101的操作的相关联的信息。根据实施例，电力管理器209可与电子装置101的基本输入/输出系统(BIOS)(未示出)协同工作。

数据库管理器211例如可产生、搜索或改变将由应用146使用的数据库。包管理器213例如可管理以包文件的形式分布的应用的安装或更新。连接管理器215例如可管理电子装置101与外部电子装置之间的无线连接或直接连接。通知管理器217例如可提供用于向用户通知发生特定事件(例如，呼入呼叫、消息或警报)的功能。位置管理器219例如可管理关于电子装置101的位置信息。图形管理器221例如可管理将向用户提供的一个或更多个图形效果或与所述一个或更多个图形效果有关的用户界面。

安全管理器223例如可提供系统安全或用户认证。电话管理器225例如可管理由电子装置101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227例如可向服务器108发送用户的语音数据，并从服务器108接收与将至少部分基于语音数据或至少部分基于语音数据而转换的文本数据在电子装置101上运行的功能相应的命令。根据实施例，中间件144可动态地删除一些现有组件或添加新的组件。根据实施例，可包括中间件144中的至少一部分作为OS 142的一部分，或者可将中间件144中的至少一部分实现为与OS142分离的另一软件。

应用146可包括例如主页251、拨号器253、短消息服务(SMS)/多媒体消息服务(MMS)255、即时消息(IM)257、浏览器259、相机261、闹铃263、联系人265、语音拨号267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如，用于测量锻炼程度或生物信息(诸如血糖))或环境信息281(例如，用于测量气压、湿度或温度信息)应用。根据实施例，应用146还可包括能够支持电子装置101与外部电子装置之间的信息交换的信息交换应用(未示出)。信息交换应用例如可包括适用于向外部电子装置传送指定信息(例如，呼叫、消息或警报)的通知转发应用或适用于管理外部电子装置的装置管理应用。通知转发应用可向外部电子装置传送与在电子装置101的另一应用(例如，电子邮件应用269)发生特定事件(例如，接收到电子邮件)相应的通知信息。另外或可替换地，通知转发应用可从外部电子装置接收通知信息并向电子装置101的用户提供通知信息。

装置管理应用可控制外部电子装置或外部电子装置的一些组件(例如，外部电子装置的显示装置或相机模块)的电力(例如，开启或关闭)或功能(例如，亮度、分辨率或焦点的调整)。另外或可替换地，装置管理应用可支持在外部电子装置上运行的应用的安装、删除或更新。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性存储介质”是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如，“非暂时性存储介质”可以包括临时存储数据的缓存器。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，加载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，加载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品(例如，可加载应用)中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

图2B示出了根据某些实施例的存储由电子装置的处理器使用的软件的存储器的示例。该软件可以由包括在图1所示的电子装置101中的处理器120使用。

参考图2B，电子装置101可以包括存储由处理器120使用的虚拟键盘应用291、不同于虚拟键盘应用291的多个应用292、数据库293和图像使用模块294的存储器。根据某些实施例，虚拟键盘应用291、多个应用292、数据库293和图像使用模块294可以存储在存储器130中。

根据某些实施例，虚拟键盘应用291可以与多个应用292中的每一个的用户界面一起提供虚拟键盘。虚拟键盘可以包括指示多个字符的多个键和用于通过虚拟键盘提供基于图像的检索服务的预定对象。虚拟键盘应用291可以与存储在存储器130中的推荐词数据库交互工作。当使用虚拟键盘应用291时，推荐词数据库可以提供预测词(或文本)。根据某些实施例，该词可以包括与参考图3A的附图描述的基于图像的检索服务相关的文本。

根据某些实施例，多个应用292中的每一个可以是使用用户界面内的虚拟键盘来提供基于图像的检索服务的应用。例如，当应用提供包括视频帧的电影流服务时，该应用可以与虚拟键盘应用291交互工作，以通过来自视频帧的帧的图像来提供基于图像的检索服务。在另一个示例中，当应用292提供音乐流时，应用292可以与虚拟键盘应用291交互工作，以通过与音乐相关的图像来提供基于图像的检索。然而，本公开不限于前述内容。

根据某些实施例，数据库293可以用于存储用于通过虚拟键盘应用291和多个应用292中的每一个之间的交互工作来提供基于图像的检索服务的资源。例如，数据库293可以包括截屏图像、包括映射到截屏图像的相关联的信息(如下所述)的再处理图像、以及用于对截屏图像和再处理图像进行分类的类别数据库中的至少一个。

根据某些实施例，图像使用模块294可以包括图像分析引擎295、用户界面(UI)模块296、代理管理模块297、信息管理模块298和视觉代理299。

根据某些实施例，图像分析引擎295可以包括对象检测引擎、对象识别引擎和感兴趣范围(ROI)生成引擎。图像分析引擎295可以通过对象检测引擎、对象识别引擎和ROI生成引擎中的至少一个来分析获取的图像，并且基于分析的信息(例如，图像内的对象的特征点和与图像相关的关键词(参数))来处理图像。

根据某些实施例，图像分析引擎295可以在处理图像的过程中接收用户反馈。例如，图像分析引擎295可以基于对由指示笔(stylus)指定的区域的标识来识别由指示笔(或手指拖动手势)指定的区域是图像的感兴趣范围。在另一个示例中，图像分析引擎295可以基于用户反馈在没有任何用户输入(或独立于用户输入)的情况下修改所获取的ROI。

根据某些实施例，图像分析引擎295可以与连接到电子装置101的服务器(例如，服务器108)交互工作，以便处理图像。例如，图像分析引擎295可以将存储在存储器130中的关于图像的信息发送到服务器，并且从服务器接收关于图像的ROI的信息。

根据某些实施例，图像分析引擎295可以将标识的或获取的ROI存储在存储器130中。

根据某些实施例，UI模块296可以在显示装置160上显示用于提供服务的用户界面。例如，UI模块296可以在显示装置160上显示用于提供处理后的图像的用户界面，并通过显示的用户界面接收用户反馈。

根据某些实施例，代理管理模块297可以标识是否应该发送查询消息以获取与图像相关的信息。例如，代理管理模块297可以标识是否应该向服务器发送查询消息，以便指定图像的ROI。在另一个示例中，为了获取从图像获取的对象的识别信息，代理管理模块297可以标识关于对象的信息是否应该被发送到服务器(例如，与网页相关的服务器或者与安装在电子装置101中的应用相关的服务器)。

根据某些实施例，信息管理模块298可以通过图像分析引擎295组合识别的信息。根据某些实施例，信息管理模块298可以向多个应用292中的至少一些提供组合的信息。组合的信息可以通过多个应用292中的至少一些被提供给服务器。

根据某些实施例，视觉代理299可以基于内容管理中心(Content ManagementHub，CMH)信息提供基于图像的检索服务，如下所述。

在另一个示例中，CMH信息可以对获取的图像的内容的分析结果进行分类，并存储分类结果。例如，CMH信息可以将获取的图像分类为第一层的类别(人、家具、布料和汽车)中的一个类别(例如，家具)，然后分类为低于第一层的第二层的、确定的类别的子类别(例如，如果第一层是家具，则子类别可以包括椅子、桌子、支架和灯)中的一个子类别。

例如，CMH信息可以将的分类的图像的颜色、气氛、场景、存储时间点和拍摄位置中的至少一个与该分类的图像相关联地存储。这种关联可以用于下面描述的基于图像的检索服务。

根据某些实施例，视觉代理299可以用于从外部获取图像，并且可以包括用于操作相机的指令。

图2B所示的电子装置101内的软件可用于实现下面参考图3A至10B描述的电子装置101的操作。根据根据某些实施例的电子装置101的设计，图2B所示的电子装置101内的至少一些软件可以合并或省略。此外，根据根据某些实施例的电子装置101的设计，电子装置101可以使用除了图2B所示的电子装置101内的软件之外的软件。

如上所述，根据某些实施例的电子装置(例如，电子装置101)可以包括存储器(例如，存储器130)；显示器(例如，显示器160)；以及处理器(例如，处理器120)，其中该处理器可以被配置为：在显示器上显示输入单元，该输入单元能够接收对正由电子装置执行的应用执行的用户输入；至少基于该显示来标识存储在存储器或外部电子装置中的一个或多个图像，与将一个或多个图像中的至少一些与输入单元相关联地显示；获取通过识别根据指定输入选择的、至少一些图像中的图像中包括的至少一部分内容而生成的识别信息；至少基于该获取来获取对应于该识别信息的字符信息；并且将该字符信息作为通过输入单元的用户输入的至少一部分提供给该应用。

根据某些实施例，处理器可以被配置为获取与电子装置相关的情境信息，并且至少基于情境信息来确定一个或多个图像中的至少一些。根据一些实施例，处理器可以被配置为标识由应用通过输入单元提供的其他字符信息，并将其他字符信息存储为所选择的图像的属性信息的至少一部分。

根据某些实施例，处理器可以被配置为通过将其他字符信息插入到所选择的图像的元数据中，来将其他字符信息存储为所选择的图像的属性信息的至少一部分。

根据某些实施例，处理器可以被配置为通过应用获取使用字符信息处理的结果信息，并将结果信息存储为所选择的图像的属性信息的至少一部分。

根据某些实施例，处理器可以被配置为向服务器发送关于至少一些图像中的根据指定输入所选择的图像的信息，并且从服务器获取关于图像中包括的内容的识别信息。

根据某些实施例，处理器可以被配置为在显示器上显示输入单元，该输入单元的至少一部分被叠加在正由电子装置执行的应用的用户界面上，并且包括指示多个字符的多个键，并且被配置为在输入单元内显示从多个键切换的至少一些图像，以便将至少一些图像与输入单元相关联地显示。

如上所述，根据某些实施例的电子装置(例如，电子装置101)可以包括：被配置为存储指令的存储器(例如，存储器130)；显示器(例如，显示装置160)；以及至少一个处理器(例如，处理器120)，其中至少一个处理器被配置为：当执行指令时，响应于标识到对包括在用户界面中的文本输入部分执行的输入，在虚拟键盘的显示区域内显示指定对象和指示多个字符的多个键，虚拟键盘的至少一部分被叠加在用户界面上；至少基于标识到对指定对象执行的输入，标识与存储在电子装置中的多个应用当中的应用相关的一个或多个图像；以及在虚拟键盘的显示区域内显示用于表示一个或多个图像的一个或多个缩略图像，并且该一个或多个缩略图像可用于使用一个或多个图像在用户界面内提供检索服务。

根据某些实施例，至少一个处理器可以进一步被配置为，当执行指令时，标识在一个或多个缩略图像中选择一个缩略图像的输入；将通过识别由所选择的缩略图像表示的图像而获取的至少一条文本与一个或多个缩略图像一起显示；响应于对在至少一条文本中选择一条文本的输入的标识，在文本输入部分中显示所选择的文本，并且在用户界面中显示与所选择的文本相关的至少一条多媒体内容。例如，至少一个处理器可以被配置为，当执行所述指令时，响应于对在至少一条多媒体内容中选择一条多媒体内容的输入的标识，通过用户界面提供与所选择的一条多媒体内容相关的功能，并且将所选择的一条多媒体内容和所选择的文本中的至少一个与由缩略图像表示的图像相关联地存储。

根据某些实施例，至少一个处理器可以被配置为当执行指令时，在多个图像中标识与由应用提供的一个或多个服务相关联的一个或多个图像，以便标识与应用相关的一个或多个图像。例如，至少一个处理器可以被配置为，当执行指令时，响应于标识到对指定对象执行的输入，基于存储在电子装置中并与多个图像中的每一个相关联的信息，标识多个图像中与由应用提供的一个或多个服务相关联的一个或多个图像，并且与多个图像中的每一个相关联的信息可以包括通过识别多个图像中的每一个的内容而获取数据、关于从其获取多个图像中的每一个的源的数据、以及关于存储在电子装置中用于获取多个图像中的每一个的应用的数据中的至少一条，并且可以响应于对多个图像中的每一个的获取而与多个图像中的每一个相关联地存储在电子装置中。例如，与多个图像中的每一个相关联的信息可以包括在多个图像中的每一个中。在另一个示例中，与多个图像中的每一个相关联的信息可以用不同于多个图像中的每一个图像的图像文件的另一个文件来配置，并且图像和该另一个文件可以被配置为一个数据集。

根据某些实施例，关于源的数据可以包括电子装置关于在基于获取多个图像中的每一个的时间所标识的时间间隔期间访问的至少一个网页的数据，并且该至少一个处理器可以被配置为当执行指令时，基于该关于至少一个网页的数据，在多个图像中标识与由应用提供的一个或多个服务相关联的一个或多个图像。例如，可以通过解析至少一个网页的标记语言文件来获取关于至少一个网页的数据。

如上所述，根据某些实施例的电子装置(例如，电子装置101)可以包括：存储器(例如，存储器130)，其被配置为存储指令；显示器(例如，显示装置160)；以及至少一个处理器(例如，处理器120)，其中该至少一个处理器可以被配置为：基于在与第一应用的第一用户界面一起显示虚拟键盘的至少一部分时间内接收到对包括在虚拟键盘中的指定对象执行的输入，将第一缩略图像与第一用户界面一起显示，该第一缩略图像用于表示存储在电子装置中的多个图像中的第一图像；基于接收到对第一缩略图像执行的至少一个输入，在第一用户界面内提供至少基于第一图像检索的内容；基于在与第一应用不同的第二应用的第二用户界面一起显示虚拟键盘的至少一部分时间内接收到对包括在虚拟键盘中的指定对象执行的输入，与第二用户界面一起显示用于表示多个图像中不同于第一图像的第二图像的第二缩略图像；以及基于接收到对第二缩略图像执行的至少一个输入，在第二用户界面内提供与至少基于第二图像检索的内容不同的另一条内容。

根据某些实施例，第二应用可以提供不同于第一应用提供的服务的另一服务，第一图像可以与第一应用提供的服务相关联，第二图像可以与第二应用提供的服务相关联。

根据某些实施例，可以将该内容与第一图像相关联地存储，而另一条内容可以与第二图像相关联地存储。

根据某些实施例，所述至少一个处理器可以还被配置为，当执行所述指令时，在显示所述第一缩略图像时停止显示包括在所述虚拟键盘中的多个键，以及在显示所述第二缩略图像时停止显示所述多个键。

图3A示出了根据某些实施例的电子装置的操作示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。

参考图3A，在操作305中，处理器120(或一个或多个处理器，在下文中，处理器在单数上下文中的使用将被认为还包括多个处理器)可以显示能够接收对正由电子装置101执行的应用执行的用户输入的输入单元(例如，虚拟键盘)。在某些实施例中，这可以包括图4中的虚拟键盘410(第一屏幕图)。

根据某些实施例，处理器120可以与正在执行的应用的用户界面一起显示输入单元。例如，处理器120可以显示输入单元，该输入单元的至少一部分被叠加在正在执行的应用的用户界面上。根据某些实施例，在执行应用或显示应用的用户界面时，可以基于检测到特定或指定事件的产生，来与应用的用户界面一起显示输入单元。例如，输入单元可以响应于接收到对应用的用户界面中包括的文本输入部分执行的输入而被显示。例如，文本输入部分可用于输入文本(或字符)，以执行应用中的预定功能。在另一个示例中，文本输入部分可以用于在应用中提供检索功能。例如，输入单元可以包括虚拟键盘。根据某些实施例，检索功能可以是用于检索存储在电子装置101中并且与应用相关的至少一条数据或电子装置101的外部数据的功能。然而，这不是限制性的。根据某些实施例，可以使用输入单元接收的用户输入可以包括电子装置101的触摸面板上的触摸输入。例如，触摸输入可以包括触摸面板上的单次点击输入、触摸面板上的多次点击输入、触摸面板上的拖动输入、触摸面板上的滑动输入和触摸面板上的按压输入中的一个或多个。

在操作310中，处理器120可以至少基于输入单元的显示来标识存储在存储器130中的一个或多个图像。根据某些实施例，当输入单元与应用的用户界面一起显示时，处理器120可以基于对特定或指定事件(诸如选择虚拟键盘中的输入/放大镜键或GUI中的对象)的检测来标识一个或多个图像。根据某些实施例，指定事件可以包括接收对输入单元中包括的指定对象执行的输入。例如，指定对象可以是与用户输入一起显示的用于在应用的用户界面内提供基于图像的检索服务的对象。基于图像的检索服务可以是通过基于图像获取的信息(例如，图像识别信息)来执行检索的服务。根据某些实施例，指定事件可以包括在显示输入单元的同时接收预定输入。例如，预定输入可以包括绘制预定图案的触摸输入。在另一个示例中，预定输入可以包括当显示输入单元时，来自不同于用户手指的另一个输入装置(例如，指示笔或用户关节)的输入。在另一个示例中，预定输入可以包括强度高于预定强度的触摸输入。在另一个示例中，预定输入可以包括对电子装置101的物理按钮执行的输入。然而，这不是限制性的。根据某些实施例，指定事件可以包括在显示输入单元的同时接收预定手势。例如，预定手势可以包括握住电子装置101的用户进行的电子装置的定向(姿势)的改变。然而，这不是限制性的。根据某些实施例，一个或多个图像可以是半永久或临时存储在电子装置101的存储器130中的一个或多个图像。根据某些实施例，处理器120可以使用输入单元将一个或多个图像标识为基于图像的检索服务的一个或多个候选图像。

在操作315中，处理器120可以将一个或多个图像中的至少一些与输入单元相关联地显示。例如，这可以包括图4中的缩略图像430(第二屏幕图)。根据某些实施例，至少一些图像可以是对应于电子装置101的情境的图像。例如，图像中的一些可以对应于应用的类型(或类别)、执行操作305至315期间的时间、应用的服务以及电子装置的位置。然而，本公开不限于前述内容。根据某些实施例，内容可以以各种格式配置。例如，内容可以配置有至少一个字符和/或至少一个视觉对象。然而，本公开不限于前述内容。

根据某些实施例，处理器120可以通过在输入单元的显示区域内显示至少一些图像来将至少一些图像与输入单元相关联地显示。例如，处理器120可以在位于输入单元的显示区域中的输入单元的子屏幕内显示至少一些图像。处理器120可以在从输入单元的另一子屏幕切换的子屏幕内显示至少一些图像，该另一子屏幕包括指示多个字符的多个键和预定对象。在另一个示例中，处理器120可以在屏幕内显示至少一些图像，该屏幕的至少一部分叠加在输入单元的另一个子屏幕上。显示至少一些图像的屏幕可以是输入单元的子屏幕或者与输入单元交互工作的屏幕。

在操作320中，处理器120可以获取包括在所选择的图像中的内容的至少一部分的识别信息。可以根据预定输入选择图像。预定输入可以例如包括单次敲击输入。然而，本公开不限于前述内容。根据某些实施例，识别信息的获取可以完全由处理器120执行，或者可以通过与连接到电子装置101或与电子装置101形成无线链路的另一电子装置(例如，电子装置102、电子装置104或服务器108)联网来执行。例如，当识别信息的获取完全由处理器120执行时，处理器120可以从所选择的图像中提取至少一个视觉对象，从至少一个提取的视觉对象中标识至少一个特征点，并且基于至少一个特征点生成识别信息，以便获取识别信息。在另一个示例中，当通过与另一电子装置联网来执行识别信息的获取时，处理器120可以将关于所选择的图像的信息发送到另一电子装置，并且从另一电子装置接收识别信息，以便获取识别信息。根据某些实施例，由处理器120发送的关于所选择的图像的信息可以包括关于从所选择的图像提取的至少一个视觉对象的信息。根据某些实施例，由处理器120发送的关于所选择的图像的信息可以包括关于从至少一个视觉对象标识的至少一个特征点的信息。然而，本公开不限于前述内容。

在操作325中，处理器120可以至少基于该获取来获取对应于识别信息的字符信息。根据某些实施例，字符信息可以是至少一个关键词(或文本)，其可以用于基于图像的检索服务，以便检索其他信息。根据某些实施例，字符信息可以用图像信息代替。在这种情况下，图像信息可以用于基于图像的检索服务，以便检索其他信息。

在操作330中，处理器120可以通过输入单元将字符信息作为用户输入的至少一部分提供给应用。根据某些实施例，处理器120可以通过将字符信息输入(或插入)到包括在应用的用户界面中的字符输入部分来向应用提供字符信息。根据某些实施例，向应用提供字符信息可以是用于向应用提供字符信息作为用户输入的至少一部分的操作，因为提供了与通过包括在输入单元中的多个键输入关键词相同或相似的功能。

虽然在图3A中未示出，但是在向应用提供字符信息之后，当处理器120获取其他字符信息作为通过输入单元的用户输入的至少一部分时(例如，当处理器120通过包括在输入单元中的多个键获取其他字符信息时)，处理器120可以将其他字符信息与所选择的图像相关联地存储。例如，处理器120可以存储其他字符信息作为所选择的图像的属性信息(例如，元数据)的至少一部分。在另一示例中，处理器120可以存储与所选择的图像的图像文件相关联并且包括其他字符信息的另一文件。然而，本公开不限于前述内容。

虽然在图3A中未示出，但是处理器120可以获取使用字符信息处理的结果信息，并且将获取的结果信息与选择的图像相关联地存储。例如，处理器120可以将结果信息存储为所选择的图像的属性信息的至少一部分。在另一个示例中，处理器120可以存储与所选择的图像的图像文件相关联、并且包括结果信息的另一个文件。然而，本公开不限于前述内容。结果信息可以是基于字符信息检索的并且在应用的用户界面内显示为至少一条文本或至少一幅图像中的至少一个的信息。然而，本公开不限于前述内容。

如上所述，根据某些实施例的电子装置101可以在执行存储在电子装置101中的多个应用中的一个应用时，通过输入单元提供基于图像的检索服务。根据某些实施例的电子装置101可以独立于正在执行的应用的类型或类别来通过输入单元提供基于图像的检索服务来提供基于图像的检索服务。根据某些实施例的电子装置101可以通过提供基于图像的检索服务而不考虑正在执行的应用的类型如何来简化调用基于图像的检索服务所需的用户输入。换句话说，根据某些实施例的电子装置101可以通过提供一提供基于图像的检索服务的输入单元来提供增强的用户体验(user experience，UX)。

图3B示出了根据某些实施例的电子装置的操作的另一个示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。

图4示出了根据某些实施例的电子装置中显示的屏幕的示例。

参考图3B，在操作350，处理器120可以显示应用的用户界面。根据某些实施例，该应用可以是不同于用于控制虚拟键盘的另一应用的应用。根据某些实施例，该应用可以是能够与该另一应用交互工作的应用。根据某些实施例，应用的用户界面可以是在应用被执行时显示在显示装置160上的与应用相关的屏幕。根据某些实施例，应用的用户界面可以是在为应用指定的多个屏幕当中的用于加载或显示虚拟键盘的屏幕。

在操作355中，处理器120可以响应于对包括在应用的用户界面中的文本输入部分上的输入的标识，在虚拟键盘的显示区域内显示指定对象和指示多个字符的多个键，虚拟键盘的至少一部分被叠加在用户界面上。根据某些实施例，文本输入部分可以包括在用户界面中，以便在应用被执行时提供检索服务。根据某些实施例，文本输入部分可以包括在用户界面中，以便在应用被执行时在用户界面内提供检索服务的结果。然而，本公开不限于前述内容。根据某些实施例，虚拟键盘的显示区域可以是叠加在用户界面的下部区域上的区域。根据某些实施例，指定对象可以是用于加载图3A所示的基于图像的检索服务的对象。例如，指定对象可以设置在多个键中的至少一个键附近。然而，本公开不限于前述内容。

例如，参考图4，处理器120可以在显示装置160上显示用户界面400。处理器120可以在用户界面400被显示时，接收对用户界面400中包括的文本输入部分405执行的输入。处理器120可以响应于接收到对文本输入部分405执行的输入，显示虚拟键盘410，虚拟键盘410的至少一部分被叠加在用户界面400上。虚拟键盘410的显示区域可以被定义为区域415。虚拟键盘410可以包括指示多个字符的多个键和指定对象420。指定对象420可以被称为用于加载视觉键盘的键、按钮或项目，因为指定对象420在虚拟键盘410的显示区域内提供基于图像的检索服务。

在操作360中，处理器120可以至少基于标识到对指定对象执行的输入，在存储在电子装置101中的多个图像中标识与应用相关的一个或多个图像。根据某些实施例，与正在执行的应用相关的一个或多个图像可以是对应于正执行应用的电子装置101的情境信息的一个或多个图像。例如，一个或多个图像可以包括多个图像中的、包含对应于应用的类型(或类别)的内容的图像。例如，一个或多个图像可以包括多个图像中的、包含对应于执行操作350至360期间的时间的至少一部分的内容的图像。例如，一个或多个图像可以包括多个图像中的、包含对应于由应用提供的服务的内容的图像。例如，一个或多个图像可以包括包含对应于至少一个应用的内容的图像，该至少一个应用不同于提供与应用所提供的服务相同或相似的服务的应用。例如，一个或多个图像可以包括包含对应于执行操作350至360的电子装置101的位置的内容的图像。例如，一个或多个图像可以包括在多个图像中的、使用应用获取的图像或者包含使用应用获取的内容的图像。然而，本公开不限于前述内容。下面将参照图5A至5E描述存储多个图像以便标识多个图像中的一个或多个图像的方法的详细描述。

在操作365中，处理器120可以在虚拟键盘的显示区域内显示用于表示一个或多个图像的一个或多个缩略图像。例如，处理器120可以在虚拟键盘的显示区域内显示从多个键和指定对象切换的一个或多个缩略图像。根据某些实施例，一个或多个缩略图像中的每一个可以是一个或多个图像中的每一个的缩小图像(reduced image)。根据某些实施例，一个或多个缩略图像可用于基于一个或多个图像在应用的用户界面内提供基于图像的检索服务。

例如，参考图4，处理器120可以在多个键和指定对象420显示在虚拟键盘410的显示区域内时，接收对指定对象420的输入425。响应于接收到输入425，处理器120可以标识存储在电子装置101中的多个图像当中与应用相关的一个或多个图像。例如，对于视频流应用，处理器120可以标识多个图像当中包括诸如电影或戏剧(肥皂剧)的内容的一个或多个图像。响应于该标识，处理器120可以在显示区域415内显示缩略图像430中的一些，以表示该一个或多个图像。可替换地，响应于对一个或多个图像的标识，多个键和指定对象420可以被一个或多个缩略图像430中的一些替换。一个或多个缩略图像430中的每一个可以包括用于引导用户选择一个或多个缩略图像中的一些的指南432。在执行操作350至365时，一个或多个缩略图像430可以与处理器120获取的至少一个关键词(文本或推荐词)一起显示。根据某些实施例，可以基于执行操作350至365的条件来获取至少一个关键词。根据某些实施例，用于显示至少一个关键词的区域434可以位于一个或多个缩略图像430上方。根据某些实施例，区域434可以基于至少一个显示的关键词的数量来扩展。

如上所述，根据某些实施例的电子装置101可以通过虚拟键盘410提供基于图像的检索服务来提供增强的用户体验。当通过虚拟键盘410提供基于图像的检索服务时，根据某些实施例的电子装置101可以显示用于表示可用于基于图像的检索服务的一个或多个图像的一个或多个缩略图像，从而提供关于一个或多个图像的信息，即使电子装置101的显示装置160具有有限的区域。

图5A示出了根据某些实施例的电子装置存储图像的操作的示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。图5A的操作505至520可以与图3B的操作360相关。

图5B示出了根据某些实施例的由电子装置获取图像的方法的示例。

图5C示出了根据某些实施例的生成与由电子装置获取的图像相关联的信息的方法的示例。

图5D示出了根据某些实施例的存储与由电子装置获取的图像相关联的信息的方法的示例。

图5E示出了根据某些实施例的存储与由电子装置获取的图像相关联的信息的方法的另一个示例。

参考图5A，在操作505中，处理器120可以获取图像。根据某些实施例，可以通过各种方法获取图像。

例如，参考图5B，如在情境522中，处理器120可以响应于对指定输入523的接收，获取显示在显示装置160上的整个屏幕的图像。例如，指定输入523可以包括按压电子装置101中包括的多个物理按钮中的至少一个物理按钮的输入。例如，按下至少一个物理按钮的输入可以包括同时按下音量降低按钮和电源按钮的输入。

在另一个示例中，参考图5B，如在情境524中，处理器120可以响应于对指定输入525的接收，获取显示在显示装置160上的整个屏幕内的、由输入525标识的区域526的图像。例如，指定输入525可以使用输入装置(例如，用户的手指或指示笔)来执行。例如，指定输入525可以包括用于指定显示屏幕上的区域的输入。

在另一个示例中，参考图5B所示，如在情境526中，处理器120可以基于对指定输入527的接收来下载显示在显示装置160上的整个屏幕中包括的图像，以便获取图像。例如，指定输入527可以包括允许输入装置停留在包括在整个显示屏幕中的图像上超过指定时间的输入。在另一个示例中，指定输入527可以包括在指定时间上保持包括在整个显示屏幕中的图像的输入。

在另一个示例中，参考图5B，如在情境528中，处理器120可以通过包括在电子装置101中的相机模块180获取图像。当通过相机模块180获取图像时，处理器120可以在显示装置160上显示该图像的预览图像。

在操作510中，处理器120可以将与获取的图像相关联的信息与图像相关联地存储。根据某些实施例，相关联的信息可以是与在其中获取图像的图像或情境相关联的信息。例如，相关联的信息可以包括通过识别图像内容获得的识别信息。该识别可以完全由处理器120或者通过与另一电子装置(例如，电子装置102、电子装置104或服务器108)联网来执行。根据某些实施例，识别信息可以包括通过将光学字符阅读器(Optical CharacterReader，OCR)应用于包括在图像中的文本而获得的数据。识别信息可以包括通过对图像的图像识别获取的图像的场景数据，或者通过对图像的图像识别获取的图像中包括的至少一个视觉对象的类别的数据。在另一个示例中，相关联的信息可以包括关于从其获取图像的源的信息。根据某些实施例，关于源的信息可以包括：包括该图像的网页的地址，或者关于该网页的标记语言文件的数据。根据某些实施例，关于源的信息可以包括网页为了检索图像而使用的至少一个关键词的数据。根据某些实施例，关于源的信息可以包括关于用于获取图像的应用(或应用的类型)的数据。在另一个示例中，相关联的信息可以包括关于获取图像的时间的数据。在另一个示例中，相关联的信息可以包括关于电子装置101的电子装置101在其处获取图像的位置(例如，地理位置或兴趣点(Point of Interest，POI))的数据。在另一个示例中，相关联的信息可以包括关于在获取图像时由电子装置101执行的至少一个应用(或至少一个应用的类型)的数据。然而，本公开不限于前述内容。

根据某些实施例，在获取相关联的信息时或在存储相关联的信息之前，处理器120可以在显示装置160上显示询问相关联的信息是否对应于用户意图的消息。处理器120可以响应于对消息的输入的接收来基于用于修改相关联的信息的用户输入来修改相关联的信息。修改的相关联的信息可以包括基于用户输入或基于用户输入的用户备忘录(或用户注释)输入而修改的内容。

例如，参考图5C，处理器120可以如在情境529中那样通过电子装置101可用的屏幕捕获功能来获取整个网页530的图像，或者可以获取网页530中包括的视觉对象531的图像。当获取整个网页530的图像时，处理器120可以获取包括诸如网页的地址532(URL)、网页的标记语言文件(图中未示出)的数据、关于网页中包括的文章的识别数据、网页中包括的视觉对象531、获取图像的时间、电子装置101所处的位置的相关联的信息，并且将所获取的相关联的信息与整个网页530的图像相关联地存储。

当获取至少一个对象531的图像时，处理器120可以获取相关联的信息，包括网页的地址532、网页的标记语言文件、关于至少一个视觉对象531的识别数据、关于位于至少一个视觉对象531附近的内容(例如，文章533、文章534或文章535)的识别数据(基于关于至少一个视觉对象531的识别信息来标识的)、关于获取至少一个视觉对象531的图像的时间的数据、以及关于在获取图像的时间处电子装置101所处的位置的数据，并且将所获取的相关联的信息与至少一个视觉对象531的图像相关联地存储。然而，本公开不限于前述内容。

在另一个示例中，参考图5C，处理器120可以如在情境536中那样通过电子装置101可用的捕获功能来获取电影预订应用的用户界面537的至少一部分的图像。处理器120可以获取相关联的信息，该相关联的信息包括：指示该图像是从电影预订应用获取的数据、关于图像中包括的内容的识别数据、获取图像的时间以及电子装置101所处的位置，并且至少基于图像的获取来将获取的相关联的信息与图像相关联地存储。然而，本公开不限于前述内容。

在另一个示例中，参考图5C，如在情境538中那样，处理器120可以使用相机模块180来获取图像539。处理器120可以将图像539识别为埃菲尔铁塔。处理器120可以获取相关联的信息，该相关联的信息包括关于图像539的识别数据、获取图像539的时间以及获取图像539时电子装置101所处的位置，并且将获取的相关联的信息与图像相关联地存储。然而，本公开不限于前述内容。

根据某些实施例，处理器120可以通过各种方法将相关联的信息与图像相关联地存储。根据某些实施例，处理器120可以通过将相关联的信息插入图像的图像文件来将相关联的信息与图像相关联地存储。例如，处理器120可以通过将相关联的信息插入图像的图像文件的元数据(或头部信息)中来将相关联的信息与图像相关联地存储。根据某些实施例，处理器120可以将相关联的信息插入到不同于图像的图像文件的另一个文件中。在这种情况下，处理器120可以生成或获取用于将图像文件与其他文件关联起来的相关联文件，该相关联文件不同于图像文件和插入了相关联的信息的其他文件。例如，相关联文件可以包括用于将图像文件与其他文件相关联起来的标记语言文件。然而，本公开不限于前述内容。

例如，参考图在5D，处理器120可以通过存储包括相关联的信息的图像的图像文件541来存储与图像相关联的相关联的信息。图像文件541可以包括图像的源信息542、图像的场景信息543、指示获取图像时电子装置101的位置的位置信息544、关于通过对图像应用OCR而生成的结果的OCR信息545、图像的类别信息546、图像的相关app信息547以及关于图像的信息。源信息542、场景信息543、位置信息544、OCR信息545、类别信息546和相关app信息547可以包括在图像文件541内的元数据(或标题信息)中。类别信息546可以通过分析源信息542、场景信息543、位置信息544、OCR信息545和相关app信息547来获取。类别信息546的获取可以完全由处理器120执行，或者可以通过电子装置101和其他电子装置之间的联网来执行。可以通过分析源信息542、场景信息543、位置信息544、OCR信息545和类别信息546中的至少一个来获取相关app信息547。相关app信息547的获取可以完全由处理器120执行，或者可以通过电子装置101和其他电子装置之间的联网来执行。

尽管在图5A至5D中未示出，但是基于包括在图像文件541中的相关联的信息和包括在电子装置101中先前存储的图像文件中的每一个中的相关联的信息，处理器120可以对图像文件541和先前存储的图像文件进行分类。例如，基于相关联的信息中的至少一条，处理器120可以将图像文件541和先前存储的图像文件中的第一图像文件分类为多个类别中的第一类别，以及将图像文件541和先前存储的图像文件中的第二图像文件分类为多个类别中的第二类别。当通过这种分类接收到对包括在虚拟键盘中的指定对象执行的输入时，处理器120可以在存储在电子装置101中的多个图像文件中标识对应于在接收到对指定对象执行的输入时的情境的一个或多个图像文件。

在另一个示例中，参考图5E，处理器120可以在一个数据集551中存储图像的图像文件(文件1)548、不同于该图像文件并包括相关联的信息的另一个文件(文件2)549、以及用于将该图像文件与该另一个文件相关联的相关联文件(文件3)550，并因此与图像相关联地存储相关联的信息。根据某些实施例，数据集551可以通过将图像文件548、另一个文件549和相关联文件550插入一个文件夹来形成。根据某些实施例，数据集551可以通过将关于存储器130中存储另一个文件549和相关联文件550中的至少一个的地址的信息插入到图像文件548中，将关于存储器130中存储图像文件548和相关联文件550中的至少一个的地址的信息插入到另一个文件549中，以及将关于存储器130中存储图像文件548和另一个文件549中的至少一个的地址的信息插入到相关联文件550中来形成。然而，本公开不限于前述内容。

虽然在图5C和5E中未示出，但是处理器120可以至少基于与图像文件548相关的另一个文件549和相关联文件550以及与先前存储在电子装置101中的图像文件相关的其他文件和相关联文件来对图像文件548和多个图像文件进行分类。例如，处理器120可以至少基于与该多个图像文件和图像文件548相关的文件来将该多个图像文件中的第一图像文件分类为多个类别中的第一类别，以及将该图像文件和该多个图像文件中的第二图像文件分类为多个类别中的第二类别。当通过这种分类接收到对包括在虚拟键盘中的指定对象执行的输入时，处理器120可以在存储在电子装置101中的多个图像文件中标识与对指定对象执行的输入被接收时的情境或者与虚拟键盘一起执行的应用相对应的一个或多个图像文件。

在操作515中，处理器120可以监控是否接收到对虚拟键盘的显示区域内显示的指定对象执行的输入。例如，处理器120可以在标识到虚拟键盘与存储在电子装置101中的应用的用户界面一起显示的条件下启动监控。处理器120可以基于标识到从显示虚拟键盘的时间起直到监控到接收到对指定对象执行的输入经过了预定时间或者在未接收到对指定对象执行的输入的状态，来执行操作517。处理器120可以基于监控到接收到对指定对象执行的输入来执行操作520。

在操作517中，处理器120可以基于标识到从虚拟键盘被显示的时间起直到监控到接收到对指定对象执行的输入经过了预定时间或者在未接收到对指定对象执行的输入的状态下，监控是否在电子装置101中生成了用于获取图像的事件。处理器120可以响应于监控到在电子装置101中事件的生成，再次执行操作505。

在操作520中，处理器120可以基于监控到接收到对指定对象执行的输入，通过与多个图像相关联地存储的相关联的信息，在多个图像中标识对应于电子装置101的情境信息(或应用)的一个或多个图像。例如，处理器120可以至少基于正在执行的应用的内容、正在执行的应用的类型和电子装置101的当前位置来获取情境信息，并且从基于上述分类而分类的多个图像中标识对应于所获取的情境信息的一个或多个图像。

如上所述，在获取图像的步骤中，根据某些实施例的电子装置101可以获取与所获取的图像相关联的信息，并与该图像相关联地存储相关联的信息，从而通过虚拟键盘提供基于图像的检索服务。

图6示出了根据某些实施例的通过虚拟键盘提供基于图像的检索服务的电子装置的操作示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。

图6的操作610至640可以与图3B的操作365相关。

参考图6，在操作610中，处理器120可以在虚拟键盘的显示区域内显示一个或多个缩略图像。根据某些实施例，一个或多个缩略图像可以包括在图3B中定义的一个或多个缩略图像，虚拟键盘可以包括在图3B中定义的虚拟键盘，并且显示区域可以包括在图3B中定义的显示区域。根据某些实施例，操作610可以对应于图3B的操作365。

在操作620中，处理器120可以标识从一个或多个缩略图像中选择一个缩略图像的输入。例如，参考图参照图4，处理器120可以将针对指南432的输入436标识为在一个或多个缩略图像430中选择一个缩略图像438的输入的至少一部分。

在操作630中，处理器120可以识别由所选择的缩略图像表示的图像，以便将至少一条获取的文本(例如，关键词)与一个或多个缩略图像一起显示。根据某些实施例，可以基于参考图5A至5E描述的相关联的信息来获取至少一条文本。根据某些实施例，可以响应于对在一个或多个缩略图像中选择缩略图像的输入的标识，通过识别由所选择的缩略图像表示的图像来获取至少一个关键词。

例如，参考图4，处理器120可以响应于对输入436的接收，识别由输入436所选择的缩略图像438表示的图像，以便与一个或多个缩略图像430一起显示至少一条获取的文本440。根据某些实施例，至少一条文本440可以位于一个或多个缩略图像430上方。根据某些实施例，至少一条文本440可以至少基于与电子装置101相关的相关联的信息和情境信息(例如，与正在执行的应用相关的情境信息)来标识。根据某些实施例，至少一条文本440可以是可以输入到文本输入部分405的候选文本。

在操作640中，处理器120可以响应于对在至少一条文本中选择一条文本的输入的标识，在文本输入部分中显示所选择的文本，并且在正在执行的应用的用户界面中显示与所选择的文本相关的至少一条多媒体内容。根据某些实施例，至少一条多媒体内容可以是基于至少一条文本检索的信息(或结果信息)。根据某些实施例，至少一条多媒体内容可以从与应用相关的服务器获取，或者从电子装置101的存储器130获取。然而，本公开不限于前述内容。

例如，参考图4，处理器120可以接收用于从至少一条文本440中选择一条文本的输入442。处理器120可以响应于对输入442的接收，显示包括由输入442选择的文本444的文本输入部分405，并且在用户界面400内显示基于文本444检索的至少一条多媒体内容446。

虽然在图4中未示出，但是处理器120可以响应于在显示至少一条多媒体内容446的同时接收到从一个或多个缩略图像430中选择不同于缩略图像438的另一个缩略图像的输入，在区域434中显示至少部分不同于该至少一条文本440的至少一条文本。处理器120可以响应于接收到在区域434中显示的至少一条文本中选择一条文本的输入，在用户界面400内显示与所选择的内容相关的至少一条多媒体内容。在这种情况下，至少一条多媒体内容446可以用与所选择的文本相关的至少一条多媒体内容来替换。

图4和图6示出了从一个或多个缩略图像中选择一个缩略图像的示例和从至少一条文本中选择一条文本的示例，但是仅仅是为了描述方便而提供的。应当注意，根据某些实施例的电子装置101可以提供用于从一个或多个缩略图像中选择两个或更多个缩略图像的功能，以及用于从至少一条文本中选择两条或更多条文本的功能。

图7A示出了根据某些实施例的电子装置获取至少一条文本的操作的示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。图7A的操作705至720可以与图3B的操作355相关。

图7B示出了根据某些实施例的电子装置获取至少一条文本的操作的另一示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。图7B的操作725至740可以与图3B的操作355相关。

图7C示出了根据某些实施例的由电子装置显示至少一条文本的方法的示例。

图7D示出了根据某些实施例的电子装置中显示的屏幕的示例。

图7A至7C示出了电子装置101接收从一个或多个缩略图像中选择一个缩略图像的输入，然后识别由所选择的缩略图像表示的图像的操作的示例。该操作可以与图5A至5E所示的电子装置101的操作一起执行，或者可以独立于图5A至5E所示的电子装置101的操作来执行。

参考图7A，在操作705，处理器120可以标识由输入选择的缩略图像表示的图像内的至少一个对象。根据某些实施例，至少一个对象可以包括在图像中包括的文本、图像中包括的部分图像和图像中包括的散列标签中的至少一个。处理器120可以从图像中标识至少一个对象，以便识别图像。

在操作710中，处理器120可以通过识别至少一个标识的对象来获取包括在图像中的至少一条内容。例如，处理器120可以提取至少一个标识的对象中的至少一个对象的至少一个特征点，并且基于至少一个提取的特征点来识别至少一个图像。为了识别，处理器120可以使用电子装置101中包括的自然语言处理模块和图像处理模块中的至少一个。

图7A示出了使用图像的识别以便获取至少一条内容的示例，但是仅为了描述方便而提供。根据某些实施例的电子装置101不仅可以识别图像，还可以在获取图像时从与图像一起显示的信息中获取至少一条内容或图像源。

在操作715中，处理器120可以获取对应于至少一条获取的内容的至少一条文本。例如，处理器120可以获取代表至少一条文本的代表性文本，以及获取对应于代表性文本的同义词、相似词和/或下义词的文本，以便获取对应于至少一条内容的至少一条文本。

在操作720中，处理器120可以将至少一条获取的文本与一个或多个缩略图像一起显示。可替换地，当显示装置160的显示区域受限时，处理器120可以仅显示该至少一条获取的文本。例如，处理器120可以基于至少一条文本的获取来终止(或停止)一个或多个缩略图像的显示，并显示至少一条获取的文本。至少一条获取的文本可以显示在正在执行的应用的用户界面内的文本输入部分附近。例如，参考图7C，基于对至少一条文本的获取，处理器120可以在正在被执行的应用的用户界面745内的文本输入部分750附近的弹出区域内显示至少一条获取的文本755。至少一条文本755可以包括文本760、文本762、文本764、文本766、文本768和文本770。文本760、文本762、文本764、文本766、文本768和文本770可以基于对由所选择的缩略图像表示的图像的OCR结果、图像的场景(或地标)信息、获取图像的位置(例如，地理位置或POI)、与图像相关的用户标签、在获取图像的位置(例如，网页)频繁输入的关键词，以及包括在与获取图像的位置相关的位置中的标签信息(例如，涉及网页的SNS服务网页的地址)来标识。

如上所述，由于根据某些实施例的电子装置101不仅在获取或存储图像时获取关于图像的相关联的信息，而且还通过响应于对从一个或多个缩略图像中选择一个缩略图像的输入的接收来执行与由所选择的缩略图像表示的图像相关的处理以获取与由所选择的图像表示的图像相关的内容，因而电子装置101可以提供反映图像获取时间和图像加载时间之间的时间间隔的趋势变化的至少一个字符(例如，关键词)。

参考图7B，在操作725中，处理器120可以向服务器发送关于由所选择的缩略图像表示的图像的信息。根据某些实施例，服务器可以是用于获取与图像相关的信息的服务器。根据某些实施例，服务器可以是用于获取关于图像的识别信息的服务器。根据某些实施例，服务器可以包括一个服务器或多个不同的服务器。根据某些实施例，关于图像的信息可以包括关于从图像中提取的至少一个视觉对象的信息。根据某些实施例，关于图像的信息可以包括关于至少一个视觉对象的至少一个特征点的信息。

在操作730中，处理器120可以从服务器接收关于图像的识别信息。可以通过通信模块190从服务器接收识别信息。

在操作735中，处理器120可以基于接收到的识别信息获取至少一条文本。例如，处理器120可以通过从接收到的识别信息中提取关于至少一条文本的数据来获取至少一条文本。在另一个示例中，处理器120可以基于所识别的识别信息执行互联网检索，并且基于检索结果获取至少一条文本。然而，本公开不限于前述内容。

在操作740中，处理器120可以将至少一条获取的文本与一个或多个缩略图像一起显示。可替换地，处理器120可以在正在执行的应用的用户界面内仅显示至少一条获取的文本。

如上所述，根据某些实施例的电子装置101可以通过电子装置101外部的至少一个其他电子装置以及电子装置101内的元件(例如，处理器120和存储器130)获取处理图像的结果和/或从处理图像的结果获取的至少一条文本。换句话说，根据某些实施例的电子装置101可以基于存储在电子装置101外部的数据以及存储在电子装置101中的数据，通过虚拟键盘提供具有多样性的检索结果。

可替换地，处理器102可以使用不同于至少一条获取的文本的缩小图像作为使用虚拟键盘的检索服务的关键词。

例如，参考图7D，处理器120可以在显示装置160上显示用户界面772。处理器120可以在显示用户界面772时，接收对用户界面772中包括的文本输入部分774执行的输入。处理器120可以响应于接收到对文本输入部分774执行的输入，显示虚拟键盘776，虚拟键盘776的至少一部分被叠加在用户界面772上。虚拟键盘776的显示区域可以被定义为区域778。根据某些实施例，区域778的大小(或面积)可以根据包括在区域778中的内容量而改变。虚拟键盘776可以包括指示多个字符的多个键和指定对象780。处理器120可以响应于接收到对指定对象780执行的输入782，在扩展区域778内显示一个或多个缩略图像784，该一个或多个缩略图像784用于表示存储在电子装置101中的多个图像中的、对应于与电子装置101相关的情境信息的一个或多个图像。处理器120可以响应于接收到从一个或多个缩略图像784中选择一个缩略图像的输入，显示与所选择的缩略图像相关的至少一个缩小图像786。处理器120可以响应于接收到用于在至少一个缩小图像786中选择一个缩小图像788的输入790，在用户界面772内显示从至少一个先前显示的多媒体内容785切换的至少一个条多媒体内容790。

如上所述，根据某些实施例的电子装置101不仅可以提供通过虚拟键盘的使用文本的基于图像的检索服务，还可以提供使用缩小图像的基于图像的检索服务。根据某些实施例的电子装置101可以通过提供该服务来检索不以文本格式指定的信息。

图8A示出了根据某些实施例的电子装置与图像相关联地存储检索到的多媒体内容的操作的示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。图8A的操作805至815可以与图6的操作640相关。

图8B示出了根据某些实施例的存储与由电子装置获取的图像相关联的信息的方法的示例。

参考图8A，在操作805中，处理器120可以在用户界面内显示至少一条多媒体内容。根据某些实施例，操作805可以对应于图6的操作640。

在操作810中，处理器120可以监控在用户界面内显示至少一条多媒体内容时，是否接收到对接收至少一条多媒体内容的输入。当在显示至少一条多媒体内容时接收到对接收至少一条多媒体内容的输入时，处理器120可以执行操作815。另一方面，当在显示至少一条多媒体内容时没有接收到对接收至少一条多媒体内容的输入时，处理器120可以在用户界面内保持至少一条多媒体内容的显示。根据某些实施例，至少一条多媒体内容的显示可以保持预定时间。在这种情况下，处理器120可以响应于对从显示至少一条多媒体内容的时间起已经过了预定时间的标识，停止显示至少一条多媒体内容。

在操作815中，处理器120可以基于对选择至少一条多媒体内容的输入的接收，将关于所选择的一条多媒体内容的信息与由所选择的缩略图像表示的图像相关联地存储。根据某些实施例，当关于所选择的一条多媒体内容的信息与图像相关联地存储并且图像用于检索时，处理器120不仅可以基于在获取图像的过程中获取的信息，还可以基于关于所选择的一条多媒体内容的信息来标识至少一个字符(例如，关键词)。

根据某些实施例，处理器120可以使用各种方法来将至少一条多媒体内容与图像相关联地存储。例如，参考图8B，处理器120可以通过存储包括添加了关于至少一条多媒体内容的信息的相关联的信息的、由所选择的缩略图像表示的图像的图像文件541来将多媒体内容与图像相关联地存储。例如，图像文件541可以包括关于所选择的一条多媒体内容的信息820以及在获取图像的过程中获取的相关联的信息(例如，源信息542、场景信息543、位置信息544、OCR信息545、类别信息546和相关app信息547)。根据某些实施例，关于多媒体内容的信息820可以与源信息542、场景信息543、位置信息544、OCR信息545、类别信息546和相关app信息547一起包括在图像文件541内的元数据中。根据某些实施例，关于多媒体内容的信息820可以包括关于到用于检索多媒体内容的网页的链接的数据和关于在检索多媒体内容时显示的屏幕的图像的数据中的至少一条。然而，本公开不限于前述内容。

在另一个示例中，处理器120可以将关于所选择的一条多媒体内容的信息插入到独立文件中，并且存储关于所选择的一条多媒体内容的信息被添加到其中的文件和相关联文件550中的其他文件之间的关系的信息，以便将至少一条多媒体内容与图像相关联地存储。

如上所述，根据某些实施例的电子装置101可以通过将关于通过虚拟键盘的基于图像的检索服务的的结果的数据(即，关于所选择的一条多媒体内容的数据)与用于提供基于图像的检索服务的图像相关联地存储，来提供用户特定的服务。

图9A示出了根据某些实施例的电子装置的操作的另一示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。

图9B示出了根据某些实施例的根据与虚拟键盘一起提供的应用的类型来提供不同缩略图像的电子装置的屏幕的示例。

参考图9A，在操作905中，处理器120可以标识存储在电子装置101中的第一应用和第二应用中的第一应用被执行。根据某些实施例，第一应用可以是提供不同于由第二应用提供的服务的另一服务的应用。

在操作910中，处理器120可以响应于第一应用的执行，在显示装置160上显示第一应用的第一用户界面。

在操作915中，处理器120可以检测用于将虚拟键盘与第一用户界面一起显示的事件。虚拟键盘可以包括用于提供基于图像的检索服务的指定对象。

在操作920中，处理器120可以响应于检测到该事件，将虚拟键盘与第一用户界面一起显示。在操作925中，处理器120可以在虚拟键盘与第一用户界面一起显示时，接收对指定对象执行的输入。在操作930中，处理器120可以响应于对该输入的接收，将用于表示存储在电子装置101中的多个图像中的第一图像的第一缩略图像与第一用户界面一起显示。第一图像可以是多个图像中的、与由第一应用提供的服务相关的图像。

在操作935中，处理器120可以接收对第一缩略图像执行的至少一个输入。在操作940中，处理器120可以响应于接收到对第一缩略图像执行的至少一个输入，在第一用户界面内提供基于至少第一图像检索的内容。根据某些实施例，该内容可以是与第一图像相关联地存储的内容。

可替换地，在操作945中，处理器120可以响应于第二应用的执行，在显示装置160上显示第二应用的第二用户界面。

在操作950中，处理器120可以检测用于将虚拟键盘与第二用户界面一起显示的事件。在操作955中，处理器120可以响应于检测到该事件，将虚拟键盘与第二用户界面一起显示。在操作960中，处理器120可以在虚拟键盘与第二用户界面一起显示时，接收对虚拟键盘中包括的指定对象执行的输入。

在操作965中，处理器120可以响应于接收到该输入，将用于表示多个图像中的第二图像的第二缩略图像与第二用户界面一起显示。第二图像可以是多个图像中的、与由第二应用提供的服务相关的图像。第二图像可以是不同于第一图像的图像。

例如，参考图9B，处理器120可以响应于接收到对与第一应用一起显示的虚拟键盘中包括的指定对象执行的输入，与第一应用的用户界面980一起提供至少一个第一缩略图像985。由于第一应用是提供购物服务的应用，所以至少一个第一缩略图像985可以表示存储在电子装置101中的多个图像中的、与可以购买的物品相关的图像。与使用第一应用的用户界面980内的虚拟键盘提供基于图像的检索服务的情况不同，处理器120可以响应于接收到对与第二应用一起显示的虚拟键盘中包括的指定对象执行的输入，与第二应用的用户界面990一起提供至少一个第二缩略图像995。由于第二应用是提供音乐服务的应用，与第一应用不同，与至少一个第一缩略图像985不同，至少一个第二缩略图像995可以表示存储在电子装置101中的多个图像中的、与音乐相关的图像。换句话说，根据某些实施例的处理器120可以根据在接收到对包括在虚拟键盘中的指定对象执行的输入时提供与虚拟键盘一起显示的用户界面的应用的类型，推荐不同的图像作为对于基于图像的检索服务的图像。

在操作970中，处理器120可以接收对第二缩略图像执行的至少一个输入。在操作975中，处理器120可以响应于接收到对第二缩略图像执行的至少一个输入，在第二用户界面内提供基于第二图像检索的其他内容。其他内容可以不同于该内容。其他内容可以是与不同于第一图像的第二图像相关联地存储的内容。

图9A示出了一个示例，其中当应用改变时，为基于图像的检索服务推荐的图像被改变，但是这仅仅是为了描述方便而提供的。当一个应用提供多个服务时，根据某些实施例的电子装置101可以根据所提供的应用的类型来改变推荐图像。例如，当通过正在执行的第一应用提供第一服务时，处理器120可以响应于接收到对虚拟键盘中包括的指定对象执行的输入，显示用于表示第一图像的第一缩略图像。当通过正在执行的第一应用提供第二服务时，处理器120可以响应于接收到对虚拟键盘中包括的指定输入执行的输入，显示用于表示不同于第一图像的第二图像的第二缩略图像。然而，本公开不限于前述内容。

如上所述，根据某些实施例的电子装置101可以根据应用的类型为基于图像的检索服务推荐不同的图像。根据某些实施例的电子装置101可以通过推荐来提供增强的用户体验。

图10A示出了根据某些实施例的与多个键一起显示指定对象的电子装置的操作的示例。该操作可以由图1的电子装置101、图2B的电子装置101或者电子装置101的处理器120来执行。图10A的操作1005和1010可以与图3B的操作355相关。

图10B示出了根据某些实施例的配置视觉键盘功能的方法的示例。

参考图10A，在操作1005中，处理器120可以响应于标识到对包括在正在执行的应用的用户界面中的文本输入部分执行的输入，基于虚拟键盘的配置来执行标识以激活指定对象。例如，参考图10B，电子装置101可以包括作为设置中的一个的用于确定是否激活视觉键盘功能的设置1020。根据某些实施例，视觉键盘功能可以意味着提供通过虚拟键盘提供基于图像的检索服务的功能。根据某些实施例，视觉键盘可以意味着提供包括激活的指定对象的虚拟键盘。根据某些实施例，设置1020可以包括用于确定是否激活视觉键盘功能的项目1025。处理器120可以基于标识到项目1025对视觉键盘功能的激活来执行标识以激活指定对象。

在操作1010中，处理器120可以在虚拟键盘的显示区域内与多个键一起显示激活的指定对象，虚拟键盘的至少一部分叠加在用户界面上。

尽管在图10A和10B中未示出，但是处理器120可以从虚拟键盘中排除指定对象，或者可以基于标识到项目1025对视觉键盘功能的去激活，在虚拟键盘内显示处于非激活状态的指定对象。

如上所述，根据某些实施例的电子装置101可以基于用户选择来配置是否通过虚拟键盘提供基于图像的检索服务。

如上所述，根据某些实施例的操作电子装置(例如，电子装置101)的方法可以包括：在显示器上显示能够接收对由电子装置执行的应用执行的用户输入的输入单元的操作；至少基于该显示来标识存储在存储器或外部电子装置中的一个或多个图像的操作；与所述输入单元相关联地显示所述一个或多个图像中的至少一些图像的操作；获取通过识别至少一些图像中的根据指定输入选择的图像中包括的至少一部分内容而生成的识别信息的操作；至少基于该获取来获取对应于该识别信息的字符信息的操作；以及将该字符信息作为通过该输入单元的用户输入的至少一部分提供给该应用的操作。

根据某些实施例，确定至少一些图像的操作可以包括获取与电子装置相关的情境信息的操作和至少基于情境信息确定一个或多个图像中的至少一些图像的操作。根据一些实施例，该方法还可以包括获取由应用通过输入单元提供的其他字符信息的操作，以及将其他字符信息存储为所选择的图像的属性信息的至少一部分的操作。

根据某些实施例，该方法还可以包括通过将其他字符信息插入到关于所选择的图像的元数据中来将其他字符信息存储为所选择的图像的属性信息的至少一部分的操作。

根据某些实施例，该方法还可以包括获取通过应用使用字符信息处理的结果信息的操作，以及将结果信息存储为所选择的图像的属性信息的至少一部分的操作。

根据某些实施例，该方法还可以包括将关于至少一些图像中的根据指定输入选择的图像的信息发送到服务器的操作，以及从服务器获取关于包括在该图像中的内容的识别信息的操作。

根据某些实施例，与输入单元相关联地显示至少一些图像的操作可以包括：在显示器上显示输入单元的操作，该输入单元的至少一部分叠加在正由电子装置执行的应用的用户界面上并且包括指示多个字符的多个键；以及显示从输入单元内的多个键切换的至少一些图像，以便与输入单元相关联地显示该至少一些图像的操作。

如上所述，根据某些实施例的电子装置(例如，电子装置101)可以包括：显示应用的用户界面的操作；响应于标识到对包括在用户界面中的文本输入部分执行的输入，在虚拟键盘的显示区域内显示指定对象和指示多个字符的多个键的操作，虚拟键盘的至少一部分被叠加在用户界面上；至少基于标识到对指定对象执行的输入，标识与存储在电子装置中的多个应用中的应用相关的一个或多个图像的操作；以及在虚拟键盘的显示区域内显示用于表示一个或多个图像的一个或多个缩略图像的操作，并且一个或多个缩略图像可用于使用一个或多个图像在用户界面内提供检索服务。

根据某些实施例，该方法还可以包括，当执行指令时：标识在一个或多个缩略图像中选择一个缩略图像的输入的操作；将通过识别由所选择的缩略图像表示的图像而获取的至少一条文本与一个或多个缩略图像一起显示的操作；以及响应于标识到在至少一条文本中选择一条文本的输入，在文本输入部分中显示所选择的文本并在用户界面中显示与所选择的文本相关的至少一条多媒体内容的操作。例如，该方法还可以包括，当执行指令时：响应于标识到在至少一条多媒体内容中选择一条多媒体内容的输入，通过用户界面提供与所选择的一条多媒体内容相关的功能的操作；以及将所选择的一条多媒体内容和所选择的文本中的至少一个与由缩略图像表示的图像相关联地存储的操作。

根据某些实施例，标识一个或多个图像的操作可以包括：标识多个图像中的与由应用提供的一个或多个服务相关联的一个或多个图像、以便标识与该应用相关的一个或多个图像的操作。例如，标识一个或多个图像的操作可以包括：响应于标识到对指定对象执行的输入，基于存储在电子装置中并且与多个图像中的每一个相关联的信息，在多个图像中标识与由应用提供的一个或多个服务相关联的一个或多个图像的操作，并且与多个图像中的每一个相关联的信息可以包括通过识别多个图像中的每一个的内容而获取的数据、关于从其获取多个图像中的每一个的源的数据、以及关于存储在电子装置中用于获取多个图像中的每一个的应用的数据中的至少一条，并且可以响应于获取多个图像中的每一个而与多个图像中的每一个相关联地存储在电子装置中。例如，与多个图像中的每一个相关联的信息可以包括在多个图像中的每一个中。在另一个示例中，与多个图像中的每一个相关联的信息可以用不同于用于多个图像中的每一个的图像文件的另一个文件来配置，并且图像和另一个文件可以被配置为一个数据集。

根据某些实施例，关于源的数据可以包括关于电子装置在基于获取多个图像中的每一个的时间而标识的时间间隔期间访问的至少一个网页的数据，并且标识一个或多个图像的操作可以包括基于关于至少一个网页的数据在多个图像中标识与由应用提供的一个或多个服务相关联的一个或多个图像的操作。例如，可以通过解析至少一个网页的标记语言文件来获取关于至少一个网页的数据。

如上所述，操作电子装置(例如，电子装置101)的方法可以包括：基于在虚拟键盘与第一应用的第一用户界面一起显示的至少一部分时间期间接收到对包括在虚拟键盘中的指定对象执行的输入，将用于表示存储在电子装置中的多个图像中的第一图像的第一缩略图像与第一用户界面一起显示、以及基于接收到对第一缩略图像执行的至少一个输入，在第一用户界面内提供至少基于第一图像检索的内容的操作；以及基于在虚拟键盘与不同于第一应用的第二应用的第二用户界面一起显示的至少一部分时间期间接收到对包括在虚拟键盘中的指定对象执行的输入，将用于表示多个图像中的不同于第一图像的第二缩略图像与第二用户界面一起显示、以及基于接收到对第二缩略图像执行的至少一个输入，在第二用户界面内提供不同于至少基于第二图像检索的内容的其他内容。

根据某些实施例，第二应用可以提供不同于第一应用提供的服务的另一服务，第一图像可以与第一应用提供的服务相关联，第二图像可以与第二应用提供的服务相关联。

根据某些实施例，内容可以与第一图像相关联地存储，而其他内容可以与第二图像相关联地存储。

根据某些实施例，该方法还可以包括：在显示第一缩略图像时停止显示虚拟键盘中包括的多个键的操作，以及在显示第二缩略图像时停止显示多个键的操作。

根据某些实施例的电子装置及其方法可以独立于应用来提供通过虚拟键盘的图像检索服务。

通过本公开可以获得的效果不限于上述效果，并且本领域技术人员可以从以下描述中清楚地理解未提及的其他效果。

根据某些实施例的权利要求和/或说明书中陈述的方法可以通过硬件、软件或硬件和软件的组合来实现。

当这些方法由软件实现时，可以提供用于存储一个或多个程序(软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的一个或多个程序可以被配置为由电子装置中的一个或多个处理器执行。该至少一个程序可以包括使电子装置执行根据由所附权利要求限定和/或在此公开的本公开的某些实施例的方法的指令。

程序(软件模块或软件)可以存储在非易失性存储器中，包括随机存取存储器和闪存、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、磁盘存储装置、光盘-ROM(CD-ROM)、数字多功能光盘(DVD)或其他类型的光存储装置或磁带。可替换地，一些或全部的任意组合可以形成存储程序的存储器。此外，电子装置中可以包括多个这样的存储器。

此外，程序可以存储在可附接的存储装置中，该存储装置可以通过诸如因特网、内联网、局域网(LAN)、广域网(WLAN)和存储区域网(SAN)或其组合的通信网络来访问电子装置。这种存储装置可以经由外部端口访问电子装置。此外，通信网络上的单独的存储装置可以访问便携式电子装置。

在本公开的上述详细实施例中，根据所呈现的详细实施例，包括在本公开中的部件以单数或复数表示。然而，选择单数形式或复数形式是为了便于适于所呈现情况的描述，并且本公开的某些实施例不限于其单个元件或多个元件。此外，说明书中表达的多个元件可以被配置为单个元件，或者说明书中的单个元件可以被配置为多个元件。

虽然已经参照本公开的某些实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的范围不应被定义为限于实施例，而是应由所附权利要求及其等同物来定义。

Claims (15)

1.一种电子装置，包括：

存储器；

显示器；和

至少一个处理器，

其中所述至少一个处理器被配置为：

在显示器上显示输入单元，所述输入单元能够接收对正由所述电子装置执行的应用的用户输入；

标识存储在所述存储器或外部电子装置中的一个或多个图像，所述一个或多个图像与所述应用相关；

与所述输入单元相关联地显示所述一个或多个图像中的一些图像；

识别在所述一个或多个图像中的所述一些图像当中选择的图像中包括的至少一部分内容；和

基于所识别的所述至少一部分内容向所述应用提供字符信息作为通过所述输入单元的所述用户输入的一部分。

2.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为至少基于情境信息来确定所述一个或多个图像中的所述一些图像。

3.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为标识由所述应用通过所述输入单元提供的其他字符信息，并且将所述其他字符信息存储为所选择的图像的属性信息的至少一部分。

4.根据权利要求3所述的电子装置，其中，所述至少一个处理器被配置为通过将所述其他字符信息插入到所选择的图像的元数据中，来将所述其他字符信息存储为所选择的图像的属性信息的至少一部分。

5.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为获取通过所述应用使用所述字符信息处理的结果信息，并且将所述结果信息存储为所选择的图像的属性信息的至少一部分。

6.根据权利要求1所述的电子装置，其中识别在所述一个或多个图像中的所述一些图像当中的所选择的图像中包括的至少一部分内容包括：将所述一个或多个图像中的至少所述一些图像发送到服务器；从服务器接收对应于在所述一个或多个图像中的至少所述一些图像中包括的内容的识别信息；以及获取关于根据指定输入选择的图像中包括的内容的识别信息。

7.根据权利要求1所述的电子装置，其中，所述字符信息根据正在被执行的应用所提供的服务的类型而改变。

8.一种电子装置的操作方法，所述方法包括：

在所述电子装置的显示器上显示输入单元，所述输入单元能够接收对正由所述电子装置执行的应用的用户输入；

标识存储在所述电子装置的存储器或外部电子装置中的一个或多个图像，所述一个或多个图像与所述应用相关；

与所述输入单元相关联地显示所述一个或多个图像中的一些图像；

识别在所述一个或多个图像中的所述一些图像当中选择的图像中包括的至少一部分内容；和

基于所识别的至少一部分内容向所述应用提供字符信息作为通过所述输入单元的用户输入的一部分。

9.根据权利要求8所述的方法，其中，标识一个或多个图像包括至少基于情境信息来确定所述一个或多个图像中的所述一些图像。

10.根据权利要求8所述的方法，还包括：标识由所述应用通过所述输入单元提供的其他字符信息，并且将所述其他字符信息存储为所选择的图像的属性信息的至少一部分。

11.根据权利要求10所述的方法，其中，存储所述其他字符信息包括：通过将所述其他字符信息插入到所选择的图像的元数据中，来将所述其他字符信息存储为所选择的图像的属性信息的至少一部分。

12.根据权利要求8所述的方法，还包括：获取通过所述应用使用所述字符信息处理的结果信息，并且将所述结果信息存储为所选择的图像的属性信息的至少一部分。

13.根据权利要求8所述的方法，其中识别至少一部分内容包括：将所述一个或多个图像中的至少所述一些图像发送到服务器；从服务器接收对应于在所述一个或多个图像中的至少所述一些图像中包括的内容的识别信息；以及获取关于根据指定输入选择的图像中包括的内容的识别信息。

14.根据权利要求8所述的方法，其中所述字符信息根据正在被执行的应用所提供的服务的类型而改变。

15.一种其上记录有程序的非暂时性计算机可读介质，所述程序当由计算机执行时，执行根据权利要求8所述的方法。

Images