CN108139799B - 基于用户的兴趣区(roi)处理图像数据的系统和方法 - Google Patents

Abstract

提供了用于处理图像数据的方法和系统。可以提供用于显示图像数据的显示设备。显示设备可以被配置为由用户穿戴。显示设备可以包括被配置为显示虚拟现实(VR)环境或增强现实(AR)环境的多个图像的显示区域。显示设备还可以包括一个或多个传感器，所述一个或多个传感器被配置为当用户正穿戴所述显示设备并观看显示在显示区域上的VR环境或AR环境的多个图像时，获取用户的兴趣区(ROI)数据。显示设备还可以包括一个或多个处理器，其单独地或共同地被配置为：(1)从所述多个图像中选择指示ROI数据的一个或多个图像，以及(2)在显示区域上向用户增强显示所选择的一个或多个图像。

Description

基于用户的兴趣区(ROI)处理图像数据的系统和方法

背景技术

在传统的航拍传输系统中，由机载相机捕获的图像编码数据以具有有限带宽的无线方式发送到地面站。传统上，单个图像帧中的所有区都使用统一的策略进行编码。例如，在用户可以使用大屏幕观看图像的高分辨率图像传输系统中，兴趣区或兴趣目标可能占据相对较小的区域。在传输带宽有限的情况下，统一的编码策略无法为用户提供兴趣区或兴趣目标的清晰视图。另外，用户只能被动地观看图像而不能与系统交互。用户的兴趣区或兴趣目标不能被动态跟踪或提供。

发明内容

具有如本文所公开的用于基于动态兴趣区(ROI)跟踪来捕获并处理图像的系统和方法是有利的。成像设备可以支撑在飞行器上以捕获图像。捕获的图像可以包括捕获的静止图像和/或视频。图像编码器也可以由飞行器支撑以处理捕获的图像。处理的图像可以在控制终端处显示给用户。控制终端可以包括显示设备。显示设备可以被配置为显示图像数据(例如，经处理的图像)。显示设备可以被配置为由用户穿戴。例如，显示设备可以是一副眼镜、护目镜或头戴式显示器。显示设备可以包括结合了增强现实(AR)或虚拟现实(VR)技术的任何类型的可穿戴计算机或设备。AR和VR技术涉及为消费者提供体验内容新方式的计算机生成的环境。在增强现实(AR)中，计算机生成的环境叠加在现实世界的图像上。在虚拟现实(VR)中，用户沉浸在计算机生成的环境中。显示设备可以被配置为在显示区域上显示虚拟现实(VR)环境或增强现实(AR)环境的多个图像。显示区域可以是屏幕，或者设置在屏幕上。所述显示设备还可以包括一个或多个传感器，所述一个或多个传感器被配置为当用户正穿戴显示设备并观看显示在显示区域上的VR环境或AR环境的多个图像时，获取用户的兴趣区(ROI)数据。显示设备还可以包括一个或多个处理器，其单独地或共同地被配置为：(1)从所述多个图像中选择指示ROI数据的一个或多个图像，以及(2)在显示区域上向用户增强显示所选择的一个或多个图像。

ROI跟踪/确定系统可位于控制终端(和/或显示设备)处，以动态跟踪用户的ROI。ROI跟踪/确定系统可以将收集的ROI数据发送到图像编码器，并且图像编码器可以使用第一压缩率来压缩与用户的ROI区相对应的图像数据，以及使用大于第一压缩率的第二压缩率来压缩与非ROI区相对应的图像数据。与ROI区相对应的图像数据也可以被处理为：与对应于非ROI区的图像数据相比具有增强的图像质量。有利地，这里描述的方法可以减小文件大小，并因此有效地节约传输带宽，这可以获得更好的观看体验。

在本发明的一个方面中，提供了一种用于显示图像数据的显示设备。所述显示设备可以被配置为由用户穿戴。所述显示设备可以包括：显示区域，被配置为显示虚拟现实(VR)环境或增强现实(AR)环境的一个或多个图像；一个或多个传感器，被配置为当所述用户正穿戴所述显示设备并观看显示在所述显示区域上的VR环境或AR环境的所述一个或多个图像时，获取所述用户的兴趣区(ROI)数据；以及一个或多个处理器，单独地或共同地被配置为：(1)基于所述ROI数据，从用于在所述显示区域上划分所述一个或多个图像的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

本发明的另一方面提供了一种用于显示图像数据的方法。所述方法可以包括：在显示设备的显示区域上显示虚拟现实(VR)环境或增强现实(AR)环境的一个或多个图像；当用户正穿戴所述显示设备并观看所述显示区域上显示的所述VR环境或AR环境的一个或多个图像时，获取用户的兴趣区ROI数据；以及(1)基于所述ROI数据，从用于划分显示区域的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

在本发明的另一方面中，提供一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于显示图像数据的方法。由计算机执行的方法可以包括：在显示设备的显示区域上显示虚拟现实(VR)环境或增强现实(AR)环境的一个或多个图像；当用户正穿戴所述显示设备并观看所述显示区域上显示的所述VR环境或AR环境的一个或多个图像时，获取用户的兴趣区(ROI)数据；以及(1)基于所述ROI数据，从用于划分显示区域的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

在一些实施例中，显示设备可以包括一副具有VR功能的眼镜或具有AR功能的眼镜。显示区域可以是包括多个像素的屏幕。显示区域可以包括多个坐标。ROI数据可以与从多个坐标中选择的一组或多组坐标相关联。

在一些实施例中，当所述ROI数据指示用户的ROI在所述一个或多个ROI区内时，从所述多个区中选择所述一个或多个ROI区。用户的ROI可以与用户的眼睛注视位置相关联。当用户正在观看在显示区域上显示的VR环境或AR环境的一个或多个图像时，可以由一个或多个传感器检测到眼睛注视位置。

在一些实施例中，一个或多个传感器可以包括在眼睛跟踪系统中，所述眼睛跟踪系统被配置为收集与用户的至少一只眼睛的移动有关的数据。眼睛跟踪系统可以被配置为：基于所述用户的瞳孔与屏幕反射之间的相对位置来确定所述用户的眼睛注视位置，所述屏幕反射与反射到所述用户的对应眼睛上的所述显示区域相对应。所述眼睛跟踪系统可以被配置为：(1)跟踪所述用户的至少一只眼睛上的所述屏幕反射的位置和所述用户的对应瞳孔的位置，以及(2)使用所述屏幕反射的位置和所述瞳孔的位置之间的预定关系，推断所述显示区域内的眼睛注视位置。

在一些实施例中，所述眼睛跟踪系统可以被配置为：执行所述用户的校准过程，以确定所述屏幕反射的位置与所述瞳孔的位置之间的关系。所述眼睛跟踪系统可以被配置为：跟踪所述用户的头部移动以确定所述屏幕反射在所述用户的所述至少一只眼睛上的位置信息。

在一些实施例中，所述多个区可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像而显示。在一些实施例中，可以在显示区域上显示包括多个区的网格图案。网格图案可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像而显示。

在一些实施例中，所述多个区中的至少两个区可以至少部分地彼此重叠。所述多个区中的单个区可以与所述多个区中的其余区至少部分重叠。

在一些实施例中，显示设备中的一个或多个处理器可以单独地或共同地被配置为：(1)当所述用户的ROI在第一ROI区内时，在所述显示区域上增强显示第一ROI区；以及(2)当用户的ROI从第一ROI区切换到第二ROI区时，在显示区域上增强显示第二ROI区，其中第二ROI区不同于第一ROI区。第一ROI区和第二ROI区可以位于显示区域的不同部分上。第一ROI区和第二ROI区可以具有不同的尺寸和/或形状。

第一ROI区中的第一组图像数据可以不同于第二ROI区中的第二组图像数据。在一些实施例中，所述第一组图像数据和所述第二组图像数据可以由所述显示区域上的所述VR环境或AR环境内的同一图像提供。在其他实施例中，所述第一组图像数据和所述第二组图像数据可以由所述显示区域上的所述VR环境或AR环境内的不同图像提供。第一组图像数据可以与VR环境或AR环境的第一图像相关联，并且第二组图像数据可以与VR环境或AR环境的第二图像相关联。

在一些实施例中，在显示区域上增强显示所述一个或多个ROI区可以包括：改变所述一个或多个ROI区的放大率和/或分辨率。例如，来自所述一个或多个ROI区的图像数据与来自一个或多个非ROI区的图像数据相比可以以更高的放大率和/或分辨率显示。来自一个或多个ROI区的图像数据可以被转换为第一组图像，并且来自一个或多个非ROI区的图像数据可以被转换为第二组图像。可以显示第一组图像以叠加或覆盖显示区域上的第二组图像。

在一些实施例中，来自所述一个或多个ROI区的图像数据可以以第一压缩率压缩，并且来自所述一个或多个非ROI区的图像数据可以以不同于所述第一压缩率的第二压缩率压缩。例如，第一压缩率可以低于所述第二压缩率，使得所述一个或多个ROI区中的第一组图像以比所述一个或多个非ROI区中的第二组图像更高的质量显示。在一些情况下，所述一个或多个ROI区中的第一组图像可以以比所述一个或多个非ROI区中的第二组图像更高的频率在显示区域上更新。

在一些实施例中，所述一个或多个ROI区中的第一组图像可以被配置为占据显示区域的中心区，并且所述一个或多个非ROI区中的第二组图像可以被配置为占据显示区域的周边区。

在一些实施例中，可以由可移动物体承载的成像传感器捕获一个或多个图像。所述可移动物体可以为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。显示设备可以远离可移动物体而放置。

一个或多个捕获的图像可以与多个区融合在一起，以生成在显示区域上显示的VR环境或AR环境的一个或多个图像。所述ROI数据可以经由一个或多个有线和/或无线通信信道被发送到成像传感器。可以基于所述ROI数据调整成像传感器的一个或多个操作参数。成像传感器的一个或多个操作参数包括：景深、光圈大小、快门速度、变焦、聚焦区域、帧速率和/或所述成像传感器相对于可移动物体的位置。可以调整成像传感器的一个或多个操作参数，以便在显示区域上向用户增强显示一个或多个ROI区。

在一些实施例中，图形元素可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像上。图形元素可以指示可移动物体的一个或多个运动特性。可移动物体的一个或多个运动特性可以包括可移动物体的位置、速度、加速度和/或朝向。图形元素可以指示空间环境信息。空间环境信息可以包括可移动物体与另一物体所处的物理环境内所述可移动物体与所述另一物体之间的相对距离和/或朝向。在一些情况下，图形元素可以被配置为：随着所述可移动物体相对于所述另一物体的位置和/或朝向在所述物理环境内改变而在所述显示区域上动态改变。

在一些实施例中，当用户正在观看显示区域中显示的VR环境或AR环境的多个图像时，可以获取用户的ROI数据。一个或多个图像可以由可移动物体承载的成像传感器捕获。一个或多个捕获的图像可以与显示区域中显示的VR环境或AR环境的多个图像融合在一起。显示设备可以远离可移动物体而放置。所述可移动物体可以为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

本发明的一个方面针对一种用于确定用户的兴趣区(ROI)的方法，所述方法包括：将显示区域划分成多个区；接收ROI的数据，其中ROI由传感器检测；以及从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内。

另一方面，提供了一种用于确定用户的兴趣区(ROI)的系统。所述系统包括：被配置为检测显示区域上的ROI的传感器；以及与传感器可耦接的一个或多个处理器。所述一个或多个处理器单独或共同地被配置为将显示区域划分成多个区；接收ROI的数据，其中ROI由传感器检测；以及从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内。

另一方面，提供了一种用于确定用户的兴趣区(ROI)的装置。所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：将显示区域划分为多个区；接收ROI的数据，其中ROI由传感器检测；以及从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内。

在另一方面，一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于确定用户的兴趣区(ROI)的方法。所述方法包括：将显示区域划分为多个区；接收ROI的数据，其中ROI由传感器检测；以及从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内。

另一方面，提供了一种用于确定用户的兴趣区(ROI)的系统。所述系统包括：区划分模块，被配置为将显示区域划分为多个区；数据接收模块，被配置为接收所述ROI的数据，其中所述ROI由传感器检测；以及ROI区识别模块，被配置为从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内。

本发明的另外的方面涉及一种用于处理图像数据的方法。所述方法包括：当在显示区域中显示一个或多个图像时，获取用户的兴趣区(ROI)数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；获取由成像传感器捕获的图像数据；以及处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的系统。所述系统包括：接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区(ROI)数据；以及与所述接收机可耦接的一个或多个处理器，其中所述一个或多个处理器单独地或共同地被配置为：获取所述ROI数据，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；获取由成像传感器捕获的图像数据；以及处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的装置。所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：当在显示区域中显示一个或多个图像时，获取用户的兴趣区ROI数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；获取由成像传感器捕获的图像数据；以及处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于处理图像数据的方法。所述方法包括：当在显示区域中显示一个或多个图像时，获取用户的兴趣区(ROI)数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；获取由成像传感器捕获的图像数据；以及处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的系统。所述系统包括：ROI数据获取模块，被配置为当在显示区域中显示一个或多个图像时，获取用户的兴趣区(ROI)数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；图像数据获取模块，被配置为获取由成像传感器捕获的图像数据；以及图像处理模块，被配置为处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

本发明的另外的方面针对一种用于获取图像数据的方法。所述方法包括：获取用户的兴趣区(ROI)数据，其中，所述ROI数据当在显示设备上显示一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获；基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及使用具有调整的参数的成像传感器捕获后续图像。

另一方面，提供了一种获取图像数据的系统。所述系统包括：接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区(ROI)数据；以及一个或多个处理器，与所述接收机可耦接。所述一个或多个处理器单独地或共同地被配置为：获取ROI数据，其中使用成像传感器来捕获所述一个或多个图像；基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及使用具有调整的参数的成像传感器捕获后续图像。

另一方面，提供了一种获取图像数据的装置。所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：获取用户的兴趣区ROI数据，其中，所述ROI数据当在显示设备上显示一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获；基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及使用具有调整的参数的成像传感器捕获后续图像。

在另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于获取图像数据的方法。所述方法包括：获取用户的兴趣区(ROI)数据，其中，所述ROI数据当用户正在观看显示在显示设备上的一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获；基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及使用具有调整的参数的成像传感器捕获后续图像。

另一方面，提供了一种用于处理图像数据的系统。所述系统包括：ROI数据获取模块，被配置为获取用户的兴趣区(ROI)数据，其中，所述ROI数据当用户正在观看显示在显示设备上的一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获；成像传感器调整模块，被配置为基于所述ROI数据调整所述成像传感器的一个或多个参数；以及图像捕获模块，被配置为使用具有调整的参数的成像传感器捕获后续图像。

本发明的另外的方面针对一种用于基于用户的兴趣区(ROI)数据来发送图像数据的方法。所述方法包括：获取兴趣区(ROI)数据，其中所述兴趣区数据包括对被配置为划分显示区域的多个预定区中的一个或多个ROI区的选择；以及将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的系统。所述系统包括：接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区(ROI)数据；以及一个或多个处理器，与所述接收机可耦接。所述一个或多个处理器单独地或共同地被配置为：获取所述ROI数据，所述ROI数据包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择；以及将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的装置。所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：获取兴趣区(ROI)数据，其中所述兴趣区数据包括对被配置为划分显示区域的多个预定区中的一个或多个ROI区的选择；以及将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得计算机执行用于处理图像数据的方法。所述方法包括：获取用户的兴趣区(ROI)数据，其中，所述用户的ROI数据包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择；以及将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

另一方面，提供了一种用于处理图像数据的系统。所述系统包括：ROI数据获取模块，被配置为获取用户的兴趣区(ROI)数据，其中，所述用户的ROI数据包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择；以及图像处理模块，被配置为将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

本发明的另外的方面针对一种用于显示图像数据的方法。所述方法包括：在显示区域中显示第一组图像；获取用户的一个或多个兴趣区(ROI)区的兴趣区(ROI)数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

另一方面，提供了一种用于显示图像数据的系统。所述系统包括：一个或多个传感器，被配置为检测用户的一个或多个兴趣区(ROI)区，其中，所述一个或多个ROI区是从显示区域的多个预定区中识别的；以及与所述一个或多个传感器可耦接的显示设备，所述显示设备被配置为：当所述一个或多个传感器检测到所述一个或多个ROI区时，在所述显示区域中显示第一组图像；以及显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

另一方面，提供了一种用于显示图像数据的装置。所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：在显示区域中显示第一组图像；获取用户的一个或多个兴趣区(ROI)区的兴趣区(ROI)数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

在另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得计算机执行用于显示图像数据的方法。所述方法包括：在显示区域中显示第一组图像；获取用户的一个或多个兴趣区(ROI)区的兴趣区(ROI)数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

另一方面，提供了一种用于显示图像数据的系统。所述系统包括：传感器数据获取模块，被配置为获取用户的一个或多个兴趣区(ROI)区的兴趣区(ROI)数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及图像显示模块，被配置为当所述一个或多个传感器检测到用户的所述一个或多个ROI区时，在所述显示区域中显示第一组图像；以及显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面提及的任何特定应用或任何其它类型的可移动物体。本文中对飞行器(如无人机)的任何说明均可以适于和用于任何可移动物体(如任何载运工具)。此外，本文公开的在空中运动(例如，飞行)情景中的系统、设备和方法也可以在其他类型的运动的情景中应用，例如在地面或水上运动、水下运动或太空中的运动。

通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。

通过引用并入

本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。

附图说明

本发明的新颖特征在所附权利要求中具体阐述。本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：

图1A示出了根据一些实施例的在用户正在观看从无人机(UAV)上的相机拍摄的图像时跟踪用户的兴趣区(ROI)。

图1B示出了根据一些实施例的包括用于显示图像数据的左眼显示器和右眼显示器的显示区域。

图1C示出了根据一些实施例的用于使用用户的兴趣区(ROI)来处理图像的系统的框图。

图2示出了根据一些实施例的ROI确定系统。

图3A示出了根据一些实施例的用于确定用户的ROI的眼睛跟踪系统。

图3B和3C示出了根据一些实施例的当用户观看显示区域的不同部分时眼睛移动到显示区域上的位置的映射。

图4示出了根据一些实施例的用于确定用户的ROI的触摸屏。

图5A、图5B和图5C示出了根据一些实施例的用于划分显示区域的示例性方法。

图6示出了根据一些实施例的用于划分显示区域的示例性方法。

图7示出了根据一些实施例的用于基于ROI数据显示经处理的图像或视频帧的示例。

图8示出了根据一些实施例的用于基于ROI数据显示经处理的图像或视频帧的另一示例。

图9示出了根据一些实施例的用于基于ROI数据显示经处理的图像或视频帧的另一示例。

图10示出了根据一些实施例的无人机(UAV)。

图11示出了根据一些实施例的包括载体和负载的可移动物体。

图12是根据一些实施例的借助用于控制可移动物体的系统的框图的示意图。

具体实施方式

需要基于用户的兴趣区(ROI)处理由飞行器捕获的图像以节约传输带宽和其他资源。捕获的图像可以包括捕获的静止图像和/或视频。另外，为了控制航拍，需要具有动态的用户交互。可以使用眼睛跟踪系统来动态跟踪用户的ROI。眼睛跟踪系统可以集成在显示设备上。显示设备可以被配置为在显示区域上显示图像数据(例如，捕获的静止图像和/或视频)。显示设备还可以被配置为在显示区域上显示虚拟现实(VR)环境或增强现实(AR)环境的一个或多个图像。在一些情况下，显示设备可以被配置为由用户穿戴。例如，显示设备可以是一副眼镜、护目镜或头戴式显示器。显示设备可以包括集成了增强现实(AR)或虚拟现实(VR)技术的任何类型的可穿戴计算机或设备。显示设备还可以包括一个或多个传感器，所述一个或多个传感器被配置为当用户正穿戴所述显示设备并观看显示在显示区域上的VR环境或AR环境的一个或多个图像时，获取用户的兴趣区(ROI)数据。显示设备还可以包括一个或多个处理器，单独地或共同地被配置为：(1)基于所述ROI数据，从用于在所述显示区域上划分所述一个或多个图像的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。备选地和/或除了可穿戴的显示设备之外，可以使用触摸屏或本文所讨论的任何其他合适的感测系统来动态地确定用户的ROI。

ROI数据可以包括显示器上用户感兴趣的区域的位置和/或尺寸。可以将ROI数据发送到由飞行器承载的图像编码器以处理捕获的图像。例如，图像编码器可以使用不同策略(例如，压缩率、对比度、色调等)来对与ROI区对应的图像数据进行压缩，以使得与对应于非ROI区的图像数据相比具有增强的图像质量。因此，图像编码器不需要使用统一的策略来处理整个图像。这可以在用户的ROI中提供足够的图像质量，同时有效地减小图像的非ROI部分的数据大小。

备选地或附加地，ROI数据可以被发送到由飞行器承载的成像设备，使得所述成像设备可以调整成像设备的一个或多个参数以相应地捕获和/或处理图像数据。有利地，这里描述的途径可以减小文件大小并且有效地节约传输带宽和其它资源。由于可以在有或没有任何直接的用户交互的情况下实时动态地跟踪用户的ROI，所以这里描述的方式还可以提供与航拍的动态交互中的改进的用户体验。

图1A是示出根据一些实施例的在用户正在观看从无人机(UAV)107上的相机拍摄的图像的同时跟踪用户108的兴趣区(ROI)的示意图。用户可以位于被配置为与UAV通信的遥控终端处。用户可以实时观看由成像设备捕获的图像，并且使用控制设备发送控制信号。

本文对无人机的任何描述都可以适用于任何类型的飞行器，反之亦然。所述飞行器可以是无人驾驶的，也可以不是。类似地，本文对UAV的任何描述都可以适用于任何类型的可移动物体，反之亦然。可移动物体可以是能够自推进移动的载运工具。载运工具可以具有会能够允许载运工具在环境内移动的一个或多个推进单元。可移动物体会能够在陆地上或地下、在水上或水中、在空中、在空间内或其任意组合中穿越。可移动物体可以是飞行器(例如，飞机、旋翼飞机、轻于空气的载运工具)、陆基载运工具(例如，轿车、卡车、公共汽车、火车、漫游车、地铁)、水基载运工具(例如，船只、轮船、潜艇)或空基载运工具(例如卫星、航天飞机、火箭)。可移动物体可以是有人驾驶的或无人驾驶的。

UAV可以具有UAV本体101。UAV本体可以可选地包括可以包覆UAV的一个或多个部件的外壳。例如，外壳可以包覆UAV的一个或多个电气部件。电气部件的示例可以包括但不限于UAV的飞行控制器、惯性测量单元、电源单元、存储器存储单元、一个或多个处理器、导航单元(例如GPS)、通信单元、一个或多个电子速度控件(ESC)、一个或多个驱动器，或一个或多个传感器。传感器的示例可以包括但不限于位置传感器(例如全球定位系统(GPS)传感器、实现位置三角测量的移动设备发射机)、视觉传感器(例如能够检测可见光、红外光或紫外光的成像设备，例如相机)、近距离传感器(例如，超声波传感器、激光雷达、飞行时间相机)、惯性传感器(例如加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、压力传感器(例如气压计)、音频传感器(例如麦克风)或场传感器(例如磁力计、电磁传感器)。可以使用任何合适数量的传感器和的传感器的组合，例如一个、两个、三个、四个、五个或更多个传感器。可选地，可以从不同类型的传感器(例如，2种、3种、4种、5种或更多种类型)接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获取数据。例如，传感器可以包括有源传感器(例如，从其自己的源产生和测量能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任意合适的组合。UAV本体可以支撑一个或多个部件，例如一个或多个电气部件。所述一个或多个部件可以位于外壳内、外壳外部、嵌入外壳中，或其任意组合。

UAV本体可以是中心本体。可选地，一个或多个臂可以从中心本体延伸出来。臂可以支撑一个或多个推进单元，这可以帮助UAV飞行。推进单元可以包括可以为UAV产生升力的一个或多个旋翼。推进单元可以包括旋翼叶片和对应的驱动器，所述驱动器可以实现旋翼叶片围绕轴的旋转。升力可以在轴的方向上。在一些实施例中，一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个、七个或更多个、八个或更多个、十个或更多个、十二或更多个、二十或更多个，或者三十或更多个臂可以从中心本体中延伸出来。每个臂可以具有由臂支撑的一个或多个、两个或更多个、三个或更多个、四个或更多个，或五个或更多个的推进单元。

UAV可具有如本文其他地方更详细描述的任何其它特征。本文对UAV的任何描述可以适用于具有如本文其他地方更详细描述的特性的任何可移动物体。

在一些实施例中，UAV可以包括载体105和负载109。载体可以允许负载相对于UAV移动。例如，载体可以允许负载围绕一个、两个、三个或更多个轴旋转。例如，负载可以围绕横滚轴、航向轴和/或俯仰轴移动。备选地或附加地，载体可以允许负载沿着一个、两个、三个或更多个轴线性地移动。用于旋转或平移移动的轴可以彼此正交或可以不彼此正交。

在备选实施例中，负载可以与UAV刚性地耦接或连接，使得负载相对于UAV基本保持静止。例如，连接UAV和负载的载体可以不允许负载相对于UAV移动。备选地，负载可以与UAV直接耦接而不需要载体。

在一些实施例中，负载可以包括用于测量或跟踪周围环境中的物体的一个或多个传感器。这样的负载的示例可以包括图像捕获设备或成像设备(例如相机或摄像机、红外成像设备、紫外成像设备等)、音频捕获设备(例如抛物面麦克风)、红外成像设备等等。可以将任何合适的传感器集成到负载109中以捕获任何视觉、音频、电磁或任何其他期望的信号。传感器可以提供静态感测数据(例如照片)或动态感测数据(例如，视频)。传感器可以实时或以高频率连续捕获感测数据。在一些情况下，负载可以是可以以10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz或更高的频率捕获图像的相机。

在一些实施例中，负载可以包括多个成像设备，或者具有多个镜头和/或图像传感器的成像设备。负载会能够基本同时地拍摄多个图像。多个图像可以帮助创建3D场景、3D虚拟现实环境、3D增强现实环境、3D地图或3D模型。例如，右图像和左图像可以被拍摄并用于立体映射。可以从校准的双目图像中计算得到深度图。可以同时拍摄任意数量的图像(例如2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)以帮助创建3D场景/虚拟环境/模型，和/或用于深度映射。图像可以朝向基本相同的方向，或者可以朝向稍微不同的方向。在一些情况下，来自其他传感器的数据(例如，超声波数据、LIDAR数据、来自如本文其他地方所述的任何其它传感器的数据，或来自外部设备的数据)可以帮助创建2D或3D图像或地图。

UAV可以被配置为从用户接收控制数据。遥控终端可以被配置为提供控制数据。控制数据可以基于来自操作远程终端的用户的输入来生成。备选地或附加地，控制数据可以由其他非用户源提供，例如远程或本地数据存储器、可操作地连接到远程终端的其他计算设备等。控制数据可用于直接或间接地控制UAV、负载和/或载体的各个方面。在一些实施例中，控制数据可以包括用于控制可移动物体的导航参数(例如UAV的位置、速度、朝向或姿态)的导航命令。控制数据可以用于控制UAV的飞行。控制数据可以影响一个或多个推进系统的操作，所述推进系统可以影响UAV的飞行。

在一些实施例中，控制数据可以包括用于控制UAV上或由UAV承载的各个部件的命令。例如，控制数据可以包括用于控制载体的操作的信息。例如，控制数据可以用于控制载体的驱动机构，以引起负载相对于可移动物体的角度和/或线性移动。作为另一示例，控制数据可以用于调整负载的一个或多个操作参数，诸如拍摄静止或移动图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变镜头速度、改变视角或视野等。在其它实施例中，控制数据可以用于控制UAV上的其他部件，例如感测系统(未示出)、通信系统(未示出)等。

UAV可以被配置为提供数据，以及远程终端可以被配置为接收数据。在各种实施例中，由远程终端接收的数据可以包括原始数据(例如，原始图像数据)和/或经处理的数据(例如经压缩的图像数据)。例如，数据可以包括由UAV上的相机获取的原始图像数据，和/或基于由负载捕获的图像在UAV上生成的经处理的数据(诸如经压缩的图像数据)。例如，实时或接近实时的视频可以从UAV和/或负载流传输到远程终端。

在一些实施例中，远程终端可以位于远离UAV的位置。远程终端可以放置在或者固定在支撑平台上。备选地，远程终端可以是手持式或可穿戴式设备。例如，远程终端可以包括智能手机/手机、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴设备(例如，手表、眼镜、手套、头部装备(如帽子、头盔、虚拟现实耳机、增强现实耳机、虚拟现实(VR)眼镜或护目镜、增强现实(AR)眼镜或护目镜、头戴式设备(HMD)、头带)、吊坠、臂章、腿带、鞋、背心)、手势识别设备、麦克风或能够提供或呈现图像数据的任何电子设备。

远程终端可以被配置为显示经由显示设备160从UAV接收的数据。显示设备可以被设置为远程终端的一部分。备选地，显示设备可以与远程终端分开。在一些情况下，显示设备可以与远程终端可耦接。显示设备可以包括用于显示从UAV接收的数据的显示区域162。所显示的数据可以包括由UAV承载的成像设备获取的图像(例如，静止图像和视频)和/或经处理的数据。所显示的数据还可以包括可以与图像数据分开显示或叠加在图像数据之上的其他信息。在一些实施例中，所显示的数据可以包括VR环境或AR环境的多个图像。在AR环境中，计算机生成的环境可以叠加在由UAV承载的成像设备获取的图像上。在VR环境中，环境可以部分基于由UAV承载的成像设备获取的图像，部分地或完全地由计算机生成。由成像设备捕获的图像可以与VR环境或AR环境中的多个图像融合在一起。

在一些实施例中，可以在显示设备(例如，虚拟现实眼镜或增强现实眼镜)上显示的3D虚拟环境中提供图像数据。3D虚拟环境可以可选地对应于3D地图。虚拟环境可以包括可以由用户(例如通过用户的眼睛注视移动)操纵的多个点或物体。用户可以通过虚拟环境中的各种不同操作来操作所述点或物体。这些动作的示例可以包括选择一个或多个点或物体、拖放、平移、旋转、转动、推、拉、放大、缩小等。可以设想三维虚拟空间中的点或物体的任何类型的移动动作。远程终端处的用户可以通过关注不同的兴趣区(ROI)来操纵虚拟环境中的点或物体，以主动选择用户感兴趣的一个或多个区域。

在一些实施例中，可以在显示设备上以第一人称视图(FPV)提供图像数据。其他类型的视图可以作为FPV的备选呈现或结合FPV呈现。例如，在一些实施例中，地图视图可以包括3D地图而不是2D地图。3D地图可以是可变的以从各个角度观看3D环境。在一些实施例中，3D环境可以包括多个虚拟物体。虚拟物体可以是图形实心物体或图形线框。虚拟物体可以包括用户可能感兴趣的点或物体。可从3D虚拟环境中省略用户可能不太感兴趣的点或物体，以例如通过使用本文其他地方描述的一个或多个实施例来减少物体混乱并更清楚地描绘兴趣点/物体。减少的混乱使用户例如通过用户将他的眼睛聚焦在期望的兴趣点或物体上而更容易从3D虚拟环境中选择或识别所需的兴趣点或物体。

在一些实施例中，可以在图像被生成和/或发送到远程终端时基本实时地显示图像数据。例如，图像和/或其他数据可以在被负载捕获的10秒、5秒、3秒、2秒、1秒、0.5秒、0.1秒内显示。在其他实施例中，可以在一些延迟之后提供显示。在一些实施例中，全景图像和/或其他数据可以被远程终端存储、发送或处理。

显示设备可以是便携式光学视觉系统。显示设备可以是无绳的。备选地，显示设备可以连线到远程终端，或连线到另一外部设备。在一些实施例中，显示设备可以是一副VR眼镜或AR眼镜。VR眼镜或AR眼镜可以被制造得相对紧凑。例如，VR眼镜或AR眼镜可以是可折叠的和/或展平成二维形状以便于存储和携带。在一些情况下，显示设备可以是VR或AR头戴式显示器(HMD)。

参考图1B，显示设备160可以包括用于显示图像数据的显示区域162。在一些实施例中，显示区域可以被配置为显示VR环境或AR环境的多个图像。为了显示VR环境或AR环境的图像，显示区域162可以被划分成用于显示左眼图像的左眼显示区162L和用于显示右眼图像的右眼显示区162R。当用户正穿戴显示设备时，用户的左眼可以看到在显示区162L上显示的左眼图像，并且用户的右眼可以看到在显示区162R上显示的右眼图像。左眼图像和右眼图像可以用于生成VR环境或AR环境的三维立体视图。

远程终端可以被配置为经由输入设备接收用户输入。输入设备可以包括操纵杆、键盘、鼠标、触摸屏、触控笔、麦克风、图像或运动传感器、惯性传感器等。显示器可以是与输入设备相同的设备。备选地，显示器可以是与输入设备分离的设备。而在另一实施例中，显示器可以是输入设备的部件。

可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。例如，远程终端可以被配置为允许用户通过操纵操纵杆、改变远程终端的朝向或姿态、使用键盘、鼠标、手指或触控笔与图形用户界面交互、或通过使用任何其他合适的方法，来控制可移动物体、载体、负载或其任意部件的状态。例如，远程终端可以被配置为允许用户控制在此讨论的全景操作模式的各个方面。远程终端还可以包括眼睛跟踪设备，其包括用于在用户正在观看显示器上的图像时跟踪用户的眼睛注视的传感器。跟踪的眼睛注视可被用于实时确定用户的兴趣区(ROI)。所确定的ROI可以发送给UAV上的负载。例如，如本文其他地方所讨论的图像编码器可以基于ROI来调整图像压缩策略。UAV上的成像设备也可以基于ROI来调整其参数以捕获图像。

图1C示出了说明根据实施例的用于基于用户的兴趣区(ROI)处理图像的部件的示例的示意图100。示意图100包括可移动物体侧102(例如，UAV侧)和控制终端侧104(例如，位于远离可移动物体的位置)。在可移动物体侧102上，成像设备110可以设置在可移动物体上，并被配置为收集原始图像数据112。成像设备可以备选地被实现为独立设备并且不需要被设置在可移动物体上。

这里使用的成像设备可以用作图像捕获设备。成像设备可以是物理成像设备。成像设备可以被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，并且基于检测到的电磁辐射生成图像数据。成像设备可以包括响应于光的波长而产生电信号的电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。所得到的电信号可以被处理以产生原始图像数据112。由成像设备生成的原始图像数据可以包括一个或多个图像，其可以是静态图像(例如照片)、动态图像(例如视频)，或其适合的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。成像设备可以包括被配置为将光引导到图像传感器上的镜头。

在一些实施例中，成像设备可以是相机。相机可以是捕获动态图像数据(例如，视频)的电影或视频摄像机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以捕获动态图像数据和静态图像。相机可以在捕获动态图像数据和静态图像之间切换。虽然本文提供的某些实施例是在相机的上下文中描述的，但是应当理解，本公开可以应用于任何合适的成像设备，并且本文中与相机有关的任何描述也可以应用于任何合适的成像设备，并且这里涉及相机的任何描述也可以应用于其他类型的成像设备。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。相机生成的图像可以表示3D场景在2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。相机可以包括光学元件(例如，镜头、镜子、滤镜等)。相机可以捕获彩色图像、灰度图像、红外图像等。

成像设备可以以特定的图像分辨率捕获原始图像或原始图像序列(例如，在T1处捕获的原始图像数据112-1、在T2...处捕获的原始图像数据112-2，由此时间T2可以是在时间T1之后发生的时间点)。在一些实施例中，图像分辨率可以由图像中的像素的数量来定义。在一些实施例中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。在一些实施例中，相机可以是4K相机或具有更高分辨率的相机。备选地或附加地，由成像设备捕获的图像可以具有彼此相同或不同的视场。

成像设备可以以特定的捕获速率捕获原始图像序列。在一些实施例中，可以采集例如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率的图像序列。在一些实施例中，图像序列可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率被捕获。在一些实施例中，捕获速率可以根据用户输入和/或外部条件(例如，雨、雪、风、环境的不明显的表面纹理)而改变。

成像设备可以具有可调参数。在不同的参数下，在受到相同的外部条件(例如，位置、照明)时成像设备会捕获不同的图像。可调参数可以包括曝光(例如，景深、曝光时间、快门速度、光圈、胶片速度)、变焦、增益、伽玛、兴趣区、合并(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像设备中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度。对曝光和增益的参数控制可以被统一考虑并且在本文中被称为EXPO。

仍然参照图1C，成像设备可以被配置为对一个或多个物体的图像数据进行原始捕获。原始图像数据可以对应于例如多个物体的静止图像或视频帧。这些物体可以包括可以由视觉跟踪系统实时地进行光学识别和/或跟踪的任何物理物体或结构。光学跟踪有若干优点。例如，光学跟踪允许无线“传感器”不易受噪声影响，并允许同时跟踪许多物体(例如，不同类型的物体)。可以以2D或3D格式在静止图像和/或视频帧中描绘物体，所述物体可以是现实的和/或动画的，可以是彩色的、黑/白的、或灰度的，并且可以在任何色彩空间中。所述物体可以是静止的。备选地，物体可以是可移动的，并且可以在任何给定的时间点移动或静止。

如图1C所示，成像设备可以将原始图像数据发送到图像编码器120以编码在经处理的图像数据122(例如，多个图像信号)中。图像编码器可以是由可移动物体承载的独立设备或可以是成像设备的部件。尽管没有示出，但是备选地，图像编码器可以在UAV之外，例如以保持UAV更紧凑和更轻。在一些实施例中，原始图像数据和对应的经处理的图像数据可以包括多个彩色图像，并且多个像素可以包括彩色像素。在其他实施例中，原始图像数据和对应的经处理的图像数据可以包括多个灰度图像，并且多个像素可以包括灰度像素。在一些实施例中，多个灰度图像中的每个像素可以具有归一化的灰度值。

编码器可以被配置为压缩数字信号以试图减小数据的大小，而对感知的图像质量没有显著的不利影响。数据压缩可以包括图像压缩和/或视频压缩。数据压缩可以包括使用比原始格式更少的比特来编码信息。数据压缩可以是有损或无损的。无损压缩可以通过识别并消除统计冗余来减少比特数。在无损压缩中没有信息丢失。有损压缩可通过识别某些信息并删除/截短它来减少比特。当可移动物体和控制终端之间的数据传输带宽有限时，这种数据压缩特别有利。数据压缩对于节约资源(例如数据存储空间)使用也是可取的。例如，JPEG图像压缩可以舍弃不必要的信息比特，以在保存信息和减小大小之间获得折衷。MPEG压缩可以进一步添加帧间编码，以利用运动序列中的连续帧的相似性。

压缩质量可以包括通过将范围值压缩成单个量值而获取的量化参数(QP)值。例如，可以使用QP值来减少图像中使用的颜色的数量。QP值也可用于减少来自图像数据的高频分量的信息。在一些情况下，较高的QP值可指示应用于图像数据的较高压缩率，这导致较大的数据损失，而较低的QP值可指示应用于图像数据的较低压缩率，这导致较小的数据损失。在压缩之后，使用较高QP值压缩的图像数据可以具有较低的分辨率、较低的亮度、较低的对比度、较少的细节色彩信息和/或丢失其他图像质量。另一方面，使用较低QP值压缩的图像数据可具有较高的分辨率、较高的图像亮度、较高的图像对比度、较多的细节色彩信息和/或其他增强的图像质量。也可以使用其他合适的压缩方法和算法。

原始图像数据和/或经处理的图像数据可以直接发送到控制终端，而不用存储在任何形式的介质中。在一些备选实施例中，在将图像数据发送到控制终端之前，可以将成像设备捕获的原始图像数据和/或由编码器压缩的经处理的图像数据存储在媒体存储器(未示出)中。媒体存储器也可以由可移动物体承载。媒体存储器可以是能够存储多个物体的图像数据的任何类型的存储介质。媒体存储器可以被提供为CD、DVD、蓝光盘、硬盘、磁带、闪存卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储器以及任何其他类型的存储介质中。作为另一示例，媒体存储器可以是网络服务器、企业服务器或任何其他类型的计算机服务器。可以对媒体存储器进行计算机编程，以接受来自控制终端处一个或多个设备的请求(例如，HTTP或可以发起数据传输的其他协议)，并且向控制终端提供所请求的图像数据。另外，媒体存储器可以是用于分发图像数据的广播设施，如免费广播、有线电视、卫星和其他广播设施。媒体存储器也可以是数据网络中的服务器(例如，云计算网络)。在一些实施例中，媒体存储器可以位于成像设备、图像编码器和/或可移动物体上。在一些实施例中，媒体存储器可以位于控制终端(诸如遥控器、地面站、服务器等)上。可以设想上述部件的任意排列或组合。

如图1C所示，经处理的图像数据可以从可移动物体侧上的通信接口130向控制终端侧上的通信接口140发送。在一些实施例中，成像设备、编码器和通信接口可以安装在可移动物体上或共同位于可移动物体(诸如能够在空中、陆地、水上或水体中行进的载运工具)上。载运工具的示例可以包括飞行器(例如，UAV、飞机、旋翼飞机、轻于空气的载运工具)、陆地载运工具(例如轿车、卡车、公共汽车、火车、漫游车、地铁)、水域载运工具(例如，船只、轮船、潜艇)或空基载运工具(例如，卫星、航天飞机、火箭)。可移动物体会能够在陆地上或地下、在水上或水中、在空中、在空间内或其任意组合中穿越。在一些实施例中，可移动物体可以是移动设备、手机或智能电话、个人数字助理(PDA)、计算机、膝上型计算机、平板电脑、媒体内容播放器、视频游戏站/系统、诸如虚拟现实耳机或头戴式设备(HMD)等可穿戴设备，或者能够捕获、提供或呈现图像数据和/或基于图像数据识别或跟踪目标物体的任何电子设备。可移动物体可以是自推进的，可以是静止的或移动的，并且可以随时间改变朝向(例如姿态)。

控制终端可以位于远离可移动物体的位置。例如，控制终端可以位于地面上。控制终端可以经由上行链路(例如无线链路)向可移动物体发送各种控制信号。无线链路可以包括RF(射频)链路、Wi-Fi链路、蓝牙链路、3G链路或LTE链路。无线链路可以用于长距离传输控制数据。例如，可以在等于或大于约5m、10m、15m、20m、25m、50m、100m、150m、200m、250m、300m、400m、500m、750m、1000m、1250m、1500m、1750m、2000m、2500m、3000m、3500m、4000m、4500m、5000m、6000m、7000m、8000m、9000m或10000m的距离上使用无线链路。通信接口可以是成像设备或成像编码器的部件。例如，成像设备和/或图像编码器可以包括一个或多个接收机。备选地或附加地，接收机可以位于可移动物体上。UAV与控制终端之间的通信带宽可以在约10K bps到1M bps的范围内。根据当前的通信带宽，可以使用如本文其他地方讨论的不同的图像数据压缩策略。例如，当通信带宽足够快以支持实时图像传输时，整个图像可以被均匀地压缩。然而，当通信带宽下降到一定水平时，可以切换到不同的图像压缩策略，所述策略中可以使用不同的速率来压缩不同的图像区域。

如图1C所示，在控制终端侧，可以使用图像解码器150来对由图像编码器处理的经处理的图像数据进行解压缩。可以在显示设备160上显示由图像解码器处理的图像以供观看者180观看。随着可移动物体上的成像设备拍摄一个或多个物体的更多图像，图像可以实时显示在显示器上。显示器可以是适于显示图像或视频的设备，例如LCD(液晶显示器)、CRT(阴极射线管)、OLED(有机发光二极管)或等离子体。显示器可以基于由图像处理器生成的图像数据来显示图像。在一些实施例中，显示器可以是成像系统的本地显示设备。在一些情况下，显示器可以设置在承载成像系统的可移动物体或静止物体上。在一些情况下，显示器可以设置在移动设备(诸如手机、PDA、平板电脑或控制器)上。备选地，显示器可以是远离成像系统的显示设备。在一些情况下，显示器可以是诸如智能电话、平板电脑、膝上型计算机或个人计算机等远程终端，其经由无线链路从成像系统接收图像数据。

由于可移动物体与控制终端之间的传输带宽有限，因此希望使用不同的压缩率来处理图像的不同区，使得观看者可以足够清楚地看到他或她的兴趣区。如图1C所示，ROI确定系统170与显示器耦接以确定观看者的ROI。ROI确定系统可以是独立系统，并且ROI确定系统可以以无线方式或经由有线连接(例如，经由USB)来与显示器连接。备选地，ROI确定系统可以是显示器的一个或多个部件。在其他实施例中，ROI确定系统和显示器可以设置在单个设备(例如如本文所讨论的移动设备)上。

图2是示出根据一些实施例的代表性兴趣区(ROI)确定系统的框图。ROI确定系统可以是被配置为跟踪用户的眼睛注视以确定用户的ROI的眼睛跟踪系统。ROI确定系统可以是被配置为识别用户的手指和/或触摸屏上的手掌触摸的手指触摸感测系统。备选地，ROI确定系统可以是被配置为跟踪用户身体的任何部分的运动以识别用户的ROI的运动跟踪系统。

ROI确定系统可以包括一个或多个处理器202、一个或多个网络接口204、存储器220，以及用于互连这些部件的一个或多个通信总线210。ROI确定系统还可以包括用户接口208。用户接口可以包括一个或多个输出设备207和/或一个或多个输入设备209。输出设备可以包括一个或多个扬声器和/或一个或多个视觉显示器。输入设备可以包括键盘、鼠标、语音命令输入单元或麦克风、传感器、触摸屏显示器、触敏输入板、相机、手势捕获相机或其他输入按钮或控件。传感器可以被配置为检测显示器上的ROI。例如，传感器可以包括视觉传感器、运动传感器、红外传感器和/或电容传感器。传感器可用于当在显示器上向用户显示一个或多个图像时收集用户的ROI数据。

存储器可以包括高速随机存取存储器，如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；以及可选地，包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或者一个或多个其他非易失性固态存储设备。可选地，存储器可以包括远离一个或多个处理器的一个或多个存储设备。存储器可以包括非暂时性计算机可读存储介质。在一些实施例中，存储器或存储器的非暂时性计算机可读存储介质可以存储以下程序、模块和数据结构，或其子集或超集：操作系统222、网络通信模块224、区划分模块226、数据接收模块228和ROI区识别模块230。在一些实施例中，操作系统可以包括处理各种基本系统服务和执行硬件相关任务的过程。网络通信模块可以用于经由一个或多个网络接口将ROI确定系统与其他计算设备(例如，显示设备160)连接。区划分模块可以被配置为将显示设备160上的显示区域划分成多个区。数据接收模块可以被配置为从传感器接收ROI的数据。ROI区识别模块可以被配置为从多个区中识别包括用户的ROI的一个或多个ROI区。ROI确定系统还可以包括ROI数据232。ROI数据可以包括与一个或多个用户账户相关联的ROI数据。例如，ROI数据可以包括与各个用户账户相关联的用户账户数据(例如，登录证书、用户简档数据等)以及眼睛跟踪校准数据。

图3A示出了根据实施例的用于确定用户的ROI的眼睛跟踪系统300。眼睛跟踪系统被图示为参照图1和图2所讨论的ROI确定系统的示例。眼睛跟踪系统可以包括但不限于相机312和一个或多个处理器314。相机可以被放置以捕获至少一只用户眼睛的移动。例如，相机可以位于显示设备附近、附接至显示设备，或与显示设备分离。眼睛跟踪系统可以与显示设备160可耦接，如本文其他地方所讨论的。当用户正在观看在显示区域162中显示的一个或多个图像时，所述显示区域可以在用户的眼睛上产生角膜反射332。用户的眼睛注视可以通过跟踪瞳孔334的中心位置来确定。眼睛跟踪系统的相机可以用于收集与用户的至少一只眼睛的移动相关的数据。当用户正观看显示器上的不同区域时，瞳孔中心改变，而角膜反射可以用作眼睛注视估计的参考点。因此，眼睛注视位置可以基于瞳孔中心与屏幕反射之间的相对位置来确定，所述屏幕反射与用户的对应眼睛上反射的显示区域相对应。例如，通过测量瞳孔中心与角膜反射之间的矢量336，可以确定用户的眼睛注视。当用户移动他/她的头部时，角膜反射的位置可能改变。因此，眼睛跟踪系统可以进一步跟踪用户的头部移动以确定用户眼睛上的屏幕反射的位置信息。在一些实施例中，眼睛跟踪系统可能不需要跟踪用户的头部移动来确定屏幕反射在用户眼睛上的位置信息。例如，当显示设备是一副VR眼镜或AR眼镜时，随着用户的眼睛在显示器上的不同区域之间聚焦(即使在用户没有移动他或她的头部时)，眼睛跟踪系统可以通过跟踪用户的眼睛注视移动来确定用户眼睛上的屏幕反射的位置信息。

在一些实施例中，在执行用户的眼睛跟踪之前，使用眼睛跟踪系统来执行用户的校准过程，以确定角膜反射与瞳孔位置之间的关系。例如，在校准期间，可能需要用户观看显示屏上的某些预定位置，并且可以通过相机和一个或多个处理器来收集角膜反射的位置数据和瞳孔的中心。在一些实施例中，角膜反射与瞳孔位置之间的这种关系可以是用户特定的。在校准之后，眼睛跟踪系统可以跟踪用户的至少一只眼睛上的屏幕反射的位置以及用户的对应瞳孔的位置。眼睛跟踪系统然后可以使用从校准过程中确定的关系来推断显示区域内的眼睛注视位置。

如图3A所示，当用户正在观看显示设备160的显示区域162上所示的一个或多个图像时，可以使用眼睛跟踪系统来确定眼睛注视点320。眼睛注视点可以与用户的眼睛(例如，左眼或右眼)相关联。显示区域可以在屏幕上。眼睛注视点可以基于显示区域(或屏幕)在用户眼睛上的角膜反射332来确定。显示区域可以设置在发光二极管(LED)屏幕、OLED屏幕、液晶显示器(LCD)屏幕、等离子体屏幕或任何其他类型的屏幕上。显示区域可以被配置为显示图形用户界面(GUI)。GUI可以显示一个或多个图像。在一些情况下，所述一个或多个图像可以描绘虚拟现实(VR)环境或增强现实(AR)环境。在一些实施例中，所述一个或多个图像可以是如本文其他地方所讨论的由可移动物体捕获的实时图像。显示区域可以包括二维像素阵列。每个像素可以具有一组像素坐标。眼睛注视点的位置可以被确定为在显示区域上具有一组二维坐标。备选地或附加地，眼睛注视点的位置可被确定为对应于在显示器上显示的图像的像素坐标。ROI数据可以与从多个坐标(例如，显示区域上的2D坐标或像素坐标)中选择的一组或更多组坐标相关联。

可以基于眼睛注视点来确定ROI 321。例如，可以将ROI定义为以估计的眼睛注视点为中心、具有特定形状和大小的区域。例如，ROI可以是圆形、矩形、正方形、三角形、其他多边形或任何其他合适的形状。ROI可以包括连续或不连续的区。ROI的大小可以由用户或系统预先确定。例如，ROI可以由用户预先确定为具有特定半径的圆形区域。在一些实施例中，可以将紧邻ROI之外的区域322确定为过渡区域。过渡区域的大小和形状也可以由用户或系统预先确定。显示区域324的其余部分可以被确定为非ROI区域。在一些实施例中，在ROI与非ROI之间可能存在多于一个区域，以提供从ROI到非ROI区域的平滑过渡。在一些实施例中，眼睛跟踪系统可以具有至少25Hz、50Hz、75Hz、100Hz、250Hz、500Hz、750Hz、1000Hz、1250Hz、1500Hz、1750Hz、和2000Hz的采样频率。可以在用户正在观看显示器上的图像的任何时候调整眼睛跟踪系统的采样频率。

图3B和3C示出了通过跟踪用户的至少一只眼睛的移动来确定用户的眼睛注视点320。可以使用例如图3A中的眼睛跟踪系统300的相机312来跟踪用户的眼睛移动。当用户正在观看显示区域中的不同区域时，瞳孔334的中心改变，而角膜反射332可以被用作眼睛注视估计的参考点。因此，眼睛注视位置可以基于瞳孔中心与屏幕反射之间的相对位置来确定，所述屏幕反射与在用户的对应眼睛上反射的显示区域相对应。例如，通过测量瞳孔中心与角膜反射之间的矢量336，可以确定用户的眼睛注视。

图3B示出了当用户观看显示区域的中心部分、左部分或右部分时在矢量336和显示区域162上的坐标(x，y)之间的相关性。参考图3B的部分A，用户可能正在观看显示区域的中心。眼睛跟踪系统的相机可以捕获用户眼睛的第一图像。可以从第一图像中获取瞳孔中心与角膜反射之间的矢量336-C。矢量336-C可以与位于显示区域中心的眼睛注视点320-1的一组坐标(x1，y1)相关联。参考图3B的部分B，用户可能正在观看显示区域的左部分，并且眼睛的瞳孔可以向左移动。眼睛跟踪系统的相机可以捕获用户眼睛的第二图像。可以从第二图像中获取瞳孔中心与角膜反射之间的矢量336-L。矢量336-L可以与位于显示区域的左部分的眼睛注视点320-2的一组坐标(x2，y2)相关联。参考图3B的部分C，用户可能正在观看显示区域的右部分，并且眼睛的瞳孔可以向右移动。眼睛跟踪系统的相机可以捕获用户眼睛的第三图像。可以从第三图像中获取瞳孔中心与角膜反射之间的矢量336-R。矢量336-R可以与位于显示区域的右部分的眼睛注视点320-3的一组坐标(x3，y3)相关联。

图3C示出了当用户观看显示区域的中心部分、顶部部分或底部部分时在矢量336和显示区域162上的坐标(x，y)之间的相关性。图3C的部分A与图3B的部分A类似之处在于用户正在观看显示区域的中心。参考图3C的部分B，用户可能正在观看显示区域的顶部部分，并且眼睛的瞳孔可以移动到顶部。眼睛跟踪系统的相机可以捕获用户眼睛的第四图像。可以从第四图像中获取瞳孔中心与角膜反射之间的矢量336-T。矢量336-T可以与位于显示区域的顶部部分的眼睛注视点320-4的一组坐标(x4，y4)相关联。参考图3C的部分C，用户可能正在观看显示区域的底部部分，并且眼睛的瞳孔可以移动到底部。眼睛跟踪系统的相机可以捕获用户眼睛的第五图像。可以从第五图像中获取瞳孔中心与角膜反射之间的矢量336-B。矢量336-B可以与位于显示区域的底部部分的眼睛注视点320-5的一组坐标(x5，y5)相关联。

因此，通过基于由眼睛跟踪系统的相机捕获的图像来测量矢量336，可以获取显示区域162上的眼睛注视点320的坐标。用户眼睛的移动将导致矢量336的改变和眼睛注视点320的位置的相应改变，由此指示用户的ROI的改变。

图4示出了根据实施例的用于确定用户的ROI的触摸屏400。如这里所讨论的，显示器可以用作用于接收用户的ROI的输入设备。例如，显示器可以是触摸屏，并且电容传感器可以用于感测用户在显示器上的触摸。例如，可以在触摸屏上显示由可移动物体实时捕获的图像，并且用户可以使用在屏幕上的手指触摸来指示他或她的ROI。例如，用户可以用手指点击显示在显示器内的点、部分或物体。然后可以将ROI 410确定为以用户的点击点为中心的区域。例如，ROI可以是圆形、矩形、正方形、三角形、其他多边形或任何其他合适的形状。ROI可以在显示区域中具有多个区域，并且ROI的多个区域可以是连续的或不连续的。ROI的大小可以由用户或系统预先确定。例如，ROI可以由用户预先确定为具有特定半径的圆形区域。在一些实施例中，可以将紧邻ROI之外的区420确定为过渡区域。过渡区域的大小和形状也可以由用户或系统预先确定。显示区域430的其余部分可以被确定为非ROI区域。

备选地或附加地，用户可以使用诸如鼠标、键盘、操纵杆、轨迹球、触摸板或麦克风之类的任何用户交互设备来与显示器进行交互，以在显示器上指示ROI。备选地或附加地，可以从用户的运动(例如，用户指向显示器上的特定位置)中检测到ROI。例如，ROI确定系统可以包括用于检测用户的运动的运动传感器。备选地，用户可以穿戴配备有运动传感器的小配件，并且运动传感器可以收集与用户的运动有关的数据。

可以在如图1B所示的控制终端和可移动物体之间的即时图像传输期间实时动态地识别ROI。由于当前图像或视频帧的ROI可以基于观看者对一个或多个之前的图像或视频帧的关注，因此在基于用户的ROI的图像处理和显示中可能存在时间滞后。如果可移动物体和控制终端之间的压缩图像数据和/或ROI数据的传输是经由有限的带宽进行的，则所述时间滞后可能变得显著。因此，需要使用不同的压缩率来压缩图像的ROI和非ROI，以减小文件大小并节约带宽和其他资源。此外，由于用户的眼睛注视可以不断变化，因此平滑地显示基于动态眼睛跟踪而处理的图像可能是具有挑战性的。例如，当用户正在观看基于动态眼睛注视跟踪而处理的视频时，用户的ROI的改变会导致图像质量的突然改变。因此，期望一种基于动态眼睛跟踪来提供图像质量的平滑过渡的方法。

图5A-5C和图6示出根据一些实施例的用于划分显示区域的示例性方法。在一些实施例中，这里讨论的ROI确定系统的区划分模块被配置为使用网格图案将显示器的显示区域划分成多个区。例如，如图5A-5C所示，可以提供五个区域(例如，区域1-5)来划分显示区域，其中多个区域中的至少两个区域至少部分地重叠。例如，区域1可以位于显示区域的中心，区域2、3、4和5可以位于显示区域的左上、右下、左下和右上。各个区域的大小和形状可以由用户或系统预先确定。各个区域的大小和形状可以彼此相同或不同。在一些实施例中，多个区域中的单个区域与多个区域中的其余区域至少部分重叠。相邻区域之间的重叠可以为用户的眼睛注视跟踪和图像处理提供平滑过渡。在一些实施例中，ROI确定系统的区划分模块可以提供任何其他合适的图案来划分显示区域。例如，多个区域可以不彼此重叠。在一些实施例中，当不同类型的图像被捕获和显示时，区划分模块可以选择并切换成不同图案来划分显示区域。例如，具有较大尺寸区域的网格图案可以用于山/河/海场景；而具有较小尺寸区域的网格图案可以用于城市视图，其中图像可以包括更拥挤的物体。这里讨论的用于划分显示区域的区域也可以被称为区、地区、部分、部、像素组、像素集合或者任何其他合适的术语。

图5A-5C所示的多个区域组合起来可以将显示区域划分成多个区，如图6所示。本文讨论的区也可以被称为区域、地区、部分、部、像素组、像素集合或者任何其它合适的术语。各个区的尺寸和形状可以彼此相同，也可以不同。本文讨论的ROI确定系统的数据接收模块可以接收由ROI确定系统的传感器收集的ROI数据。ROI区识别模块然后可以基于ROI数据来识别来自多个区的一个或多个ROI区。在一些实施例中，在显示区域中，可以用所述一个或多个ROI区各自的位置信息来识别所述一个或多个ROI区。例如，可以使用显示区域中的2D坐标、或显示区域中显示的图像的像素坐标来表示所识别的一个或多个ROI区。在一些备选实施例中，用于划分显示区域的多个区可以被预先分配有各自的标识符，如字母、数字、字符等，并且可以使用相应的预分配的标识符来表示所识别的一个或多个ROI区。

为了避免跨ROI边界的图像质量的突然变化，并基于动态眼睛跟踪提供平滑图像，图6的多个区还可以分组为：第I组(中)-区A；第II组(左上)-区P和G；第III组(右上)-区H和Q；第IV组(左下)-区F和O；第V组(右下)-区I和N；第VI组(中左)-区B和K；第VII组(中右)-区D和M；第VIII组(中上)-区C和L；以及第IX组(中下)-区E和J。在一些实施例中，当ROI被识别为落入特定区内时，相应的组(即，包括一个或多个区)可被识别为用户的ROI。这可以避免使用太小的区域来识别用户的ROI。

在一些示例中，当用户的ROI被确定为位于区A中时，区A被确定为用户的ROI。相邻区(例如区BFEIDHCG)被确定为过渡区域或平滑区域。显示区域的其余部分(例如区JOKPLQMN)被确定为非ROI。

在另一些示例中，当用户的ROI被确定为位于区B或区K中时，组VI或区BK被识别为用户的ROI。相邻区(例如区PGLCAEJFO)被确定为过渡区域或平滑区域。显示区域的其余部分(例如区HDIQMN)被确定为非ROI。

在一些其他示例中，当确定用户的ROI位于区E或区J中时，显示区域的下部部分(即区OFEJIN)被识别为用户的ROI。显示区域的中间部分(即区KBADM)被识别为过渡区域或平滑区域。显示区域的其余部分(即区PGLCHQ)被识别为非ROI。在这种情况下，当用户的眼睛注视在一定范围内变化时，ROI可能不会被识别为突然变化，并且基于ROI处理的图像可能没有突然的质量变化。

在又一些示例中，当用户的ROI被确定为位于区F或区O中时，区FO被识别为用户的ROI。区KBAEJ可以被确定为过渡区域或平滑区域。显示区域的其余部分(即区PGCLHQDMIN)可被识别为非ROI。

在一些实施例中，ROI确定系统还可以将在第一采样点处识别的一个或多个ROI区与在第一采样点之前的第二采样点处识别的一个或多个ROI区进行比较。当第一采样点处的一个或多个ROI区与第二采样点处的一个或多个ROI区不同时，ROI确定系统可以发送第二采样点处的一个或多个ROI区的ROI数据。当第一采样点处的一个或多个ROI区与第二采样点处的一个或多个ROI区相同或具有重叠区域时，ROI确定系统可以跳过在第二个采样点处的一个或多个ROI区的ROI数据的发送。系统可以继续使用在第一采样点处的一个或多个ROI区的ROI数据。

返回参考图1B，在ROI确定系统确定ROI数据172之后，ROI确定系统可以将ROI数据发送到图像解码器和/或通信接口。通信接口可以向可移动物体发送ROI数据。如本文所讨论的，ROI数据可以包括位置数据(例如，坐标)或向可移动物体预先分配的一个或多个识别的ROI区的标识符。

如图1B所示，图像编码器(例如，图像编码器的ROI数据获取模块)可以获取用户的ROI数据。当在显示区域中显示一个或多个图像时，可以获取ROI数据。如本文所讨论的，ROI数据可以包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择，如图6所示。图像编码器(例如，图像数据获取模块)也可以获取由成像传感器捕获的原始图像数据。图像编码器(例如，图像处理模块)然后可以基于ROI数据来处理所述原始图像数据以获取经处理的图像数据。经处理的图像数据可以包括：(1)以第一压缩率压缩基于ROI数据选择的第一组图像数据；以及(2)以比第一压缩率高的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。在一些实施例中，ROI还可以包括一个或多个过渡区，并且经处理的图像数据还可以包括与所述一个或多个ROI区相邻并围绕所述一个或多个ROI区的一个或多个中间区(例如，过渡区)。图像编码器还可以以高于第一压缩率且低于第二压缩率的第三压缩率对基于所述一个或多个中间区选择的第三组图像数据进行压缩。

图7示出了根据一些实施例的用于基于ROI数据显示经处理的图像或视频帧的示例。所述一个或多个图像或视频可以由可移动物体承载的成像设备实时捕获。在一些实施例中，网格图案可以被显示以覆盖在显示区域中显示的一个或多个图像。当在显示区域中显示所述一个或多个图像时，可以由控制终端处的ROI确定系统来识别用户的ROI。在一些示例中，当用户的ROI被识别为在区B或区K中时(例如，通过眼睛跟踪或手指触摸)，如本文所讨论的，区BK可以被识别为用户ROI。区PGLCAEJFO可以被识别为过渡区域或平滑区域。区HDIQMN可以被识别为非ROI。

ROI确定系统可以将这些ROI数据发送到可移动物体(例如，经由图像解码器或通信接口)。由可移动物体承载的图像编码器可以获取ROI数据并基于ROI数据处理原始图像数据。例如，可以使用不同的压缩率来压缩图像的不同部分。可以使用较低的QP值对与ROI相对应的图像数据(例如，区BK中的图像数据)进行压缩，从而可以在数据压缩期间获取最小数据损失。可以使用中间的QP值对与过渡区域相对应的图像数据(例如区PGLCAEJFO中的图像数据)进行压缩。可以使用较高的QP值对与非ROI相对应的图像数据(例如，区HDIQMN中的图像数据)进行压缩，从而可以在数据压缩期间获取最大数据损失。因此在数据压缩之后，可以获取减小的文件大小，并且可以在ROI区中保持高图像质量。在一些实施例中，

经压缩的图像数据122可以(例如经由通信接口)从图像编码器发送到控制终端处的图像解码器。图像解码器可以解压缩图像数据，并且图像152可以被发送到显示器。如图7所示，与ROI相对应的区域(例如，区BK)可以具有最高的图像质量，非ROI(例如HDIQMN)可以具有最低的图像质量，并且过渡区域(例如，PGLCAEJFO)可以具有中间图像质量。备选地或附加地，图像编码器可以处理ROI区中的图像数据，以具有比非ROI区中的图像数据增强的对比度、亮度、饱和度、锐度、色调和/或其它图像质量。

在一些实施例中，ROI数据可以被发送到由可移动物体承载的成像设备。成像设备(例如，成像传感器调整模块)可以基于ROI数据来调整成像设备的一个或多个参数。在一些实施例中，可以使用ROI数据来调整一个或多个参数，所述参数包括但不限于景深、光圈、快门速度、变焦、成像传感器的位置、聚焦区域和帧速率。成像设备可以基于ROI数据来捕获一个或多个后续图像。

图8示出了根据一些实施例的用于基于ROI数据显示经处理的图像或视频帧的另一示例。所显示的图像也可以由成像设备基于ROI数据来捕获。例如，ROI数据可以包括在区A中识别的ROI、位于区GCHDIEFB中的过渡区，以及位于区JOKPLQMN中的非ROI。成像设备可以选择与要捕获的单个后续图像的区A相对应的像素组。例如，如图8所示，成像设备可以调整其焦点区域以聚焦在位于区A中的房屋。备选地或附加地，成像设备可以检测区A中的房屋的光线条件和/或配置。还可以基于在区A中检测到的光线条件和/或物体配置来自动调整成像设备的一个或多个参数。例如，可以调整成像传感器的位置，使得房屋位于图像的中心。

ROI数据也可以被发送到成像设备，并且成像设备可以基于ROI数据来调整成像设备的一个或多个参数。在如图9所示的示例中，成像设备可以只放大图像的区A。显示区域的其余部分(例如中间区)和非ROI可被显示为背景信息。区A中的图像数据可以被显示为叠加或覆盖其他区中的图像数据，如图9所示。例如，成像设备可以放大从而以更高的频率(例如，至少50Hz)捕获与区A相对应的图像数据。成像设备可以缩小从而以较低频率(例如，至多10Hz)捕获整个区域。

成像设备可以将原始图像数据发送到图像编码器，并且图像编码器可以以不同频率压缩图像数据。例如，与ROI(例如，图9中的区A)相对应的图像数据可以以第一处理频率进行压缩/处理，并且与显示区域的其他区域相对应的图像数据可以以低于第一处理频率的第二处理频率进行压缩/处理。图像编码器还可以压缩与ROI相对应的图像数据，以具有增强的图像质量，如本文其他地方所讨论的。压缩的图像数据可以被发送到控制终端以便解压缩和显示。有利的是，可以以较高的更新频率保持ROI区中的图像数据，而可以以较低的速率偶尔更新一次其他区中的图像数据。这可以节约数据传输带宽，同时保持将ROI图像以足够的图像质量和更新频率发送给用户。

可以根据前述实施例中的一个或多个来提供用于显示图像数据的方法。所述方法可以包括：在显示设备的显示区域上显示虚拟现实(VR)环境或增强现实(AR)环境的一个或多个图像。所述方法还可以包括：当用户正穿戴显示设备并观看在显示区域上显示的VR环境或AR环境的一个或多个图像时，获取用户的兴趣区(ROI)数据。所述方法还可以包括：(1)基于ROI数据从用于划分显示区域的多个区中选择一个或多个ROI区，以及(2)在所述显示区域上向用户增强显示所述一个或多个ROI区。

显示设备可以包括一副具有VR功能的眼镜或具有AR功能的眼镜。显示区域可以是包括多个像素的屏幕。显示区域可以包括多个坐标。ROI数据可以与从多个坐标中选择的一组或多组坐标相关联。

当ROI数据指示用户的ROI处于所述一个或多个ROI区内时，可以从显示区域上的多个区中选择所述一个或多个ROI区。用户的ROI可以与用户的眼睛注视位置相关联。当用户正在观看在显示区域上显示的VR环境或AR环境的一个或多个图像时，可以由一个或多个传感器检测眼睛注视位置。

所述一个或多个传感器可以包括在眼睛跟踪系统中，眼睛跟踪系统被配置为收集与用户的至少一只眼睛的移动有关的数据。眼睛跟踪系统可以被配置为基于用户的瞳孔与屏幕反射之间的相对位置来确定用户的眼睛注视位置，所述屏幕反射对应于在用户的对应眼睛上反射的显示区域。眼睛跟踪系统可以被配置为：(1)跟踪所述用户的至少一只眼睛上的所述屏幕反射的位置和所述用户的对应瞳孔的位置，以及(2)使用所述屏幕反射的位置和所述瞳孔的位置之间的预定关系，推断所述显示区域内的眼睛注视位置。

眼睛跟踪系统可以被配置为：执行所述用户的校准过程，以确定所述屏幕反射的位置与所述瞳孔的位置之间的关系。眼睛跟踪系统可以被配置为：跟踪所述用户的头部移动以确定所述屏幕反射在所述用户的所述至少一只眼睛上的位置信息。

在一些实施例中，所述多个区可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像而显示。在一些实施例中，可以在显示区域上显示包括多个区的网格图案。网格图案可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像而显示。

在一些实施例中，所述多个区中的至少两个区可以至少部分地彼此重叠。所述多个区中的单个区可以与所述多个区中的其余区至少部分重叠。

在一些实施例中，显示设备中的一个或多个处理器可以单独地或共同地被配置为：(1)当所述用户的ROI在第一ROI区内时，在所述显示区域上增强显示第一ROI区；以及(2)当用户的ROI从第一ROI区切换到第二ROI区时，在显示区域上增强显示第二ROI区，其中第二ROI区不同于第一ROI区。第一ROI区和第二ROI区可以位于显示区域的不同部分上。第一ROI区和第二ROI区可以具有不同的尺寸和/或形状。

第一ROI区中的第一组图像数据可以不同于第二ROI区中的第二组图像数据。在一些实施例中，所述第一组图像数据和所述第二组图像数据可以由所述显示区域上的所述VR环境或AR环境内的同一图像提供。在其他实施例中，所述第一组图像数据和所述第二组图像数据可以由所述显示区域上的所述VR环境或AR环境内的不同图像提供。第一组图像数据可以与VR环境或AR环境的第一图像相关联，并且第二组图像数据可以与VR环境或AR环境的第二图像相关联。

在一些实施例中，在显示区域上增强显示所述一个或多个ROI区可以包括：改变所述一个或多个ROI区的放大率和/或分辨率。例如，来自所述一个或多个ROI区的图像数据与来自一个或多个非ROI区的图像数据相比可以以更高的放大率和/或分辨率显示。来自一个或多个ROI区的图像数据可以被转换为第一组图像，并且来自一个或多个非ROI区的图像数据可以被转换为第二组图像。可以显示第一组图像以叠加或覆盖显示区域上的第二组图像。

在一些实施例中，来自所述一个或多个ROI区的图像数据可以以第一压缩率压缩，并且来自所述一个或多个非ROI区的图像数据可以以不同于所述第一压缩率的第二压缩率压缩。例如，第一压缩率可以低于所述第二压缩率，使得所述一个或多个ROI区中的第一组图像以比所述一个或多个非ROI区中的第二组图像更高的质量显示。在一些情况下，所述一个或多个ROI区中的第一组图像可以以比所述一个或多个非ROI区中的第二组图像更高的频率在显示区域上更新。

在一些实施例中，所述一个或多个ROI区中的第一组图像可以被配置为占据显示区域的中心区，并且所述一个或多个非ROI区中的第二组图像可以被配置为占据显示区域的周边区。

在一些实施例中，可以由可移动物体承载的成像传感器捕获一个或多个图像。所述可移动物体可以为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。显示设备可以位于远离可移动物体的位置。

一个或多个捕获的图像可以与多个区融合在一起，以生成在显示区域上显示的VR环境或AR环境的一个或多个图像。所述ROI数据可以经由一个或多个有线和/或无线通信信道被发送到成像传感器。可以基于所述ROI数据调整成像传感器的一个或多个操作参数。成像传感器的一个或多个操作参数包括：景深、光圈大小、快门速度、变焦、聚焦区域、帧速率和/或所述成像传感器相对于可移动物体的位置。可以调整成像传感器的一个或多个操作参数，以便在显示区域上向用户增强显示一个或多个ROI区。

在一些实施例中，图形元素可以覆盖在显示区域上显示的VR环境或AR环境的一个或多个图像上。图形元素可以指示可移动物体的一个或多个运动特性。可移动物体的一个或多个运动特性可以包括可移动物体的位置、速度、加速度和/或朝向。图形元素可以指示空间环境信息。空间环境信息可以包括可移动物体与另一物体所处的物理环境内所述可移动物体与所述另一物体之间的相对距离和/或朝向。在一些情况下，图形元素可以被配置为：随着所述可移动物体相对于所述另一物体的位置和/或朝向在所述物理环境内改变而在所述显示区域上动态改变。

本文描述的系统、设备和方法可以应用于各种各样的物体，包括可移动物体和静止物体。如前所述，本文对飞机器(诸如UAV)的任何描述可以适用于和用于任何可移动物体。本文对飞行器的任何描述都可以专门适用于UAV。本发明的可移动物体可以配置为在任何合适的环境中移动，例如在空气中(例如，固定翼飞行器，旋转翼飞行器，或者没有固定翼或旋转翼的飞行器)，在水中(例如船舶或潜艇)，在地面上(例如汽车，诸如轿车、卡车、巴士、面包车、摩托车、自行车；可移动结构或框架，如棒、钓竿；或火车)，在地下(例如地铁)，在空间中(例如太空飞机、卫星或探测器)或这些环境的任意组合。可移动物体可以是运载工具，诸如本文别处描述的运载工具。在一些实施例中，可移动物体可以由活体(诸如人或动物)携带，或者从活体取走。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。

可移动物体会能够相对于六个自由度(例如三个平移自由度和三个旋转自由度)在环境内自由移动。备选地，可移动物体的移动可以相对于一个或多个自由度(例如通过预定的路径、轨道或朝向)进行限制。所述移动可由任何合适的驱动机构(例如发动机或电机)来驱动。可移动物体的驱动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自推进，如本文其他地方所述。推进系统可以可选地在能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)上操作。备选地，可移动物体可以由生物体承载。

在一些情况下，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如飞机、滑翔机)、旋转翼飞机(例如直升机、旋翼飞机)、具有固定翼和旋转翼的飞机，或没有固定翼和旋转翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，比如通过空气自推进。自推进飞行器可以利用推进系统，例如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的动力系统。在某些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。

可移动物体可以由用户遥控，或者由乘员在可移动物体内或可移动物体上对可移动物体进行局部控制。可移动物体可以通过单独载运工具内的乘员来进行遥控。在一些实施例中，可移动物体是诸如UAV的无人可移动物体。诸如UAV的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。

可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在运载工具内或运载工具上有人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在运载工具内部或运载工具上有人类乘员的大小和/或尺寸。可移动物体的大小和/或尺寸可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或尺寸。

图10示出了根据本发明的实施例的无人机(UAV)1000。UAV可以是如本文所述的可移动物体的示例，可以向其应用对电池组件进行放电的方法和装置。UAV 1000可以包括具有四个旋翼1002、1004、1006和1008的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。无人机的旋翼、旋翼组件或其他推进系统可以使得无人机能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度1010。例如，长度1010可以小于或等于2m、或小于等于5m。在一些实施例中，长度1010可以在40cm至1m、10cm至2m，或5cm至5m的范围内。本文UAV的任何描述可以应用于可移动物体，例如不同类型的可移动物体，并且反之亦然。UAV可以使用如本文所述的辅助起飞系统或方法。

在一些实施例中，可移动物体可被配置为承载负载。负载可以包括乘客、货物、装备、仪器等中的一个或多个。负载可以设置在外壳内。所述外壳可以与可移动物体的外壳分离，或者作为可移动物体的外壳的一部分。备选地，负载可以设置有外壳，而可移动物体不具有外壳。备选地，负载的部分或整个负载可以设置为没有外壳。负载可以相对于可移动物体刚性地固定。可选地，负载可相对于可移动物体移动(例如，相对于可移动物体可平移或可旋转)。负载可以包括负载和/或载体，如本文其他地方所描述的。

在一些实施例中，可移动物体、载体和负载相对于固定参考系(例如，周围环境)和/或彼此的移动可由终端控制。终端可以是远离可移动物体、载体和/或负载的遥控设备。终端可以放置在或固定在支撑平台上。备选地，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括诸如键盘、鼠标、操纵杆、触摸屏或显示器之类的用户界面。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。

终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于固定参考系和/或彼此的位置和/或朝向。在一些实施例中，终端可用于控制可移动物体、载体和/或负载的各个元件，例如载体的驱动组件、负载的传感器或负载的发射器。终端可以包括适于与可移动物体、载体或负载中的一个或多个通信的无线通信设备。

终端可以包括用于观看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可以被配置为显示可移动物体、载体和/或负载的关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合方面的信息。在一些实施例中，终端可以显示由负载提供的信息，例如由功能型负载提供的数据(例如，由相机或其他图像捕获设备记录的图像)。

可选地，相同的终端可以控制可移动物体、载体和/或负载，或可移动物体、载体和/或负载的状态，以及接收和/或显示来自可移动物体、载体和/或负载的信息。例如，终端可以在显示由负载捕获的显示图像数据或关于负载的位置信息的同时，控制负载相对于环境的定位。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由负载捕获的图像数据。在可移动物体和用于控制可移动物体并接收数据的集成终端之间，或者在可移动物体与用于控制可移动物体并接收数据的多个终端之间，可以使用各种通信模式。例如，在可移动物体和用于控制可移动物体并从可移动物体接收数据的终端之间，可以形成至少两种不同的通信模式。

在一些实施例中，UAV可以包括一个或多个视觉传感器，在本文中也被称为“成像设备”。虽然在本文中将许多实施例描述为具有与UAV耦接的一个成像设备，但是将理解的是，可以将任意数量的成像设备(诸如一个，两个，三个，四个，五个或更多个成像设备)与UAV耦接。成像设备可以被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，并且基于检测到的电磁辐射生成图像数据。例如，成像设备可以包括响应于光的波长而产生电信号的电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。所产生的电信号可以被处理以产生图像数据。由成像设备生成的图像数据可以包括一个或多个图像，其可以是静态图像(例如照片)、动态图像(例如视频)，或其适合的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。

在一些实施例中，成像设备可以是相机。相机可以是捕获动态图像数据(例如，视频)的电影或视频摄像机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以是双目相机。本文使用的双目相机可以指立体或立体视觉相机。立体相机可以包括两个摄像头。相机可以是单目相机。尽管在此提供的某些实施例是在相机的上下文中描述的，但是应所述理解，本公开可以应用于任何合适的成像设备。本文涉及相机的任何描述也可以应用于任何合适的成像设备或其他类型的成像设备。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。相机生成的图像可以表示3D场景在2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。相机可以包括光学元件(例如，镜头、镜子、滤镜等)。相机可以捕获彩色图像、灰度图像、红外图像等。

成像设备可以具有可调参数。在不同的参数下，在受到相同的外部条件(例如，位置、照明)时成像设备会捕获不同的图像。可调参数可包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、伽玛、兴趣区、合并/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像设备中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度。对曝光和增益的参数控制可以被统一考虑并且在本文中被称为EXPO。

成像设备可以以特定的图像分辨率来捕获图像或图像序列。在一些实施例中，图像分辨率可以由图像中的像素的数量来定义。在一些实施例中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。相机可以是4K相机或具有更高分辨率的相机。

成像设备可以具有可调参数。在不同的参数下，在受到相同的外部条件(例如，位置、照明)时成像设备会捕获不同的图像。可调参数可包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、伽玛、兴趣区、合并/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像设备中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度。对曝光和增益的参数控制可以被统一考虑并且在本文中被称为EXPO。

成像设备可以各自具有视场。成像设备的视场可以是成像设备可检测(例如，可见)的环境范围。视场可以与视角有关，可以通过由成像设备成像的给定场景的角度范围来测量视角。成像设备的视角可以小于或约为360°、300°、240°、180°、150°、120°、90°、60°、30°、20°或10°的角度。视场可以通过成像设备与可移动物体的相对方向来描述。例如，视场可以相对于可移动物体(例如，UAV)垂直、水平、向上、向下、侧向等定向。成像设备可以各自具有光轴。也可以被称为“主轴”的成像设备的光轴可以是成像设备中沿其具有一定程度的旋转对称性的线。在一些实施例中，成像设备的光轴穿过成像设备的光学部件(例如，镜头、光传感器)的中心。

本公开的成像设备可以位于可移动物体的任何合适的部分上，诸如在可移动物体的上方、下方、侧面或本体内。一些成像设备可以与UAV机械地连接，使得可移动物体的空间布置和/或运动对应于成像设备的空间布置和/或运动。成像设备可以经由刚性连接件与可移动物体连接，使得成像设备不会相对于其所附接的可移动物体的部分移动。备选地，成像设备与可移动物体之间的耦接可允许成像设备相对于可移动物体的移动(例如，相对于UAV的平移或旋转移动)。例如，成像设备和可移动物体之间经由载体(诸如云台)的连接可允许成像设备相对于可移动物体的移动。成像设备相对于可移动物体的移动可以是平移的(例如，垂直的、水平的)和/或旋转的(例如，绕俯仰轴、航向轴和/或横滚轴)。成像设备相对于可移动物体的移动可以是预定的或已知的量。一个或多个传感器可以检测成像设备相对于载运工具的移动。成像设备相对于可移动物体的移动可以通过用户输入、自主地或半自主地进行遥控。连接件可以是永久性连接件或非永久性(例如可拆卸的)连接件。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如螺钉、钉子、销钉等)。可选地，成像设备可以与可移动物体的一部分一体地形成。此外，成像设备可以与可移动物体的一部分(例如，处理单元、控制系统、数据存储器)进行电耦接，以使得由成像设备收集的数据能够用于UAV的各种功能(例如，导航、控制、推进、与用户或其他设备的通信等)，如本文讨论的实施例。成像设备可以与UAV的一部分(例如，处理单元、控制系统、数据存储器)可耦接。

成像设备可以捕获一个或多个图像。成像设备可以捕获两个或更多个图像序列。例如，成像设备可以捕获约2、3、4、5、10、15、20、25、50、100、150、200或更多图像的序列。成像设备可以以特定的捕获速率捕获图像序列。在一些实施例中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕获图像序列。在一些实施例中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕获图像序列。在一些实施例中，捕获速率可以根据用户输入和/或外部条件(例如雨、雪、风、捕获的环境的纹理)而改变。

图11示出了根据本发明实施例的包括载体1102和负载1104的可移动物体1100。虽然可移动物体1100被描绘为飞行器，但是所述描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在某些实例中，负载1104可以设置在可移动物体1100上，而不需要载体1102。可移动物体1100可以包括推进机构1106、感测系统1108和通信系统1110。

如前所述，推进机构1106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或多个、两个或更多个、三个或更多个，或四个或更多个推进机构。全部推进机构可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。推进机构1106可以使用诸如本文别处所述的诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体1100上。推进机构1106可以安装在可移动物体1100的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。

在一些实施例中，推进机构1106可以使可移动物体1300能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体1100的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1106可以可操作地允许可移动物体1100以特定位置和/或朝向悬停在空气中。推进机构1100中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1100可以被配置为同时受到控制。例如，可移动物体1100可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以驱动多个水平朝向的旋翼以向可移动物体1100提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体1100(例如，相对于最多三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。

感测系统1108可以包括可感测可移动物体1100(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1108提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1100的空间布置、速度和/或朝向。备选地，感测系统1108可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。

通信系统1110能够经由无线信号1116与具有通信系统1114的终端1112进行通信。通信系统1110、1114可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1100向终端1112发送数据，反之亦然。可以从通信系统1110的一个或多个发射机向通信系统1112的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1100和终端1112之间的两个方向上发送数据。双向通信可以涉及从通信系统1110的一个或多个发射机向通信系统1114的一个或多个接收机发送数据，并且反之亦然。

在一些实施例中，终端1112可以向可移动物体1100、载体1102和负载1104中的一个或多个提供控制数据，并且从可移动物体1100、载体1102和负载1104中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据)。在某些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、驱动或控制的指令。例如，控制数据(例如，通过推进机构1106的控制)可以导致可移动物体的位置和/或朝向的修改，或(例如，通过载体1102的控制)导致负载相对于可移动物体的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在某些实例中，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统1108或负载1104的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如位置，朝向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端1112发送提供的控制数据可以被配置为控制可移动物体1100、载体1102或负载1104中的一个或多个的状态。备选地或组合地，载体1102和负载1104也可以各自包括被配置为与终端1112进行通信的通信模块，使得该终端可以独立地与可移动物体1100、载体1102和有效负载1104中的每一个进行通信并对其进行控制。

在一些实施例中，可移动物体1100可被配置为与除了终端1112之外的或者代替终端1112的另一远程通信设备。终端1112还可以被配置为与另一远程设备以及可移动物体1100进行通信。例如，可移动物体1100和/或终端1112可以与另一可移动物体或另一可移动物体的载体或负载通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为向可移动物体1100发送数据、从可移动物体1100接收数据、向终端1112发送数据，和/或从终端1112接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体1100和/或终端1112接收的数据可以上传到网站或服务器。

图12是根据实施例的用于控制可移动物体的系统1200的框图的示意图。系统1200可以与本文公开的系统、设备和方法的任何合适的实施例结合使用。系统1200可以包括感测模块1202、处理单元1204、非暂时性计算机可读介质1206、控制模块1208和通信模块1210。

感测模块1202可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1202可以与具有多个处理器的处理单元1204可耦接。在一些实施例中，感测模块可以可操作地与被配置为直接将感测数据传输到合适的外部设备或系统的传输模块1212(例如，Wi-Fi图像传输模块)连接。例如，传输模块1212可以用于将由感测模块1202的相机捕获的图像发送到远程终端。

处理单元1204可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元1204可以与非暂时性计算机可读介质1206可耦接。非暂时性计算机可读介质1206可以存储可由处理单元1204执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。在一些实施例中，来自感测模块1202的数据可以被直接传送到非暂时性计算机可读介质1206的存储单元并存储于其中。非暂时性计算机可读介质1206的存储单元可以存储可由处理单元1204执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。例如，处理单元1204可以被配置为执行使处理单元1204的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可存储来自感测模块的感测数据以供处理单元1204处理。在一些实施例中，非暂时性计算机可读介质1206的存储单元可以用于存储由处理单元1204产生的处理结果。

在一些实施例中，处理单元1204可以可操作地与被配置为控制可移动物体的状态的控制模块1208连接。例如，控制模块1208可以被配置为控制可移动物体的推进机构，以相对于六个自由度调节可移动物体的空间布置、速度和/或加速度。备选地或组合地，控制模块1208可以控制载体、负载或感测模块的状态中的一个或多个。

处理单元1204可以与被配置为从一个或多个外部设备(例如，终端、显示设备或其他遥控器)发送和/或接收数据的通信模块1210耦接。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块1210可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视距。通信模块1210可以发送和/或接收以下一个或多个：来自感测模块1202的感测数据，由处理单元1204产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。

系统1200的组件可以以任何合适的配置来布置。例如，系统1200的一个或多个组件可以位于可移动物体、载体、负载、终端、感测系统上或与上述一个或多个进行通信的附加的外部设备上。另外，尽管图12描绘了单个处理单元1204和单个非暂时性计算机可读介质1206，本领域技术人员将理解，这并非意在限制，并且系统1200可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如位于可移动物体、载体、负载、终端、感测模块、与上述一个或多个进行通信的附加的外部设备、或其合适组合上，使得由系统1400执行的处理和/或存储功能的任何合适方面可以发生在前述位置中的一个或多个位置。

虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (137)

1.一种用于显示图像数据的显示设备，所述设备被配置为由用户穿戴并且包括：

显示区域，被配置为显示虚拟现实VR环境或增强现实AR环境的一个或多个图像；

一个或多个传感器，被配置为当所述用户正穿戴所述显示设备并观看显示在所述显示区域上的VR环境或AR环境的所述一个或多个图像时，获取所述用户的兴趣区ROI数据；以及

一个或多个处理器，单独地或共同地被配置为：(1)基于所述ROI数据，从用于在所述显示区域上划分所述一个或多个图像的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

2.根据权利要求1所述的显示设备，其中，所述显示设备包括一对具有VR功能或具有AR功能的眼镜，或者具有VR功能或具有AR功能的头戴式显示器，并且其中所述显示区域是包括多个像素的屏幕。

3.根据权利要求1所述的显示设备，其中，所述显示区域包括多个坐标，并且其中，所述ROI数据与从所述多个坐标中选择的一组或多组坐标相关联。

4.根据权利要求1所述的显示设备，其中，当所述ROI数据指示所述用户的ROI在所述一个或多个ROI区内时，从所述多个区中选择所述一个或多个ROI区。

5.根据权利要求4所述的显示设备，其中，所述用户的ROI与所述用户的眼睛注视位置相关联，其中当所述用户正在观看显示在所述显示区域上的VR环境或AR环境的所述一个或多个图像时，所述一个或多个传感器检测到所述眼睛注视位置，并且其中所述一个或多个传感器包括在眼睛跟踪系统中，所述眼睛跟踪系统被配置为收集与所述用户的至少一只眼睛的移动相关的数据。

6.根据权利要求5所述的显示设备，其中，所述眼睛跟踪系统被配置为：基于所述用户的瞳孔与屏幕反射之间的相对位置来确定所述用户的眼睛注视位置，所述屏幕反射与反射到所述用户的对应眼睛上的所述显示区域相对应。

7.根据权利要求6所述的显示设备，其中所述眼睛跟踪系统被配置为：(1)跟踪所述用户的至少一只眼睛上的所述屏幕反射的位置和所述用户的对应瞳孔的位置，以及(2)使用所述屏幕反射的位置和所述瞳孔的位置之间的预定关系，推断所述显示区域内的眼睛注视位置。

8.根据权利要求7所述的显示设备，其中，所述眼睛跟踪系统被配置为：执行所述用户的校准过程，以确定所述屏幕反射的位置与所述瞳孔的位置之间的关系。

9.根据权利要求8所述的显示设备，其中，所述眼睛跟踪系统被配置为：跟踪所述用户的头部移动，以确定所述屏幕反射在所述用户的所述至少一只眼睛上的位置信息。

10.根据权利要求4所述的显示设备，其中，所述多个区覆盖在所述显示区域上显示的VR环境或AR环境的所述一个或多个图像而显示。

11.根据权利要求4所述的显示设备，其中，在所述显示区域上显示包括所述多个区的网格图案。

12.根据权利要求11所述的显示设备，其中，所述网格图案覆盖在所述显示区域上显示的VR环境或AR环境的所述一个或多个图像而显示。

13.根据权利要求11所述的显示设备，其中，所述多个区中的至少两个区至少部分地彼此重叠。

14.根据权利要求11所述的显示设备，其中，所述多个区中的单个区与所述多个区的其余区至少部分重叠。

15.根据权利要求4所述的显示设备，其中，所述一个或多个处理器单独地或共同地被配置为：(1)当所述用户的ROI在第一ROI区内时，在所述显示区域上增强显示第一ROI区；以及(2)当用户的ROI从第一ROI区切换到第二ROI区时，在显示区域上增强显示第二ROI区，其中第二ROI区不同于第一ROI区。

16.根据权利要求15所述的显示设备，其中，所述第一ROI区和所述第二ROI区位于所述显示区域的不同部分上。

17.根据权利要求15所述的显示设备，其中，所述第一ROI区和所述第二ROI区具有不同的尺寸和/或形状。

18.根据权利要求15所述的显示设备，其中，所述第一ROI区中的第一组图像数据不同于所述第二ROI区中的第二组图像数据。

19.根据权利要求18所述的显示设备，其中，所述第一组图像数据和所述第二组图像数据由所述显示区域上的所述VR环境或AR环境内的同一图像提供。

20.根据权利要求18所述的显示设备，其中，所述第一组图像数据和所述第二组图像数据由所述显示区域上的所述VR环境或AR环境内的不同图像提供。

21.根据权利要求20所述的显示设备，其中，所述第一组图像数据与所述VR环境或AR环境的第一图像相关联，并且所述第二组图像数据与所述VR环境或AR环境的第二图像相关联。

22.根据权利要求1所述的显示设备，其中，在所述显示区域上增强显示所述一个或多个ROI区包括：改变所述一个或多个ROI区的放大率和/或分辨率。

23.根据权利要求22所述的显示设备，其中，来自所述一个或多个ROI区的图像数据与来自一个或多个非ROI区的图像数据相比以更高的放大率和/或分辨率显示。

24.根据权利要求23所述的显示设备，其中，来自所述一个或多个ROI区的图像数据被转换为第一组图像，并且来自一个或多个非ROI区的图像数据被转换为第二组图像，并且其中，显示第一组图像在显示区域上叠加或覆盖所述第二组图像。

25.根据权利要求24所述的显示设备，其中，来自所述一个或多个ROI区的图像数据以第一压缩率压缩，并且来自所述一个或多个非ROI区的图像数据以不同于所述第一压缩率的第二压缩率压缩。

26.根据权利要求25所述的显示设备，其中，所述第一压缩率低于所述第二压缩率，使得所述一个或多个ROI区中的所述第一组图像以比所述一个或多个非ROI区中的所述第二组图像更高的质量显示。

27.根据权利要求24所述的显示设备，其中，所述一个或多个ROI区中的所述第一组图像以比所述一个或多个非ROI区中的所述第二组图像更高的频率在所述显示区域上更新。

28.根据权利要求24所述的显示设备，其中，所述一个或多个ROI区中的所述第一组图像被配置为占据所述显示区域的中心区。

29.根据权利要求24所述的显示设备，其中，所述一个或多个非ROI区中的所述第二组图像被配置为占据所述显示区域的外围区。

30.根据权利要求1所述的显示设备，其中，由可移动物体承载的成像传感器捕获一个或多个图像，并且其中，所述一个或多个被捕获的图像与所述多个区融合在一起，以生成显示在所述显示区域上的所述VR环境或AR环境的所述一个或多个图像。

31.根据权利要求30所述的显示设备，其中，所述ROI数据经由一个或多个有线和/或无线通信信道被发送到成像传感器。

32.根据权利要求31所述的显示设备，其中，基于所述ROI数据调整所述成像传感器的一个或多个操作参数。

33.根据权利要求32所述的显示设备，其中，所述成像传感器的所述一个或多个操作参数包括：景深、光圈大小、快门速度、变焦、聚焦区域、帧速率和/或所述成像传感器相对于可移动物体的位置。

34.根据权利要求33所述的显示设备，其中，调整所述成像传感器的一个或多个操作参数，以便在所述显示区域上向所述用户增强显示所述一个或多个ROI区。

35.根据权利要求30所述的显示设备，其中，所述显示设备远离所述可移动物体放置。

36.根据权利要求30所述的显示设备，其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

37.根据权利要求35所述的显示设备，其中，图形元素覆盖在所述显示区域上显示的VR环境或AR环境的所述一个或多个图像上。

38.根据权利要求37所述的显示设备，其中，所述图形元素指示所述可移动物体的一个或多个运动特性。

39.根据权利要求38所述的显示设备，其中，所述可移动物体的所述一个或多个运动特性包括：所述可移动物体的位置、速度、加速度和/或朝向。

40.根据权利要求37所述的显示设备，其中，所述图形元素指示空间环境信息，并且其中所述空间环境信息包括所述可移动物体与另一物体所处的物理环境内所述可移动物体与所述另一物体之间的相对距离和/或朝向。

41.根据权利要求40所述的显示设备，其中，所述图形元素被配置为：随着所述可移动物体相对于所述另一物体的位置和/或朝向在所述物理环境内改变而在所述显示区域上动态改变。

42.一种用于显示图像数据的方法，所述方法包括：

在显示设备的显示区域上显示虚拟现实VR环境或增强现实AR环境的一个或多个图像；

当用户正穿戴所述显示设备并观看所述显示区域上显示的所述VR环境或AR环境的一个或多个图像时，获取用户的兴趣区ROI数据；以及

(1)基于所述ROI数据，从用于划分显示区域的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

43.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于显示图像数据的方法，所述方法包括：

在显示设备的显示区域上显示虚拟现实VR环境或增强现实AR环境的一个或多个图像；

当用户正穿戴所述显示设备并观看所述显示区域上显示的所述VR环境或AR环境的一个或多个图像时，获取用户的兴趣区ROI数据；以及

(1)基于所述ROI数据，从用于划分显示区域的多个区中选择一个或多个ROI区，以及(2)在显示区域上向用户增强显示所述一个或多个ROI区。

44.一种用于确定用户的兴趣区ROI的方法，所述方法包括：

将显示区域划分成多个区；

接收ROI的数据，其中所述ROI由传感器检测；以及

从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内，所述一个或多个ROI区被用于在所述显示区域中向用户增强显示。

45.根据权利要求44所述的方法，其中，所述ROI是所述用户的眼睛注视位置，其中当所述用户正在观看显示在所述显示区域中的一个或多个图像时，所述传感器检测到所述眼睛注视位置，并且其中所述传感器包括在眼睛跟踪系统中，所述眼睛跟踪系统被配置为收集与所述用户的至少一只眼睛的移动有关的数据。

46.根据权利要求45所述的方法，其中，基于所述用户的瞳孔与屏幕反射之间的相对位置来确定所述眼睛注视位置，所述屏幕反射与反射到所述用户的对应眼睛上的所述显示区域相对应。

47.根据权利要求45所述的方法，还包括：

跟踪所述用户的至少一只眼睛上的屏幕反射的位置以及所述用户的对应瞳孔的位置；以及

使用所述屏幕反射的位置与所述瞳孔的位置之间的预定关系来推断显示区域内的眼睛注视位置。

48.根据权利要求47所述的方法，还包括：使用所述眼睛跟踪系统执行所述用户的校准过程以确定所述关系。

49.根据权利要求47所述的方法，还包括：跟踪所述用户的头部移动以确定所述屏幕反射在所述用户的所述至少一只眼睛上的位置信息。

50.根据权利要求44所述的方法，其中，所述ROI是由所述传感器在触摸屏上检测到的所述用户的触摸位置。

51.根据权利要求44所述的方法，其中，显示多个预定区以覆盖显示在所述显示区域中的一个或多个图像。

52.根据权利要求44所述的方法，还包括：提供包括所述多个区的网格图案。

53.根据权利要求52所述的方法，其中，显示所述网格图案以覆盖显示在所述显示区域中的一个或多个图像。

54.根据权利要求44所述的方法，其中，所述多个区中的至少两个区至少部分地重叠。

55.根据权利要求54所述的方法，其中，所述多个区中的单个区与所述多个区中的其余区至少部分重叠。

56.根据权利要求54所述的方法，其中，当用户正在观看显示在显示区域中的一个或多个图像时，检测所述用户的ROI，并且其中所述一个或多个图像由可移动物体承载的成像传感器来捕获。

57.根据权利要求56所述的方法，其中，所述一个或多个图像显示在远离所述可移动物体放置的显示设备上。

58.根据权利要求56所述的方法，还包括：将所述一个或多个ROI区的数据发送到由所述可移动物体承载的一个或多个处理器，其中所述一个或多个处理器被配置为使用所述一个或多个ROI区的数据来处理由所述成像传感器捕获的一个或多个后续图像。

59.根据权利要求58所述的方法，其中，由所述可移动物体承载的所述一个或多个处理器被配置为：(1)以第一压缩率压缩基于所述一个或多个ROI区的数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩与第一组图像数据不同的第二组图像数据。

60.根据权利要求59所述的方法，还包括：识别与所述一个或多个ROI区相邻并围绕所述一个或多个ROI区的一个或多个中间区，其中所述第二压缩率高于所述第一压缩率，所述可移动物体承载的所述一个或多个处理器进一步被配置为：以第三压缩率压缩基于所述一个或多个中间区选择的第三组图像数据，并且其中所述第三压缩率高于所述第一压缩率且低于所述第二压缩率。

61.根据权利要求56所述的方法，还包括：将所述一个或多个ROI区的数据发送到所述成像传感器，用于基于所述一个或多个ROI区的数据捕获一个或多个后续图像。

62.根据权利要求56所述的方法，其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

63.根据权利要求44所述的方法，其中，识别所述一个或多个ROI区包括：识别所述显示区域中的所述一个或多个ROI区的位置信息。

64.根据权利要求44所述的方法，其中，识别所述一个或多个ROI区包括：分别识别所述一个或多个ROI区的一个或多个预先分配的标识符。

65.根据权利要求44所述的方法，还包括：将在第一采样点处识别的一个或多个ROI区与在所述第一采样点之前的第二采样点处识别的一个或多个ROI区进行比较。

66.根据权利要求65所述的方法，其中，当所述第一采样点处的所述一个或多个ROI区与所述第二采样点处的所述一个或多个ROI区不同时，发送所述第二采样点处的所述一个或多个ROI区的数据。

67.根据权利要求65所述的方法，当所述第一采样点处的所述一个或多个ROI区与所述第二采样点处的所述一个或多个ROI区相同时，跳过发送所述第二采样点处的所述一个或多个ROI区的数据。

68.一种用于确定用户的兴趣区ROI的系统，所述系统包括：

传感器，被配置为检测显示区域上的ROI；以及

一个或多个处理器，与所述传感器可耦接，

其中所述一个或多个处理器单独地或共同地被配置为：

将所述显示区域划分为多个区；

接收ROI的数据，其中所述ROI由所述传感器检测；以及

从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内，所述一个或多个ROI区被用于在所述显示区域中向用户增强显示。

69.一种用于确定用户的兴趣区ROI的装置，所述装置包括一个或多个处理器，单独地或共同地被配置为：

将显示区域划分为多个区；

接收ROI的数据，其中所述ROI由传感器检测；以及

从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内，所述一个或多个ROI区被用于在所述显示区域中向用户增强显示。

70.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于确定用户的兴趣区ROI的方法，所述方法包括：

将显示区域划分成多个区；

接收ROI的数据，其中所述ROI由传感器检测；以及

从所述多个区中识别一个或多个ROI区，其中所述ROI在所述一个或多个ROI区内，所述一个或多个ROI区被用于在所述显示区域中向用户增强显示。

71.一种用于处理图像数据的方法，包括：

当在显示区域中显示一个或多个图像时，获取用户的兴趣区ROI数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；

获取由成像传感器捕获的图像数据；以及

处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

72.根据权利要求71所述的方法，其中，所述成像传感器和所述一个或多个处理器由可移动物体和/或相机承载。

73.根据权利要求72所述的方法，其中，所述一个或多个图像显示在远离所述可移动物体放置的显示设备上。

74.根据权利要求72所述的方法，其中，所述成像传感器在捕获所述图像数据进行处理之前捕获所述一个或多个图像。

75.根据权利要求72所述的方法，其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

76.根据权利要求71所述的方法，其中，显示所述多个预定区以覆盖所述显示区域中的一个或多个图像。

77.根据权利要求71所述的方法，其中，基于所述用户的眼睛注视位置来选择所述ROI数据，并且其中，所述眼睛注视位置使用被配置为跟踪所述用户的至少一只眼睛的移动的一个或多个传感器来收集。

78.根据权利要求71所述的方法，其中，基于由一个或多个传感器在触摸屏上检测到的所述用户的触摸位置的数据来选择所述用户的ROI数据。

79.根据权利要求71所述的方法，其中，使用包括视觉传感器、运动传感器、红外传感器和/或电容传感器的一个或多个传感器来收集所述ROI数据。

80.根据权利要求72所述的方法，其中，根据所述用户的眼睛移动、头部移动、身体移动和/或手指手势来确定所述ROI数据。

81.根据权利要求71所述的方法，其中，所述第一压缩率低于所述第二压缩率。

82.根据权利要求71所述的方法，其中，所述经处理的图像数据还包括：以高于所述第一压缩率且低于所述第二压缩率的第三压缩率压缩的第三组图像数据，其中所述第三组图像数据基于与所述一个或多个ROI区相邻并围绕所述一个或多个ROI区的中间区来选择。

83.根据权利要求71所述的方法，其中，所述ROI数据包括所述一个或多个ROI区的位置信息。

84.根据权利要求71所述的方法，其中，所述ROI数据分别包括所述一个或多个ROI区的一个或多个预先分配的标识符。

85.根据权利要求71所述的方法，其中，以第一处理频率处理所述第一组图像数据，并且以低于所述第一处理频率的第二处理频率处理所述第二组图像数据。

86.根据权利要求71所述的方法，其中，所述第一组图像数据被进一步处理以具有与所述第二组图像数据不同的对比度、亮度、饱和度、锐度和/或色调信息。

87.根据权利要求71所述的方法，还包括：将经处理的图像数据发送到解码器，所述解码器被配置为转换经处理的图像数据以在显示区域中显示。

88.根据权利要求87所述的方法，其中，以第一频率发送所述第一组图像数据，并且以比所述第一频率低的第二频率发送所述第二组图像数据。

89.根据权利要求87所述的方法，其中，所述第一组图像数据被转换为第一组图像，并且所述第二组图像数据被转换为第二组图像，并且其中所述第一组图像被显示为叠加或覆盖所述第二组图像。

90.一种用于处理图像数据的系统，所述系统包括：

接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区ROI数据；以及

与所述接收机可耦接的一个或多个处理器，其中所述一个或多个处理器单独地或共同地被配置为：

获取所述ROI数据，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；

获取由成像传感器捕获的图像数据；以及

处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

91.一种用于处理图像数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

当在显示区域中显示一个或多个图像时，获取用户的兴趣区ROI数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；

获取由成像传感器捕获的图像数据；以及

处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

92.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于处理图像数据的方法，所述方法包括：

当在显示区域中显示一个或多个图像时，获取用户的兴趣区ROI数据，其中，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；

获取由成像传感器捕获的图像数据；以及

处理所述图像数据以获取经处理的图像数据，所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

93.一种用于获取图像数据的方法，包括：

获取用户的兴趣区ROI数据，其中，所述ROI数据当在显示设备上显示一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获，所述ROI数据包括对用于划分所述显示设备上的显示区域的多个预定区中的一个或多个ROI区的选择；

基于所述ROI数据调整所述成像传感器的一个或多个参数；以及

使用具有调整的参数的成像传感器捕获后续图像。

94.根据权利要求93所述的方法，其中，所述成像传感器由远离所述显示设备放置的可移动物体承载。

95.根据权利要求94所述的方法，其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

96.根据权利要求93所述的方法，其中，所述ROI数据使用被配置为跟踪所述用户的至少一只眼睛的眼睛移动的传感器来收集。

97.根据权利要求96所述的方法，其中，当所述传感器正在跟踪所述眼睛移动时，显示所述多个预定区以覆盖所述一个或多个图像。

98.根据权利要求93所述的方法，其中，基于由一个或多个传感器在触摸屏上检测到的用户的触摸位置的数据来选择所述ROI数据。

99.根据权利要求93所述的方法，其中，所述ROI数据包括所述一个或多个ROI区的坐标信息。

100.根据权利要求93所述的方法，其中，所述ROI数据分别包括所述一个或多个ROI区的一个或多个预先分配的标识符。

101.根据权利要求93所述的方法，其中，所述成像传感器的所述一个或多个参数包括：选自由景深、光圈、快门速度、变焦、所述成像传感器的位置、聚焦区域和帧速率组成的组中的一个或多个。

102.根据权利要求93所述的方法，还包括：

基于所述ROI数据选择单个后续图像的像素组；以及

检测所选像素组内的光线状况和/或物体配置，

其中成像传感器的所述一个或多个参数基于检测到的光线状况和/或物体配置来自动调整。

103.根据权利要求93所述的方法，还包括：处理单个后续图像的图像数据以具有：(1)基于所述ROI数据选择的第一组图像数据和(2)不同于所述第一组图像数据的第二组图像数据，其中第一组图像数据被处理成具有与第二组图像数据不同的对比度、亮度、饱和度、锐度和/或色调信息。

104.一种用于获取图像数据的系统，所述系统包括：

接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区ROI数据；以及

一个或多个处理器，与所述接收机可耦接，

其中所述一个或多个处理器单独地或共同地被配置为：

获取ROI数据，其中所述一个或多个图像使用成像传感器来捕获，所述ROI数据包括对用于划分所述显示区域的多个预定区中的一个或多个ROI区的选择；

基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及

使用具有调整的参数的成像传感器捕获后续图像。

105.一种用于获取图像数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

获取用户的兴趣区ROI数据，其中，所述ROI数据当在显示设备上显示一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获，所述ROI数据包括对用于划分所述显示设备的显示区域的多个预定区中的一个或多个ROI区的选择；

基于所述ROI数据来调整所述成像传感器的一个或多个参数；以及

使用具有调整的参数的成像传感器捕获后续图像。

106.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于获取图像数据的方法，所述方法包括：

获取用户的兴趣区ROI数据，其中，所述ROI数据当用户正在观看显示在显示设备上的一个或多个图像时收集，其中所述一个或多个图像使用成像传感器来捕获，所述ROI数据包括对用于划分所述显示设备的显示区域的多个预定区中的一个或多个ROI区的选择；

基于所述ROI数据调整所述成像传感器的一个或多个参数；以及

使用具有调整的参数的成像传感器捕获后续图像。

107.一种基于用户的兴趣区ROI数据来发送图像数据的方法，包括：

获取兴趣区ROI数据，其中所述ROI数据包括对被配置为划分显示区域的多个预定区中的一个或多个ROI区的选择；以及

将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

108.根据权利要求107所述的方法，还包括：由成像传感器获取图像数据，并且其中基于所述ROI数据处理所获取的图像数据。

109.根据权利要求108所述的方法，其中，所述成像传感器和所述一个或多个处理器由可移动物体和/或相机承载，并且其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

110.根据权利要求107所述的方法，其中，显示所述多个预定区以覆盖显示在所述显示区域中的一个或多个图像。

111.根据权利要求107所述的方法，其中，基于所述用户的眼睛注视位置来选择所述ROI数据，并且其中，所述眼睛注视位置使用被配置为跟踪所述用户的至少一只眼睛的移动的一个或多个传感器来收集。

112.根据权利要求107所述的方法，其中，基于由一个或多个传感器在触摸屏上检测到的所述用户的触摸位置的数据来选择所述用户的ROI数据。

113.根据权利要求107所述的方法，其中，使用包括视觉传感器、运动传感器、红外传感器和/或电容传感器的一个或多个传感器来收集所述ROI数据。

114.根据权利要求113所述的方法，其中，根据所述用户的眼睛移动、头部移动、身体移动和/或手指手势来确定所述ROI数据。

115.根据权利要求107所述的方法，其中，所述第一压缩率低于所述第二压缩率。

116.根据权利要求107所述的方法，其中，所述经处理的图像数据还包括：以高于所述第一压缩率且低于所述第二压缩率的第三压缩率压缩的第三组图像数据，其中所述第三组图像数据基于与所述一个或多个ROI区相邻并围绕所述一个或多个ROI区的中间区来选择。

117.根据权利要求107所述的方法，其中，所述ROI数据包括所述一个或多个ROI区的位置信息。

118.根据权利要求107所述的方法，其中，所述ROI数据分别包括所述一个或多个ROI区的一个或多个预先分配的标识符。

119.根据权利要求107所述的方法，其中，以第一处理频率处理所述第一组图像数据，并且以低于所述第一处理频率的第二处理频率处理所述第二组图像数据。

120.根据权利要求107所述的方法，其中，所述第一组图像数据被进一步处理以具有与所述第二组图像数据不同的对比度、亮度、饱和度、锐度和/或色调信息。

121.根据权利要求107所述的方法，其中，以第一频率发送所述第一组图像数据，并且以比所述第一频率低的第二频率发送所述第二组图像数据。

122.根据权利要求107所述的方法，其中，所述第一组图像数据被转换为第一组图像，并且所述第二组图像数据被转换为第二组图像，并且其中所述第一组图像被显示为叠加或覆盖所述第二组图像。

123.一种用于处理图像数据的系统，所述系统包括：

接收机，被配置为接收当在显示区域中显示一个或多个图像时收集的用户的兴趣区ROI数据；以及

与所述接收机可耦接的一个或多个处理器，其中所述一个或多个处理器单独地或共同地被配置为：

获取所述ROI数据，所述ROI数据包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择；以及

将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

124.一种用于处理图像数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

获取兴趣区ROI数据，其中所述ROI数据包括对被配置为划分显示区域的多个预定区中的一个或多个ROI区的选择；以及

将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

125.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于处理图像数据的方法，所述方法包括：

获取用户的兴趣区ROI数据，其中，所述用户的ROI数据包括对用于划分显示区域的多个预定区中的一个或多个ROI区的选择；以及

将经处理的图像数据发送到图像解码器，所述图像解码器被配置为转换经处理的图像数据以在所述显示区域中显示，其中所述经处理的图像数据包括：(1)以第一压缩率压缩基于所述ROI数据选择的第一组图像数据，以及(2)以不同于第一压缩率的第二压缩率压缩的与第一组图像数据不同的第二组图像数据。

126.一种用于显示图像数据的方法，包括：

在显示区域中显示第一组图像；

获取用户的一个或多个兴趣区ROI区的兴趣区ROI数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及

显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

127.根据权利要求126所述的方法，其中，所述一个或多个ROI区与所述用户的眼睛注视位置相对应，其中，当所述用户正在观看所述第一组图像时，所述一个或多个传感器检测到所述眼睛注视位置，并且其中，所述一个或多个传感器被配置为跟踪所述用户的至少一只眼睛的移动。

128.根据权利要求126所述的方法，其中，所述一个或多个ROI区与由所述一个或多个传感器在触摸屏上检测到的所述用户的触摸位置相对应。

129.根据权利要求126所述的方法，其中，显示所述多个预定区以覆盖在所述显示区域中显示的所述第一组图像。

130.根据权利要求126所述的方法，其中，所述ROI数据包括所述一个或多个ROI区的位置信息。

131.根据权利要求126所述的方法，其中，所述ROI数据分别包括所述一个或多个ROI区的一个或多个预先分配的标识符。

132.根据权利要求126所述的方法，其中，所述第二组图像中的所述单个图像还包括：位于所述第一组像素与所述第二组像素之间的第三组像素，并且其中，显示在所述第三组像素中的图像数据以第三压缩率压缩，所述第三压缩率高于所述第一压缩率且低于所述第二压缩率。

133.根据权利要求126所述的方法，其中，所述第一组像素的图像数据被进一步处理以具有与所述第二组像素的图像数据不同的对比度、亮度、饱和度、锐度和/或色调信息。

134.根据权利要求126所述的方法，其中，所述第一组图像和所述第二组图像由可移动物体和/或相机承载的成像传感器捕获，并且其中，所述可移动物体为飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型电脑或可穿戴设备。

135.一种用于显示图像数据的系统，包括：

一个或多个传感器，被配置为检测用户的一个或多个兴趣区ROI区，其中，所述一个或多个ROI区是从显示区域的多个预定区中识别的；以及

与所述一个或多个传感器可耦接的显示设备，所述显示设备被配置为：

当所述一个或多个传感器检测到所述一个或多个ROI区时，在所述显示区域中显示第一组图像；以及

显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

136.一种用于显示图像数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

在显示区域中显示第一组图像；

获取用户的一个或多个兴趣区ROI区的兴趣区ROI数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及

显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

137.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于显示图像数据的方法，所述方法包括：

在显示区域中显示第一组图像；

获取用户的一个或多个兴趣区ROI区的兴趣区ROI数据，其中所述显示区域被划分成多个预定区，并且其中使用一个或多个传感器从所述多个预定区中识别所述一个或多个ROI区；以及

显示从基于所述ROI数据处理的图像数据转换的第二组图像，其中第二组图像的单个图像包括：(1)基于所述ROI数据选择的第一组像素，以及(2)与第一组像素不同的第二组像素，其中，所述第一组像素中显示的图像数据以第一压缩率压缩，并且其中在所述第二组像素中显示的图像数据以比所述第一压缩率高的第二压缩率压缩。

Images