CN108351574B - 用于设置相机参数的系统、方法和装置 - Google Patents
用于设置相机参数的系统、方法和装置 Download PDFInfo
- Publication number
- CN108351574B CN108351574B CN201580083746.6A CN201580083746A CN108351574B CN 108351574 B CN108351574 B CN 108351574B CN 201580083746 A CN201580083746 A CN 201580083746A CN 108351574 B CN108351574 B CN 108351574B
- Authority
- CN
- China
- Prior art keywords
- imaging device
- target object
- movable object
- parameters
- optical assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
提供了用于设置相机参数的系统、方法和装置。在一个方面,一种用于使用由可移动物体(204)承载的成像装置(202)对目标物体(200)进行成像的系统包括:一个或多个传感器,被配置用于检测所述可移动物体(204)的运动信息;以及一个或多个处理器,被配置用于:从所述一个或多个传感器接收所述可移动物体(204)的所述运动信息;基于所述运动信息来确定所述可移动物体(204)与所述目标物体(200)之间的空间关系的变化;以及基于所述可移动物体(204)与所述目标物体(200)之间的所述空间关系的所述确定的变化来修改所述成像装置(202)的一个或多个参数,从而使得所述成像装置(202)对焦于所述目标物体(200)。
Description
背景
无人载运工具(如无人飞行器(UAV))可用于针对各种各样的民事、商业和军事应用执行监测、侦查以及勘察任务。UAV可以由远程用户手动地控制,或者可以半自动方式或全自动方式操作。这种UAV可以用来承载用于获得目标物体的图像数据的成像装置(如相机)。
用于设置由UAV承载的成像装置的参数的先前方法在一些情形下可能不是最佳的。举例来说,用于使成像装置进行对焦的先前方法可能不适用于UAV处于运动中的情况,这可能会降低所产生的图像数据的质量。
发明内容
本公开提供涉及对由可移动物体(如无人飞行器(UAV))承载的成像装置的控制及其操作的系统、方法和装置。在一些实施方式中,本文中所描述的系统、方法和装置使用一个或多个传感器检测UAV的运动,并且使用检测到的运动作为基础来修改由UAV承载的成像装置的一个或多个参数,从而使得成像装置对焦于目标物体。有利地,这种方法准许成像装置即使在UAV相对于目标物体移动时也可以保持对焦,从而提高所产生的图像数据的质量并且增强用UAV进行成像的灵活性和方便性。
在一个方面,提供一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统。所述系统包括:一个或多个传感器,被配置用于检测所述可移动物体的运动信息;以及一个或多个处理器,被配置用于:从所述一个或多个传感器接收所述可移动物体的所述运动信息;基于所述运动信息来确定所述可移动物体与所述目标物体之间的空间关系的变化;以及基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。在一些实施方式中,所述一个或多个处理器被进一步配置用于确定所述可移动物体与所述目标物体之间的所述距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种使用由可移动物体承载的成像装置对目标物体进行成像的方法。所述方法包括:使用一个或多个传感器检测所述可移动物体的运动信息;基于所述运动信息并且借助于一个或多个处理器,确定所述可移动物体与所述目标物体之间的空间关系的变化;以及借助于一个或多个处理器,基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。
在一些实施方式中,所述方法进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。在一些实施方式中,所述方法进一步包括确定所述可移动物体与所述目标物体之间的所述距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述方法进一步包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述方法进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述方法进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种由可移动物体承载的用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个处理器,被配置用于:从安装在所述可移动物体上或所述可移动物体内的一个或多个传感器接收所述可移动物体的运动信息;基于所述运动信息来确定所述可移动物体与所述目标物体之间的空间关系的变化;以及基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。在一些实施方式中,所述一个或多个处理器被进一步配置用于确定所述可移动物体与所述目标物体之间的所述距离。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
在另一方面,提供一种用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及一个或多个处理器,被配置用于:从所述一个或多个传感器接收所述成像装置的所述运动信息;基于所述运动信息来确定所述成像装置与所述目标物体之间的空间关系的变化;以及基于所述成像装置与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述成像装置由可移动物体承载。在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述成像装置与所述目标物体之间的所述空间关系包括成像装置与所述目标物体之间的距离。在一些实施方式中,所述一个或多个处理器被进一步配置用于确定所述成像装置与所述目标物体之间的所述距离。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述成像装置通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
在另一方面,提供一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统。所述系统包括:一个或多个传感器,被配置用于检测所述可移动物体的运动信息;以及一个或多个处理器,被配置用于:
从所述一个或多个传感器接收所述可移动物体的所述运动信息;
基于所述运动信息来确定所述可移动物体的空间布局的变化;以及基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
在一些实施方式中,所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种使用由可移动物体承载的成像装置对目标物体进行成像的方法。所述方法包括:使用一个或多个传感器检测所述可移动物体的运动信息;基于所述运动信息并且借助于一个或多个处理器,确定所述可移动物体的空间布局的变化;以及借助于一个或多个处理器,基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述方法进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
在一些实施方式中,所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述方法进一步包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述方法进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述方法进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种由可移动物体承载的用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个处理器,被配置用于:从安装在所述可移动物体上或所述可移动物体内的一个或多个传感器接收所述可移动物体的运动信息;基于所述运动信息来确定所述可移动物体的空间布局的变化;以及基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
在一些实施方式中,所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
在另一方面,提供一种用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及一个或多个处理器,被配置用于:从所述一个或多个传感器接收所述成像装置的所述运动信息;基于所述运动信息来确定所述成像装置的空间布局的变化;以及基于所述成像装置的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
在一些实施方式中,所述成像装置由可移动物体承载。在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
在一些实施方式中,所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,所述空间布局包括所述成像装置关于三个自由度的位置和所述成像装置关于三个自由度的方位。
在一些实施方式中,所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述成像装置通信的远程终端输入。在一些实施方式中,所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
在另一方面,提供一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统。所述系统包括:一个或多个传感器,被配置用于检测所述可移动物体的移动;以及一个或多个处理器,被配置用于:设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;使用所述一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
在一些实施方式中,所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
在一些实施方式中,所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。在一些实施方式中,所述修改是在不对所述目标物体进行成像的情况下确定的。在一些实施方式中,所述修改是在不改变所述成像装置的焦点的情况下确定的。在一些实施方式中,所述修改是在不使用来自用户的输入的情况下确定的。
在一些实施方式中,所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
在一些实施方式中,所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种使用由可移动物体承载的成像装置对目标物体进行成像的方法,所述方法包括:借助于一个或多个处理器,设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;使用一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及借助于所述一个或多个处理器,响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置包括固定焦距。
在一些实施方式中,所述成像装置包括可变焦距。
在一些实施方式中,所述成像装置包括图像传感器。
在一些实施方式中,所述一个或多个传感器由所述可移动物体承载。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述方法进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
在一些实施方式中,所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
在一些实施方式中,所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
在一些实施方式中,所述一个或多个参数包括所述成像装置的焦距。
在一些实施方式中,修改所述一个或多个参数以便保持所述成像装置的视场。
在一些实施方式中,所述修改所述一个或多个参数包括基于所述检测到的移动来确定对所述一个或多个参数的修改。在一些实施方式中,所述修改是在不对所述目标物体进行成像的情况下确定的。在一些实施方式中,所述修改是在不改变所述成像装置的焦点的情况下确定的。在一些实施方式中,所述修改是在不使用来自用户的输入的情况下确定的。
在一些实施方式中,设置所述一个或多个参数包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
在一些实施方式中,设置所述一个或多个参数包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述方法进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述方法进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
在另一方面,提供一种由可移动物体承载的用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个处理器,被配置用于:设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;使用一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
在一些实施方式中,所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
在一些实施方式中,所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。在一些实施方式中,所述修改是在不对所述目标物体进行成像的情况下确定的。在一些实施方式中,所述修改是在不改变所述成像装置的焦点的情况下确定的。在一些实施方式中,所述修改是在不使用来自用户的输入的情况下确定的。
在一些实施方式中,所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
在一些实施方式中,所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
在另一方面,提供一种用于对目标物体进行成像的成像装置。所述成像装置包括:一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及一个或多个处理器,被配置用于:设置所述成像装置的一个或多个参数,从而使得当所述成像装置在第一空间布局中时,所述成像装置对焦于所述目标物体;使用一个或多个传感器检测所述成像装置从所述第一空间布局到第二空间布局的移动;以及响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述成像装置在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
在一些实施方式中,所述成像装置由可移动物体承载。在一些实施方式中,所述可移动物体是无人飞行器。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件。在一些实施方式中,所述光学组件包括固定焦距。在一些实施方式中,所述光学组件包括可变焦距。
在一些实施方式中,所述成像装置进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
在一些实施方式中,所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
在一些实施方式中,所述一个或多个传感器包括多种不同的传感器类型。在一些实施方式中,所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
在一些实施方式中,所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
在一些实施方式中,所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
在一些实施方式中,所述成像装置进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
在一些实施方式中,所述成像装置进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
在一些实施方式中,所述成像装置进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
在一些实施方式中,所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。在一些实施方式中,所述修改是在不对所述目标物体进行成像的情况下确定的。在一些实施方式中,所述修改是在不改变所述成像装置的焦点的情况下确定的。在一些实施方式中,所述修改是在不使用来自用户的输入的情况下确定的。
在一些实施方式中,所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。在一些实施方式中,所述初始值由用户输入。在一些实施方式中,所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
在一些实施方式中,所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
在一些实施方式中,所述目标物体是静止的。
在一些实施方式中,所述目标物体是移动的。在一些实施方式中,所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述成像装置的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。在一些实施方式中,所述跟踪信息是基于所述目标物体的图像数据生成的。
在一些实施方式中,所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
通过审查说明书、权利要求书以及附图,本发明的其他目的和特征将变得明显。
援引并入
本说明书中所提及的所有公开案、专利和专利申请均以相同程度合并于本文中,好像特定且个别地指出每一个别公开案、专利或专利申请是以引用方式合并。
附图简要说明
本发明的新颖特征特别地阐述于所附的权利要求书中。为更好地理解本发明的特征和优点,将参考阐述使用了本发明的原理的图示性实施方式的以下详细描述和附图,其中:
图1根据实施方式图示了光学组件的简化模型;
图2根据实施方式示意性地图示了利用由可移动物体承载的成像装置对目标物体进行成像;
图3根据实施方式图示了使用由可移动物体承载的成像装置对目标物体进行成像的方法;
图4根据实施方式图示了用于计算物距的变化的简化模型;
图5根据实施方式图示了用于计算焦距和像距的变化的简化模型;
图6根据实施方式图示了使用由可移动物体承载的成像装置对目标物体进行成像的方法;
图7根据实施方式示意性地图示了用于对目标物体进行成像的系统;
图8根据实施方式示意性地图示了用于对目标物体进行成像的系统;
图9根据实施方式示意性地图示了用于对目标物体进行成像的系统;
图10根据实施方式图示了UAV;
图11根据实施方式图示了包括载体和搭载物的可移动物体;并且
图12根据实施方式图示了用于控制可移动物体的系统。
详细说明
本公开的系统、方法和装置可用于改进由可移动物体(如无人飞行器(UAV))承载的成像装置的操作。在一些实施方式中,本文所提供的系统、方法和装置利用指示可移动物体的运动的传感器数据来确定对成像装置的一个或多个参数的修改,以便使成像装置对焦于目标物体。本公开的这些实施方式允许成像装置动态地并且自动地对焦,从而使得即使当可移动物体处于运动状态时也可以生成目标物体的清楚图像。本文中所描述的系统、方法和装置可用于提高使用由UAV和其他类型的可移动物体承载的成像装置所获得的图像数据的质量和准确度。
举例来说,在一些实施方式中,安装在UAV上的相机用于对地面上的目标物体拍照和/或录像。当UAV基本上静止(例如,在地面上或悬停于适当位置)时,相机初始地对焦于目标物体。然后使UAV在空中飞行(例如,遵循预定的飞行路线或由用户手动地控制),从而使得相机与目标物体之间的空间关系发生改变。UAV可包括提供指示UAV的运动的数据的惯性传感器和GPS传感器,并且此运动信息可用于更新相机的对焦,使得相机在UAV的飞行中自始至终保持对焦于目标物体。
本公开的系统、方法和装置可用于对各种类型的目标物体进行成像。目标物体可包括任何天然的或人造的物体或结构,如地理特征(例如,山脉、植被、山谷、湖泊、河流等)、建筑物(例如,住宅、商业建筑物、工业建筑物、政府建筑物等)、载运工具(例如,飞行器、轮船、汽车、卡车、公共汽车、厢式货车、摩托车等)。目标物体还可包括活的对象(如,人或动物)。目标物体可以位于地面上、空中、太空中、水上、水下、地下、室内环境中和/或室外环境中。在一些实施方式中,目标物体可以包含多个物体、单个物体或物体的一部分(例如,物体的表面)。目标物体可包括一个或多个点、一个或多个面积、一个或多个体积或其组合。目标物体相对于成像装置可以是移动的或静止的。在一些实施方式中,目标物体是由用户例如通过与成像装置通信的远程终端或其他控制器的用户界面来选择。备选地,目标物体可以由例如一个或多个处理器自动地进行选择,所述一个或多个处理器实现基于机器视觉的算法以识别和/或跟踪目标物体。
可以通过成像装置对目标物体进行成像。各种类型的成像装置可与本文中所呈现的这些实施方式一起使用,包括相机、扫描仪等等。成像装置可以被配置用于检测电磁辐射(例如,可见光、红外光和/或紫外光)并基于检测到的电磁辐射来生成图像数据。举例来说,成像装置可包括响应于光波长而生成电信号的图像传感器,如电荷耦合装置(CCD)传感器、互补型金属氧化物半导体(CMOS)传感器等等。在一些实施方式中,图像传感器包括单独传感器元件的阵列,每个传感器元件被配置用于响应检测到的光来生成各自的电信号。所得电信号可以经过处理而生成图像数据。由成像装置生成的图像数据可以包括一张或多张图像,所述一张或多张图像可以是静态图像(例如,照片)、动态图像(例如,视频)或其合适的组合。图像数据可以是多色的(例如,RGB、CMYK、HSV)或单色的(例如,灰阶、黑白、棕褐)。
在一些实施方式中,成像装置包括被配置用于接收来自目标物体的光并将所述光会聚到图像传感器上的光学组件。光学组件可包括一个或多个光学部件,如一个或多个透镜(例如,凸透镜和/或凹透镜)、快门、光圈、反射镜等等。光学组件的这些光学部件可以全部沿着同一光轴对准。备选地,光学组件的这些光学部件中的一些或全部可以不沿着同一光轴对准。在一些实施方式中,光学组件包括多个透镜,并且每个透镜都可以具有不同的光学特性(例如,不同的焦距),或者这些透镜中的一些或全部可以具有相同的光学特性(例如,相同的焦距)。这些光学部件的配置可以确定光学组件的光学特性,所述光学特性进而确定整个成像装置的光学特性,如焦距(例如,最大焦距、最小焦距)、光圈大小(例如,最大光圈大小)以及对焦范围(例如,最小对焦距离)。在一些实施方式中,光学组件的一个或多个光学特性可以是可变的,如可变焦距(例如,变焦镜头)。在一些实施方式中,光学组件的一个或多个光学特性可以是固定的,如固定焦距(例如,定焦镜头)。
在一些实施方式中,将光学组件提供作为可拆卸地联接到成像装置的分开的部件。举例来说,成像装置可以包括含图像传感器的相机主体,并且光学组件可以是通过镜头架或其他联接接口联接到相机主体的相机镜头组件。在这种实施方式中,不同的光学组件可以与成像装置互换地使用,以便改变成像装置的光学特性。备选地,光学组件可以永久地附装到成像装置上或者与成像装置整合地形成为单个一体件(例如,具有内置变焦或定焦镜头的相机),从而使得在不损坏或破坏装置的情况下不能移除光学组件。
图1根据实施方式图示了光学组件100的简化模型。光学组件100包括具有主轴线104和光轴106的单个透镜102。待由光学组件进行成像的目标物体108沿着光轴106与透镜102离开距离u(在本文中又称作“物距”)而定位。源自物体108的示例性光线110a、110b由透镜102会聚以在透镜102的相反侧处形成图像112。图像112沿着光轴106与透镜102离开距离v(在本文中又称作“像距”)而定位。物体108上的点一对一地对应于图像112上的点。如果物距u改变,那么像距v相应地改变。对应于在无穷远处的物体的像点被称作“焦点”或“对焦点”,并且沿着光轴106在焦点与透镜102之间的距离f被称作“焦距”。物距u、像距v和焦距f满足以下公式:
尽管所描绘实施方式图示了具有单个透镜的光学组件100,但是本领域的技术人员将认识到,本文中所描述的原理还可以应用于具有多个透镜的更加复杂的光学组件。举例来说,光学组件可以包括可以被视为充当单个透镜的多个透镜,并且这种组件的物距u、像距v和焦距f可以相对于所述多个透镜的有效光学中心来限定。在一些实施方式中,单个透镜的光学中心是透镜的几何中心,而多个透镜的光学中心是进入光学组件的所有光线将穿过的理论位置。
在一些实施方式中,当相应的像距v与图像传感器的位置一致时,认为成像装置对焦于位于物距u处的目标物体。任选地,当像距充分接近图像传感器位置从而使得目标物体的所得图像看起来对焦于人眼时,可以认为成像装置对焦于目标物体。举例来说,目标物体的每个像点的散光圈的大小可以小于或等于散光圈直径极限(将由人眼感知为一个点的最大模糊斑点)。再次参考图1的实施方式,图像传感器可以沿着光轴106位于图像112的位置处或附近,以便产生目标物体108的对焦图像。图像的焦点对准的部分可以比图像的焦点未对准的部分更清楚并且更清晰。如果图像的一部分看起来对焦于人眼,那么可以认为所述部分是焦点对准的,而如果图像的一部分看起来未对焦于人眼,那么可以认为所述部分是焦点未对准的。
通过调整光学组件的配置,可以使成像装置对焦于在不同距离处的物体。可以使用各种机构来调整光学配置以便使成像装置对焦于指定目标。举例来说,通过改变光学组件的有效光学中心与成像装置的图像传感器之间的距离(例如,沿着光轴向前或向后),成像装置的焦点可以移位(例如,更靠近或更远离成像装置)。在一些实施方式中,光学组件包括充当对焦光学件的一个或多个透镜,并且通过沿着光轴移动这些对焦光学件的的一些或全部透镜(例如,使用电机、压电元件或其他合适的致动器),可以改变光学中心与图像传感器之间的距离。备选地,对焦光学件可以包括一个或多个可变焦透镜,所述一个或多个可变焦透镜允许在不沿着光轴移动的情况下改变距离。对焦光学件可以是内对焦光学件,从而使得对焦过程不改变光学组件的最外面的透镜的定位。
可以以各种方式执行使成像装置对焦于目标物体。在一些实施方式中,使用自动对焦方法。自动对焦方法可以在无需使用来自用户的输入的情况下利用一个或多个处理器来确定成像装置的焦点。自动对焦方法可以是利用单独的传感器(例如,超声波传感器、红外传感器)来测量成像装置到目标物体的距离以便确定正确的焦点的主动式自动对焦方法。备选地,自动对焦方法可以是被动式自动对焦方法,所述方法使用由成像装置获得的目标物体的图像数据来确定正确的焦点。举例来说,对比度检测式自动对焦在一定距离范围内改变焦点,并且选择在图像数据中产生最大对比度值的光学配置。作为另一个示例,相位检测式自动对焦将入射光拆分成直接入射到两个单独传感器上的两束光并且使用由每个传感器产生的信号之间的相位差来确定正确的光学配置。在一些实施方式中,可以使用混合式自动对焦方法,所述混合式自动对焦方法组合两种或更多种自动对焦方法(例如,主动式方法和被动式方法,相位检测式方法和对比度检测式方法)。
本文中所描述的对焦过程还可以涉及或者不涉及更改光学组件的焦距(“变焦”)。可以独立于变焦来执行对焦,反之亦然。在一些实施方式中,光学组件可包括用于改变成像装置的焦点的对焦光学件和用于改变成像装置的焦距的变焦光学件两者。备选地,光学组件可以仅包括对焦光学件或者仅包括变焦光学件。
在一些实施方式中,用于对目标物体进行成像的成像装置由可移动物体承载。本公开的成像装置可以由各种类型的可移动物体承载,如由本文中进一步所描述的可移动物体中的一个或多个可移动物体承载。成像装置可以位于可移动物体的任何合适部分上,如在可移动物体的上方、下面、侧面上或者内部。一些成像装置可以机械地联接到可移动物体,从而使得可移动物体的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以通过刚性联接而联接到可移动物体,从而使得成像装置相对于其所附接到的可移动物体的那部分不移动。备选地,成像装置与可移动物体之间的联接可以准许成像装置相对于可移动物体进行移动。所述联接可以是永久性联接或者非永久性(例如,可释放的)联接。合适的联接方法可以包括粘合剂、粘接、焊接和/或紧固件(例如,螺钉、钉子、销等)。任选地,成像装置可以与可移动物体的一部分一体成型。此外,成像装置可以与可移动物体的一部分(例如,处理单元、控制系统、数据存储器)电耦合,从而使由成像装置收集的数据能够用于可移动物体的各种功能(例如,导航、控制、推进、与用户或者其他装置通信等)。
任选地,成像装置可以通过载体安装于可移动物体上,所述载体准许成像装置相对于可移动物体进行运动。载体可以是云台组件,所述云台组件准许成像装置相对于可移动物体沿着横滚轴线、俯仰轴线和/或偏航轴线进行旋转。另外,载体可以包括多个电接口,这些电接口准许将电力和控制信号从可移动物体传输到成像装置,并且将图像数据从成像装置传输到可移动物体。在一些实施方式中,控制信号是通过载体从可移动物体传输到成像装置,以便控制成像装置的一个或多个参数。本文中进一步讨论对适合与本公开的这些实施方式一起使用的示例性载体的附加描述。
在一些实施方式中,用于承载成像装置的可移动物体是UAV。举例来说,UAV可以是小型UAV(例如,重量不超过10kg,最大尺寸不超过1.5m)。UAV可以是旋翼机,如由多个螺旋桨推进以移动穿过空气的多旋翼飞行器(例如,四轴飞行器)。本文中所描述的UAV可以完全自主地(例如,通过合适的计算系统,如机载控制器)、半自主地或手动地(例如,通过个人用户)操作。UAV可以从合适实体(例如,个人用户或自主控制系统)接收多条命令并且通过执行一个或多个动作来响应这些命令。举例来说,可以控制UAV从地面起飞、在空中移动(例如,具有多达三个平移自由度以及多达三个旋转自由度)、移动到目标位置或一系列目标位置、悬停于空中、降落在地面上等等。作为另一个示例,可以控制UAV以指定的速度和/或加速度(例如,具有多达三个平移自由度以及多达三个旋转自由度)或者沿着指定的移动路径移动。此外,这些命令可以用于控制一个或多个UAV部件,如本文中所描述的部件(例如,传感器、致动器、推进单元、搭载物等)。
尽管本文中的一些实施方式是在UAV的背景下呈现的,应当认识到,本公开的系统、方法和装置可以适合于与其他类型的可移动物体(如,地面载运工具)一起使用。在下文更详细地描述适合于与本文中所提供的系统、方法和装置一起使用的可移动物体的附加示例。
本公开的系统、方法和装置可以用于确定用于操作由可移动物体承载的成像装置的一个或多个参数。这些参数的示例包括但不局限于:焦点、焦距、变焦等级、光圈大小、曝光时间、快门速度、镜头速度、成像模式、白平衡、ISO或闪光。可以调整成像装置的这些参数以便修改所得图像数据的一个或多个特性,如焦点、视场、景深、对比度、亮度、分辨率、锐度、噪声水平或其组合。举例来说,可以确定成像装置的一个或多个参数以便使成像装置对焦于目标物体。备选地或组合地,可以调整一个或多个参数以便生成具有期望视场或变焦等级的图像数据。可以手动地、自动地或者半自动地执行对成像装置的这些参数的调整。举例来说,可以手动地(例如,用户调整透镜组件的聚焦环)、自动地(例如,处理器实施自动对焦方法,如对比度检测式自动对焦、相位检测式自动对焦或混合式自动对焦等)或者半自动地(例如,用户选择目标,并且处理器自动地确定针对所选择目标的合适焦点)设置成像装置的焦点。举例来说,基于成像装置的具体配置,一些参数可能限于一定范围的值。举例来说,具有定焦镜头的成像装置可以限于单一焦距,而具有变焦镜头的成像装置的焦距在由所述变焦镜头的最小焦距和最大焦距所限定的范围内是可变的。作为另一个示例,成像装置的焦点可以受所使用的具体透镜组件的最小焦距限制。
在一些实施方式中,成像装置的这些参数是在可移动物体基本上静止(例如,停在表面上、悬停于适当位置)时确定。然而,在某些情况下,可能期望或有必要在可移动物体在运动(例如,飞行在空中)时产生目标物体的图像。可移动物体可以在平移方向、旋转方向或其组合上移动。可以按绝对值(例如,相对于全局参照系)以及相对值(例如,相对于局部参照系,如目标物体的参照系)来测量移动的量、方向、速度和/或加速度。可移动物体的运动可以由用户手动地控制(例如,通过通过远程终端传输到可移动物体的用户命令)、自动地进行控制(例如,通过可移动物体上的处理器)或者半自动地进行控制。举例来说,可移动物体可被编程用于在目标方向上和/或朝向目标位置沿着预定轨迹自动地航行。作为另一个示例,用户可以控制可移动物体关于多达三个位置和/或方位自由度的移动。在一些实施方式中,运动的某些方面可以进行自动控制,而其他方面可以进行手动控制。举例来说,用户可以控制UAV的移动方向,而移动速度是自动控制的。
图2根据实施方式示意性地图示了使用由可移动物体204承载的成像装置202对目标物体200进行成像。可移动物体204和成像装置202最初处于第一空间布局206a。可以关于三个位置自由度(例如,经度、纬度、高度)和三个方位自由度(例如,横滚角、俯仰角、偏航角)来限定空间布局。当处于第一空间布局206a时,可移动物体204和成像装置202与目标物体200形成第一空间关系。举例来说,在所描绘实施方式中,可移动物体204和成像装置202离开目标物体200第一距离208a。
当成像装置202对目标物体200进行成像时,可移动物体204可以以一定的速度和加速度沿着移动轨迹210移动。移动轨迹210可以由移动的方向和距离表征。可移动物体204沿着移动轨迹的移动可导致可移动物体204会处于第二空间布局206b。当处于第二空间布局206b时,可移动物体204和成像装置202与目标物体200形成第二空间关系。举例来说,在所描绘实施方式中,可移动物体204和成像装置202离开目标物体200第二距离208b。第二空间布局206b可以不同于第一空间布局206a(例如,关于多达三个位置自由度和/或多达三个方位自由度),从而使得可移动物体204和成像装置202与目标物体200的空间关系发生变化。然而,如果目标物体200自身也是移动的,那么可移动物体204和成像装置202的移动可能不一定导致与目标物体200的空间关系的变化。举例来说,如果目标物体200沿着类似于可移动物体204和成像装置202的移动轨迹的移动轨迹而移动,那么空间关系可能变化很少或者没有变化。相反地,如果目标物体200移动,那么空间关系会变化,即使可移动物体204和成像装置202保持静止。
如果不对成像参数进行调整,那么目标物体和成像装置之间的空间关系的变化可导致所得图像数据的不希望的变化。举例来说,目标物体可能会变得焦点对准较差或焦点未对准,非目标物体可能会变得更好地焦点对准或焦点对准的,视场可能增大或减小,对比度可能增大或减小,亮度可能增大或减小,锐度可能增大或减小,分辨率可能减小,或者噪声水平可能增大,仅举几例。在一些实施方式中,针对成像装置与目标物体之间的某种空间关系而确定和/或优化的成像参数对于针对不同空间关系操作成像装置而言可能不是合适和/或最优的。
本公开提供了用于在可移动物体的移动期间和/或之后确定成像装置的一个或多个参数的改进的系统、方法和装置。在一些实施方式中,响应于可移动物体(或成像装置)的空间布局的变化和/或由于可移动物体、成像装置和/或目标物体的移动而发生的可移动物体(或成像装置)与目标物体之间的空间关系的变化来修改成像装置的一个或多个参数。可以执行这些修改以便补偿一个或多个图像特性的变化,所述变化将由于改变的空间布局和/或空间关系以其他方式发生。举例来说,可以修改一个或多个参数,从而使得即使物距已经改变,成像装置也保持对焦于目标物体。备选地或组合地,可以修改一个或多个参数,从而使得即使可移动物体移动地更靠近目标物体或离目标物体更远,也保持一定的视场或变焦等级。本文中所描述的这些实施方式提供了对成像参数的动态且持续的调整,以便即使可移动物体和成像装置在运动,也保持高质量的成像。
图3根据实施方式图示了使用由可移动物体承载的成像装置对目标物体进行成像的方法300。可以使用本文中所描述的系统和装置的任何实施方式来执行方法300。在一些实施方式中,借助于一个或多个处理器(例如,承载于可移动物体和/或成像装置上)来执行方法300的部分或全部步骤。
在步骤310中,设置成像装置的一个或多个参数。这些参数可以包括以下各项中的一项或多项:焦点、焦距、变焦等级、光圈大小、曝光时间,快门速度、镜头速度、成像模式、白平衡、ISO或闪光。在一些实施方式中,步骤310涉及接收所述一个或多个参数中的每个参数的初始值,和设置所述参数中的每个参数为对应的初始值。可以由用户例如通过与可移动物体和/或成像装置通信的远程终端来输入初始值。备选地,可以自动地确定初始值。
例如,在一些实施方式中,设置所述一个或多个参数以便使成像装置对焦于目标物体。在这些实施方式中,步骤310可以涉及例如通过调整成像装置的光学组件的光学中心与成像装置的图像传感器之间的距离使成像装置对焦于目标物体。可以以各种各样的方式设置成像装置的焦点。举例来说,用户可以手动地识别目标物体以用于对焦。在一些实施方式中,通过用户选择显示在显示器上的一个或多个图像中的至少一个图像的区域来实现用户对目标物体的选择,所选择的区域对应于目标物体。举例来说,用户可以通过使用手指或触笔直接触摸触摸屏来选择目标物体。作为另一个示例,用户可以使用鼠标、操纵杆、手势或语音命令来选择目标物体。在又一实施方式中,用户可以通过可穿戴式装置(如头盔、虚拟现实眼罩等等)来选择目标物体。选择目标物体可以涉及任何合适的运动,包括触摸或轻拍、划动、画圈、点击或与任何合适的输入方法(如本文中所描述的输入方法)相关联的类似动作。然后,成像装置可以对焦于所选择的目标物体。举例来说,可以使用自动对焦方法来设置初始对焦值,如主动式自动对焦方法、被动式自动对焦方法、对比度检测式自动对焦方法、相位检测式自动对焦方法或混合式自动对焦方法。备选地或组合地,用户可以例如通过远程终端手动地设置和/或调整对焦值。
备选地或组合地,在一些实施方式中,设置所述一个或多个参数,从而使得成像装置具有一定的视场或变焦等级。举例来说,可以执行这一处理以确保目标物体在图像数据中具有一定的大小(例如,长度、高度和/或宽度)。在一些实施方式中,将成像装置的焦距设置为对应于期望视场或变焦等级的初始值。初始焦距可以由用户手动地设置或自动地确定。
在方法300的一些实施方式中,步骤310被省略,从而使得可以在不设置参数的初始值的情况下执行方法300。
在步骤320中,检测可移动物体和/或成像装置的运动信息。运动信息可以包括指示可移动物体和/或成像装置的空间布局的变化的任何数据。备选地或组合地,运动信息可以包括指示可移动物体与目标物体之间和/或成像装置与目标物体之间的空间关系的变化的任何数据。举例来说,运动信息可以包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
在一些实施方式中,使用一个或多个传感器来检测可移动物体和/或成像装置的运动信息。适合于与本文中所公开的这些实施方式一起使用的示例性传感器包括但不局限于:位置传感器(例如,全球定位系统(GPS)传感器、能够实现位置三角测量的移动装置发送器)、图像或视觉传感器(例如,能够检测可见光、红外光或紫外光的成像装置,如相机)、近距离或范围传感器(例如,超声波传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如,加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器(例如,高度计)、姿态传感器(例如,指南针)、压力传感器(例如,气压计)、音频传感器(例如,麦克风)以及场传感器(例如,磁力仪、电磁传感器)。可以使用任何合适数量以及组合的传感器,例如一个、两个、三个、四个、五个或更多个传感器。任选地,可以从不同类型(例如,两种、三种、四种、五种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如,位置、方位、速度、加速度、接近度、压力等)和/或采用不同类型的测量技术来获得数据。举例来说,这些传感器可包括有源传感器(例如,生成并测量来自传感器自己的能量源的能量的传感器)和无源传感器(例如,检测可用能量的传感器)的任何合适组合。作为另一个示例,一些传感器可以生成就全局坐标系而提供的绝对测量数据(例如,由GPS传感器提供的位置数据、由指南针或磁力计提供的姿态数据),而其他传感器可以生成就局部坐标系而提供的相对测量数据(例如,由陀螺仪提供的相对角速度;由加速度计提供的相对平移加速度;由图像传感器提供的特定周围环境的投影视图;由超声波传感器、激光雷达或飞行时间相机提供的相对距离信息)。在一些情形下,局部坐标系可以是相对于可移动物体限定的机体坐标系。
例如,GPS传感器和其他位置传感器可以用于提供指示可移动物体和/或成像装置的位置的数据,并且可以通过比较在不同时间点的位置来确定运动信息。高度传感器和/或压力传感器可以用于提供指示可移动物体和/或成像装置的高度的数据,并且可以通过比较在不同时间点的高度来确定运动信息。姿态传感器可以用于提供指示可移动物体和/或成像装置的方位的数据,并且可以通过比较在不同时间点的方位来确定运动信息。惯性传感器可以用于提供指示可移动物体和/或成像装置的速度(例如,角速度)和加速度(例如,平移加速度)的数据。图像传感器可以用于提供指示可移动物体和/或成像装置的位置、速度和加速度的数据。
在一些实施方式中,通过组合由多个传感器获得的传感器数据(也称作“传感器融合”)来生成运动信息。举例来说,传感器融合可用于组合由不同传感器类型(如GPS传感器、惯性传感器和/或图像传感器)获得的感测数据。作为另一个示例,传感器融合可用于组合不同类型的感测数据,如绝对测量数据(例如,相对于全局坐标系所提供的数据,如GPS数据)和相对测量数据(例如,相对于局部坐标系所提供的数据,如视觉感测数据、激光雷达数据或超声波感测数据)。可以使用各种类型的传感器融合算法(如基于卡尔曼滤波的算法或优化算法)来执行对来自多个传感器的传感器数据的融合。传感器融合可以用于补偿与单独的传感器类型相关联的限制或不精确,由此提高最终感测结果的准确性和可靠性。
在一些实施方式中,传感器融合算法用于对来自多个不同传感器类型中的每一个传感器类型的数据进行处理,以便确定运动信息。举例来说,传感器融合算法可以用于组合来自GPS传感器的位置数据与来自惯性传感器的速度和/或加速度信息。任选地,传感器融合算法还可以使用来自相机或其他视觉传感器(可以是或者可以不是成像装置)的位置、速度和/或加速度数据。在一些实施方式中,传感器融合算法的输出是对可移动物体和/或成像装置在多个不同时间点的位置和/或方位的估计。
任选地,可移动物体的运动信息可以用于确定成像装置的运动信息,或者反之亦然。举例来说,可以结合可移动物体的运动信息来确定并使用可移动物体与成像装置之间的空间关系,以便确定成像装置的对应的运动信息。相反地,可以结合成像装置的运动信息来确定并使用可移动物体与成像装置之间的空间关系,以便确定可移动物体的对应的运动信息。可移动物体与成像装置之间的空间关系可以基于传感器数据、用户输入而确定,或者可以是预定值(例如,如果可移动物体与成像装置处于固定的空间关系)。
可以以各种各样的方式来配置这些传感器。在一些实施方式中,传感器数据是从由可移动物体承载的一个或多个传感器、由成像装置承载的一个或多个传感器或其组合接收。举例来说,这些传感器可以仅由可移动物体承载或仅由成像装置承载。备选地,一个或多个传感器可以由可移动物体承载,并且一个或多个其他传感器可以由成像装置承载。任选地,一个或多个传感器可以由可移动物体与成像装置之间的联接承载,如由云台或其他载体承载。
传感器可以位于可移动物体、成像装置或载体或其组合的任何合适部位上,如在可移动物体、成像装置或载体的主体的上方、下面、侧面上或者内部。在一些实施方式中,一个或多个传感器可以封闭在可移动物体、成像装置或载体的壳体内,在壳体的外部定位,联接到壳体的表面(例如,内表面或外表面),或者可以形成壳体的一部分。一些传感器可以机械地联接到可移动物体、成像装置或载体,从而使得可移动物体、成像装置或载体的空间布局和/或运动对应于这些传感器的空间布局和/或运动。传感器可以通过刚性联接而联接到可移动物体、成像装置或载体,从而使得成像装置相对于其所附接至的可移动物体、成像装置或载体的部分不移动。备选地,传感器与可移动物体、成像装置或载体之间的联接可以准许传感器相对于可移动物体、成像装置或载体而发生移动。所述联接可以是永久性联接或者非永久性(例如,可释放的)联接。合适的联接方法可以包括粘合剂、粘接、焊接和/或紧固件(例如,螺钉、钉子、销等)。在一些实施方式中,传感器与可移动物体、成像装置或载体之间的联接包括减少将振动或其他不希望机械移动从可移动物体、成像装置或载体主体传输到传感器的减振器或阻尼器。任选地,传感器可以与可移动物体、成像装置或载体的部分一体成型。
在步骤330中,基于来自步骤320的运动信息而确定空间布局和/或空间关系的变化。空间布局可以是可移动物体、成像装置或两者的空间布局。举例来说,空间布局可以是可移动物体关于三个自由度(例如,经度、纬度、高度)的位置、可移动物体关于三个自由度(例如,横滚角、俯仰角、偏航角)的方位、成像装置关于三个自由度(例如,经度、纬度、高度)的位置和/或成像装置关于三个自由度(例如,横滚角、俯仰角、偏航角)的方位。空间布局的变化可以是可移动物体的经度、纬度、高度、横滚角、俯仰角和/或偏航角的变化。空间布局的变化可以是成像装置的经度、纬度、高度、横滚角、俯仰角和/或偏航角的变化。在一些实施方式中,通过比较来自多个不同时间点的位置数据和/或方位数据来确定空间布局的变化。
空间关系可以是可移动物体与目标物体之间的空间关系、成像装置与目标物体之间的空间关系或两者。举例来说,空间关系可以是可移动物体与目标物体之间的距离、可移动物体与目标物体之间的角度、成像装置与目标物体之间的距离和/或成像装置与目标物体之间的角度。空间关系的变化可以是可移动物体与目标物体之间的距离的变化、可移动物体与目标物体之间的角度的变化、成像装置与目标物体之间的距离的变化和/或成像装置与目标物体之间的角度的变化。在一些实施方式中,通过比较来自多个不同时间点的距离和/或角度来确定空间关系的变化。
在步骤340中,基于在步骤330中所确定的空间布局和/或空间关系的变化来修改成像装置的一个或多个参数。这些参数可以包括以下各项中的一项或多项:焦点、焦距、变焦等级、光圈大小、曝光时间、快门速度、镜头速度、成像模式、白平衡、ISO或闪光。修改后的参数可以是在步骤310中初始设置的相同参数,或者可以是不同的参数。
例如,在一些实施方式中,基于所确定的空间布局和/或空间关系的变化来修改一个或多个参数,从而使得成像装置对焦于目标物体。任选地,成像装置可能先前已经对焦于目标物体(例如,在步骤310中),并且步骤340可以涉及修改一个或多个参数以保持所述对焦。在一些实施方式中,所确定的变化用于修改成像装置的焦点(如通过修改成像装置的光学组件的光学中心与成像装置的图像传感器之间的距离),以便使成像装置对焦于目标物体。步骤340可以进一步涉及基于空间布局和/或空间关系的变化来确定对一个或多个参数(例如,焦点)的修改以便使成像装置对焦于目标物体。下面呈现了用于执行这种确定的示例性方法。
如之前所讨论的,例如,当相应的像距v与图像传感器的位置一致或足够接近时,可以认为成像装置对焦于位于物距u处的目标物体,使得目标物体的图像数据看起来对焦于人眼。针对具有固定焦距f的成像装置(例如,定焦镜头),如果物距u改变了Δu的量,那么用于保持对焦的像距v的相应改变量Δv可以确定如下:
从在步骤310中执行的初始对焦,已知初始像距v和焦距f的值,并且可以因此确定初始物距u。可以如下所述地计算物距的变化Δu。
图4根据实施方式图示了用于计算物距的变化的简化模型400。尽管本文中关于可移动物体与目标物体之间的空间关系来描述图4,但是本领域的技术人员将认识到,关于模型400所描述的这些原理也可以用于描述成像装置与目标物体之间的空间关系。
在模型400中,目标物体位于点T。可移动物体初始位于点M,然后移动到点M’。点M和点M’到地面上的投影分别为点A和点B。可以使用位置数据(例如,来自GPS传感器)来确定点M和点M’的位置。可以使用高度数据(例如,来自高度传感器、压力传感器等)来确定点M离地面的高度h以及点M’离地面的高度h’。任选地,对来自多个传感器(例如,GPS传感器、惯性传感器、视觉传感器和/或高度传感器)的数据的传感器融合可以用于确定点M和点M’的空间布局。
然后,使用勾股定理可以获得以下等式:
下一个步骤是计算点B与目标物体点T之间的距离BT。这一计算可以通过确定三角形ABT的几何结构(例如,通过确定距离AB以及线TA与线AB之间的角度θ)来完成。这些值与可移动物体从点M到点M’的空间布局的变化有关,并且因此可以基于传感器数据而获得,如之前关于步骤320和330所描述的。随后,可以确定Δu和Δv的值,并且Δv可以用于确定对成像参数的调整(例如,光学组件的光学中心与图像传感器之间的距离变化),以便使成像装置对焦于目标物体。
作为另一示例,在一些实施方式中,基于所确定的空间布局和/或空间关系的变化来修改一个或多个参数以保持成像装置的视场。任选地,可能先前已经设置了成像装置的视场(例如,在步骤310中),并且步骤340可以涉及修改一个或多个参数以保持视场。在一些实施方式中,所确定的变化用于修改成像装置的焦距,例如,通过改变光学组件的变焦光学件的配置。步骤340可以进一步涉及基于空间布局和/或空间关系的变化来确定对一个或多个参数(例如,焦距)的修改,以便保持视场。下面呈现了用于执行这种确定的示例性方法。
针对具有可变焦距的成像装置(例如,变焦镜头),可以改变焦距f和像距v两者以便保持视场并且对焦于目标物体。可以保持视场基本上恒定以便保持图像数据中的目标物体的大小(例如,高度)。用于保持视场和对焦的焦距变化Δf和像距变化Δv的变化可以如下计算。
图5根据实施方式图示了用于计算焦距和像距的变化的简化模型500。模型500包括具有光轴504的光学组件(本文中表示为单个透镜502)。在第一物距u和第二物距u+Δu处对具有高度h的目标物体506进行成像,产生分别位于第一像距v和第二像距v+Δv处的具有高度h’的相应的像508。为了保持像508的高度h’恒定,将光学组件的焦距从f+Δf改为f。因此,可以得到以下关系:
从而得到:
可以消除h和h’以得到:
从在步骤310中执行的初始对焦中已知初始像距v和焦距f的值。如之前针对固定焦距装置所描述的那样,可以计算初始物距u以及物距的变化Δu。因此,可以确定Δv和Δf的值。Δv可以用于确定对对焦参数的调整,而Δf表示对焦距的调整。
在一些实施方式中,本文中所描述的这些方法也可以适应目标物体相对于可移动物体和/或成像装置的移动。举例来说,方法300可以涉及接收指示目标物体相对于可移动物体和/或成像装置的移动的跟踪信息,并且步骤340可以进一步涉及基于跟踪信息来修改一个或多个参数。在一些实施方式中,跟踪信息是基于由成像装置捕捉的目标物体的图像数据而生成,例如,使用监测目标物体在图像数据中的位置和/或大小的跟踪算法。在一些实施方式中,目标物体相对于可移动物体和/或成像装置的移动导致了目标物体在图像数据中的大小(例如,长度、宽度、高度)的变化,并且大小信息可以用于确定移动量。举例来说,如果目标物体于在第一时间点所获得的图像中具有第一高度H1且于在第二时间点所获得的图像中具有第二高度H2,那么两个时间点之间的物距的变化Δu可以确定如下:
任选地,步骤340可以进一步包括确定应该以什么速率来修改一个或多个参数。在一些实施方式中,可能希望逐渐地增大或减小参数的值,而不是直接将参数设置为修改值。也可以基于空间布局和/或空间关系的变化来确定速率分布。
在步骤350中,使用具有在步骤340中所确定的经修改的一个或多个参数的成像装置来生成图像数据。在方法300的一些实施方式中,步骤350被省略,从而使得可以在不生成图像数据的情况下执行方法300。
可以不断地或者以预定的时间间隔重复方法300的部分或全部步骤以便提供对成像参数(例如,焦点、焦距)的动态修改。举例来说,在可移动物体的操作期间中,可以以大约30Hz或者在大约10Hz到大约50Hz范围内的速率来重复步骤320到340。
相比于用于设置成像装置的一个或多个参数的其他方法,方法300提供了各种优点。举例来说,方法300使得能够在不对目标物体进行成像或不改变成像装置的焦点的情况下进行对焦调整,以便识别最佳焦点位置,这可以提高对焦速度。作为另一个示例,可以在不使用检测目标物体与成像装置之间的距离的传感器的情况下执行方法300,这可以减少硬件和空间需求。可以在不使用来自用户的输入的情况下自动地执行方法300的部分或者全部步骤,这可以提高易用性。
图6根据实施方式图示了使用由可移动物体承载的成像装置对目标物体进行成像的方法600。可以使用本文中所描述的系统和装置的任何实施方式来执行方法600。在一些实施方式中,借助于一个或多个处理器(例如,搭载于可移动物体和/或成像装置上)来执行方法600的部分或全部步骤。
在步骤610中,设置成像装置的一个或多个参数。这些参数可以包括以下各项中的一项或多项:焦点、焦距、变焦等级、光圈大小、曝光时间、快门速度、镜头速度、成像模式、白平衡、ISO或闪光。在一些实施方式中,步骤610涉及接收一个或多个参数中的每个参数的初始值,和设置这些参数中的每个参数为对应的初始值。可以由用户例如通过与可移动物体和/或成像装置通信的远程终端来输入初始值。备选地,可以自动地确定初始值。
例如,在一些实施方式中,设置一个或多个参数以便在成像装置和/或可移动物体处于第一空间布局中时使成像装置对焦于目标物体。可以如本文之前关于方法300的步骤310所描述的那样来执行对焦。
备选地或组合地,在一些实施方式中,如本文之前关于方法300的步骤310所描述的那样,设置一个或多个参数,从而使得当成像装置和/或可移动物体处于第一空间布局中时,成像装置具有一定的视场或变焦等级。
在方法600的一些实施方式中,步骤610被省略,从而使得可以在不设置参数的初始值的情况下执行方法600。
在步骤620中,检测成像装置和/或可移动物体从第一空间布局到第二空间布局的移动。第一空间布局可以是或者可以不是与步骤610中同样的空间布局。第一空间布局可以关于位置(例如,经度、纬度和/或高度)和/或方位(例如,横滚角、俯仰角和/或偏航角)不同于第二空间布局。在一些实施方式中,通过比较来自第一空间布局和第二空间布局的位置和/或方位数据来检测移动。检测移动可以涉及确定从第一空间布局到第二空间布局的移动距离和/或移动方向。
在一些实施方式中,使用一个或多个传感器来检测成像装置和/或可移动物体的移动。这些传感器可以包括本文之前关于方法300的步骤320所描述的任何传感器。任选地,传感器融合算法可以用于对处理来自多个不同传感器类型(例如,GPS传感器、惯性传感器、视觉传感器和/或高度传感器)的每个传感器类型的数据进行处理以便检测移动。
在步骤630中,响应于所检测到的移动来修改成像装置的一个或多个参数。这些参数可以包括以下各项中的一项或多项:焦点、焦距、变焦等级、光圈大小、曝光时间、快门速度、镜头速度、成像模式、白平衡、ISO或闪光。修改后的参数可以是在步骤610中初始设置的相同参数,或者可以是不同的参数。
例如,在一些实施方式中,修改一个或多个参数,从而使得当成像装置和/或可移动物体处于第二空间布局中时,成像装置对焦于目标物体。任选地,成像装置可能先前已经对焦于目标物体(例如,在步骤610中),并且步骤630可以涉及修改一个或多个参数以保持对焦。在一些实施方式中,检测到的移动用于修改成像装置的焦点(如通过修改成像装置的光学组件的光学中心与成像装置的图像传感器之间的距离),以便使成像装置对焦于目标物体。步骤630可以进一步涉及基于检测到的移动来确定对一个或多个参数(例如,焦点)的修改以便使成像装置对焦于目标物体。可以如本文之前关于方法300的步骤340所描述的那样来执行确定。
作为另一示例,在一些实施方式中,修改一个或多个参数以便在成像装置和/或可移动物体处于第二空间布局中时保持成像装置的视场。任选地,可能先前已经设置了成像装置的视场(例如,在步骤610中),并且步骤630可以涉及修改一个或多个参数以保持视场。在一些实施方式中,检测到的移动用于修改成像装置的焦距,例如,通过改变光学组件的变焦光学件的配置。步骤630可以进一步涉及基于检测到的移动来确定对一个或多个参数(例如,焦距)的修改以便保持视场。可以如本文之前关于方法300的步骤340所描述的那样来执行确定。
在一些实施方式中,本文中所描述的这些方法也可以适应目标物体相对于可移动物体和/或成像装置的移动。举例来说,方法600可以涉及接收指示目标物体相对于可移动物体和/或成像装置的移动的跟踪信息,并且步骤630可以进一步涉及基于跟踪信息来修改一个或多个参数。在一些实施方式中,跟踪信息是基于由成像装置捕捉的目标物体的图像数据而生成,例如,使用监测目标物体在图像数据中的位置和/或大小的跟踪算法。在一些实施方式中,目标物体相对于可移动物体和/或成像装置的移动导致了目标物体在图像数据中的大小(例如,长度、宽度、高度)的变化,并且大小信息可以用于确定移动量。可以如本文之前关于方法300的步骤340所描述的那样来执行确定。
任选地,步骤630可以进一步包括确定应该以什么速率来修改一个或多个参数。在一些实施方式中,可能希望逐渐地增大或减小参数的值,而不是直接将参数设置为修改值。也可以基于空间布局和/或空间关系的变化来确定速率分布。
在一些实施方式中,可以在不对目标物体进行成像或不改变成像装置的焦点的情况下执行步骤630,以便识别最佳焦点位置,这可以提高对焦速度。在一些实施方式中,可以在不使用检测目标物体与成像装置之间的距离的传感器的情况下执行步骤630,这可以减少硬件和空间需求。可以在不使用来自用户的输入的情况下自动地执行步骤630,这可以提高易用性。
在步骤640中,使用具有在步骤630中所确定的经修改的一个或多个参数的成像装置来生成图像数据。在方法600的一些实施方式中,步骤640被省略,从而使得可以在不生成图像数据的情况下执行方法600。
可以不断地或者以预定的时间间隔重复方法600的部分或全部步骤以便提供对成像参数(例如,焦点、焦距)的动态修改。举例来说,在可移动物体的操作期间,可以以大约30Hz或者在大约10Hz到大约50Hz范围内的速率来重复步骤620到630。
图7到图9图示了可用于执行本文中所描述的这些方法的任何实施方式的多个示例性系统。
图7根据实施方式示意性地图示了用于对目标物体进行成像的系统700。系统700包括可移动物体702和由所述可移动物体承载的成像装置704。可移动物体702可以包括一个或多个处理器706和一个或多个传感器708。成像装置704可以包括用于生成目标物体的图像数据的图像传感器710和用于将光会聚到图像传感器710上的光学组件712。在一些实施方式中,可移动物体702的一个或多个传感器708用于检测可移动物体702的运动信息,如可移动物体702从第一空间布局到第二空间布局的移动。
在一些实施方式中,可移动物体702的一个或多个处理器706被配置用于执行本文中所描述的这些方法(如方法300或方法600)的任何实施方式。举例来说,一个或多个处理器706可以接收并处理来自传感器708的运动信息,以便确定对成像装置704的一个或多个参数的修改。一个或多个处理器706可以可操作地耦合到成像装置704以便传输多个控制信号,这些控制信号使成像装置704实施所确定的这些修改(例如,通过调整光学组件712的配置)。一个或多个处理器706可以可操作地耦合到成像装置704以便接收由成像装置704生成的图像数据。任选地,一个或多个处理器706可以与远程终端(未示出)通信,以便接收来自所述终端的控制信号和/或将图像数据传输到所述终端。
图8根据实施方式示意性地图示了用于对目标物体进行成像的系统800。系统800包括可移动物体802和由可移动物体承载的成像装置804。可移动物体802可以包括一个或多个传感器806。成像装置804可以包括一个或多个处理器808、用于生成目标物体的图像数据的图像传感器810,以及用于使光会聚到图像传感器810上的光学组件812。在一些实施方式中,可移动物体802的一个或多个传感器806用于检测可移动物体802的运动信息,如可移动物体802从第一空间布局到第二空间布局的移动。
在一些实施方式中,成像装置804的一个或多个处理器808被配置用于执行本文中所描述的这些方法(如方法300或方法600)的任何实施方式。一个或多个处理器808可以接收并处理来自传感器806的运动信息,以便确定对成像装置804的一个或多个参数的修改。一个或多个处理器808可以生成多个控制信号,这些控制信号使成像装置804实现所确定的这些修改(例如,通过调整光学组件812的配置)。一个或多个处理器808可以接收由成像装置804的图像传感器810生成的图像数据。任选地,一个或多个处理器808可以与远程终端(未示出)通信,以便接收来自所述终端的控制信号和/或将图像数据传输到所述终端。
图9根据实施方式示意性地图示了用于对目标物体进行成像的系统900。系统900包括可移动物体902和由可移动物体902承载的成像装置904。成像装置904可以包括一个或多个处理器906、一个或多个传感器908、用于生成目标物体的图像数据的图像传感器910,以及用于使光会聚到图像传感器910上的光学组件912。在一些实施方式中,成像装置904的一个或多个传感器908用于检测成像装置904的运动信息,如成像装置904从第一空间布局到第二空间布局的移动。
在一些实施方式中,成像装置904的一个或多个处理器906被配置用于执行本文中所描述的这些方法(如方法300或方法600)的任何实施方式。一个或多个处理器906可以接收并处理来自传感器908的运动信息,以便确定对成像装置904的一个或多个参数的修改。一个或多个处理器906可以生成多个控制信号,这些控制信号使成像装置904实现所确定的这些修改(例如,通过调整光学组件912的配置)。一个或多个处理器906可以接收由成像装置912的图像传感器910生成的图像数据。任选地,一个或多个处理器906可以与远程终端(未示出)通信,以便接收来自所述终端的控制信号和/或将图像数据传输到所述终端。
应认识到,图7到图9中所图示的这些实施方式仅作为示例提供并且并不旨在是限制性的。本领域的普通技术人员应该认识到,可以如所期望的那样改变系统700、800以及900的各种部件的配置。举例来说,可以改变这些部件的位置,例如,从而使得图示为位于可移动物体中的部件可以改为位于成像装置中,反之亦然。一些部件可以与其他部件组合。备选地,一些部件可以被分为多个子部件,并且可以如所期望的那样改变这些子部件的位置。
本文中所描述的系统、装置及方法可以应用于各种各样的可移动物体。如之前所述,本文中对飞行器的任何描述可以应用于以及用于任何可移动物体。本发明的可移动物体可以被配置用于在任何合适的环境内运动,如在空中(例如,固定翼飞行器、旋转翼飞行器或者既无固定翼也无旋转翼的飞行器)、在水中(例如,船舶或潜艇)、在陆地上(例如,机动车,如小汽车、卡车、公共汽车、厢式货车、摩托车、摩托车;可移动结构或架构,如拐杖、钓竿;或火车)、在地下(例如,地铁)、在太空中(例如,航天飞机、人造卫星或者探测器),或这些环境的任合组合。可移动物体可以是载运工具,如本文其他地方所描述的载运工具。在一些实施中,可移动物体可以安装于生物体上,如人类或者动物。合适的动物可以包括:飞行类动物、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿类动物或昆虫科。
可移动物体可能能够在环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)自由地移动。备选地,可移动物体的移动可以关于一个或多个自由度受限制,如受预定路线、轨道或方位限制。可以通过任何适合的致动机构(如引擎或电机)来致动所述移动。可移动物体的致动机构可以由任何合适的能源来供电,合适能源如电能、磁能、太阳能、风能、重力能、化学能、核能或上述能源的任何合适组合。如本文中其他地方所描述的,可移动物体可以通过推进系统来自推进。推进系统可以任选地靠消耗能源运行,所述能源如电能、磁能、太阳能、风能、重力能、化学能、核能或上述能源的任何合适组合。备选地,可移动物体可以由生物承载。
在一些情形下,可移动物体可以是载运工具。合适的载运工具可包括水上载运工具、飞行器、太空载运工具或地面载运工具。举例来说,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋转翼飞行器(例如,直升机、旋翼机)、既有固定翼又有旋转翼的飞行器,或既无固定翼也无旋翼的飞行器(例如,飞艇或热气球)。载运工具可以是自推进式的,如在空中、在水面上或在水中、在太空中或者在地面上或在地下是自推进的。自推进式载运工具可以利用推进系统,如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或其任何合适组合的推进系统。在一些情形下,推进系统可以用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或方位(例如,悬停)、改变方位和/或改变位置。
可移动物体可以由用户远程控制或者由可移动物体之内或之上的乘员进行本地控制。在一些实施方式中,可移动物体是无人可移动物体,如UAV。无人可移动物体(如UAV)可以没有载于可移动物体上的乘员。可移动物体可以由人或自主控制系统(例如,计算机控制系统)或其任何合适组合来控制。可移动物体可以是自主或者半自主的机器人,如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可具有一定大小和/或尺寸从而在载运工具内或上容纳人类乘员。备选地,可移动物体可具有比能够在载运工具内或上容纳人类乘员的大小和/或尺寸小的大小和/或尺寸。可移动物体可以具有适合于被人提起或搬运的大小和/或尺寸。备选地,可移动物体可以比适合于被人提起或搬运的大小和/或尺寸更大。在一些情形下,可移动物体可具有小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如,长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。举例来说,可移动物体的相对旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m、或10m。备选地,相对旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可具有小于100cm×100cm×100cm、小于50cm×50cm×30cm或小于5cm×5cm×3cm的体积。可移动物体的总体积可小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中,可移动物体可具有小于或等于约:32000cm2、20000cm2、10000cm2、1000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占用面积(其可以指由可移动物体所包围的横截面面积)。相反地,所述占用面积可大于或等于约:32000cm2、20000cm2、10000cm2、1000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情形下,可移动物体可以重不超过1000kg。可移动物体的重量可小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于所述可移动物体承载的载荷可以较小。如以下进一步详细描述的,载荷可包括搭载物和/或载体。在一些示例中,可移动物体重量与载荷重量的比可大于、小于或等于约1∶1。在一些情形下,可移动物体重量与载荷重量的比可大于、小于或等于约1∶1。任选地,载体重量与载荷重量的比可大于、小于或等于1∶1。当需要时,可移动物体重量与载荷重量的比可小于或等于:1∶2、1∶3、1∶4、1∶5、1∶10,或甚至更小。相反地,可移动物体重量与载荷重量的比也可以大于或者等于:2∶1、3∶1、4∶1、5∶1、10∶1,或甚至更大。
在一些实施方式中,可移动物体可具有低能耗。举例来说,可移动物体可使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。在一些情形下,可移动物体的载体可具有低能耗。举例来说,载体可使用小于于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。任选地,可移动物体的搭载物可具有低能耗,如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更少。
图10根据本发明的实施方式图示了无人飞行器(UAV)1000。UAV可为如本文中所描述的可移动物体的示例。UAV 1000可以包括具有四个旋翼1002、1004、1006和1008的推进系统。可提供任何数量的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他推进系统可使无人飞行器能够悬停/保持位置、改变方位和/或改变位置。相对旋翼的轴之间的距离可以是任何合适长度1010。举例来说,长度1010可以小于或等于2m或者小于或等于5m。在一些实施方式中,长度1010可以在40cm到1m、10cm到2m或者5cm到5m的范围内。本文中对UAV的任何描述可应用于可移动物体(如不同类型的可移动物体),反之亦然。
在一些实施方式中,可移动物体可以被配置用于承载载荷。载荷可以包括乘客、货物、设备、仪器以及类似物中的一种或多种。载荷可以设置在壳体内。壳体可与可移动物体的壳体相分离,或者是可移动物体的壳体的部分。备选地,载荷可以具备壳体,而可移动物体没有壳体。备选地,载荷的部分或整个载荷可以不具备壳体。载荷可以相对于可移动物体刚性固定。任选地,载荷可以相对于可移动物体是可移动的(例如,相对于可移动物体可平移或可旋转)。
在一些实施方式中,载荷包括搭载物。搭载物可以被配置为不执行任何操作或者功能。备选地,搭载物可以是被配置用于执行操作或功能的搭载物,也称为功能性搭载物。举例来说,搭载物可以包括用于勘查一个或多个目标的一个或多个传感器。任何适合的传感器可以合并到搭载物中,所述搭载物如图像捕捉装置(例如,相机)、音频捕捉装置(例如,抛物线麦克风)、红外线成像装置或紫外线成像装置。传感器可以提供静态感测数据(例如,照片)或动态感测数据(例如,视频)。在一些实施方式中,传感器为搭载物的目标提供感测数据。备选地或组合地,搭载物可以包括一个或多个发射器以用于向一个或多个目标提供信号。可以使用任何适合的发射器,如照明源或声源。在一些实施方式中,搭载物包括一个或多个收发器,如用于与远离可移动物体的模块通信。任选地,搭载物可以被配置用于与环境或目标相互作用。举例来说,搭载物可以包括能够操控物体的工具、仪器或机构,如机械臂。
任选地,载荷可包括载体。可以为搭载物提供载体,并且搭载物可以通过载体或者直接地(例如,直接接触可移动物体)或者间接地(例如,不接触可移动物体)联接到可移动物体。相反地,搭载物可以在不需要载体的情况下被安装在可移动物体上。搭载物可以与载体一体成型。备选地,搭载物可以可释放地联接到载体。在一些实施方式中,搭载物可以包括一个或多个搭载物元件,并且一个或多个搭载物元件可以相对于可移动物体和/或载体是可移动的,如上所述。
载体可以与可移动物体一体成型。备选地,载体可以可释放地联接到可移动物体。载体可以直接或者间接联接到可移动物体。载体可以为搭载物提供支撑(例如,承载搭载物的至少部分重量)。载体可以包括能够稳定和/或导向搭载物的移动的合适安装结构(例如,云台平台)。在一些实施方式中,载体可以适于控制搭载物相对于可移动物体的状态(例如,位置和/或方位)。举例来说,载体可以被配置用于相对于可移动物体移动(例如,关于一个、两个或三个平移度和/或一个、两个或三个旋转度),从而使得无论可移动物体如何移动,搭载物相对于合适的参照系保持其位置和/或方位。所述参照系可以是固定参照系(例如,周围环境)。备选地,所述参照系可以是移动参照系(例如,可移动物体、搭载物目标)。
在一些实施方式中,载体可以被配置用于允许搭载物相对于载体和/或可移动物体移动。所述移动可以是关于多达三个自由度平移(例如,沿着一个、两个或三个轴)或关于多达三个自由度旋转(例如,沿着一个、两个或三个轴),或其任何合适组合。
在一些情形下,载体可以包括载体框架组件和载体致动组件。载体框架组件可以为搭载物提供结构性支撑。载体框架组件可以包括多个独立的载体框架部件,这些载体框架部件中的一些载体框架部件可以相对另一些载体框架部件是可移动的。载体致动组件可以包括一个或多个致动器(例如,马达),所述一个或多个致动器致使这些独立的载体框架部件移动。所述致动器可以允许多个载体框架部件同时移动,或者可以被配置用于每次只允许单个载体框架部件移动。所述载体框架部件的移动可以产生相应的搭载物的移动。举例来说,载体致动组件可以致使一个或多个载体框架部件围绕一个或多个旋转轴线(例如横滚轴线、俯仰轴线或航向轴线)旋转。一个或多个载体框架部件的旋转可以导致搭载物相对于可移动物体围绕一个或多个旋转轴线旋转。备选地或组合地,载体致动组件可以致使一个或多个载体框架部件沿一个或多个平移轴线平移,并且由此致使搭载物相对于可移动物体沿一个或多个相应的轴线平移。
在一些实施方式中,可移动物体、载体以及搭载物相对于固定参照系(例如,周围环境)和/或相对彼此的移动可以由终端来控制。终端可以是远离可移动物体、载体和/或搭载物位置处的遥控装置。终端可以设置在支撑平台上或固定到支撑平台。备选地,终端可以为手持式或可穿戴式装置。举例来说,终端可以包括智能电话、平板计算机、笔记本计算机、计算机、眼镜、手套、头盔、麦克风,或其适合组合。终端可以包括用户接口,如键盘、鼠标、操纵杆、触摸屏或显示器。任何适合的用户输入可以用于与终端进行交互,如手动输入的命令、声音控制、手势控制或位置控制(例如,通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或搭载物的任何适合的状态。举例来说,终端可以用于控制可移动物体、载体和/或搭载物相对于固定参照物和/或相对于彼此的位置和/或方位。在一些实施方式中,终端可以用于控制可移动物体、载体和/或搭载物的单独元件,如载体的致动组件、搭载物的传感器或搭载物的发射器。终端可以包括适合与可移动物体、载体或搭载物中的一个或多个进行通信的无线通信装置。
终端可以包括用于观察可移动物体、载体和/或搭载物的信息的合适显示单元。举例来说,终端可以被配置用于显示可移动物体、载体和/或搭载物的关于位置、平移速度、平移加速度、方位、角速度、角加速度或其任何组合的信息。在一些实施方式中,终端可以显示由搭载物提供的信息,如由功能性搭载物提供的数据(例如,由相机或其他图像捕获装置记录的图像)。
任选地,同一终端可以既控制可移动物体、载体和/或搭载物或者可移动物体、载体和/或搭载物的状态,又接收和/或显示来自可移动物体、载体和/或搭载物的信息。举例来说,终端可以控制搭载物相对于环境的定位,同时显示由搭载物捕捉到的图像数据或者关于搭载物位置的信息。备选地,不同的终端可用于不同的功能。举例来说,第一终端可控制可移动物体、载体和/或搭载物的移动或者状态,而第二终端可接收和/或显示来自可移动物体、载体和/或搭载物的信息。举例来说,第一终端可用于控制搭载物相对于环境的定位,而第二终端显示由搭载物捕捉到的图像数据。可以在可移动物体与既控制可移动物体又接收数据的一体式终端之间或者可以在可移动物体与既控制可移动物体又接收数据的多个终端之间使用各种通信模式。举例来说,可以在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间形成至少两种不同的通信模式。
图11根据实施方式图示了包括载体1102和搭载物1104的可移动物体1100。尽管可移动物体1100被描绘成飞行器,但是此描绘不旨在受限制,并且可以使用任何合适类型的可移动物体,如本文之前所描述。本领域技术人员将认识到,本文在飞行器系统的背景下所描述的任何实施方式可以应用于任何合适的可移动物体(例如,UAV)。在一些情形下,搭载物1104可以无需载体1102而设置在可移动物体1100上。可移动物体1100可包括推进机构1106、感测系统1108以及通信系统1110。
如前文所描述,推进机构1106可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁铁或者喷嘴中的一个或多个。举例来说,如本文中其他地方所描述,推进机构1106可为自紧式旋翼、旋翼组件或者其他旋转推进单元。可移动物体可具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。这些推进机构可全部是同一种类型。备选地,一个或多个推进机构可以为不同类型的推进机构。推进机构1106可以使用任何合适的手段(如本文中其他地方所描述的支撑元件(例如,驱动轴))安装在可移动物体1100上。推进机构1106可以安装在可移动物体1100的任何合适部分上,如在顶部、底部、前部、后部、侧部或其合适的组合上。
在一些实施方式中,推进机构1106可以使可移动物体1100能够从表面垂直地起飞或者垂直地降落到表面上,而不需要可移动物体1100的任何水平移动(例如,不需要在跑道上滑行)。任选地,推进机构1106可操作用于准许可移动物体1100在指定的位置和/或方位悬停在空中。可以独立于其他推进机构来控制推进机构1100中的一个或多个推进机构。备选地,推进机构1100可以被配置用于同时受到控制。举例来说,可移动物体1100可以具有多个水平朝向的旋翼,水平朝向的旋翼可以为可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动从而为可移动物体1100提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中,水平朝向的旋翼中的一个或多个旋翼可沿顺时针方向自旋,同时水平旋翼中的一个或多个旋翼可沿逆时针方向自旋。举例来说,顺时针旋翼的数量可与逆时针旋翼的数量相同。每个水平朝向的旋翼的旋转速率可以独立地变化,以控制由每个旋翼产生的升力和/或推力,并且由此调整可移动物体1100的空间布局、速度和/或加速度(例如,关于多达三个平移度和多达三个旋转度)。
感测系统1108可以包括一个或多个传感器,所述一个或多个传感器可感测可移动物体1100的空间布局、速度和/或加速度(例如,关于多达三个平移度和多达三个旋转度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。由感测系统1108提供的感测数据可以用于控制可移动物体1100的空间布局、速度和/或方位(例如,使用合适的处理单元和/或控制模块,如下文所描述)。备选地,感测系统1108可以用于提供关于可移动物体周围的环境的数据,如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
通信系统1110使能够通过无线信号1116与具有通信系统1114的终端1112进行通信。通信系统1110、1114可包括任何数量的适于无线通信的发射器、接收器和/或收发器。通信可为单向通信,从而使得数据可以在仅一个方向上传输。举例来说,单向通信可仅涉及可移动物体1100向终端1112传输数据,或反之亦然。数据可以从通信系统1110的一个或多个发射器传输到通信系统1112的一个或多个接收器,或反之亦然。备选地,通信可为双向通信,从而使得数据可以在可移动物体1100与终端1112之间在两个方向上进行传输。双向通信可以涉及从通信系统1110的一个或多个发射器传输数据到通信系统1114的一个或多个接收器,反之亦然。
在一些实施方式中,终端1112可以向可移动物体1100、载体1102以及搭载物1104中的一个或多个提供控制数据,并且从可移动物体1100、载体1102以及搭载物1104中的一个或多个接收信息(例如,可移动物体、载体或搭载物的位置和/或运动信息;由搭载物感测到的数据,如由搭载物相机捕捉的图像数据)。在一些情形下,来自终端的控制数据可包括用于可移动物体、载体和/或搭载物的相对位置、移动、致动或者控制的指令。举例来说,控制数据可导致修改可移动物体的位置和/或方位(例如,通过控制推进机构1106)或者搭载物相对于可移动物体的移动(例如,通过控制载体1102)。来自终端的控制数据可导致对搭载物的控制,如控制相机或者其他图像捕捉装置的操作(例如,获得静态或者动态图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或者视场)。在某些例子中,来自可移动物体、载体和/或搭载物的通信可包括来自(例如,感测系统1108的或搭载物1104的)一个或多个传感器的信息。通信可包括来自一种或多种不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这种信息可以与可移动物体、载体和/或搭载物的位置(例如,位置、方位)、移动或加速度有关。来自搭载物的这种信息可包括由搭载物捕捉到的数据或搭载物的感测状态。由终端1112传输的控制数据可以被配置用于控制可移动物体1100、载体1102或搭载物1104中的一个或多个的状态。备选地或组合地,载体1102和搭载物1104还可以各自包括通信模块,所述通信模块被配置用于与终端1112通信,从而使得所述终端可以独立地与可移动物体1100、载体1102以及搭载物1104进行通信并且对其进行控制。
在一些实施方式中,可移动物体1100可以被配置用于与除了终端1112之外或者代替终端1112的另一个远程装置通信。终端1112还可以被配置用于与另一个远程装置以及可移动物体1100通信。举例来说,可移动物体1100和/或终端1112可与另一个可移动物体或另一个可移动物体的载体或搭载物通信。当需要时,远程装置可为第二终端或者其他计算装置(例如,计算机、膝上计算机、平板计算机、智能电话或者其他移动装置)。远程装置可以被配置用于将数据传输到可移动物体1100,接收来自可移动物体1100的数据,将数据传输到终端1112,和/或接收来自终端1112的数据。任选地,远程装置可以连接到互联网或其他电信网络,从而使得从可移动物体1100和/或终端1112接收到的数据可以被上传到网站或服务器。
图12是根据实施方式的用于控制可移动物体的系统1200的框图示意图。系统1200可以与本文中所公开的系统、装置以及方法的任何合适实施方式结合使用。系统1200可以包括感测模块1202、处理单元1204、非暂时性计算机可读介质1206、控制模块1208以及通信模块1210。
感测模块1202可以利用不同类型的传感器,这些传感器以不同的方式收集与可移动物体相关的信息。不同类型的传感器可感测不同类型的信号或来自不同来源的信号。举例来说,传感器可包括惯性传感器、GPS传感器、近距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块1202可以操作性地耦合到具有多个处理器的处理单元1204。在一些实施方式中,所述感测模块可以操作性地耦合到传输模块1212(例如,Wi-Fi图像传输模块),所述传输模块被配置用于直接将感测数据传输到合适的外部装置或系统。举例来说,传输模块1212可以用于将由感测模块1202的相机捕捉到的图像传输到远程终端。
处理单元1204可以具有一个或多个处理器,如可编程处理器(例如,中央处理单元(CPU))。处理单元1204可以操作性地耦合到非暂时性计算机可读介质1206。非暂时性计算机可读介质1206可以存储可由处理单元1204执行以用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可移除式介质或外部存储器,如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块1202的数据可以直接被传送至并存储在非暂时性计算机可读介质1206的存储器单元中。非暂时性计算机可读介质1206的存储器单元可以存储可由处理单元1204执行以执行本文中所描述的方法的任何合适实施方式的逻辑、代码和/或程序指令。举例来说,处理单元1204可以被配置用于执行多条指令,这些指令导致处理单元1204的一个或多个处理器分析由感测模块产生的感测数据。这些存储器单元可以存储来自感测模块的待由处理单元1204处理的感测数据。在一些实施方式中,非暂时性计算机可读介质1206的存储器单元可以用于存储由处理单元1204产生的处理结果。
在一些实施方式中,处理单元1204可以操作性地耦合到控制模块1208,所述控制模块被配置用于控制可移动物体的状态。举例来说,控制模块1208可以被配置用于控制可移动物体的推进机构,从而调整可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地,控制模块1208可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元1204可以操作性地耦合到通信模块1210,所述通信模块被配置用于传输和/或接收来自一个或多个外部装置(例如,终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段,如有线通信或无线通信。举例来说,通信模块1210可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等等中的一种或多种。任选地,可以使用如塔、卫星或移动站的中继站。无线通信可以依赖于接近度或独立于接近度。在一些实施方式中,通信可能需要或可能不需要视线。通信模块1210可以传输和/或接收来自感测模块1202的感测数据、由处理单元1204产生的处理结果、预先确定的控制数据、来自终端或遥控器的用户命令等中的一项或多项。
系统1200的部件可以按任何合适配置进行布置。举例来说,系统1200的部件中的一个或多个部件可以位于可移动物体、载体、搭载物、终端、感测系统或者与以上一者或多者通信的附加外部装置上。此外,尽管图12描绘了单个处理单元1204和单个非暂时性计算机可读介质1206,但是本领域的技术人员将认识到,所述描绘不旨在限制,并且系统1200可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中,所述多个处理单元和/或非暂时性计算机可读介质中的一个或多个可位于不同位置,如在可移动物体、载体、搭载物、终端、感测模块、与以上一者或多者通信的附加外部装置或其适当组合上,从而使得由系统1200执行的处理和/或存储器功能的任何合适方面可以在上述位置中的一个或多个位置发生。
如本文中所使用,A和/或B包含A或B以及其组合(如A和B)中的一个或多个。
虽然本文中已经示出和描述了本发明的优选实施方式,但对于本领域的技术人员而言将明显的是仅通过示例提供了这些实施方式。本领域的技术人员现将想到许多变化、改变以及替换而不脱离本发明。应理解,可以在实践本发明时采用本文中所描述的本发明实施方式的各种替代方案。本文中所描述的实施方式的众多不同组合是可能的,并且这些组合被视为本公开的一部分。此外,结合本文中的任何一个实施方式所讨论的所有特征都可以轻易地适用于在本文中的其他实施方式中使用。权利要求书旨在限定本发明的范围,并且旨在由此覆盖在这些权利要求及其等效物的范围内的方法和结构。
Claims (303)
1.一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统,所述系统包括:
一个或多个传感器,被配置用于检测所述可移动物体的运动信息;以及
一个或多个处理器,被配置用于:
从所述一个或多个传感器接收所述可移动物体的所述运动信息;
基于所述运动信息来确定所述可移动物体与所述目标物体之间的空间关系的变化;以及
基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
2.根据权利要求1所述的系统,其中所述可移动物体是无人飞行器。
3.根据权利要求1所述的系统,其中所述成像装置包括固定焦距。
4.根据权利要求1所述的系统,其中所述成像装置包括可变焦距。
5.根据权利要求1所述的系统,其中所述成像装置包括图像传感器。
6.根据权利要求1所述的系统,其中所述一个或多个传感器由所述可移动物体承载。
7.根据权利要求1所述的系统,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
8.根据权利要求1所述的系统,其中所述一个或多个传感器包括多种不同的传感器类型。
9.根据权利要求8所述的系统,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
10.根据权利要求1所述的系统,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
11.根据权利要求1所述的系统,其中所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。
12.根据权利要求11所述的系统,其中所述一个或多个处理器被进一步配置用于确定所述可移动物体与所述目标物体之间的所述距离。
13.根据权利要求1所述的系统,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
14.根据权利要求1所述的系统,其中所述一个或多个参数包括所述成像装置的焦距。
15.根据权利要求1所述的系统,其中修改所述一个或多个参数以便保持所述成像装置的视场。
16.根据权利要求1所述的系统,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
17.根据权利要求16所述的系统,其中所述初始值由用户输入。
18.根据权利要求17所述的系统,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
19.根据权利要求16所述的系统,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
20.根据权利要求1所述的系统,其中所述目标物体是静止的。
21.根据权利要求1所述的系统,其中所述目标物体是移动的。
22.根据权利要求21所述的系统,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
23.根据权利要求22所述的系统,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
24.根据权利要求1所述的系统,其中所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
25.一种使用由可移动物体承载的成像装置对目标物体进行成像的方法,所述方法包括:
使用一个或多个传感器检测所述可移动物体的运动信息;
基于所述运动信息并且借助于一个或多个处理器,确定所述可移动物体与所述目标物体之间的空间关系的变化;以及
借助于一个或多个处理器,基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
26.根据权利要求25所述的方法,其中所述可移动物体是无人飞行器。
27.根据权利要求25所述的方法,其中所述成像装置包括固定焦距。
28.根据权利要求25所述的方法,其中所述成像装置包括可变焦距。
29.根据权利要求25所述的方法,其中所述成像装置包括图像传感器。
30.根据权利要求25所述的方法,其中所述一个或多个传感器由所述可移动物体承载。
31.根据权利要求25所述的方法,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
32.根据权利要求25所述的方法,其中所述一个或多个传感器包括多种不同的传感器类型。
33.根据权利要求32所述的方法,进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
34.根据权利要求25所述的方法,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
35.根据权利要求25所述的方法,其中所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。
36.根据权利要求35所述的方法,进一步包括确定所述可移动物体与所述目标物体之间的所述距离。
37.根据权利要求25所述的方法,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
38.根据权利要求25所述的方法,其中所述一个或多个参数包括所述成像装置的焦距。
39.根据权利要求25所述的方法,其中修改所述一个或多个参数以便保持所述成像装置的视场。
40.根据权利要求25所述的方法,进一步包括接收所述一个或多个参数中的每个参数的初始值。
41.根据权利要求40所述的方法,其中所述初始值由用户输入。
42.根据权利要求41所述的方法,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
43.根据权利要求41所述的方法,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
44.根据权利要求25所述的方法,其中所述目标物体是静止的。
45.根据权利要求25所述的方法,其中所述目标物体是移动的。
46.根据权利要求45所述的方法,进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
47.根据权利要求46所述的方法,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
48.根据权利要求25所述的方法,进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
49.一种由可移动物体承载的用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个处理器,被配置用于:
从安装在所述可移动物体上或所述可移动物体内的一个或多个传感器接收所述可移动物体的运动信息;
基于所述运动信息来确定所述可移动物体与所述目标物体之间的空间关系的变化;以及
基于所述可移动物体与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
50.根据权利要求49所述的成像装置,其中所述可移动物体是无人飞行器。
51.根据权利要求49所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
52.根据权利要求51所述的成像装置,其中所述光学组件包括固定焦距。
53.根据权利要求51所述的成像装置,其中所述光学组件包括可变焦距。
54.根据权利要求49所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
55.根据权利要求49所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
56.根据权利要求49所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
57.根据权利要求56所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
58.根据权利要求49所述的成像装置,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
59.根据权利要求49所述的成像装置,其中所述可移动物体与所述目标物体之间的所述空间关系包括所述可移动物体与所述目标物体之间的距离。
60.根据权利要求59所述的成像装置,其中所述一个或多个处理器被进一步配置用于确定所述可移动物体与所述目标物体之间的所述距离。
61.根据权利要求49所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
62.根据权利要求49所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
63.根据权利要求49所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
64.根据权利要求49所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
65.根据权利要求64所述的成像装置,其中所述初始值由用户输入。
66.根据权利要求65所述的成像装置,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
67.根据权利要求65所述的成像装置,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
68.根据权利要求49所述的成像装置,其中所述目标物体是静止的。
69.根据权利要求49所述的成像装置,其中所述目标物体是移动的。
70.根据权利要求69所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
71.根据权利要求70所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
72.根据权利要求49所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
73.一种用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及
一个或多个处理器,被配置用于:
从所述一个或多个传感器接收所述成像装置的所述运动信息;
基于所述运动信息来确定所述成像装置与所述目标物体之间的空间关系的变化;以及
基于所述成像装置与所述目标物体之间的所述空间关系的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
74.根据权利要求73所述的成像装置,其中所述成像装置由可移动物体承载。
75.根据权利要求74所述的成像装置,其中所述可移动物体是无人飞行器。
76.根据权利要求73所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
77.根据权利要求76所述的成像装置,其中所述光学组件包括固定焦距。
78.根据权利要求76所述的成像装置,其中所述光学组件包括可变焦距。
79.根据权利要求73所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
80.根据权利要求73所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
81.根据权利要求73所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
82.根据权利要求81所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
83.根据权利要求82所述的成像装置,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
84.根据权利要求73所述的成像装置,其中所述成像装置与所述目标物体之间的所述空间关系包括成像装置与所述目标物体之间的距离。
85.根据权利要求84所述的成像装置,其中所述一个或多个处理器被进一步配置用于确定所述成像装置与所述目标物体之间的所述距离。
86.根据权利要求73所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
87.根据权利要求73所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
88.根据权利要求73所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
89.根据权利要求73所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
90.根据权利要求89所述的成像装置,其中所述初始值由用户输入。
91.根据权利要求90所述的成像装置,其中所述初始值由所述用户通过与所述成像装置通信的远程终端输入。
92.根据权利要求90所述的成像装置,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
93.根据权利要求73所述的成像装置,其中所述目标物体是静止的。
94.根据权利要求73所述的成像装置,其中所述目标物体是移动的。
95.根据权利要求94所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
96.根据权利要求95所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
97.根据权利要求73所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
98.一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统,所述系统包括:
一个或多个传感器,被配置用于检测所述可移动物体的运动信息;以及
一个或多个处理器,被配置用于:
从所述一个或多个传感器接收所述可移动物体的所述运动信息;
基于所述运动信息来确定所述可移动物体的空间布局的变化;以及
基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
99.根据权利要求98所述的系统,其中所述可移动物体是无人飞行器。
100.根据权利要求98所述的系统,其中所述成像装置包括固定焦距。
101.根据权利要求98所述的系统,其中所述成像装置包括可变焦距。
102.根据权利要求98所述的系统,其中所述成像装置包括图像传感器。
103.根据权利要求98所述的系统,其中所述一个或多个传感器由所述可移动物体承载。
104.根据权利要求98所述的系统,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
105.根据权利要求98所述的系统,其中所述一个或多个传感器包括多种不同的传感器类型。
106.根据权利要求105所述的系统,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
107.根据权利要求98所述的系统,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
108.根据权利要求98所述的系统,其中所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
109.根据权利要求98所述的系统,其中所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
110.根据权利要求98所述的系统,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
111.根据权利要求98所述的系统,其中所述一个或多个参数包括所述成像装置的焦距。
112.根据权利要求98所述的系统,其中修改所述一个或多个参数以便保持所述成像装置的视场。
113.根据权利要求98所述的系统,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
114.根据权利要求113所述的系统,其中所述初始值由用户输入。
115.根据权利要求114所述的系统,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
116.根据权利要求113所述的系统,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
117.根据权利要求98所述的系统,其中所述目标物体是静止的。
118.根据权利要求98所述的系统,其中所述目标物体是移动的。
119.根据权利要求118所述的系统,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
120.根据权利要求119所述的系统,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
121.根据权利要求98所述的系统,其中所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
122.一种使用由可移动物体承载的成像装置对目标物体进行成像的方法,所述方法包括:
使用一个或多个传感器检测所述可移动物体的运动信息;
基于所述运动信息并且借助于一个或多个处理器,确定所述可移动物体的空间布局的变化;以及
借助于一个或多个处理器,基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
123.根据权利要求122所述的方法,其中所述可移动物体是无人飞行器。
124.根据权利要求122所述的方法,其中所述成像装置包括固定焦距。
125.根据权利要求122所述的方法,其中所述成像装置包括可变焦距。
126.根据权利要求122所述的方法,其中所述成像装置包括图像传感器。
127.根据权利要求122所述的方法,其中所述一个或多个传感器由所述可移动物体承载。
128.根据权利要求122所述的方法,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
129.根据权利要求122所述的方法,其中所述一个或多个传感器包括多种不同的传感器类型。
130.根据权利要求129所述的方法,进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
131.根据权利要求122所述的方法,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
132.根据权利要求122所述的方法,其中所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
133.根据权利要求122所述的方法,其中所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
134.根据权利要求122所述的方法,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
135.根据权利要求122所述的方法,其中所述一个或多个参数包括所述成像装置的焦距。
136.根据权利要求122所述的方法,其中修改所述一个或多个参数以便保持所述成像装置的视场。
137.根据权利要求122所述的方法,进一步包括接收所述一个或多个参数中的每个参数的初始值。
138.根据权利要求137所述的方法,其中所述初始值由用户输入。
139.根据权利要求138所述的方法,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
140.根据权利要求137所述的方法,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
141.根据权利要求122所述的方法,其中所述目标物体是静止的。
142.根据权利要求122所述的方法,其中所述目标物体是移动的。
143.根据权利要求142所述的方法,进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
144.根据权利要求143所述的方法,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
145.根据权利要求122所述的方法,进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
146.一种由可移动物体承载的用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个处理器,被配置用于:
从安装在所述可移动物体上或所述可移动物体内的一个或多个传感器接收所述可移动物体的运动信息;
基于所述运动信息来确定所述可移动物体的空间布局的变化;以及
基于所述可移动物体的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
147.根据权利要求146所述的成像装置,其中所述可移动物体是无人飞行器。
148.根据权利要求146所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
149.根据权利要求148所述的成像装置,其中所述光学组件包括固定焦距。
150.根据权利要求148所述的成像装置,其中所述光学组件包括可变焦距。
151.根据权利要求146所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
152.根据权利要求146所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
153.根据权利要求146所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
154.根据权利要求153所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
155.根据权利要求146所述的成像装置,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
156.根据权利要求146所述的成像装置,其中所述空间布局包括所述可移动物体关于三个自由度的位置和所述可移动物体关于三个自由度的方位。
157.根据权利要求146所述的成像装置,其中所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
158.根据权利要求146所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述成像装置的所述光学组件的光学中心与所述成像装置的图像传感器之间的距离。
159.根据权利要求146所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
160.根据权利要求146所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
161.根据权利要求146所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
162.根据权利要求161所述的成像装置,其中所述初始值由用户输入。
163.根据权利要求162所述的成像装置,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
164.根据权利要求161所述的成像装置,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
165.根据权利要求146所述的成像装置,其中所述目标物体是静止的。
166.根据权利要求146所述的成像装置,其中所述目标物体是移动的。
167.根据权利要求166的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
168.根据权利要求167所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
169.根据权利要求146所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
170.一种用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及
一个或多个处理器,被配置用于:
从所述一个或多个传感器接收所述成像装置的所述运动信息;
基于所述运动信息来确定所述成像装置的空间布局的变化;以及
基于所述成像装置的所述空间布局的所述确定的变化来修改所述成像装置的一个或多个参数,从而使得所述成像装置对焦于所述目标物体。
171.根据权利要求170所述的成像装置,其中所述成像装置由可移动物体承载。
172.根据权利要求171所述的成像装置,其中所述可移动物体是无人飞行器。
173.根据权利要求170所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
174.根据权利要求173所述的成像装置,其中所述光学组件包括固定焦距。
175.根据权利要求173所述的成像装置,其中所述光学组件包括可变焦距。
176.根据权利要求170所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
177.根据权利要求170所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
178.根据权利要求170所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
179.根据权利要求178所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便确定所述运动信息。
180.根据权利要求179所述的成像装置,其中所述运动信息包括以下各项中的一项或多项:平移速度、平移加速度、角速度、角加速度、在当前时间点的位置、在当前时间点的方位、在前一个时间点的位置或在前一个时间点的方位。
181.根据权利要求170的成像装置,其中所述空间布局包括所述成像装置关于三个自由度的位置和所述成像装置关于三个自由度的方位。
182.根据权利要求170所述的成像装置,其中所述空间布局包括以下各项中的一项或多项:所述可移动物体的经度、纬度、高度、横滚角、俯仰角或偏航角。
183.根据权利要求170所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
184.根据权利要求170所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
185.根据权利要求170所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
186.根据权利要求170所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收所述一个或多个参数中的每个参数的初始值。
187.根据权利要求186所述的成像装置,其中所述初始值由用户输入。
188.根据权利要求187所述的成像装置,其中所述初始值由所述用户通过与所述成像装置通信的远程终端输入。
189.根据权利要求186所述的成像装置,其中所述一个或多个参数包括焦点,并且使用自动对焦方法确定所述焦点的初始值。
190.根据权利要求170所述的成像装置,其中所述目标物体是静止的。
191.根据权利要求170所述的成像装置,其中所述目标物体是移动的。
192.根据权利要求191的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
193.根据权利要求192所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
194.根据权利要求170所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
195.一种用于使用由可移动物体承载的成像装置对目标物体进行成像的系统,所述系统包括:
一个或多个传感器,被配置用于检测所述可移动物体的移动;以及
一个或多个处理器,被配置用于:
设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;
使用所述一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及
响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
196.根据权利要求195所述的系统,其中所述可移动物体是无人飞行器。
197.根据权利要求195所述的系统,其中所述成像装置包括固定焦距。
198.根据权利要求195所述的系统,其中所述成像装置包括可变焦距。
199.根据权利要求195所述的系统,其中所述成像装置包括图像传感器。
200.根据权利要求195所述的系统,其中所述一个或多个传感器由所述可移动物体承载。
201.根据权利要求195所述的系统,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
202.根据权利要求195所述的系统,其中所述一个或多个传感器包括多种不同的传感器类型。
203.根据权利要求202所述的系统,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
204.根据权利要求195所述的系统,其中所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
205.根据权利要求195所述的系统,其中所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
206.根据权利要求195所述的系统,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
207.根据权利要求195所述的系统,其中所述一个或多个参数包括所述成像装置的焦距。
208.根据权利要求195所述的系统,其中修改所述一个或多个参数以便保持所述成像装置的视场。
209.根据权利要求195所述的系统,其中所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。
210.根据权利要求209所述的系统,其中所述修改是在不对所述目标物体进行成像的情况下确定的。
211.根据权利要求209所述的系统,其中所述修改是在不改变所述成像装置的焦点的情况下确定的。
212.根据权利要求209所述的系统,其中所述修改是在不使用来自用户的输入的情况下确定的。
213.根据权利要求195所述的系统,其中所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。
214.根据权利要求213所述的系统,其中所述初始值由用户输入。
215.根据权利要求214所述的系统,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
216.根据权利要求195所述的系统,其中所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
217.根据权利要求195所述的系统,其中所述目标物体是静止的。
218.根据权利要求195所述的系统,其中所述目标物体是移动的。
219.根据权利要求218所述的系统,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
220.根据权利要求219所述的系统,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
221.根据权利要求195所述的系统,其中所述一个或多个处理器被进一步配置用于使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
222.一种使用由可移动物体承载的成像装置对目标物体进行成像的方法,所述方法包括:
借助于一个或多个处理器,设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;
使用一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及
借助于所述一个或多个处理器,响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
223.根据权利要求222所述的方法,其中所述可移动物体是无人飞行器。
224.根据权利要求222所述的方法,其中所述成像装置包括固定焦距。
225.根据权利要求222所述的方法,其中所述成像装置包括可变焦距。
226.根据权利要求222所述的方法,其中所述成像装置包括图像传感器。
227.根据权利要求222所述的方法,其中所述一个或多个传感器由所述可移动物体承载。
228.根据权利要求222所述的方法,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
229.根据权利要求222所述的方法,其中所述一个或多个传感器包括多种不同的传感器类型。
230.根据权利要求229所述的方法,进一步包括使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
231.根据权利要求222所述的方法,其中所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
232.根据权利要求222所述的方法,其中所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
233.根据权利要求222所述的方法,其中所述一个或多个参数包括所述成像装置的光学组件的光学中心与所述成像装置的图像传感器之间的距离。
234.根据权利要求222所述的方法,其中所述一个或多个参数包括所述成像装置的焦距。
235.根据权利要求222所述的方法,其中修改所述一个或多个参数以便保持所述成像装置的视场。
236.根据权利要求222所述的方法,其中所述修改所述一个或多个参数包括基于所述检测到的移动来确定对所述一个或多个参数的修改。
237.根据权利要求236所述的方法,其中所述修改是在不对所述目标物体进行成像的情况下确定的。
238.根据权利要求236所述的方法,其中所述修改是在不改变所述成像装置的焦点的情况下确定的。
239.根据权利要求236所述的方法,其中所述修改是在不使用来自用户的输入的情况下确定的。
240.根据权利要求222所述的方法,其中设置所述一个或多个参数包括接收所述一个或多个参数中的每个参数的初始值。
241.根据权利要求240所述的方法,其中所述初始值由用户输入。
242.根据权利要求241所述的方法,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
243.根据权利要求222所述的方法,其中设置所述一个或多个参数包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
244.根据权利要求222所述的方法,其中所述目标物体是静止的。
245.根据权利要求222所述的方法,其中所述目标物体是移动的。
246.根据权利要求245所述的方法,进一步包括接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述空间关系变化是基于所述跟踪信息确定的。
247.根据权利要求246所述的方法,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
248.根据权利要求222所述的方法,进一步包括使用具有所述一个或多个经修改参数的所述成像装置来生成所述目标物体的图像数据。
249.一种由可移动物体承载的用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个处理器,被配置用于:
设置所述成像装置的一个或多个参数,从而使得当所述可移动物体在第一空间布局中时,所述成像装置对焦于所述目标物体;
使用一个或多个传感器检测所述可移动物体从所述第一空间布局到第二空间布局的移动;以及
响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述可移动物体在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
250.根据权利要求249所述的成像装置,其中所述可移动物体是无人飞行器。
251.根据权利要求249所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
252.根据权利要求251所述的成像装置,其中所述光学组件包括固定焦距。
253.根据权利要求251所述的成像装置,其中所述光学组件包括可变焦距。
254.根据权利要求249所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
255.根据权利要求249所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
256.根据权利要求249所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
257.根据权利要求256所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
258.根据权利要求249所述的成像装置,其中所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
259.根据权利要求249所述的成像装置,其中所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
260.根据权利要求249所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
261.根据权利要求249所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
262.根据权利要求249所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
263.根据权利要求249所述的成像装置,其中所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。
264.根据权利要求263所述的成像装置,其中所述修改是在不对所述目标物体进行成像的情况下确定的。
265.根据权利要求263所述的成像装置,其中所述修改是在不改变所述成像装置的焦点的情况下确定的。
266.根据权利要求263所述的成像装置,其中所述修改是在不使用来自用户的输入的情况下确定的。
267.根据权利要求249所述的成像装置,其中所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。
268.根据权利要求267所述的成像装置,其中所述初始值由用户输入。
269.根据权利要求268所述的成像装置,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
270.根据权利要求249所述的成像装置,其中所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
271.根据权利要求249所述的成像装置,其中所述目标物体是静止的。
272.根据权利要求249所述的成像装置,其中所述目标物体是移动的。
273.根据权利要求272的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述可移动物体的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
274.根据权利要求273所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
275.根据权利要求249所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
276.一种用于对目标物体进行成像的成像装置,所述成像装置包括:
一个或多个传感器,被配置用于检测所述成像装置的运动信息;以及
一个或多个处理器,被配置用于:
设置所述成像装置的一个或多个参数,从而使得当所述成像装置在第一空间布局中时,所述成像装置对焦于所述目标物体;
使用一个或多个传感器检测所述成像装置从所述第一空间布局到第二空间布局的移动;以及
响应于所述检测到的移动来修改所述成像装置的所述一个或多个参数,从而使得当所述成像装置在所述第二空间布局中时,所述成像装置对焦于所述目标物体。
277.根据权利要求276所述的成像装置,其中所述成像装置由可移动物体承载。
278.根据权利要求277所述的成像装置,其中所述可移动物体是无人飞行器。
279.根据权利要求276所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件。
280.根据权利要求279所述的成像装置,其中所述光学组件包括固定焦距。
281.根据权利要求279所述的成像装置,其中所述光学组件包括可变焦距。
282.根据权利要求276所述的成像装置,进一步包括被配置用于生成所述目标物体的图像数据的图像传感器。
283.根据权利要求276所述的成像装置,其中所述一个或多个传感器包括以下各项中的一项或多项:惯性传感器、GPS传感器或视觉相机。
284.根据权利要求276所述的成像装置,其中所述一个或多个传感器包括多种不同的传感器类型。
285.根据如权利要求284所述的成像装置,其中所述一个或多个处理器被进一步配置用于使用传感器融合算法对从所述多种不同的传感器类型中的每种传感器类型接收到的传感器数据进行处理,以便检测所述移动。
286.根据权利要求276所述的成像装置,其中所述第二空间布局关于位置或方位中的一项或多项不同于所述第一空间布局。
287.根据权利要求276所述的成像装置,其中所述第二空间布局关于以下各项中的一项或多项不同于所述第一空间布局:经度、纬度、高度、横滚角、俯仰角或偏航角。
288.根据权利要求276所述的成像装置,进一步包括光学组件和图像传感器,其中所述一个或多个参数包括所述光学组件的光学中心与所述图像传感器之间的距离。
289.根据权利要求276所述的成像装置,进一步包括被配置用于会聚来自所述目标物体的光的光学组件,其中所述一个或多个参数包括所述光学组件的焦距。
290.根据权利要求276所述的成像装置,进一步包括具有视场的光学组件,其中修改所述一个或多个参数以便保持所述光学组件的所述视场。
291.根据权利要求276所述的成像装置,其中所述修改步骤包括基于所述检测到的移动来确定对所述一个或多个参数的修改。
292.根据权利要求291所述的成像装置,其中所述修改是在不对所述目标物体进行成像的情况下确定的。
293.根据权利要求291所述的成像装置,其中所述修改是在不改变所述成像装置的焦点的情况下确定的。
294.根据权利要求291所述的成像装置,其中所述修改是在不使用来自用户的输入的情况下确定的。
295.根据权利要求276所述的成像装置,其中所述设置步骤包括接收所述一个或多个参数中的每个参数的初始值。
296.根据权利要求295所述的成像装置,其中所述初始值由用户输入。
297.根据权利要求296所述的成像装置,其中所述初始值由所述用户通过与所述可移动物体通信的远程终端输入。
298.根据权利要求276所述的成像装置,其中所述设置步骤包括使用自动对焦方法来使所述成像装置对焦于所述目标物体。
299.根据权利要求276所述的成像装置,其中所述目标物体是静止的。
300.根据权利要求276所述的成像装置,其中所述目标物体是移动的。
301.根据权利要求300所述的成像装置,其中所述一个或多个处理器被进一步配置用于接收指示所述目标物体相对于所述成像装置的移动的跟踪信息,其中所述一个或多个参数是基于所述跟踪信息修改的。
302.根据权利要求301所述的成像装置,其中所述跟踪信息是基于所述目标物体的图像数据生成的。
303.根据权利要求276所述的成像装置,其中所述一个或多个处理器被进一步配置用于根据所述一个或多个经修改参数来生成所述目标物体的图像数据。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/092344 WO2017066927A1 (en) | 2015-10-20 | 2015-10-20 | Systems, methods, and devices for setting camera parameters |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108351574A CN108351574A (zh) | 2018-07-31 |
CN108351574B true CN108351574B (zh) | 2020-12-22 |
Family
ID=58556642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580083746.6A Active CN108351574B (zh) | 2015-10-20 | 2015-10-20 | 用于设置相机参数的系统、方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10447912B2 (zh) |
JP (1) | JP6596745B2 (zh) |
CN (1) | CN108351574B (zh) |
WO (1) | WO2017066927A1 (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11586208B2 (en) | 2014-10-24 | 2023-02-21 | Clearpath Robotics Inc. | Systems and methods for executing a task with an unmanned vehicle |
US9891630B2 (en) * | 2014-10-24 | 2018-02-13 | Clearpath Robotics, Inc. | Variable reference frames in unmanned vehicles |
US10178293B2 (en) * | 2016-06-22 | 2019-01-08 | International Business Machines Corporation | Controlling a camera using a voice command and image recognition |
CN109479086B (zh) * | 2016-07-20 | 2021-08-10 | 深圳市大疆创新科技有限公司 | 相对于物体变焦的方法和设备 |
DK3497530T3 (da) | 2016-08-26 | 2021-09-06 | Sz Dji Technology Co Ltd | Fremgangsmåder og system til selvstyrende landing |
CN107087427B (zh) * | 2016-11-30 | 2019-06-07 | 深圳市大疆创新科技有限公司 | 飞行器的控制方法、装置和设备以及飞行器 |
US10585440B1 (en) | 2017-01-23 | 2020-03-10 | Clearpath Robotics Inc. | Systems and methods for using human-operated material-transport vehicles with fleet-management systems |
CN109479088A (zh) | 2017-06-02 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法 |
JP7057637B2 (ja) * | 2017-08-23 | 2022-04-20 | キヤノン株式会社 | 制御装置、制御システム、制御方法、プログラム、及び記憶媒体 |
JP6957304B2 (ja) * | 2017-10-13 | 2021-11-02 | アルパイン株式会社 | 架線撮影システム及び架線撮影方法 |
JP6565072B2 (ja) * | 2017-10-30 | 2019-08-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、レンズ装置、飛行体、制御方法、及びプログラム |
US12022197B2 (en) | 2018-02-14 | 2024-06-25 | University Of Massachusetts | Image capturing system, method, and analysis of objects of interest |
JP7079123B2 (ja) * | 2018-03-15 | 2022-06-01 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム |
WO2019191866A1 (en) * | 2018-04-02 | 2019-10-10 | SZ DJI Technology Co., Ltd. | Navigation devices |
JP6878736B2 (ja) * | 2018-07-13 | 2021-06-02 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、移動体、制御方法、及びプログラム |
WO2020049575A1 (en) | 2018-09-09 | 2020-03-12 | Viewnetic Ltd. | Inspection system for use in monitoring plants in plant growth areas |
WO2020061857A1 (en) | 2018-09-26 | 2020-04-02 | SZ DJI Technology Co., Ltd. | Autofocusing camera and systems |
JP6696094B2 (ja) * | 2018-09-27 | 2020-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 移動体、制御方法、及びプログラム |
CN111837054A (zh) * | 2018-09-28 | 2020-10-27 | 深圳市大疆创新科技有限公司 | 一种激光测距装置及移动设备 |
JP6746856B2 (ja) * | 2018-12-19 | 2020-08-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像システム、移動体、制御方法、及びプログラム |
TWI693829B (zh) | 2018-12-24 | 2020-05-11 | 緯創資通股份有限公司 | 電子裝置及其影像測距方法 |
US11616914B2 (en) | 2018-12-28 | 2023-03-28 | Intel Corporation | Tracking objects using sensor rotation |
JP2021018309A (ja) * | 2019-07-19 | 2021-02-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 位相差検出装置、撮像装置、撮像システム、移動体、位相差検出方法、及びプログラム |
CN112154650A (zh) * | 2019-08-13 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 一种拍摄装置的对焦控制方法、装置及无人飞行器 |
CN110466763B (zh) * | 2019-08-23 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 一种辅助对焦方法、装置及无人飞行器 |
CN112335224A (zh) * | 2019-08-30 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 可移动平台的图像采集方法、设备及存储介质 |
JP6828205B1 (ja) | 2020-05-14 | 2021-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 遠隔作業装置とそのプログラム |
US11394865B1 (en) | 2021-06-28 | 2022-07-19 | Western Digital Technologies, Inc. | Low-power, fast-response machine learning autofocus enhancements |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102428347A (zh) * | 2009-05-19 | 2012-04-25 | 莱卡地球系统公开股份有限公司 | 航空摄影机系统和修正航拍失真的方法 |
CN102591353A (zh) * | 2011-01-04 | 2012-07-18 | 株式会社拓普康 | 飞行体的飞行控制系统 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN104062977A (zh) * | 2014-06-17 | 2014-09-24 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
CN104854428A (zh) * | 2013-12-10 | 2015-08-19 | 深圳市大疆创新科技有限公司 | 传感器融合 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5422828A (en) | 1991-12-18 | 1995-06-06 | Choate; William C. | Method and system for image-sequence-based target tracking and range estimation |
JPH09297261A (ja) * | 1996-04-30 | 1997-11-18 | Koden Electron Co Ltd | 撮像装置 |
US6130705A (en) | 1998-07-10 | 2000-10-10 | Recon/Optical, Inc. | Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use |
JP2001359083A (ja) * | 2000-06-13 | 2001-12-26 | Minolta Co Ltd | 移動体に搭載された撮像装置 |
US20020185586A1 (en) * | 2001-04-03 | 2002-12-12 | Majewski Robert E. | System and mehod for optimizing the focusing capability of electromagnetic sensors |
JP2004040514A (ja) * | 2002-07-04 | 2004-02-05 | Nippon Hoso Kyokai <Nhk> | 自動追尾撮像装置及び自動追尾撮像方法 |
CA2422459A1 (en) * | 2003-03-18 | 2004-09-18 | Dan Keith Andersen | Method of aerial photography with digital stills |
JP2006027448A (ja) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
CN101872105A (zh) * | 2010-06-02 | 2010-10-27 | 华为终端有限公司 | 一种照相的方法和装置 |
WO2013033924A1 (zh) | 2011-09-09 | 2013-03-14 | 深圳市大疆创新科技有限公司 | 无人机用两轴云台、无人机用三轴云台以及多旋翼飞行器 |
BR112014005381A2 (pt) | 2011-09-09 | 2017-03-28 | Sz Dji Technology Co Ltd | plataforma de eixo duplo para uso em um pequeno veículo aéreo não tripulado e plataforma de eixo triplo para uso em um pequeno veículo aéreo não tripulado |
WO2013033954A1 (zh) | 2011-09-09 | 2013-03-14 | 深圳市大疆创新科技有限公司 | 陀螺式动态自平衡云台 |
JP6045430B2 (ja) * | 2013-04-18 | 2016-12-14 | オリンパス株式会社 | 撮像装置及びその像ブレ補正方法 |
WO2015165008A1 (zh) * | 2014-04-28 | 2015-11-05 | 深圳市大疆创新科技有限公司 | 测量装置及无人飞行器 |
US9798322B2 (en) * | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
EP3060966B1 (en) | 2014-07-30 | 2021-05-05 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
CN112097789B (zh) * | 2014-10-27 | 2023-02-28 | 深圳市大疆创新科技有限公司 | 无人飞行器飞行显示 |
-
2015
- 2015-10-20 CN CN201580083746.6A patent/CN108351574B/zh active Active
- 2015-10-20 WO PCT/CN2015/092344 patent/WO2017066927A1/en active Application Filing
- 2015-10-20 JP JP2018511094A patent/JP6596745B2/ja not_active Expired - Fee Related
-
2017
- 2017-03-23 US US15/468,055 patent/US10447912B2/en active Active
-
2019
- 2019-09-13 US US16/570,070 patent/US20200007746A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102428347A (zh) * | 2009-05-19 | 2012-04-25 | 莱卡地球系统公开股份有限公司 | 航空摄影机系统和修正航拍失真的方法 |
CN102591353A (zh) * | 2011-01-04 | 2012-07-18 | 株式会社拓普康 | 飞行体的飞行控制系统 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN104854428A (zh) * | 2013-12-10 | 2015-08-19 | 深圳市大疆创新科技有限公司 | 传感器融合 |
CN104062977A (zh) * | 2014-06-17 | 2014-09-24 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108351574A (zh) | 2018-07-31 |
WO2017066927A1 (en) | 2017-04-27 |
US20170195549A1 (en) | 2017-07-06 |
US20200007746A1 (en) | 2020-01-02 |
JP6596745B2 (ja) | 2019-10-30 |
JP2018534599A (ja) | 2018-11-22 |
US10447912B2 (en) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351574B (zh) | 用于设置相机参数的系统、方法和装置 | |
US10860040B2 (en) | Systems and methods for UAV path planning and control | |
US11649052B2 (en) | System and method for providing autonomous photography and videography | |
US20210250490A1 (en) | Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar | |
US20210341949A1 (en) | Simple multi-sensor calibration | |
JP6735821B2 (ja) | Uav経路を計画し制御するシステム及び方法 | |
JP6835392B2 (ja) | 撮像装置により取得された画像を制御するためのシステム及び方法 | |
CN109987226B (zh) | Uav全景成像 | |
US11288824B2 (en) | Processing images to obtain environmental information | |
CN108780316B (zh) | 用于飞行装置的移动控制的方法和系统 | |
US20160033077A1 (en) | Systems and methods for payload stabilization | |
CN111226154B (zh) | 自动对焦相机和系统 | |
JP2017508166A (ja) | センサ融合 | |
JP2021073796A (ja) | 制御装置、及び画像を取得する方法 | |
JP2021064951A (ja) | システム、方法、装置、および非一時的コンピュータ読取可能媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |