CN108603790A - 基于无人机系统的热成像系统和方法 - Google Patents
基于无人机系统的热成像系统和方法 Download PDFInfo
- Publication number
- CN108603790A CN108603790A CN201680081335.8A CN201680081335A CN108603790A CN 108603790 A CN108603790 A CN 108603790A CN 201680081335 A CN201680081335 A CN 201680081335A CN 108603790 A CN108603790 A CN 108603790A
- Authority
- CN
- China
- Prior art keywords
- infrared
- data
- image
- environmental
- flying platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000001931 thermography Methods 0.000 title abstract description 9
- 230000007613 environmental effect Effects 0.000 claims abstract description 78
- 238000003331 infrared imaging Methods 0.000 claims abstract description 65
- 238000005259 measurement Methods 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000001429 visible spectrum Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 13
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 8
- 229910002091 carbon monoxide Inorganic materials 0.000 claims description 8
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 239000011859 microparticle Substances 0.000 claims 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims 1
- 230000036760 body temperature Effects 0.000 claims 1
- 229910052799 carbon Inorganic materials 0.000 claims 1
- 230000005855 radiation Effects 0.000 abstract description 54
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000012544 monitoring process Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 5
- 230000004048 modification Effects 0.000 abstract description 4
- 238000012986 modification Methods 0.000 abstract description 4
- 230000014509 gene expression Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 38
- 230000015654 memory Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 10
- 238000007689 inspection Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 239000000356 contaminant Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000007789 gas Substances 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 229910002092 carbon dioxide Inorganic materials 0.000 description 5
- 239000001569 carbon dioxide Substances 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000003990 capacitor Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000002939 deleterious effect Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002341 toxic gas Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000270607 Chelonia mydas Species 0.000 description 1
- 241000270722 Crocodylidae Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- LNNWVNGFPYWNQE-GMIGKAJZSA-N desomorphine Chemical compound C1C2=CC=C(O)C3=C2[C@]24CCN(C)[C@H]1[C@@H]2CCC[C@@H]4O3 LNNWVNGFPYWNQE-GMIGKAJZSA-N 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000024703 flight behavior Effects 0.000 description 1
- 239000003500 flue dust Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000005457 ice water Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/007—Radiation pyrometry, e.g. infrared or optical thermometry for earth observation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/0265—Handheld, portable
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
- G01J5/061—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling the temperature of the apparatus or parts thereof, e.g. using cooling means or thermostats
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
- G01J5/064—Ambient temperature sensor; Housing temperature sensor; Constructional details thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
- G01J5/804—Calibration using atmospheric correction
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0091—Surveillance aids for monitoring atmospheric conditions
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
- H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
- H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
- H02S50/10—Testing of PV devices, e.g. of PV modules or single PV cells
- H02S50/15—Testing of PV devices, e.g. of PV modules or single PV cells using optical means, e.g. using electroluminescence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H04W4/046—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J4/00—Circuit arrangements for mains or distribution networks not specified as ac or dc
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Atmospheric Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Astronomy & Astrophysics (AREA)
- Theoretical Computer Science (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Abstract
提供基于飞行的红外成像系统和相关技术,特别是基于UAS的热成像系统,以相对于传统红外监测系统改善这种系统的监测能力。红外成像系统被配置成补偿各种环境影响(例如,太阳的位置和/或强度、大气效应),以提供由红外成像系统成像的目标的高分辨率和准确度的辐射测量结果。红外成像系统可替代地被配置为监测并确定环境条件、修改从红外成像系统和其他系统接收的数据、修改飞行路径和其他命令和/或创建环境的表示。
Description
Jeffery D.Frank,Theodore R.Hoelter,NicholasAustinA.Richards,Michael Kent,Julie R.Moreira,Pierre Boulanger,Raymond Valdes,和Jonathan Li
相关申请的交叉引用
本申请要求于2015年12月9日提交的题为“AIRBORNE INSPECTION SYSTEMS ANDMETHODS”的美国临时专利申请第62/265,413号的优先权和权益,其全部内容通过引用方式结合于此。
本申请要求于2015年12月9日提交的题为“AIRBORNE RADIOMETRIC CAMERASYSTEMS AND METHODS”的美国临时专利申请第62/265,415号的优先权和权益,其全部内容通过引用方式结合于此。
本申请要求于2015年12月9日提交的题为“POSITION ENABLED INFRARED CAMERACONTROL SYSTEMS AND METHODS”的美国临时专利申请第62/265,416号的优先权和权益,其全部内容通过引用方式结合于此。
本申请要求于2016年8月12日提交的题为“UNMANNED AERIAL SYSTEM BASEDTHERMAL IMAGING SYSTEMS AND METHODS”的美国临时专利申请第62/374,709号的优先权和权益,其全部内容通过引用方式结合于此。
本申请要求于2016年8月12日提交的题为“UNMANNED AERIAL SYSTEM BASEDTHERMAL IMAGING AND AGGREGATION SYSTEMS AND METHODS”的美国临时专利申请第62/374,716号的优先权和权益,其全部内容通过引用方式结合于此。
本申请要求于2016年9月30日提交的题为“UNMANNED AERIAL SYSTEM BASEDTHERMAL IMAGING SYSTEMS AND METHODS”的美国临时专利申请第62/402,992号的优先权和权益,其全部内容通过引用方式结合于此。
技术领域
本发明总体上涉及红外成像,并且更具体地涉及来自无人机系统的热成像。
背景技术
随着红外相机的尺寸和重量随着时间的推移而减小,它们的使用已经从主要基于地面的监测扩展到手持监测,并且在最近的系统中,通过使用无人机系统(UAS)从空中进行监测。随着基于飞行的红外监控系统的使用量增加,伴随而来的是需要提高这种系统的可靠性和准确性,同时遵守对其使用的监管限制。
发明内容
提供基于飞行的红外成像系统和相关技术,特别是基于UAS的热成像系统,以相对于传统红外监测系统改善这种系统的监测能力。所描述的红外成像系统的一个或多个实施例可以有利地包括红外相机,红外相机被配置为与控制器、取向传感器、陀螺仪、加速度计和/或位置传感器中的一个或多个进行通信,提供耦合的飞行平台和/或红外相机的操作控制和状态。例如,传感器可以安装到飞行平台上或其内部(例如,有人驾驶飞机,UAS和/或其他飞行平台),或者可以与控制器集成。所描述的红外成像系统的一个或多个另外的实施例可以有利地包括:飞行平台;红外成像器,其耦合到飞行平台并且被配置为在飞行平台的视野下捕获场景的红外图像并且输出与红外图像和/或场景相关联的红外数据;环境传感器,其被配置为测量与飞行平台、红外成像器和/或场景相关联的环境数据;以及逻辑设备,其被配置为从红外成像器接收红外数据,其中红外数据被配置为测量场景的至少一部分的方面,从环境传感器接收环境数据,并且至少部分地基于红外数据和环境数据来确定校正后的红外数据。
在一个实施例中,一种系统包括被配置成从飞行平台捕获目标的红外图像的红外相机和被配置成接收由红外相机捕获的红外图像的逻辑设备。逻辑设备可以被配置为接收与目标相关联的空气温度和相对湿度,并且至少部分地基于空气温度和相对湿度来确定与目标相关联的辐射率调整,其中辐射率调整被配置为补偿红外相机和目标之间的大气干扰。
在另一个实施例中,一种方法包括接收与目标相关联的空气温度和相对湿度,并且至少部分地基于空气温度和相对湿度来确定与目标相关联的辐射率调整,其中辐射率调整被配置为补偿红外相机与目标之间的大气干扰。
在另一个实施例中,一种系统包括:被配置成从飞行平台捕获目标的红外图像的红外相机,被配置成从飞行平台检测与目标相关联的背景辐射率的辐照度检测器,以及逻辑设备。逻辑设备可以被配置为接收由红外相机捕获的红外图像和来自辐照度检测器的背景辐射率,并且至少部分地基于背景辐射率来确定与目标相关联的辐射率调整,其中辐射率调整被配置为补偿由目标向红外检测器反射的反射背景辐射率。
在另一个实施例中,一种方法包括:接收由红外相机从飞行平台捕获的目标的红外图像,从辐照度检测器接收与目标相关联的背景辐射率,以及至少部分地基于背景辐射率来确定与目标相关联的辐射率调整,其中辐射率调整被配置为补偿由目标反射的朝向红外检测器的反射背景辐射率。
在另一个实施例中,一种方法包括提供飞行平台,该飞行平台被配置为在场景的视野下来定位红外成像器,将红外成像器和至少一个环境传感器安装到飞行平台,其中红外成像器被配置为捕获场景的红外图像并且输出与红外图像和/或场景相关联的红外数据,并且其中环境传感器被配置为测量与飞行平台、红外成像器和/或场景相关联的环境数据,并且提供用于飞行平台的用户接口,其中用户接口被配置为控制飞行平台的定位和/或向用户显示红外图像、红外数据和/或环境数据中的至少一个。
本发明的范围由权利要求限定,所述权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述,本领域技术人员将更加完整地理解本发明的实施例以及其附加优点的实现。将参考将首先简要描述的附图。
附图说明
图1A示出了根据本公开实施例的红外成像系统的框图。
图1B示出了根据本公开实施例的点模型系统的框图。
图2示出了根据本公开的实施例的各种无人机系统的图。
图3示出了根据本公开实施例的用于处理由无人机系统捕获的热图像的技术的流程图。
图4示出了根据本公开的实施例的大气干扰及其对红外成像系统的操作的影响的图。
图5示出了根据本公开的实施例的补偿参照图4描述的大气干扰的红外成像系统的图。
图6A-6B示出了根据本公开的实施例的补偿参照图4描述的大气干扰和/或其他干扰的红外成像系统的图。
图7示出了根据本公开的实施例的对于各种温度在设定的相对湿度下的大气干扰随高度变化的曲线图。
图8示出了根据本公开实施例的操作红外成像系统的各种操作的流程图。
图9示出了根据本公开的实施例的监视结构的红外成像系统的图。
图10示出了根据本公开的实施例的操作红外成像系统的各种操作的流程图。
图11示出了根据本公开的实施例的监视结构的多个无人机系统的图。
图12示出了根据本公开的实施例的无人机系统对区域进行成像以创建热正交马赛克模型的技术的图。
图13示出了根据本公开的实施例的无人机系统对区域进行成像以创建热正交马赛克模型的另一种技术的图。
图14示出了根据本公开的实施例的确定成像目标的范围的各种操作的流程图。
通过参考下面的详细描述可以最好地理解本发明的实施例及其优点。应该理解的是,相似的附图标记用于标识在一个或多个附图中示出的相似元件。
具体实施方式
提供基于飞行的红外成像系统和相关技术,特别是基于UAS的热成像系统,以相对于传统红外监测系统改善这种系统的监测能力。在一些实施例中,红外成像系统可以被配置为补偿各种环境影响(例如,太阳的位置和/或强度,大气效应)以提供由红外成像系统成像的目标的高分辨率和准确度的辐射测量结果,如本文所述。在其他实施例中,红外成像系统可以被配置成计算和报告热图像的每个像素的辐射测量,如本文所述。另外,如本文所述,来自红外成像系统的数据可以用于创建全景或三维(3D)热表示。
可以参考热、红外、辐射、辐射率、辐照度和/或其他图像和带。为了本公开的目的,通常可以使用这种参考来指代基于热和/或红外(例如,红外波长)的成像。
图1A示出了根据本公开实施例的红外成像系统的框图。在一些实施例中,系统100或其一部分可被配置为在目标上方飞行并使用红外相机140对目标进行成像。所得的影像可被处理(例如,通过红外相机140、飞行平台110和/或基站130)并且通过使用用户接口132(例如,诸如多功能显示器(MFD)之类的一个或多个显示器,诸如平板电脑、膝上型电脑或智能电话之类的便携式电子设备或其他适当的接口)向用户显示和/或存储在存储器中以供稍后查看和/或分析。在一些实施例中,系统100可以被配置成使用这种影像来控制飞行平台110和/或红外相机140的操作,如本文所述,诸如控制相机安装座122以将红外相机122瞄准特定方向或控制推进系统124以将飞行平台移动到相对于目标的期望位置。
在图1A所示的实施例中,红外成像系统100包括飞行平台110、基站130和至少一个红外相机140。飞行平台110可以被配置为飞行和定位和/或瞄准红外相机140(例如,相对于指定的或检测到的目标),并且可以包括控制器112、取向传感器114、陀螺仪/加速度计116、全球导航卫星系统(GNSS)118、通信模块120、相机安装座122、推进系统124和其他模块126中的一个或多个。飞行平台110的操作可以基本上是自主的和/或部分地或完全由基站130控制,基站130可以包括用户接口132、通信模块134和其他模块136中的一个或多个。红外相机140可以物理地耦合到飞行平台110并且被配置为来捕获如通过飞行平台110和/或基站130的操作被选择和/或被框住的目标位置、区域和/或(一个或多个)对象的红外图像。在一些实施例中,系统100的一个或多个元件可以实现在组合的外壳或结构中,该组合的外壳或结构可以耦接到飞行平台110上或在飞行平台110内和/或由系统100的用户保持或携带。来自控制器112、取向传感器114和/或148、GNSS 118和/或150、通信模块120、134和/或144、其他模块126、136和/或152、成像模块142和/或其他组件的数据可以被传送到辅助设备160。另外,辅助设备160还可以将数据传送到飞行平台110、基站130和/或红外相机140。
控制器112可以被实现为任何适当的逻辑设备(例如,处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合),例如,其可适用于执行、存储和/或接收适当的指令,例如实现用于控制飞行平台110和/或系统100的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理红外图像和/或其他传感器信号、确定传感器信息、提供用户反馈(例如,通过用户接口132)、查询设备以获得操作参数、选择设备的操作参数或者执行在此描述的各种操作(例如,由系统100的各种设备的逻辑设备执行的操作)的方法。
另外,可以提供机器可读介质用于存储用于加载到控制器112并由控制器112执行的非暂时性指令。在这些和其他实施例中,控制器112可以在适当的情况下用其他组件来实现,诸如易失性存储器、非易失性存储器、一个或多个接口和/或用于与系统100的设备接口连接的各种模拟和/或数字组件。例如,控制器112可以适用于随时间推移而存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点集合和/或其他操作参数,并且使用用户接口132将这些存储的数据提供给用户。在一些实施例中,控制器112可以与例如飞行平台110的一个或多个其他元件集成,或者作为多个逻辑设备分布在飞行平台110、基站130、红外相机140和/或辅助设备160内。
取向传感器114可以被实现为能够测量飞行平台110的取向(例如,相对于诸如重力和/或磁北的一个或多个参考取向的横滚、俯仰和/或偏航的大小和方向)并且可以提供这种测量结果作为可以传送到系统100的各种设备的传感器信号的罗盘、浮标、加速计和/或其他设备中的一个或多个。陀螺仪/加速度计116可以实现为一个或多个电子六分仪、半导体设备、集成芯片、加速计传感器、加速计传感器系统或能够测量飞行平台110的角速度/加速度和/或线性加速度(例如,方向和大小)并且能够提供这种测量结果作为可以传送到系统100的其他设备(例如,用户接口132、控制器112)的传感器信号的其它设备。
GNSS 118可以根据任何全球导航卫星系统来实现,包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从太空产生和/或陆地来源(例如,eLoran和/或其他至少部分地面系统)接收的无线信号来确定飞行平台110(例如,或者飞行平台110的元件)的绝对和/或相对位置并且能够提供这些测量结果作为可以传送到系统100的各种设备的传感器信号的其他设备。在一些实施例中,GNSS 118可以例如包括高度计,或者可以用于提供绝对高度。
通信模块120可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块120可以被配置为从基站130接收飞行控制信号并且将它们提供给控制器112和/或推进系统124。在其它实施例中,通信模块120可以被配置为从红外相机140接收红外图像(例如,静止图像或视频图像)并将红外图像中继到控制器112和/或基站130。在一些实施例中,通信模块120可以被配置为例如支持扩频传输,和/或系统100的元件之间的多个同时通信信道。
在一些实施例中,相机安装件122可以被实现为致动的万向节安装件,该致动的万向节安装件例如可以由控制器112控制以使红外相机140相对于目标稳定或者根据期望的方向和/或相对位置瞄准红外相机140。这样,相机安装件122可以被配置为向控制器112和/或通信模块120提供红外相机140的相对取向(例如,相对于飞行平台110的取向)。在其他实施例中,可以将相机安装件122实现为固定安装件。在各种实施例中,相机安装件122可以被配置为提供电力,支持有线通信,提供快门,和/或以其他方式促进红外相机140的飞行操作。在进一步的实施例中,相机安装件122可以被配置为耦合到激光指示器、测距仪和/或其他设备,例如以基本上同时支持多个设备、稳定多个设备、为多个设备供电和/或瞄准多个设备(例如,红外相机140和一个或多个其他设备)。
推进系统124可以实现为可以用于向飞行平台110提供动力和/或提升力和/或操纵飞行平台110的一个或多个螺旋桨、涡轮机或其他类型的基于推力的推进系统和/或其他类型的推进系统。在一些实施例中,推进系统124可包括可被控制(例如,通过控制器112)以为飞行平台110提供提升力和运动并且提供飞行平台110的取向的多个螺旋桨(例如三,四,六,八或其他类型的“直升机”)。在其他实施例中,推进系统110可以主要配置成提供推力,而飞行平台110的其他结构提供提升力,例如在固定机翼实施例中(例如,其中机翼提供提升力)和/或浮空器实施例(例如,气球、飞艇、混合浮空器)。在各种实施例中,推进系统124可以用便携式电源例如电池和/或内燃机/发电机和燃料供应来实现。
其他模块126可以包括用于提供例如飞行平台110的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户接口设备。在一些实施例中,其它模块126可以包括湿度传感器、风力和/或水温传感器、气压计、高度计、雷达系统、可见光谱相机、附加红外相机(具有附加安装件)、辐照度检测器、臭氧传感器、一氧化碳和/或二氧化碳传感器、比浊计、高动态范围(HDR)成像设备和/或其他环境传感器,它们提供可以显示给用户以及/或由系统100的其他设备(例如,控制器112)使用的测量结果和/或其它传感器信号,以提供对飞行平台110和/或系统100的操作控制或处理红外影像以补偿环境条件,例如红外相机140与目标之间的大气中的水含量。在一些实施例中,其他模块126可以包括耦合到飞行平台110的一个或多个致动和/或铰接设备(例如,多光谱有源照明器、可见和/或IR相机、雷达、声纳和/或其他被致动设备),其中每个致动设备包括一个或多个致动器,所述致动器适于响应于一个或多个控制信号(例如,由控制器112提供)来相对于飞行平台110调整设备的取向。
基站130的用户接口132可以被实现为以下中的一个或多个:显示器、触摸屏、键盘、鼠标、操纵杆、旋钮、方向盘、轭和/或能够接受用户输入和/或向用户提供反馈的任何其它设备。在各种实施例中,用户接口132可适用于向系统100的其他设备(诸如控制器112)提供用户输入(例如,作为由基站130的通信模块134发送的信号和/或传感器信息的类型)。用户接口132还可以用适于存储和/或执行指令(例如软件指令)的一个或多个逻辑设备(例如,类似于控制器112)来实现,所述指令实现本文描述的各种过程和/或方法中的任一个。例如,用户接口132可以适用于形成通信链路,例如发送和/或接收通信(例如,红外图像和/或其他传感器信号、控制信号、传感器信息、用户输入和/或其他信息)或者执行本文描述的各种其他过程和/或方法。
在一个实施例中,用户接口132可以适于显示各种传感器信息和/或其他参数的时间序列作为图形或地图的一部分或覆盖在图形或地图上,其可以参考飞行平台110和/或系统100的其他元件的位置和/或取向。例如,用户接口132可以适用于显示覆盖在地理地图上的飞行平台110和/或系统100的其他元件的位置、航向和/或取向的时间序列,地理地图可以包括指示致动器控制信号、传感器信息和/或其它传感器和/或控制信号的对应的时间序列的一个或多个曲线图。
在一些实施例中,例如,用户接口132可以适于接受包括用于系统100的元件的用户定义的目标航向、航点、路线和/或取向的用户输入,并且生成控制信号以使飞行平台110根据目标航向、路线和/或取向移动。在其他实施例中,例如,用户接口132可以适于接受修改控制器112的控制环参数的用户输入。
在进一步的实施例中,例如,用户接口132可以适于接受包括用于与飞行平台110相关联的致动设备(例如,红外相机140)的用户定义的目标姿态、取向和/或位置的用户输入,并且根据目标姿态、取向和/或位置生成用于调整致动设备的取向和/或位置的控制信号。这种控制信号可以被发送到控制器112(例如,使用通信模块134和120),控制器112然后可以相应地控制飞行平台110。
通信模块134可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块134可以被配置为从用户接口132到通信模块120或144发送飞行控制信号。在其他实施例中,通信模块134可以被配置为从红外相机140接收红外图像(例如,静止图像或视频图像)。在一些实施例中,通信模块134可以例如被配置为支持例如扩频传输和/或系统100的元件之间的多个同时通信信道。
例如,基站130的其他模块136可以包括用于提供与基站130相关联的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户接口设备。在一些实施例中,其他模块136可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS、比浊计、臭氧传感器、一氧化碳和/或二氧化碳传感器、HDR成像设备和/或其他环境传感器,提供测量结果和/或其它传感器信号,测量结果和/或其它传感器信号可以显示给用户和/或由系统100的其他设备(例如,控制器112)使用以提供对飞行平台110和/或系统100的操作控制或处理红外影像以补偿环境条件,例如大致与基站130处于相同高度和/或中与其相同的区域内的大气中的水含量。在一些实施例中,其他模块136可以包括一个或多个致动设备和/或铰接设备(例如,多光谱有源照明器、可见和/或IR相机、雷达、声纳和/或其他致动设备),其中每个致动设备包括一个或多个致动器,其适于响应于一个或多个控制信号(例如,由用户接口132提供)来调整设备的取向。
红外相机140的成像模块142可以被实现为检测器元件的冷却和/或非冷却阵列,例如量子阱红外光电检测器元件、基于辐射热计或微辐射热计的检测器元件、基于II型超晶格的检测器元件和/或可以布置在焦平面阵列中的其他红外光谱检测器元件。在各种实施例中,成像模块142可以包括一个或多个逻辑设备(例如,类似于控制器112),其可以被配置成在将影像提供给存储器146或通信模块144之前处理由成像模块142的检测器元件捕获的影像。更通常地,成像模块142可以被配置为至少部分地或者与控制器112和/或用户接口132一起执行本文描述的任何操作或方法。
在一些实施例中,红外相机140可以用与成像模块142相似的第二或附加成像模块来实现,例如,其可以包括被配置为检测其他光谱(诸如可见光、紫外线和/或其他光谱或光谱的子集)的检测器元件。在各种实施例中,这样的附加成像模块可以被校准或配准到成像模块142,使得由每个成像模块捕获的图像占据其他成像模块的已知的且至少部分重叠的视场,由此允许不同的光谱图像在几何上彼此配准(例如,通过缩放和/或定位)。在一些实施例中,除了依赖于已知的重叠视场之外或作为已知的重叠视场的替代,可以使用模式识别处理将不同的光谱图像彼此配准。
红外相机140的通信模块144可以被实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如,通信模块144可以被配置为从成像模块142向通信模块120或134发送红外图像。在其他实施例中,通信模块144可以被配置为从控制器112和/或用户接口132接收控制信号(例如,引导红外相机140的捕获、聚焦、选择性滤波和/或其它操作的控制信号)。在一些实施例中,通信模块144可以被配置为例如支持扩频传输和/或系统100的元件之间的多个同时通信信道。
存储器146可以被实现为一个或多个机器可读介质和/或逻辑设备,该一个或多个机器可读介质和/或逻辑设备被配置为例如存储例如有助于系统100的操作的软件指令、传感器信号、控制信号、操作参数、校准参数、红外图像和/或其它数据,并将其提供给系统100的各种元件。存储器146也可以至少部分地实现为可移动存储器,例如包括例如用于这种存储器的接口的安全数字存储卡。
红外相机140的取向传感器148可以类似于取向传感器114或陀螺仪/加速度计116和/或能够测量红外相机140和/或成像模块142的取向(例如,相对于诸如重力和/或磁北的一个或多个参考取向,横滚、俯仰和/或偏航的大小和方向)并且提供这样的测量结果作为可传送到系统100的各种设备的传感器信号的另一设备。可以根据任何全球导航卫星系统来实现红外相机140的GNSS 150,包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从空间产生和/或地面来源接收的无线信号确定红外相机140(例如,或红外相机140的元件)的绝对和/或相对位置并且能够提供这样的测量结果作为可以被传送至系统100的各种设备的传感器信号的其他设备。
红外相机140的其他模块152可以包括其他和/或附加传感器、致动器、通信模块/节点、冷却或非冷却光学滤波器和/或用于提供例如与红外相机140相关联的附加环境信息的用户接口设备。在一些实施例中,其他模块152可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS、比浊计、臭氧传感器、一氧化碳和/或二氧化碳传感器、HDR成像设备和/或其它环境传感器,它们提供可以显示给用户和/或由成像模块142或系统100的其他设备(例如,控制器112)使用以提供对飞行平台110和/或系统100的操作控制或者处理红外影像以补偿环境条件的测量结果和/或其它传感器信号,例如与红外相机140大致处于相同高度和/或位于相同区域内的大气中的诸如水含量。
辅助设备160可以是例如可以包括公共、政府和/或私人数据源的硬盘驱动器、数据库和/或一个或多个其他存储设备。来自辅助设备160的数据可以用于改善来自红外相机140的信息的辐射测量准确度或效用。例如,飞行平台110、基站130和/或红外相机140可以从辅助设备160接收数据,该辅助设备160可以调整相机参数、飞行程序、飞行特征和/或其他参数。这样的数据可以包括例如历史的,当前的和将来的天气数据、云量数据、太阳位置数据、卫星数据(例如,可以用于估计诸如多光谱信息的发射率的数据)、历史的、当前的和/或将来的特定建筑物和/或设备的估计的能耗数据和/或其他这样的数据。
通常,系统100的每个元件可以用任何适当的逻辑设备(例如,处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)来实现,其可以适于执行、存储和/或接收适当的指令,例如实施用于提供声纳数据和/或影像或者用于发送和/或接收系统100的一个或多个设备之间的通信(诸如传感器信号、传感器信息和/或控制信号)的方法的诸如软件指令。
另外,可以提供一个或多个机器可读介质以用于存储用于加载到由系统100的一个或多个设备实现的任何逻辑设备并由该逻辑设备执行的非暂时性指令。在这些和其它实施例中,逻辑设备可以在适当的情况下用其它组件(例如,易失性存储器、非易失性存储器和/或一个或多个接口(例如集成电路间(I2C)接口、移动工业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如,IEEE 1149.1标准测试接入端口和边界扫描架构)和/或其他接口,诸如用于一个或多个天线的接口或用于特定类型的传感器的接口))来实现。
传感器信号、控制信号和其他信号可以使用各种有线和/或无线通信技术,包括电压信令,以太网,WiFi,蓝牙,Zigbee,Xbee,Micronet或其他介质和/或短距离有线和/或无线联网协议和/或实现方式,在系统100的元件之间进行通信。在这样的实施例中,系统100的每个元件可以包括支持有线、无线和/或有线和无线通信技术的组合的一个或多个模块。在一些实施例中,例如,系统100的各种元件或部分元件可以彼此集成,或者可以集成到单个印刷电路板(PCB)上以降低系统复杂性、制造成本、功率需求、坐标系误差和/或各种传感器测量结果之间的定时误差。
系统100的每个元件可以包括例如一个或多个电池、电容器或其他电力存储设备,并且可以包括一个或多个太阳能电池模块或其他发电设备。在一些实施例中,设备中的一个或多个可以使用一个或多个电源引线由飞行平台110的电源供电。这样的电源引线也可以用于支持系统100的元件之间的一种或多种通信技术。
图1B示出了根据本公开实施例的点模型系统的框图。图1B可以包括飞行装置110B、辅助设备140B和辅助提供者180。
飞行装置110B可以包括例如图1A的飞行平台110、红外相机140和/或基站130中的一个或多个。飞行装置110B可以包括可作为飞行平台110、红外相机140和/或基站130的一部分本地存在或操作飞行平台110、红外相机140和/或基站130的一些或全部设备。另外,飞行装置110B可包括飞行平台110、红外相机140和/或基站130,可以提供与飞行平台110、红外相机140和/或基站130相关联的位置信息。
辅助设备140B可以包括图1A的辅助设备140以及可以从飞行装置110B的元件接收数据并向其提供指令的其他电子设备、处理器、服务器、模拟计算机和其他这样的设备。辅助设备140B可以从飞行平台110、红外相机140和/或基站130接收数据,并且例如创建超分辨率图像(例如,高清晰度,4K或可以包括更高分辨率的其他图像;在某些这样的实施例,所创建的图像的分辨率可能高于本机数据的分辨率),在图像内插入视觉辅助信息,在图像上执行非均匀性校正技术,模糊和/或去模糊图像,执行点尺寸校正技术,去除太阳能效应,校正发射率效应,“学习”发射率效应以执行未来调整,执行多点辐射计算,去除图像中阴影的影响,创建点云和/或确定点云所需的密度,根据需要减少和/或增加点云的密度,执行局部自适应对比度增强,将图像转换和/或增强为高和/或低动态范围图像(例如上采样和/或下采样),确定每个像素的潜在辐射测量误差,调整发射率,根据图像角度确定,从多个海拔高度执行的成像接收数据,根据来自从多个高度执行的成像的数据创建超分辨率图像,校正空气柱,执行时间上采样,和/或计算来自环境的多个部分的能量输出(例如,来自识别的能量源的BTU输出)。
辅助提供者180可以包括例如可以提供集成、技术、软件和/或其它服务以提高这种图像的质量、准确度、分辨率和/或集成(例如,与其他图像集成)的各方。另外,辅助提供者180可以包括飞行平台110、红外相机140和/或基站130的运营商。
图2示出了根据本公开的实施例的各种无人机系统的图。在图2所示的实施例中,红外成像系统100B包括基站130、具有红外相机140和推进系统124的飞行平台110A以及具有红外相机140和推进系统124的飞行平台110B,其中基站130可以被配置为控制飞行平台110A、飞行平台110B和/或红外相机140的运动、位置和/或取向。图2中还示出了耦合到飞行平台110A的另外的红外相机(例如,其他模块126),其可以被用于检测环境辐照度,如本文更充分描述的。
根据这里描述的实施例,红外成像系统100可以被配置为补偿红外相机140和目标之间的大气干扰,以便提供目标的高度准确和可靠的辐射测量热图像。当红外相机距离目标小于大约5-10米时,这种大气干扰通常是无法测量的。然而,在飞行中,红外相机140与目标之间的距离(例如辐射率路径长度)可以是50-150米或更大,并且大气干扰可以是实质的(例如,大于测量的辐射率或温度的5%)。当监测农田和/或机械或发电设备的运行时,准确和可靠的辐射测量热图像是特别有利的,其中准确检测到温度随时间(例如,几分钟,几小时,几天,几周,几个月或几年)的相对小的变化可以通过最大限度地减少不必要的浇水或维护来显著提高效率和/或降低由于不准确地选择的收获时间或错过温度指示预防性维护导致的运营成本。
图3示出了根据本公开实施例的用于处理由无人机系统捕获的热图像的技术的流程图。图3中描述的技术可以由例如控制器112、其他模块136、152和/或156,和/或其它这样的处理器(例如,在辅助设备160、基站130和/或另一个这样的电子设备内)来执行,它们可以从红外相机140和飞行平台110和/或红外相机140的其他模块126和/或152接收数据。
在框302中,来自红外相机140和/或成像模块142的图像数据可以由例如控制器112、其他模块136、152和/或156和/或其他这样的处理器来接收。图像数据可以是例如与对象和/或场景的辐照度相关联的数据。图像数据可以是由成像模块142捕获的静止图像、视频和/或图像序列。
在框304中,图像数据可以被处理和/或转换成辐射率数据。在某些示例中,可以将非均匀性校正和/或其他校正技术应用于图像数据(在处理和/或转换之前)和/或辐射率数据(在处理和/或转换之后)。辐射率数据可以表示成像表面的动态表面温度。这种测量的辐射率可以取决于例如测量对象的发射率、背景温度、大气传输效应(例如,大气对象如灰尘对辐射率的吸收)、大气辐射率(例如,由大气本身贡献的辐射率)、到对象的距离和/或图像路径内部和外部的其他辐射率吸收和/或发射对象。
在框306中,可以将外部参数应用于辐射率数据。在某些其他实施例中,可选地或附加地将外部参数应用于图像数据,然后转换为辐射率数据(例如,在框304之前)。其他实施例可以在辐射率数据已经被转换为温度数据(例如,在框308之后)、其他对象和/或其它辐射率吸收和/或发射对象之后替代地或附加地应用外部参数。
外部参数可以包括例如被测对象的发射率、背景温度、大气传输效应、大气辐射率、到对象的距离、云量、太阳位置、天气状况、图像内外的对象的能耗、湿度、环境温度、气压、湿度、环境分度大小和计数、臭氧水平、一氧化碳和/或二氧化碳水平、风力强度、检测到的大气衰减和/或其他这样的参数。
可以利用外部参数来增强辐射测量准确度并改善确定的辐射率和/或温度。例如,外部参数可以允许表征空气柱。这样的空气柱例如可以具有比周围空气更高的温度,可以影响确定的辐射率和/或温度,和/或可以根据来自其他模块126、152和/或136的传感器和/或来自辅助设备160的数据确定或表征。例如,可以使用检测气压、环境温度、湿度、热辐照度、风力强度和/或其他环境条件的传感器来确定这种空气柱的存在。在某些实施例中,飞行平台110可以例如从第一位置移动到第二位置,并且检测到的第一位置和第二位置之间或者第一位置和中间位置之间的状况的改变可以允许确定这种空气柱。然后可以使用这种空气柱的存在来修改在由红外相机140捕获的热图像中确定的对象的辐射率和/或温度。
在另一个例子中,太阳位置数据可以被用来确定太阳的位置。然后可以改变飞行平台110的飞行路径,使得红外相机140被用于确定对象的辐射率和/或温度,而不直接指向太阳。
另外,在某些实施例中,可以从多个图像和/或多个位置测量地面的相同对象和/或点。然后可以对来自这样的多个图像和/或多个位置的检测温度进行处理和/或平均,以增加位置的准确度。其他这样的实施例可以从多个不同的高度测量相同的位置。这种不同的测量结果可以帮助确定环境辐射率,提高准确度,和/或可以有助于图像的放大。
另外或替代地,可以确定多个不同的位置和/或点。这样的位置和/或点可以用于创建环境的辐射率和/或温度的三维点云模型。在某些这样的实施例中,可以多次测量每个点和/或位置以进一步提高准确度。而且,多个成像模块142和/或其他成像设备可以基本上同时地或在不同的时间测量这样的点和/或位置,以进一步提高准确度。某些这样的实施例可以利用控制器112构建三维点云模型,但是其他这样的实施例可以附加地或可选地利用基站130、红外相机140、辅助设备160以及/或其他此类处理器的组件来构建三维点云模型。
飞行平台110和/或红外相机140还可以包括黑体。这样的黑体可能是温度稳定的。红外相机140和/或成像模块142可以偶尔地和/或周期性地对黑体成像以校准红外相机140和/或成像模块142,来提高辐射测量准确度。替代地或附加地,其他实施例可以对其他特征进行成像以提供温度参考。例如,控制器112和/或其他处理器可以在由红外相机140和/或成像模块142成像的场景中确定具有已知温度的多个对象中的一个对象(例如,人脸、皮肤和/或另一类型的灰体)。这些对象可以被用作温度参考。而且,某些实施例可以包括由无人机系统的操作者放置的具有已知温度的对象(例如,与飞行平台110分离的黑体)。对象的温度可以独立测量(例如直接通过热电偶)以确定实际温度。这样的温度然后可以被用于校准红外图像和/或可以被传输到飞行平台110、红外相机140和/或成像模块142,并且红外相机140和/或成像模块142可以对对象进行成像以校准图像的辐射测量和/或热准确度。例如,控制器113和/或用户接口132可以被配置成至少部分地基于黑体的红外图像中的红外数据来确定黑体的测量温度,然后将测量的温度与独立测量的温度(例如,通过热电偶,或根据对象的类型估计)进行比较,并基于比较生成校正后的红外数据。在某些这样的实施例中,飞行平台110的飞行路径可以被规划为允许红外相机140和/或成像模块142周期性地和/或定期地对对象进行成像。
另外地或可选地,飞行平台110和/或红外相机140可以确定具有高表观温度均匀性的区域(例如,在飞行期间)。飞行平台110和/或红外相机140可以通过例如扫描地面来确定这样的区域。然后可以(例如,通过用户接口132)建议操作者该区域并指示将该对象放置在该区域内。在某些这样的实施例中,放置的黑体可以具有特定的尺寸(例如,在20-100平方英寸之间),使得它们在高度上对飞行平台110可见。由于黑体的表观温度可能随着距离而下降,因此某些这样的黑体可以例如具有足以从超过50米的高度对飞行平台110可见的尺寸。
在某些实施例中,可以捕获并发的热和可见光谱图像。可以分析可见光谱图像,并且可以通过确定可见光谱图像内的太阳位置和/或太阳强度并相应地校正热图像来消除来自热图像的太阳噪声。
而且,飞行平台110可以用于调查区域的区段。例如,这种调查可用于建立三维模型。来自其他源的数据、先前进行的成像和/或其他源可以被添加到在当前通过期间由红外相机140和/或成像模块142漏掉的区域或者在某个时间帧内未成像的区域。这样的信息可以帮助生成三维模型(例如,点模型)。在其他实施例中,当前成像区域可以与历史数据进行比较。这种比较可用于确定趋势(例如,温度变化的长期趋势)和/或确定与这些趋势的差异。这种趋势和/或检测到的差异可能影响飞行平台110的飞行路线和/或时间表。
另外地或可选地,飞行平台110、基站130可以包括例如可以提供对附加电磁波段(例如,声纳、电离辐射、紫外线和/或其它这样的波段)的监视的附加模块。例如,这种附加模块可以检测气体泄漏并提供数据以通过二维和/或三维表示呈现这种气体泄漏。而且,这样的模块可以被配置为检测阴影。例如,阴影可以根据确定的一天中的时间,通过分析由成像模块142、可见光谱相机和/或另一个这样的模块捕获的可见光谱和/或热图像来检测。在某些这样的实施例中,阴影的检测可以允许消除这种阴影的影响。
在某些另外的实施例中,来自浊度计的数据可以与来自红外相机140和/或成像模块142的数据组合。这样的数据可以允许检测和/或限定某些污染羽流。例如,浊度计可以检测区域内高浓度颗粒的存在。如此高的浓度可能被确定为可能的污染羽流。在某些这样的实施例中,该区域的红外成像数据然后可以用于确认这样的区域是否是污染羽流。例如,如果该区域被确定为高温,则羽流可以被确定为例如来自火灾的烟尘。
此外,还可能确定有毒气体的存在。例如,飞行平台110内的过滤器和/或传感器可用于检测这种有毒气体的存在。飞行平台110可以另外包括例如风速计以确定风向。这种风向可用于确定飞行平台110的时间变化,改变飞行平台110的推力量和/或方向,确定任何检测到的污染和/或有毒羽流的可能移动,和/或以各种其他方式使用以确定当地的大气条件。在某些其他实施例中,风向可以替代或附加于使用风速计而从飞行平台110的悬停特性推导出。
在某些其他实施例中,风传感器和/或其他传感器可以确定由飞行平台110生成的螺旋桨尾流和/或风和/或热。在这样的实施例中,可以调整由红外相机140生成的数据以补偿由飞行平台110生成的螺旋桨尾流和/或风和/或热。
在框308中,辐射率数据可以被转换为温度数据。这样,可以确定场景内对象的温度。在某些实施例中,可以渲染场景和/或场景内的对象。在某些这样的实施例中,可以创建三维点云以允许创建环境的三维表示。
例如,某些这样的实施例可以为图像内的每个像素计算辐射率和/或温度。另外,这样的实施例可以例如确定每个像素的潜在辐射测量误差(例如,测量的像素值的误差线或不确定性)。潜在的辐射测量误差可以根据例如图像数据、辐射率数据、温度数据和/或外部参数和所接收的其他外部数据中的一个或多个来确定。这样,例如,渲染可以提供这种潜在的辐射测量误差的图形表示。另外,这种渲染可以提供其他检测到的状况的图形表示。
在某些实施例中,图像数据可能已经是或者包括辐射率数据和/或温度数据。其他实施例的辐射数据可以包括温度数据。在这样的实施例中,可以从外部参数(例如,环境数据和/或检测或确定的环境条件)修改这种数据,以输出调整的和/或校正的图像数据、辐射率数据和/或温度数据。点模型可以从调整的和/或校正的图像数据、辐射率数据和/或温度数据来构建,例如通过将图像数据、辐射率数据和/或温度数据映射到成像场景和/或场景中的对象的已知几何形状。这种几何形状可以由地形图或地图(例如存储在存储器中)提供和/或可以从与成像场景相关联的环境数据(例如,声纳数据、激光雷达数据、可见光谱数据和/或由环境传感器提供的其他环境数据)来导出。在某些实施例中,点模型可以由辅助设备160、基站130、红外相机140和/或飞行平台110的一个或多个处理器/逻辑设备来生成或构建。
可以从图像数据、辐射数据和/或温度数据获得一个或多个热图像。在某些这样的实施例中,热图像可以被上采样和/或下采样。如此,可以包括算法来上采样和/或下采样这样的图像。某些实施例可以包括命令,以为飞行平台110导航以获得某些对象和/或感兴趣的区域的更详细(例如,更高分辨率)图像或允许额外地横穿区域以获得这样的信息。
图4示出了根据本公开实施例的大气干扰及其对红外成像系统100的操作的影响的图400。如图4所示,由目标450发射的目标辐射率452(例如,对应于目标450的实际温度的辐射率)行进通过大气460并且在大气460内部分地衰减或吸收,并且导致到达红外相机140的减小的目标辐射率462。取决于大气460的水含量和温度,在其他环境条件中,在接近150米的辐射率路径长度处,传输辐射率可以减少约5-20%。
也在图4中示出,背景辐射率404(例如来自太阳、天空、其他辐射源)和大气辐射率466(例如,大气460的自辐射率)可以负面地影响由红外相机140捕获的影像。在图4中,背景辐射率404撞击在由红外相机140成像的目标450的表面上,并且使得反射的背景辐射率454被导向红外相机140。反射的背景辐射率454的相对大小取决于目标450的发射率。反射的背景辐射率454也被大气460部分地衰减/吸收,并且导致减少的反射的背景辐射率464到达红外相机140,这可以进一步扭曲目标450的任何辐射率测量结果。然而,另外,大气460可以自辐射并产生大气辐射率466,这也可以进一步使目标450的辐射率测量结果扭曲。例如,如果目标450是一杯冰水,并且当前的环境条件是相对炎热和潮湿的日子,目标450的报告温度可能升高超过20摄氏度。
图5示出了红外成像系统100补偿参考图4描述的大气干扰和/或其他干扰的图500。图5示出了飞行平台已经起飞之前的基站130和飞行平台110(具有相机140)。基站130、飞行平台110和/或红外相机140可以用例如温度传感器和/或湿度传感器(例如,其他模块126、136和/或152)来实现,基站130、飞行平台110和/或红外相机140可以被配置成接收空气温度和/或相对湿度(例如,在飞行之前)并且根据到目标450的距离和/或相对于450的高度确定对由红外相机140捕获的红外图像通过辐射率(或温度)调整的函数或查找表。随后,红外成像系统100可以被配置成,当生成目标450的相对准确和可靠的辐射测量热图像时,使用距离和/或高度相关的辐射率调整来补偿大气干扰。
在一些实施例中,基站130可以例如接收(例如,作为用户输入)目标450的估计发射率,并且基于接近于与目标450相同的高度处或至少近似于与目标450相同的高度处测量的空气温度,基站130在辐射率调整中可以包括被配置为补偿到达红外相机140的反射背景辐射率454的任何部分的背景辐射率分量。在各种实施例中,辐射率调整的背景辐射率分量也可以被提供为随距离和/或高度变化(例如,由于大气干扰)。在另外的实施例中,红外成像系统100可以用天空瞄准的附加红外相机和/或辐照度检测器(例如,其他模块126)来实现,其可以被配置为测量背景辐射率404的大小和相对方向(例如相对于红外相机140和/或目标450的预期成像表面)。在这样的实施例中,辐射率调整的背景辐射率分量可以被提供为随距离、相对高度和/或相对反射角(例如,(减小的)反射背景辐射率464撞击在红外相机140上的、相对于背景辐射率404和目标450的(一个或多个)角度)变化。在一些实施例中,辐照度检测器可以被限制到例如特定的光谱,并且在进一步的实施例中,可以类似于红外相机140地实现。
类似地,红外成像系统100可以被配置为使用在起飞之前测量的空气温度来估计大气460的温度并且在辐射率调整中包括大气自辐射率分量,该大气自辐射率分量被配置为补偿大气辐射率466的到达红外相机140的任何部分。在各种实施例中,辐射率调整的大气自辐射率分量也调整可以被提供为随距离和/或高度变化(例如,由于大气460中的预期温度梯度)。
通常,红外成像系统100可以被配置为接收指示各种环境条件(例如,空气温度、相对湿度、目标的发射率、背景辐射率、红外相机140的部分的温度和/或其它环境条件)的测量结果或用户输入,可能与各种制造商提供的转换功能(例如存储在存储器146中)结合,然后使用测量结果或用户输入来生成辐射率或温度调整,该辐射率或温度调整可作为查找表或取决于红外相机140的相对高度、到目标450的距离、背景辐射率404的方向和/或大小,和/或飞行平台110和/或红外相机140的状态的其它函数来提供。例如,这种辐射率或温度调整可以是当飞行平台110在目标450附近移动时随着新测量的环境条件的动态更新。
图6A-B示出了补偿参照图4描述的大气和/或其他干扰的红外成像系统100的图600-601。更具体地,图6A-B示出了飞行平台652将红外相机140的相对高度调整为高于校准目标650(例如,相对较大的热均匀目标,诸如停车场),以使用几乎在相对高度被调整的同时取得的一系列环境测量结果和红外图像,根据相对高度生成辐射率或温度调整。使用大气干扰和/或其他干扰在小的相对高度处大约为零的假设,各种干扰的大小可以直接根据高度来测量,然后用于生成直接辐射率或温度调整。
例如,图6A示出了设置在校准目标650上方的相对小的相对高度652(例如1-5米)处的飞行平台110(具有相机140)。红外成像系统100可以被配置为在小的相对高度652处对校准目标650进行成像和/或测量空气温度和/或相对湿度以及其他环境条件,相对高度652可以被定义为其中大气干扰小于或等于校准目标650的测量辐射率的5%的高度或高度范围。如本文所述,红外成像系统100可以被配置为使用这样的测量结果作为基线,利用该基线生成直接辐射率调整。
图6B示出飞行平台110在达到相对大的相对高度654之前在不同的相对高度处周期性地停止,该相对高度654可以被定义为大气干扰大于校准目标650的测量辐射率的5%(例如,通常大于8%)处的高度或高度范围。如参照图5所描述的,飞行平台110和/或红外相机140可以被配置为测量在每个不同的相对高度处的各种环境条件(例如,空气温度、相对湿度、背景辐射率(方向和/或大小)、红外相机140的多个部分的温度,和/或其它环境条件),可能与各种制造商提供的转换函数相结合,然后使用测量结果来生成直接辐射率或温度调整,该直接辐射率或温度调整可以被提供作为查找表或取决于红外相机140的相对高度、到目标450的距离、背景辐射率404的方向和/或大小和/或飞行平台110和/或红外相机140的状态的其他函数。这种查找表或函数可以用于将相对高度654外推到例如较大的相对高度。
在替代实施例中,例如,校准目标650可以采取垂直壁的形式,并且飞行平台110可以被配置为通过从接近于垂直校准目标650的相对近的水平距离移动到与离垂直校准目标650的相对远的水平距离(例如,长度类似于相对高度652和654)而生成一系列测量结果,其可以用于基于到校准目标650的距离而不是相对高度来估计直接辐射率调整。在这样的实施例中,可以通过应用有助于补偿高度相关的环境影响(例如,由于温度、相对湿度和/或其他环境特征的变化,其可以被建模或被统计地估计并作为由制造商提供的查找表或函数来提供)的高度校正因子(例如,随高度变化)来进一步细化直接辐射调整。
在各种实施例中,飞行平台110可以包括测距仪(例如,激光测距仪)和/或可见光激光指示器(例如,其他模块126),例如被配置为基本瞄准与红外相机140相同的区域(例如,红外相机140捕获的红外图像的中心部分处),以提供到目标450和/或校准目标650的距离的非常精确的测量,或提供指示红外相机140瞄准在哪里的可见标记(例如,可以使用GNSS118的廉价实施例来提供到目标450和/或校准目标650的距离的相对粗略的测量)。在各种实施例中,这种基于激光的设备可以被配置为产生可由红外相机140附加可见光相机(例如,其他模块126)检测到的光,所述附加可见光相机通过也被配置成瞄准基本上相同的区域(例如,具有至少部分重叠的FOV),以便向控制器112和/或基站130的用户提供位置反馈。例如,红外成像系统100可以被配置为用可见激光标记或“绘制”目标450的例如高于或低于预定的或设定的温度阈值或温度偏移的一个或多个部分。在替代实施例中,基站130可以包括可以用于标记特定目标的激光指示器,并且飞行平台110可以被配置为检测标记并且用红外相机140对标记的目标的一个或多个视图进行成像。
至少参考图5-6B描述的产生辐射率调整的不同方法和/或不同方法的部分可以彼此互换使用,以帮助改进辐射率调整并提供目标450的可靠且准确的辐射测量热图像,如本文所述。
图7示出了根据本公开的实施例的对于随高度变化的各种温度(0、25和40摄氏度)在设定相对湿度50%处的大气干扰的曲线图700。从图7可以看出,大气干扰的大气吸收分量在相对高度小到20米的情况下可以大于5%。
图8示出了根据本公开实施例的操作红外成像系统100的各种操作的流程图800。在一些实施例中,图8的操作可以被实现为由与图1-2中描绘的相对应的电子设备、传感器和/或结构相关联的一个或多个逻辑设备执行的软件指令。更一般地,图8的操作可以用软件指令和/或电子硬件(例如,电感器、电容器、放大器、致动器或其他模拟和/或数字组件)的任何组合来实现。
还应该理解,过程800的任何步骤、子步骤、子过程或块可以按与图8所示的实施例不同的顺序或布置来执行。例如,在其他实施例中,一个或多个块可以从过程中省略或添加到过程中。此外,在移动到相对应的处理的后续部分之前,块输入、块输出、各种传感器信号、传感器信息、校准参数和/或其它操作参数可以被存储到一个或多个存储器。虽然参考图1-2中描述的系统对过程800进行了描述,过程800可以由与这些系统不同的其他系统执行,并且包括电子设备、传感器、组件、移动结构和/或移动结构属性的不同选择。
在框802处,接收与目标相关联的空气温度和/或相对湿度。例如,控制器112可以被配置为接收来自飞行平台110的温度传感器和/或湿度传感器(例如,其他模块126)的、与目标450相关联的空气温度和/或相对湿度测量结果。这样的空气温度和/或相对湿度测量结果可以通过在靠近目标450附近的区域和/或在与目标450的高度大致相同的高度处被测量而与目标450相关联。在一些实施例中,可以测量和/或由用户输入其他环境特征。
在框804处,确定与目标相关联并且基于空气温度和/或相对湿度的辐射率调整。例如,控制器112可以被配置为在框802中确定与目标450相关联的辐射率调整并基于从其他模块126接收的空气温度和/或相对湿度测量结果。在一些实施例中,辐射率调整可以主要补偿大气干扰,如本文所述。在其他实施例中,如本文所述,辐射度调整可以基于各种附加环境特性并且补偿诸如大气自发射、背景反射辐射率和/或其他有害环境影响等其他环境干扰。
在框806处,接收从飞行平台捕获的目标的红外图像。例如,控制器112可以被配置为从耦合到飞行平台110的红外相机140接收红外图像。在各种实施例中,飞行平台110可以在目标450上方或附近飞行并且被配置成将红外相机140瞄准图像目标450。
在框808处,将辐射率调整应用于红外图像以补偿大气干扰。例如,控制器112可以被配置为将在框804中确定的辐射率调整应用于在框806中接收的红外图像,以补偿红外相机140和目标450之间的大气干扰和/或其他类型的干扰和/或环境影响,如本文所述。
根据这里描述的实施例,红外成像系统100可以被配置为检查和/或监测太阳能电力阵列,其他发电结构和/或其他结构。由于红外成像系统100可以提供这样的发电结构的高度准确和可靠的辐射测量热图像,因此实施例能够通过可靠且精确地查明低效(例如,脏)和/或故障的太阳能电池板或太阳能电池板结构(例如,各个太阳能电池板内的结构)并且通过最小化其它不必要的维护和/或通过降低由于错过的温度指示的预防性维护而导致的操作成本来帮助提高效率。
图9示出了根据本公开的实施例的监测太阳能电池板阵列950的红外成像系统100的图900。如图9所示,红外成像系统100包括飞行平台100,该飞行平台100利用对太阳能电池板阵列950成像的红外相机140和被配置为测量背景辐射率904(例如,如图9所示,撞击辐照度检测器126和太阳能电池板阵列950)的大小和/或方向的面向上的辐照度检测器(例如,其他模块126)来实现。红外成像系统100可以被配置为使用背景辐射率904的大小和/或方向来提供太阳能电池板阵列950的操作效率的精确度量。
例如,在一个实施例中,红外成像系统100可以被配置为使用测量的背景辐射率904来补偿由太阳能电池板阵列950提供的发射率和/或反射背景辐射率。在一些实施例中,红外成像系统100可以被配置为从红外相机140捕获的红外图像中减去预期的反射背景辐射率(例如,基于背景辐射率904的测量大小和/或入射角906、太阳能电池板的角度956和/或红外相机140的相对位置和/或取向的组合),以产生太阳能电池板阵列950的辐射测量热图像。在各个实施例中,红外成像系统100可以被配置为改变飞行平台110和/或红外相机140的位置和/或取向,以减少反射的背景辐射率(例如,通过从来自太阳能电池板阵列950的诸如太阳光的背景辐射的局部源的直接反射中移出)。
在另一个实施例中,红外成像系统100可以被配置为使用测量的背景辐射率904,例如以基于入射辐射率与输出能量的预期转换率来确定太阳能电池板阵列950(例如,包括单独的电池板和/或电池板结构)的预期热曲线,并检测与预期的热曲线的绝对定量偏差(例如,与更加定性的相对热差相反)。
在进一步的实施例中,红外成像系统100可以被配置成使用测量的背景辐射率904来基于测量的背景辐射率和来自太阳能电池板阵列950的功能部分的估计或测量的反射辐射率(例如,如由包括热特性的其他测量的特性所确定的)确定太阳能电池板阵列950(例如,包括单独的电池板和/或电池板结构)的估计的发射率。这种估计的发射率可用于表征成像目标的表面,例如太阳能电池板阵列950、结构顶部、柏油碎石(tarmac)、飞机的表面和/或成像目标的其他表面。
此外,本文描述的用于补偿大气干扰和/或其他干扰的任何方法可以与参照图9描述的方法结合使用,以帮助减少太阳能电池板阵列950的所得辐射测量热图像中的这种误差。
通过提供目标的高度准确和可靠(例如,可再现)的辐射测量热图像,本公开的实施例实现了比常规技术显著更实用的空中检查和监测技术。例如,红外成像系统100的实施例可以被配置为对结构的顶板成像,并基于使用本文公开的技术可检测的横跨顶板表面的温差来确定顶板的多个部分被损害并且显示水分饱和度高于热效率和防风雨顶板可接受的水平。这种测量结果可以包括基于测量的背景辐射率和目标的红外图像来估计目标的成像表面(例如,如顶板或太阳能电池板阵列950)的发射率。例如,对于一些材料,相对较低的发射率估计可能表明含水饱和度,而较高的发射率估计可能表明水珠。
图10示出了根据本公开的实施例的操作红外成像系统100的各种操作的流程图1000。在一些实施例中,图10的操作可以被实现为由与图1-2中描绘的相对应的电子设备、传感器和/或结构相关联的一个或多个逻辑设备执行的软件指令。更一般地,可以用软件指令和/或电子硬件(例如,电感器、电容器、放大器、致动器或其他模拟和/或数字组件)的任意组合来实现图10的操作。
还应该理解的是,可以以与图10所示的实施例不同的顺序或排列来执行过程1000的任何步骤、子步骤、子过程或块。例如,在其他实施例中,一个或多个块可以从过程中省略或添加到过程中。此外,块输入、块输出、各种传感器信号、传感器信息、校准参数和/或其它操作参数可以在移动到相对应过程的后续部分之前,被存储到一个或多个存储器。尽管过程1000参照图1-2中描述的系统进行描述,过程1000可以由不同于那些系统并且包括电子设备、传感器、组件、移动结构和/或移动结构属性的不同选择的其他系统执行。
在框1002处,接收从飞行平台捕获的目标的红外图像。例如,控制器112可以被配置成从耦合到飞行平台110的红外相机140接收目标/太阳能电池板阵列950的红外图像。在各种实施例中,飞行平台110可以在目标950上方或附近飞行并且被配置为使红外相机140瞄准成像目标950。
在框1004处,接收与目标相关联的背景辐射率。例如,控制器112可以被配置为从飞行平台110的辐照度检测器(例如,其他模块126)接收与目标950相关联的背景辐射率测量结果。这种背景辐射率测量结果可以通过在接近目标950附近的区域和/或与目标950的高度大致相同的高度处测量而与目标950相关联。在一些实施例中,其他环境特征可以由用户测量和/或输入。
在框1006处,确定与目标相关联并且基于背景辐射率的辐射率调整。举例来说,控制器112可被配置为确定与目标950相关联的辐射率调整并且基于在框1004中从其它模块126接收的辐射率测量结果。在一些实施例中,辐射率调整可主要补偿反射的背景辐射率,如本文中所述。在其他实施例中,如本文所述,辐射率调整可基于各种附加环境特性并补偿其他环境干扰,诸如大气干扰、大气自发射、背景反射辐射率和/或其他有害环境影响。
在框1008处,将辐射率调整应用于红外图像以补偿由目标反射的反射背景辐射率。举例来说,控制器112可被配置为将框1006中确定的辐射率调整应用于框1002中接收到的红外图像,以补偿由目标950朝向红外相机140反射的反射背景辐射率和/或补偿其他类型的干扰并且/或环境影响,如本文所述。
额外的步骤和/或子步骤可以结合到过程1000中。例如,飞行平台110可以在辐照度检测器126面向上且红外相机140面向下的情况下实现,并且飞行平台110可以被配置成飞行到足够高的相对高度来在单个图像中捕获全部的太阳能电池板阵列950,其可用于(例如,利用由GNSS 118提供的位置数据)映射太阳能电池板阵列950和/或太阳能电池板阵列950的单独电池板或结构(例如,相对于彼此或太阳能电池板阵列950的位置的图表或地理地图)。在一些实施例中,这样的图像的地理范围可能受到限制,例如以限制所得辐射测量热图像中的基于距离的细节损失。红外成像系统100可以被配置为识别所得图像中的每个电池板,例如通过提供太阳能电池板阵列950的电池板的识别号码的映射来识别。
在这种映射之后,飞行平台110可以被配置为降低高度或以其他方式调整红外相机140的位置以允许太阳能电池板阵列950的各个电池板的相对高的分辨率/细节检查。红外成像系统100可以被配置为,通过在太阳能电池板阵列950的一部分上生成直方图或通过使用应用于太阳能电池板阵列950的电池板的图像的图案分析(例如,基于热差异),分析所得辐射测量热图像以用于系统故障和/或低效率,以检测系统故障和/或低效率和/或估计整个系统操作效率。
在替代实施例中,飞行平台110可以利用位于顶上的辐照度检测器126和面向下方的红外相机140实现,并且飞行平台110可以被配置为在太阳能电池板阵列950上方飞行栅格图案,同时捕获太阳能电池板阵列950的红外图像,以生成太阳能电池板阵列950的正交马赛克图像。(例如,与由GNSS 118提供的位置数据相关的)这种正交马赛克图像可以用于映射太阳能电池板阵列950和/或太阳能电池板阵列950的单独电池板或结构(例如,相对于彼此或太阳能电池板阵列950的位置的图表或地理地图)。红外成像系统100可以被配置为识别所得到的正交马赛克图像中的每个电池板,例如通过为太阳能电池板阵列950的电池板提供的识别号码的映射来识别。
在这样的映射之后,飞行平台110可以被配置为降低高度或以其他方式调整红外相机140的位置以允许太阳能电池板阵列950的各个电池板的相对高的分辨率/细节检查和相应的辐射测量热图像直方图分析、模式分析和/或其他图像或结构分析,如本文所述。这样的分析可以包括模式识别和/或报告未根据设定或提供的操作特性执行的阵列的百分比。
如本文所述,确定背景辐射率的入射角904(例如,太阳相对于红外相机140的取向的角度)对于补偿反射背景辐射率可能是关键的。来自太阳的眩光或闪光会降低太阳能电池板阵列950的辐照度测量结果和任何红外图像。在一些实施例中,为了帮助确定这样的(一个或多个)角度,飞行平台110可以利用相对于飞行平台110和/或红外相机140以不同角度瞄准的多个辐照度检测器来实现。在其他实施例中,可以利用每个捕获的红外图像和/或背景辐照度测量结果来确定或测量并且记录一天中的时间和红外相机140的绝对位置和/或取向,以允许角度904的捕获后计算。
在另外的实施例中,可以分析由红外相机140捕获的一系列红外图像以检测在不相对于图像框边界移动的飞行期间的图像伪影和/或异常;移动异常可能是由闪烁引起的,并且可以补偿或从分析中移除,非移动异常可能指示应该进一步调查的太阳能电池板阵列950的问题区域。在各种实施例中,可以执行飞行平台110的多经过时间飞行,以允许太阳能电池板阵列950的电池板的时间差别的比较,这可以用于跟踪随时间的退化并指示抢先维护。
图11示出了根据本公开的实施例的监视结构的多个无人机系统的图。图11可以包括飞行平台110-1和110-2。飞行平台110-1和110-2每个可以包括至少一个红外相机140并且可以由一个或多个基站130控制。飞行平台110-1和110-2可以对可能包括结构1102的场景成像。飞行平台110-1可以处于第一高度的第一位置,并且飞行平台110-2可以处于第二高度的第二位置。
在某些实施例中,飞行平台110-1和110-2中的一个或两个可以通信地连接到辅助设备160。飞行平台110-1和/或110-2可以对场景成像并且发送与场景相关联的数据(例如,热数据)到基站130和/或辅助设备160,以构建场景的三维表示。
飞行平台110-2可位于羽流1104内。飞行平台110-1和/或110-2可包括例如可检测空气中的颗粒计数的浊度计。在图11中,飞行平台110-1可以例如检测羽流1104内的高微粒计数。在某些情况下,飞行平台110-1可以检测到羽流1104可能不是污染羽流(例如,飞行平台110-1可以检测到羽流1104处于与周围环境基本上相同的温度,可以利用一氧化碳传感器检测羽流1104内的一氧化碳与周围环境没有显著不同,和/或可以检测到羽流1104内的正常量的臭氧)。这样,飞行平台110-1、基站130和/或辅助设备160(例如,连接的计算设备和/或网络)可以确定羽流1104可以是,例如尘云,并且可以相应地调整羽流1104内的对象的确定的辐照度和/或温度。另外,飞行平台110-1可以对结构1102进行成像。当飞行平台110-1检测到它在羽流1104内时,其也可以相应地调整所确定的辐照度和/或结构1102的温度。
在另一个示例中,飞行平台110-1可以确定羽流1104可能是污染羽流。例如,飞行平台110-1可以确定羽流1104内的温度明显高于周围环境,可确定一氧化碳和/或二氧化碳浓度显著高于周围环境,可以确定羽流1104附近的地面指示火灾,检测指示泄漏的空气移动,和/或可以指示羽流110是污染羽流的其他此类确定。因此,飞行平台110-1、基站130和/或辅助设备160(例如,连接的计算设备和/或网络)可以调整来自该区域内的热量读数以确定是否存在污染羽流。
在某些其他实施例中,例如,缺少羽流1104的实施例,飞行平台110-1和110-2可以分别从第一位置和第二位置对结构1102进行成像。这样,飞行平台110-1和/或110-2、基站130、辅助设备160和/或其他处理器可以确定位置差异并且校正位置差异。从飞行平台110-1确定的温度和/或辐照度可以与飞行平台110-2的温度和/或辐照度进行比较。可以从这种比较中确定可能的误差,并且还可以分析差异以确定例如诸如风、微粒水平、温差和/或其它这样的条件的环境条件。
而且,飞行平台110-1和/或110-2可以配备有一个或多个HDR相机。这种HDR相机在较短的成像距离处比在较长的成像距离处更可能使成像对象饱和。这样,当对结构1102成像时,飞行平台110-1可以能够获得比飞行平台110-2更大的场景动态范围。这样,例如,如果期望更大的动态范围,则来自飞行平台110-1的图像可以用于构建二维或三维模型。另外或可选地,在某些实施例中,可以将滤波器应用于获得的图像。
某些实施例可以构建来自多个数据源(例如,飞行平台110-1,110-2和/或其他附加源)的区域的二维或三维表示。某些这样的表示可以从接收到的新数据周期性地或连续地更新。这样,来自飞行平台110-1和110-2的成像数据可以被传送到,例如辅助设备160,以更新这样的模型。例如,可以基于成像数据监测和/或更新水体,诸如海湾或海洋的一部分。这种成像可以允许检测例如水体内的温度变化(例如,热点和/或冷点)。这些信息可能考虑改善水产养殖。
图12示出了根据本公开的实施例的无人机系统对区域进行成像以创建热正交马赛克模型的技术的图。在图12中,飞行平台110可以包括红外相机并且可以被配置成对图12中所示的区域(其可以包括结构1202)成像。飞行平台110可以处于高度1210并且可以以速度1212移动。
飞行平台110可以确定对区域成像的间隔1214。间隔1214可以根据高度1210、速度1212、环境条件、区域的预先存在的数据、用户命令和/或其他因素来确定。飞行平台110的红外相机可以例如从视角1216-1、1216-2和1216-3对该区域进行成像。从视角1216-1、1216-2和1216-3成像得到的数据以及指示高度1210、速度1212和/或其它条件的数据可以被传送到辅助设备。辅助设备然后可以从来自视角1216-1、1216-2和1216-3的数据生成正交马赛克。
图13示出了根据本公开的实施例的无人机系统对区域进行成像以创建热正交马赛克模型的另一种技术的图。在图13中,飞行平台110可以包括红外相机并且可以被配置为对图13中示出的区域(其可以包括结构1302)进行成像。飞行平台110可以处于高度1310并且可以以速度1312移动。另外,在对图13所示的场景进行成像期间,可以存在太阳1318。
在图13中,飞行平台110可以确定对区域成像的间隔1214。间隔1214可以根据高度1210、速度1212、环境条件(例如,太阳1318的位置、云、灰尘和/或烟雾的存在和/或其他这样的因素)、结构1302的发射率、结构1302的尺寸(例如,高度1322)、用户命令和/或其它因素来确定。飞行平台110的红外相机可以例如从视角1316-1、1316-2和1316-3对该区域进行成像。
飞行平台110、红外相机和/或基站可以检测太阳1318的位置和/或强度。其他实施例可以附加地或可选地检测例如月球或其他对象在天空中的位置。此外,飞行平台110、红外相机和/或基站还可以检测结构1302的高度1322、结构1302的检测部分的入射角1324(例如,某些顶板可以是倾斜的)、路径长度1320(例如,更长的距离可能导致检测到的发射率降低)、视角1316-1、1316-2和/或1316-3的视场、灰尘、湿度、环境温度和/或其它因素。然后,飞行平台110、红外相机、基站和/或辅助设备160可以使用这些检测到的因素来进一步提高例如结构1302的发射率确定的准确性。然后,辅助设备160可以根据这些数据来生成正交马赛克。
虽然在此描述了太阳能电池板检查的环境,但是可以设想其他结构和/或环境,诸如牛群追踪(例如位置和/或健康状况),采矿检查,化学品泄漏检查,大型分配管道检查,栖息地调查,海龟繁殖场,鳄鱼巢绘图,精确农业和/或其他可从本文所述的高度准确和/或可靠(例如,可重复)的辐射测量热图像分析中获益的环境。
有时,了解红外相机/飞行平台与地面上或地面附近的成像目标(例如,目标450、校准目标650)之间的大致距离可能是有益的,所述目标例如太阳能电池板、校准目标、结构和/或其他成像目标。一旦确定,这样的距离或范围可以用于帮助改进本文所述的各种类型的图像处理,例如基于大气吸收和/或其他环境影响来确定辐射率调整,或者用于确定和校正在同一飞行平台(例如,其他模块126)上的多个相机(例如,多个红外相机,或一个或多个红外相机和一个或多个可见光谱相机)之间和/或同一相机(例如,其他模块152)内的视差。
更具体地说,能够在不使用激光测距仪、激光雷达(LIDAR)系统或其他类似的附加设备/系统的情况下确定到目标的这种范围是有利的,附加设备/系统可能不期望地对飞行平台增加重量、功率消耗和/或复杂度,否则飞行平台将增加飞行平台的成本和/或缩短飞行平台的运行寿命(例如,由于电池或燃料消耗),特别是当被成像目标不在飞行平台正下方时(例如,在上述地平面(AGL)高度大致等于距目标的范围的情况下)。
本公开的实施例可以被配置成通过捕获目标的图像、确定与捕获的图像相对应的飞行平台和/或相机的源位置、确定从飞行平台和/或相机到成像目标的方向目标矢量和基于所确定的位置和目标矢量确定到成像目标的范围,来确定到所述成像目标的范围。一旦确定了范围,该范围可以用于帮助计算对诸如大气吸附的红外影像的各种调整,其准确度比仅仅依靠例如高度的情况更高。而且,当组合来自安装到飞行平台的多个相机或成像模块的影像时,例如当组合红外影像和可见光谱影像以例如在单个组合图像中提供空间配准(例如,缩放和/或倾斜/摇摄)热图像数据和高频可见光谱图像数据时,可以使用这种范围来校正视差。
图14示出了根据本公开的实施例的确定到成像目标的范围的各种操作的流程图1400。在一些实施例中,图14的操作可以被实现为由与图1-2中描绘与相对应的电子设备、传感器和/或结构相关联的一个或多个逻辑设备执行的软件指令。更一般地,图14的操作可以用软件指令和/或电子硬件(例如,电感器、电容器、放大器、致动器或其他模拟和/或数字组件)的任意组合来实现。可以以与图14所示的实施例不同的顺序或布置来执行过程1400的任何步骤、子步骤、子处理或块。此外,块输入、块输出、各种传感器信号、传感器信息、校准参数和/或其它操作参数可以在移动到相应过程的后续部分之前被存储到一个或多个存储器。尽管过程1400参照图1-2中描述的系统进行描述,过程1400可以由不同于那些系统并且包括电子设备、传感器、组件、移动结构和/或移动结构属性的不同选择的其他系统执行。
在框1402处,接收目标的图像。例如,系统100的控制器110、成像模块142和/或控制器或可见光谱成像模块(例如,其他模块126和/或152)可以被配置为接收目标450、校准目标650和/或其他目标的图像,如本文所述。例如,这样的图像可以是包括由成像模块142捕获的热数据的红外图像,或者可以是通过包括可见光谱数据的可见光谱成像模块(其他模块126/152)捕获的可见光谱图像。一旦被捕获,图像可以被存储在系统100的存储器中和/或经由通信模块120、134、144和/或154被发送到系统100的一个或多个组件。
在框1404,确定与接收到的图像相对应的源位置。例如,系统100的控制器110、成像模块142和/或控制器或可见光谱成像模块(例如,其他模块126和/或152)可以被配置为,基于由GNSS 118、150、飞行系统110和/或红外相机140的高度计或气压计和/或系统100的其他传感器提供的传感器数据,来确定与框1402中接收的图像相对应的、飞行平台110和/或系统100的红外相机140或其他相机的源位置和/或高度。
在一些实施例中,控制器112或红外相机140的控制器可以被配置为接收例如飞行平台110和/或红外相机140的绝对源位置和/或高度,其可以利用存储在系统100的存储器中的相对应的地形图数据被转换为源AGL高度。在其他实施例中,系统100可以被配置成测量并存储飞行平台110和/或相机140的发射位置和/或高度,并使用该发射位置和/或高度以确定估计的源AGL高度(例如,通过从绝对源位置/高度减去发射高度/位置)。当在框1402中接收到的目标的图像被捕获时,这种源位置/高度可对应于飞行平台110和/或红外相机140的大致时间和/或位置。在各种实施例中,可以从其导出源位置/高度的传感器数据可以例如与在框1402中接收图像基本上同时地和/或同步地被测量和/或被接收,或者可以在框1402中接收图像之前或之后(例如,异步地)被接收。在一些实施例中,这样的传感器数据可以被嵌入在所接收的图像内(例如,作为元数据)。
在框1406处,确定到成像目标的方向目标矢量。例如,系统100的控制器110、成像模块142和/或控制器或可见光谱成像模块(例如,其他模块126和/或152)可以被配置为确定从飞行平台110和/或红外相机140到在框1402中成像的目标的方向目标矢量。
在一些实施例中,在框1402中接收到的图像可以由红外相机140捕获,所述红外相机140例如包括取向传感器148,取向传感器148可以被配置为提供红外相机140的绝对取向(例如,相对于重力定义的向下和/或磁北)或相对取向(例如,相对于飞行平台110的取向),可以从其导出该方向目标矢量。例如,可以假定目标位于接收的图像/红外相机140的视场(FOV)的中心,并且红外相机140的测量的绝对取向可以被转换成与FOV的中心对准的方向矢量。在其他实施例中,可以通过用户输入选择目标或在接收图像内检测该目标(例如,作为红外图像的热分化部分,诸如接收到的图像中的相对较热或较冷的部分或部分质心,或者作为在可见光谱图像中识别的对象、图案或形状质心),并且方向目标矢量可以从红外相机140的取向和图像/FOV中的像素位置导出,所述像素位置与接收到的图像中的所检测到的或用户选择的目标相对应(例如,基于由红外/可见光谱成像模块捕获的图像的FOV与红外相机140和/或红外相机140的成像模块的测量的取向和/或光轴之间的几何关系)。
在替代或补充实施例中,红外相机140可经由被配置为提供对应于红外相机140的光轴的万向节方向(例如,传感器数据)的万向节被安装到飞行平台110,并且目标方向矢量可从飞行平台110的绝对或相对取向、万向节方向和/或图像/FOV中的与接收到的图像中的检测到的或用户选择的目标相对应的像素位置导出。
在各种实施例中,方向目标矢量可以被表征为重力向下与FOV内的的成像目标之间的第一角度和/或绝对和/或相对参考(例如,磁北、大地测量北、航点、兴趣点或其他目标的相对位置、或地面或空中的其它点和/或其他绝对或相对参考)与图像/FOV内的成像目标之间的第二角度。这些第一角度和/或第二角度可以从陀螺仪/加速度计116、GNSS118和/或150、取向传感器114和/或148和/或万向节(例如,其他模块126)提供的传感器数据导出。
在框1408处,确定从源位置到成像目标的范围。例如,系统100的控制器110、成像模块142和/或控制器或可见光谱成像模块(例如,其他模块126和/或152)可以被配置为至少部分地基于所确定的源位置和在框1406中确定的方向目标矢量,来确定从框1404中确定的源位置到框1402中接收的图像中的成像目标的范围。
在一些实施例中,飞行平台110、红外相机140和/或系统100的其他元件可以被配置为确定飞行平台110和/或红外相机140的AGL高度,并且使用该AGL高度和至少重力向下与成像目标之间的第一角度来以几何方式确定到目标的范围(例如,假设目标与AGL高度参考大致处于相同的绝对高度)。在其他实施例中,可以将AGL高度飞行平台110和/或红外相机140、重力向下与成像目标之间的第一角度、绝对和/或相对参考与成像目标之间的第二角度以及地形图数据用于确定范围。例如,可以基于飞行平台110/红外相机140的源位置、红外相机140的第一和第二取向角以及地形图数据来估计目标的绝对高度,所述地形图数据表示接近成像目标的地球表面的绝对高度,如通过将方向目标矢量从源位置投影到地形源数据上所确定的。
一旦确定了范围,通过考虑沿着从红外相机140到目标的全路径在沿这种路径的合适高度处的吸收,该范围可以用于帮助计算对红外影像的各种调整,诸如大气吸附。另外,当组合来自安装在飞行平台上的多个相机或成像模块的影像时,可以使用该范围来校正视差。例如,如本文所述,红外相机140可以包括附加外成像模块或一个或多个附加可见光谱成像模块,每个模块具有其自己的FOV和光轴。来自相同目标的不同成像模块的图像可以被组合以强调目标和/或组成图像的各个方面,并且向用户提供更直观或明确的信息(例如,空间、热量和/或其他图像信息)。通常,这样的图像组合受益于空间对应关系,其中一个图像中的结构被配准到另一个图像中的相同结构,这可能需要在由不同成像模块所捕获的图像之间进行缩放和/或视差校正。基于框1408中确定的范围以及例如光轴和/或不同成像模块的视场之间的已知相对位置和取向,并且不依赖于附加设备(例如激光测距仪或类似设备),可以充分地估计或者通过分析的或几何的方式确定该视差校正。
在适用的情况下,可以使用硬件、软件或硬件和软件的组合来实现由本公开提供的各种实施例。同样在适用的情况下,在不背离本公开的精神的情况下,可将本文阐述的各种硬件组件和/或软件组件组合成包括软件、硬件和/或两者的复合组件。在适用的情况下,在不背离本公开的精神的情况下,本文阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件或两者的子组件。另外,在适用的情况下,可以预期软件组件可以被实现为硬件组件,反之亦然。
根据本公开的软件,诸如非暂时性指令、程序代码和/或数据,可以存储在一个或多个非暂时性机器可读介质上。还可以预期的是,可以使用一个或多个通用或专用计算机和/或计算机系统以网络和/或其他方式来实现本文中所标识的软件。在适用的情况下,本文描述的各种步骤的顺序可以被改变、被组合成复合步骤和/或分成子步骤以提供本文描述的特征。
以上描述的实施例说明但不限制本发明。还应该理解的是,可以根据本发明的原理进行多种修改和变化。因此,本发明的范围仅由所附权利要求限定。
Claims (20)
1.一种系统,包括:
飞行平台;
红外成像器,所述红外成像器耦合到所述飞行平台,并且所述红外成像器被配置为在所述飞行平台的视野下捕获场景的红外图像以及输出与所述红外图像和/或所述场景相关联的红外数据;
环境传感器,所述环境传感器被配置成测量与所述飞行平台、所述红外成像器和/或所述场景相关联的环境数据;以及
逻辑设备,所述逻辑设备被配置为:
从所述红外成像器接收所述红外数据,其中,所述红外数据被配置为测量所述场景的至少一部分的一方面,
接收来自所述环境传感器的环境数据,并且
至少部分地基于所述红外数据和所述环境数据来确定校正后的红外数据。
2.根据权利要求1所述的系统,其中,所述环境传感器包括大气压力传感器、可见辐照度数据传感器、温度传感器、湿度传感器、热电堆、浊度计、臭氧传感器、一氧化碳传感器、二氧化碳传感器、风力强度传感器、风速传感器、风向传感器、可见光谱成像设备、风速计和/或高动态范围(HDR)成像设备中的至少一个。
3.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
至少部分地基于来自所述环境传感器的所述环境数据来检测所述场景中的气体泄漏。
4.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
至少部分地基于来自所述环境传感器的环境数据来确定与所述场景相关联的微粒计数,其中,至少部分地基于所述红外数据和所确定的微粒计数来确定校正后的红外数据。
5.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
至少部分地基于来自所述环境传感器的所述环境数据来确定风况,其中,至少部分地基于所述红外数据和所确定的风况来确定校正后的红外数据。
6.根据权利要求1所述的系统,其中,所述环境传感器包括可见光谱成像设备,并且所述逻辑设备还被配置成:
从所述可见光谱成像设备接收可见光谱数据;以及
至少部分地基于来自所述可见光谱成像设备的所述可见光谱数据来确定太阳特征,其中,至少部分地基于所述红外数据和所确定的太阳特征来确定校正后的红外数据。
7.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
至少部分地基于来自所述环境传感器的所述环境数据来确定环境条件;以及
响应于所确定的环境条件来调整所述飞行平台的飞行路径。
8.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
确定太阳位置和/或太阳强度,其中,至少部分地基于所述红外数据和所确定的太阳位置和/或太阳强度来确定校正后的红外数据。
9.根据权利要求1所述的系统,还包括耦合到所述飞行平台并且能够由所述红外成像器观看的黑体,其中,热成像器被配置成输出与黑体的热图像相关联的校准数据,并且其中,所述逻辑设备还被配置为:
接收所述校准数据;以及
将所述校准数据与黑体的已知温度进行比较,其中,至少部分地基于所述红外数据、所述校准数据和/或比较结果来确定校正后的红外数据。
10.根据权利要求1所述的系统,其中,所述逻辑设备还被配置为:
检测所述场景内的黑体和/或灰体;
接收所述黑体和/或灰体的已知的温度和/或估计的温度;
至少部分地基于所接收的场景的红外数据来确定所述黑体和/或灰体的测量温度;以及
将已知的温度和/或估计的温度与所述测量温度进行比较,其中,至少部分地基于所述红外数据和比较结果来确定校正后的红外数据。
11.根据权利要求1所述的系统,所述逻辑设备被配置为:
接收所述场景中的目标的图像;
确定与所接收的图像相对应的源位置;
确定到成像目标的方向目标矢量;以及
至少部分地基于所述源位置和所述方向目标矢量来确定从所述源位置到所述成像目标的范围。
12.根据权利要求1所述的系统,还包括基站,所述基站被配置为经由一个或多个通信模块与所述飞行平台和/或所述红外成像器进行通信,其中,所述逻辑设备被配置为:
确定所述飞行平台的飞行路径以对所述场景进行成像;以及
至少部分地基于所述红外数据、所述环境数据和/或校正后的红外数据来修改所述飞行路径。
13.一种使用权利要求1所述的系统的方法,所述方法包括:
在所述场景的视野下定位所述飞行平台;
捕获所述场景的红外图像中的至少一个;
测量所述环境数据;以及
将所述红外图像中的至少一个、相对应的红外数据、所述环境数据和/或校正后的红外数据发送到用户接口。
14.一种方法,包括:
从耦合到飞行平台的红外成像器接收红外数据,其中,所述红外成像器被配置为在飞行平台的视野下捕获场景的红外图像并输出与所述红外图像和/或所述场景相关联的红外数据,并且其中,所述红外数据被配置为测量所述场景的至少一部分的一方面;
从环境传感器接收环境数据,所述环境传感器被配置成测量与所述飞行平台、所述红外成像器和/或所述场景相关联的环境数据;以及
至少部分地基于所述红外数据和所述环境数据来确定校正后的红外数据。
15.根据权利要求14所述的方法,还包括:
至少部分地基于来自所述环境传感器的环境数据来检测所述场景中的气体泄漏。
16.根据权利要求14所述的方法,还包括:
至少部分地基于来自所述环境传感器的所述环境数据确定与所述场景相关联的微粒计数,其中,至少部分地基于所述红外数据和所确定的微粒计数来确定校正后的红外数据。
17.根据权利要求14所述的方法,还包括:
至少部分地基于来自所述环境传感器的所述环境数据来确定风况,其中,至少部分地基于所述红外数据和所确定的风况来确定校正后的红外数据。
18.根据权利要求14所述的方法,还包括:
从可见光谱成像设备接收可见光谱数据;以及
至少部分地基于来自所述可见光谱成像设备的所述可见光谱数据来确定太阳特征,其中,至少部分地基于所述红外数据和所确定的太阳特征来确定校正后的红外数据。
19.根据权利要求14所述的方法,还包括:
至少部分地基于来自所述环境传感器的环境数据来确定环境条件;以及
响应于所确定的环境条件来调整所述飞行平台的飞行路径。
20.根据权利要求14所述的方法,还包括:
检测所述场景内的黑体和/或灰体;
接收所述黑体和/或灰体的已知和/或估计的温度;
至少部分地基于所接收的所述场景的所述红外数据来确定所述黑体和/或灰体的测量温度;以及
将已知的温度和/或估计的温度与检测到的温度进行比较,其中,至少部分地基于所述红外数据和比较结果来确定校正后的红外数据。
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562265415P | 2015-12-09 | 2015-12-09 | |
US201562265416P | 2015-12-09 | 2015-12-09 | |
US201562265413P | 2015-12-09 | 2015-12-09 | |
US62/265,413 | 2015-12-09 | ||
US62/265,415 | 2015-12-09 | ||
US62/265,416 | 2015-12-09 | ||
US201662374716P | 2016-08-12 | 2016-08-12 | |
US201662374709P | 2016-08-12 | 2016-08-12 | |
US62/374,716 | 2016-08-12 | ||
US62/374,709 | 2016-08-12 | ||
US201662402992P | 2016-09-30 | 2016-09-30 | |
US62/402,992 | 2016-09-30 | ||
PCT/US2016/066009 WO2017100702A2 (en) | 2015-12-09 | 2016-12-09 | Unmanned aerial system based thermal imaging systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108603790A true CN108603790A (zh) | 2018-09-28 |
CN108603790B CN108603790B (zh) | 2020-09-25 |
Family
ID=58710045
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201690001551.2U Active CN209014148U (zh) | 2015-12-09 | 2016-12-09 | 机载审查系统 |
CN201680081335.8A Active CN108603790B (zh) | 2015-12-09 | 2016-12-09 | 基于无人机系统的热成像系统和方法 |
CN201680081354.0A Pending CN108700470A (zh) | 2015-12-09 | 2016-12-09 | 基于无人机系统的热成像和聚合系统和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201690001551.2U Active CN209014148U (zh) | 2015-12-09 | 2016-12-09 | 机载审查系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680081354.0A Pending CN108700470A (zh) | 2015-12-09 | 2016-12-09 | 基于无人机系统的热成像和聚合系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11378458B2 (zh) |
EP (3) | EP3387398A2 (zh) |
CN (3) | CN209014148U (zh) |
WO (3) | WO2017123358A2 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110426362A (zh) * | 2019-07-19 | 2019-11-08 | 武汉理工大学 | 一种新型港口空气监测系统 |
CN111220618A (zh) * | 2020-02-25 | 2020-06-02 | 广州华粤科技有限公司 | 一种基于无人机的远程监测污染物气体vocs排放的装置 |
CN111256840A (zh) * | 2020-03-24 | 2020-06-09 | 北京眸视科技有限公司 | 一种非接触式的测温系统 |
CN112513595A (zh) * | 2020-02-14 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 可移动装置、控制终端、利用可移动装置中的红外热像仪测温的方法以及可移动系统 |
CN112817321A (zh) * | 2019-11-15 | 2021-05-18 | 上海道口材料科技有限公司 | 一种面向能源装备现场安全的无人机ir巡检方法及系统 |
CN113503974A (zh) * | 2021-09-09 | 2021-10-15 | 江苏沃泰冶金设备有限公司 | 基于pid的热成像检测系统、方法及瓦斯灰输送装置 |
CN114599582A (zh) * | 2019-12-13 | 2022-06-07 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
CN114599581A (zh) * | 2019-12-13 | 2022-06-07 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
CN115235466A (zh) * | 2021-03-29 | 2022-10-25 | 泰立戴恩菲力尔商业系统公司 | 导航系统和方法的辐射测量热成像改进 |
WO2023039835A1 (zh) * | 2021-09-17 | 2023-03-23 | 深圳市大疆创新科技有限公司 | 红外测温装置、可移动平台、控制装置和手持式红外测温设备 |
CN115965912A (zh) * | 2022-12-28 | 2023-04-14 | 众芯汉创(北京)科技有限公司 | 一种基于图像识别的配网设备状态监测系统和方法 |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10547820B2 (en) | 2014-09-12 | 2020-01-28 | Seek Thermal, Inc. | Selective color display of a thermal image |
WO2016040566A1 (en) | 2014-09-12 | 2016-03-17 | Seek Thermal, Inc. | Selective color display of a thermal image |
US10600164B2 (en) | 2014-12-02 | 2020-03-24 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US10217236B2 (en) | 2016-04-08 | 2019-02-26 | Orbital Insight, Inc. | Remote determination of containers in geographical region |
WO2017176487A1 (en) | 2016-04-08 | 2017-10-12 | Orbital Insight, Inc. | Remote determination of quantity stored in containers in geographical region |
US10867371B2 (en) | 2016-06-28 | 2020-12-15 | Seek Thermal, Inc. | Fixed pattern noise mitigation for a thermal imaging system |
US11299268B2 (en) * | 2016-11-02 | 2022-04-12 | California Institute Of Technology | Positioning of in-situ methane sensor on a vertical take-off and landing (VTOL) unmanned aerial system (UAS) |
US20180189547A1 (en) * | 2016-12-30 | 2018-07-05 | Intel Corporation | Biometric identification system |
US10848725B2 (en) | 2017-08-04 | 2020-11-24 | Seek Thermal, Inc. | Color display modes for a thermal imaging system |
FR3072781B1 (fr) * | 2017-10-19 | 2020-07-10 | Thales | Dispositif d'imagerie reconfigurable |
CN109196553B (zh) | 2017-10-31 | 2022-03-29 | 深圳市大疆创新科技有限公司 | 一种光伏板识别方法、地面站、控制设备及无人机 |
WO2019144317A1 (en) | 2018-01-24 | 2019-08-01 | Honeywell International Inc. | Solar panel inspection by unmanned aerial vehicle |
US11061107B1 (en) * | 2018-04-05 | 2021-07-13 | Raytheon Company | System and method for intercepting an exo-atmospheric target using passive ranging estimation |
CN108648468A (zh) * | 2018-04-28 | 2018-10-12 | 杭州天铂红外光电技术有限公司 | 利用温度计算车流量的方法 |
JP7039420B2 (ja) * | 2018-08-27 | 2022-03-22 | 株式会社日立ソリューションズ | 空中線抽出システム及び方法 |
DE102018121243A1 (de) * | 2018-08-30 | 2020-03-05 | Matthias Rimkus | Verfahren und Vorrichtung zur Inspektion von Photovoltaik- und/oder Sonnenkollektoranlagen mithilfe einer Drehflügel-Flugdrohne |
EP3620852B1 (fr) * | 2018-09-04 | 2023-12-13 | Sensefly S.A. | Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés |
US10902259B2 (en) * | 2018-10-18 | 2021-01-26 | Bae Systems Information And Electronic Systems Integration Inc. | Hyperspectral naval target detection |
US10896492B2 (en) | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
US11890494B2 (en) | 2018-11-09 | 2024-02-06 | Qwake Technologies, Inc. | Retrofittable mask mount system for cognitive load reducing platform |
US10417497B1 (en) | 2018-11-09 | 2019-09-17 | Qwake Technologies | Cognitive load reducing platform for first responders |
US11209115B2 (en) * | 2018-11-16 | 2021-12-28 | SeeScan, Inc. | Pipe inspection and/or mapping camera heads, systems, and methods |
CN113226007B (zh) | 2018-12-03 | 2023-04-14 | 迈卡赛斯公司 | 图像传感器和热像仪设备及其系统和方法 |
US11446009B2 (en) | 2018-12-11 | 2022-09-20 | Eko.Ai Pte. Ltd. | Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images |
US12001939B2 (en) | 2018-12-11 | 2024-06-04 | Eko.Ai Pte. Ltd. | Artificial intelligence (AI)-based guidance for an ultrasound device to improve capture of echo image views |
US11931207B2 (en) | 2018-12-11 | 2024-03-19 | Eko.Ai Pte. Ltd. | Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device |
US11301996B2 (en) | 2018-12-11 | 2022-04-12 | Eko.Ai Pte. Ltd. | Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images |
CN109839153A (zh) * | 2019-01-30 | 2019-06-04 | 江苏理工学院 | 一种应用于城市层理化环境监测和模拟的计算机系统 |
EP3716205B1 (en) * | 2019-03-26 | 2022-02-23 | ABB Schweiz AG | An apparatus for hot spot sensing |
US11276152B2 (en) | 2019-05-28 | 2022-03-15 | Seek Thermal, Inc. | Adaptive gain adjustment for histogram equalization in an imaging system |
DE102019115647B4 (de) * | 2019-06-09 | 2021-11-18 | Donald H. Dussault | System und verfahren zur reinigung von deckgläsern von photovoltaik-modulen |
WO2021041990A1 (en) | 2019-08-28 | 2021-03-04 | Qwake Technologies, Llc | Wearable assisted perception module for navigation and communication in hazardous environments |
US11588987B2 (en) | 2019-10-02 | 2023-02-21 | Sensors Unlimited, Inc. | Neuromorphic vision with frame-rate imaging for target detection and tracking |
WO2021142164A1 (en) * | 2020-01-10 | 2021-07-15 | Flir Commercial Systems, Inc. | Radiometric calibration systems for infrared imagers |
US11835390B2 (en) * | 2020-04-14 | 2023-12-05 | Utah State University | Spatially estimating thermal emissivity |
US11209554B2 (en) * | 2020-04-17 | 2021-12-28 | Eagle Technology, Llc | Enhanced LORAN (eLORAN) system having multiple transmit frequencies |
CN113720788B (zh) * | 2020-05-25 | 2024-07-23 | 中国石油化工股份有限公司 | 炼化生产泄漏监测方法、装置、系统及红外成像装置 |
CN111769803A (zh) * | 2020-05-29 | 2020-10-13 | 苏州云思翼电子科技有限公司 | 基于多旋翼无人机的集中式光伏电站电池组件缺陷巡检系统 |
US12125246B2 (en) * | 2020-06-03 | 2024-10-22 | Labsphere, Inc. | Calibration network systems and methods of using the same |
NL2025791B1 (nl) * | 2020-06-09 | 2022-01-28 | Adrianus Peerdeman Simon | Inrichting en werkwijze voor het contactloos bepalen van een temperatuur van een object |
CN112242038B (zh) * | 2020-08-24 | 2022-10-04 | 烟台艾睿光电科技有限公司 | 一种火情确定方法、装置、设备及计算机可读存储介质 |
DE102020125609A1 (de) * | 2020-09-30 | 2022-03-31 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und system zur bestimmung eines zustands eines solarthermischen parabolrinnenkraftwerks |
CN112484861B (zh) * | 2020-11-24 | 2022-05-24 | 烟台艾睿光电科技有限公司 | 一种红外测温方法、装置、设备及存储介质 |
EP4012363A1 (en) * | 2020-12-14 | 2022-06-15 | Flir Commercial Systems, Inc. | Infrared imaging-related uncertainty gauging systems and methods |
US20220329201A1 (en) * | 2021-04-08 | 2022-10-13 | Robotic Research Opco, Llc | Systems and methods for autonomous drone-based solar panel maintenance |
CN113060283A (zh) * | 2021-04-13 | 2021-07-02 | 广西一致科技有限公司 | 一种气动网枪装置、无人机和气动网枪发射系统 |
US20220404272A1 (en) * | 2021-06-21 | 2022-12-22 | Mesos LLC | Airborne remote sensing with sensor arrays |
WO2023055651A1 (en) * | 2021-09-30 | 2023-04-06 | Teledyne Flir Commercial Systems, Inc. | Atmospheric absorption determination using embedded sensor data |
BR102021024961A2 (pt) * | 2021-12-09 | 2022-04-19 | Inst Tecnologico De Aeronautica Ita | Sistema de aplicação de reparo de revestimento usando aeronaves remotamente pilotadas |
ES2978806A1 (es) * | 2023-02-17 | 2024-09-20 | Arborea Intellbird S L | Sistema y metodo de control de temperatura |
CN117516627B (zh) * | 2023-11-10 | 2024-05-07 | 鄄城县自然资源和规划局 | 一种基于无人机数据的区域植被状态监测系统 |
CN117911954B (zh) * | 2024-01-25 | 2024-08-09 | 山东建筑大学 | 一种用于新能源电站运维的弱监督目标检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604830A (zh) * | 2009-07-14 | 2009-12-16 | 山东电力研究院 | 巡检架空线路线和杆塔用无人直升机系统及其方法 |
CN101650866A (zh) * | 2009-09-22 | 2010-02-17 | 华南理工大学 | 一种应用于无人机的火灾检测系统及其火灾检测方法 |
US20120019622A1 (en) * | 2010-12-22 | 2012-01-26 | Utility Risk Management Corporation | Thermal powerline rating and clearance analysis using thermal imaging technology |
CN104764533A (zh) * | 2015-03-31 | 2015-07-08 | 梁伟 | 基于无人机图像采集和红外热像仪的智能农业系统 |
US20150219426A1 (en) * | 2013-03-14 | 2015-08-06 | Lockheed Martin Corporation | System, method, and computer program product for indicating hostile fire |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3964694A (en) | 1967-02-14 | 1976-06-22 | The United States Of America As Represented By The Secretary Of The Army | Aerial acoustic target seeker |
JPH03182185A (ja) * | 1989-12-11 | 1991-08-08 | Fujitsu Ltd | 赤外線監視システム |
DE10319274A1 (de) | 2003-04-29 | 2004-12-02 | Osram Opto Semiconductors Gmbh | Lichtquelle |
JP2005191528A (ja) | 2003-12-01 | 2005-07-14 | Sharp Corp | 半導体発光装置のパルス駆動方法およびパルス駆動回路 |
JP2008515309A (ja) | 2004-09-29 | 2008-05-08 | レイフ コミュニケーションズ エルエルシー | ポータブルデジタル装置の制御 |
US7186978B2 (en) * | 2004-10-15 | 2007-03-06 | Millennium Enginerring And Integration Company | Compact emissivity and temperature measuring infrared detector |
US7164146B2 (en) * | 2004-10-22 | 2007-01-16 | Northrop Grumman Corporation | System for detecting structural defects and features utilizing blackbody self-illumination |
WO2009079045A2 (en) | 2007-09-18 | 2009-06-25 | Raytheon Company | Methods and apparatus for marine deployment |
NO327433B1 (no) | 2007-10-03 | 2009-06-29 | Maritime Robotics As | Fremgangsmate og system for sensorgeometri |
US8718838B2 (en) | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
CA2729712C (en) * | 2008-06-26 | 2014-12-30 | Lynntech, Inc. | Method of searching for a thermal target |
US8797550B2 (en) | 2009-04-21 | 2014-08-05 | Michigan Aerospace Corporation | Atmospheric measurement system |
EP2427917A2 (en) * | 2009-05-08 | 2012-03-14 | 7AC Technologies, Inc. | Solar energy systems |
EP2434457A4 (en) * | 2009-05-18 | 2014-01-15 | Kodaira Associates Inc | METHOD FOR TRANSMITTING IMAGE INFORMATION |
US8373758B2 (en) * | 2009-11-11 | 2013-02-12 | International Business Machines Corporation | Techniques for analyzing performance of solar panels and solar cells using infrared diagnostics |
CN103038646A (zh) * | 2010-04-29 | 2013-04-10 | 挪威空气研究所 | 检测飞机前方不利大气条件的系统和方法 |
JP5355525B2 (ja) | 2010-10-08 | 2013-11-27 | シャープ株式会社 | 擬似太陽光照射装置および太陽電池パネル用検査装置 |
JP5274528B2 (ja) | 2010-10-08 | 2013-08-28 | シャープ株式会社 | 擬似太陽光照射装置および太陽電池パネル用検査装置 |
JP5314653B2 (ja) | 2010-10-08 | 2013-10-16 | シャープ株式会社 | 光照射装置および擬似太陽光照射装置、太陽電池パネル用検査装置 |
US9336568B2 (en) * | 2011-06-17 | 2016-05-10 | National Cheng Kung University | Unmanned aerial vehicle image processing system and method |
US9448110B2 (en) * | 2012-09-27 | 2016-09-20 | Northrop Grumman Systems Corporation | Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (LIDAR) focal plane array |
US8880241B2 (en) * | 2013-02-20 | 2014-11-04 | Farrokh Mohamadi | Vertical takeoff and landing (VTOL) small unmanned aerial system for monitoring oil and gas pipelines |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
US9565377B2 (en) * | 2013-04-30 | 2017-02-07 | International Business Machines Corporation | Multifunctional sky camera system for total sky imaging and spectral radiance measurement |
AU2014360786B2 (en) * | 2013-09-26 | 2017-03-30 | Konica Minolta Laboratory U.S.A., Inc. | Method and system of calibrating a multispectral camera on an aerial vehicle |
WO2015113962A1 (en) * | 2014-01-28 | 2015-08-06 | Explicit I/S | A method and an unmanned aerial vehicle for determining emissions of a vessel |
US9774797B2 (en) * | 2014-04-18 | 2017-09-26 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
WO2015163012A1 (ja) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび撮像システム |
US9851256B2 (en) * | 2014-06-26 | 2017-12-26 | MP High Tech Solutions Pty Ltd | Apparatus and method for electromagnetic radiation sensing |
US9761147B2 (en) * | 2014-12-12 | 2017-09-12 | Amazon Technologies, Inc. | Commercial and general aircraft avoidance using light pattern detection |
IL237717A (en) * | 2015-03-12 | 2017-04-30 | Elbit Systems Ltd | Identification, characterization and display of dangerous aerial phenomena |
-
2016
- 2016-12-09 CN CN201690001551.2U patent/CN209014148U/zh active Active
- 2016-12-09 WO PCT/US2016/066037 patent/WO2017123358A2/en active Application Filing
- 2016-12-09 CN CN201680081335.8A patent/CN108603790B/zh active Active
- 2016-12-09 CN CN201680081354.0A patent/CN108700470A/zh active Pending
- 2016-12-09 EP EP16865280.8A patent/EP3387398A2/en active Pending
- 2016-12-09 WO PCT/US2016/000124 patent/WO2017099819A2/en active Application Filing
- 2016-12-09 EP EP16880187.6A patent/EP3387399A2/en active Pending
- 2016-12-09 WO PCT/US2016/066009 patent/WO2017100702A2/en active Application Filing
- 2016-12-09 EP EP16831540.6A patent/EP3387397B1/en active Active
-
2018
- 2018-05-18 US US15/984,176 patent/US11378458B2/en active Active
- 2018-05-23 US US15/987,819 patent/US11029211B2/en active Active
- 2018-06-04 US US15/997,302 patent/US11169028B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604830A (zh) * | 2009-07-14 | 2009-12-16 | 山东电力研究院 | 巡检架空线路线和杆塔用无人直升机系统及其方法 |
CN101650866A (zh) * | 2009-09-22 | 2010-02-17 | 华南理工大学 | 一种应用于无人机的火灾检测系统及其火灾检测方法 |
US20120019622A1 (en) * | 2010-12-22 | 2012-01-26 | Utility Risk Management Corporation | Thermal powerline rating and clearance analysis using thermal imaging technology |
US20150219426A1 (en) * | 2013-03-14 | 2015-08-06 | Lockheed Martin Corporation | System, method, and computer program product for indicating hostile fire |
CN104764533A (zh) * | 2015-03-31 | 2015-07-08 | 梁伟 | 基于无人机图像采集和红外热像仪的智能农业系统 |
Non-Patent Citations (2)
Title |
---|
M. LEGA ET AL.: "Using advanced aerial platforms and infrared thermography to track environmental contamination", 《ENVIRONMENTAL FORENSICS》 * |
PAL-STEFAN MURVAY ET AL.: "a survey on gas leak detection and localization techniques", 《JOURNAL OF LOSS PREVENTION IN THE PROCESS INDUSTRIES》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110426362A (zh) * | 2019-07-19 | 2019-11-08 | 武汉理工大学 | 一种新型港口空气监测系统 |
CN112817321A (zh) * | 2019-11-15 | 2021-05-18 | 上海道口材料科技有限公司 | 一种面向能源装备现场安全的无人机ir巡检方法及系统 |
CN114599581A (zh) * | 2019-12-13 | 2022-06-07 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
CN114599582A (zh) * | 2019-12-13 | 2022-06-07 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
CN112513595A (zh) * | 2020-02-14 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 可移动装置、控制终端、利用可移动装置中的红外热像仪测温的方法以及可移动系统 |
WO2021159529A1 (zh) * | 2020-02-14 | 2021-08-19 | 深圳市大疆创新科技有限公司 | 可移动装置、控制终端、利用可移动装置中的红外热像仪测温的方法以及可移动系统 |
CN111220618A (zh) * | 2020-02-25 | 2020-06-02 | 广州华粤科技有限公司 | 一种基于无人机的远程监测污染物气体vocs排放的装置 |
CN111256840A (zh) * | 2020-03-24 | 2020-06-09 | 北京眸视科技有限公司 | 一种非接触式的测温系统 |
CN115235466A (zh) * | 2021-03-29 | 2022-10-25 | 泰立戴恩菲力尔商业系统公司 | 导航系统和方法的辐射测量热成像改进 |
CN113503974A (zh) * | 2021-09-09 | 2021-10-15 | 江苏沃泰冶金设备有限公司 | 基于pid的热成像检测系统、方法及瓦斯灰输送装置 |
CN113503974B (zh) * | 2021-09-09 | 2021-11-23 | 江苏沃泰冶金设备有限公司 | 基于pid的热成像检测系统、方法及瓦斯灰输送装置 |
WO2023039835A1 (zh) * | 2021-09-17 | 2023-03-23 | 深圳市大疆创新科技有限公司 | 红外测温装置、可移动平台、控制装置和手持式红外测温设备 |
CN115965912A (zh) * | 2022-12-28 | 2023-04-14 | 众芯汉创(北京)科技有限公司 | 一种基于图像识别的配网设备状态监测系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017099819A3 (en) | 2017-07-20 |
EP3387398A2 (en) | 2018-10-17 |
US20180266887A1 (en) | 2018-09-20 |
US20180283953A1 (en) | 2018-10-04 |
US11029211B2 (en) | 2021-06-08 |
CN108603790B (zh) | 2020-09-25 |
CN209014148U (zh) | 2019-06-21 |
WO2017123358A3 (en) | 2017-11-16 |
WO2017100702A3 (en) | 2017-11-16 |
EP3387397A2 (en) | 2018-10-17 |
EP3387397B1 (en) | 2023-11-29 |
US11378458B2 (en) | 2022-07-05 |
WO2017100702A2 (en) | 2017-06-15 |
US20180266886A1 (en) | 2018-09-20 |
WO2017123358A2 (en) | 2017-07-20 |
US11169028B2 (en) | 2021-11-09 |
WO2017099819A2 (en) | 2017-06-15 |
CN108700470A (zh) | 2018-10-23 |
EP3387399A2 (en) | 2018-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108603790A (zh) | 基于无人机系统的热成像系统和方法 | |
Lucieer et al. | HyperUAS—Imaging spectroscopy from a multirotor unmanned aircraft system | |
KR101793509B1 (ko) | 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템 | |
US20150130936A1 (en) | Crop monitoring system | |
CN110418957A (zh) | 对具有运行机构的设施进行状态监控的方法和装置 | |
Ahmad et al. | Aerial mapping using high resolution digital camera and unmanned aerial vehicle for Geographical Information System | |
CN112884692B (zh) | 分布式机载协同侦察光电系统及无人机系统 | |
CN114495416A (zh) | 基于无人机的火情监测方法、装置及终端设备 | |
Coulter et al. | Near real-time change detection for border monitoring | |
TW201828251A (zh) | 用於透過地理登記的原始感測器影像加強之方法和設備 | |
TW201824182A (zh) | 用於透過地理登記的多個原始感測器影像加強之方法和設備 | |
US20120307003A1 (en) | Image searching and capturing system and control method thereof | |
Nguyen et al. | Characteristics of optical flow from aerial thermal imaging,“thermal flow” | |
US20240044645A1 (en) | Apparatus and method for area mapping | |
Ladd et al. | Rectification, georeferencing, and mosaicking of images acquired with remotely operated aerial platforms | |
Pecho et al. | Optimization of persons localization using a thermal imaging scanner attached to uav | |
JP2009509125A (ja) | 画像に関連する位置を決定するための方法および装置 | |
US12126942B2 (en) | Active camouflage detection systems and methods | |
US20240240989A1 (en) | Atmospheric absorption determination using embedded sensor data | |
Clay et al. | Assessing the Accuracy of Georeferenced Point Clouds from Uas Imagery | |
CN117890310A (zh) | 一种基于多传感器及高光谱成像仪的多模式低空遥感观测系统 | |
Daniel et al. | Autonomous collection of dynamically-cued multi-sensor imagery | |
He et al. | L3-ULS: development and evaluation of a light-weight, low-cost, low-altitude UAV-borne LiDAR system | |
Morrison et al. | Urban reconnaissance with an airborne laser radar | |
Hsieh et al. | Generation of Digital Surface Temperature Model from Thermal Images Collected by Thermal Sensor on Quadcopter UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |