[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111602384B - 图像处理装置、摄像装置、移动体、图像处理方法 - Google Patents

图像处理装置、摄像装置、移动体、图像处理方法 Download PDF

Info

Publication number
CN111602384B
CN111602384B CN201980008830.XA CN201980008830A CN111602384B CN 111602384 B CN111602384 B CN 111602384B CN 201980008830 A CN201980008830 A CN 201980008830A CN 111602384 B CN111602384 B CN 111602384B
Authority
CN
China
Prior art keywords
image signal
image
period
wavelength bandwidth
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201980008830.XA
Other languages
English (en)
Other versions
CN111602384A (zh
Inventor
家富邦彦
陈斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111602384A publication Critical patent/CN111602384A/zh
Application granted granted Critical
Publication of CN111602384B publication Critical patent/CN111602384B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

期望能够一边高效地记录多个波长带宽中的每一个的图像数据，一边实时地确认所拍摄的内容。图像处理装置可以包括：选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号以及第二图像信号；以及第一生成部，其基于在第一期间从选择部选择的第一图像信号，生成显示用的图像数据。图像处理装置可以包括第二生成部，其基于在第二期间从选择部选择的第一图像信号以及第二图像信号，按照预定的记录形式生成记录用的图像数据。

Description

图像处理装置、摄像装置、移动体、图像处理方法
技术领域
本发明涉及一种图像处理装置、摄像装置、移动体、图像处理方法以及程序。
背景技术
专利文献1中公开了一种搭载了多频带传感器的无人驾驶航空器。
专利文献1美国专利申请公开第2017/356799号说明书。
发明内容
【发明所要解决的技术问题】
期望能够一边高效地记录由多频带传感器等拍摄的多个波长带宽中的每一个的图像数据，一边实时地确认所拍摄的内容。
【用于解决问题的技术手段】
根据本发明的一个方面所涉及的图像处理装置，可以包括选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号以及第二图像信号。图像处理装置可以包括第一生成部，其基于在第一期间从选择部选择的第一图像信号，生成显示用的图像数据。图像处理装置可以包括第二生成部，其基于在第二期间从选择部选择的第一图像信号以及第二图像信号，按照预定的记录形式生成记录用的图像数据。
还可以包括发送部，每当第一生成部生成显示用的图像数据时，其将显示用的图像数据发送到显示装置。
选择部可以在第二生成部结束记录用的图像数据的生成或者记录用的图像数据向记录部的记录之前，从第二期间转移到第一期间，开始第一图像信号的选择。
显示用的图像数据的数据量可以比记录用的图像数据的数据量少。
第二生成部可以以RAW形式生成记录用的图像数据。
选择部可以在第一图像信号、第二图像信号、从摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、以及从摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号中，在第一期间选择第一图像信号、第三图像信号以及第四图像信号，在第二期间选择第一图像信号、第二图像信号、第三图像信号以及第四图像信号。第一生成部可以基于在第一期间从选择部选择的第一图像信号、第三图像信号以及第四图像信号，生成显示用的图像数据。第二生成部可以基于在第二期间从选择部选择的第一图像信号、第二图像信号、第三图像信号以及第四图像信号，生成记录用的图像数据。
选择部可以在第一图像信号、第二图像信号、第三图像信号、第四图像信号以及从摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号中，在第一期间选择第一图像信号、第三图像信号以及第四图像信号，在第二期间选择第一图像信号、第二图像信号、第三图像信号、第四图像信号以及第五图像信号。第一生成部可以基于在第一期间从选择部选择的第一图像信号、第三图像信号以及第四图像信号，生成显示用的图像数据。第二生成部可以基于在第二期间从选择部选择的第一图像信号、第二图像信号、第三图像信号、第四图像信号以及第五图像信号，生成记录用的图像数据。
第一波长带宽可以是红色区域的波长带宽。第二波长带宽可以是红色边缘区域的波长带宽。第三波长带宽可以是绿色区域的波长带宽。第四波长带宽可以是蓝色区域的波长带宽。第五波长带宽可以是近红外区域的波长带宽。
选择部可以在第一图像信号、第二图像信号、从摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、从摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号、从摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号以及从摄像装置所包括的第六图像传感器输出的第六波长带宽的第六图像信号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号、第二图像信号、第三图像信号、第四图像信号、第五图像信号以及第六图像信号。第一生成部可以基于在第一期间从选择部选择的第一图像信号生成显示用的图像数据。第二生成部可以基于在第二期间从选择部选择的第一图像信号、第二图像信号、第三图像信号、第四图像信号、第五图像信号以及第六图像信号，生成记录用的图像数据。
第一波长带宽可以是第一红色区域、第一绿色区域以及第一蓝色区域的波长带宽。第二波长带宽可以是红色边缘区域的波长带宽。第三波长带宽可以是近红外区域的波长带宽。第四波长带宽可以是比第一红色区域窄的第二红色区域的波长带宽。第五波长带宽可以是比第一绿色区域窄的第二绿色区域的波长带宽。第六波长带宽可以是比第一蓝色区域窄的第二蓝色区域的波长带宽。
图像处理装置可以包括接收部，其接收将记录用的图像数据存储于存储部的存储指示。
当接收部接收存储指示时，选择部可以从第一期间转移到第二期间。
在摄像装置的位置是预定的位置的情况下，选择部可以从第一期间转移到第二期间。
选择部在预定的时刻切换第一期间和第二期间。
本发明的一个方面所涉及的摄像装置可以包括上述图像处理装置。摄像装置可以包括第一图像传感器和第二图像传感器。
本发明的一个方面所涉及的移动体可以是包括上述摄像装置并移动的移动体。
移动体可以是飞行体。选择部可以在在飞行体持续悬停预定的时间的情况下，从第一期间切换到第二期间。
移动体可以包括控制部，其沿着预定的路径使移动体移动。
根据本发明的一个方面所涉及的图像处理方法可以包括在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号以及第二图像信号的阶段。图像处理方法可以包括基于在第一期间选择的第一图像信号，生成显示用的图像数据的阶段。图像处理方法可以包括基于在第二期间选择的第一图像信号以及第二图像信号，按照预定的记录形式生成记录用的图像数据的阶段。
本发明的一个方面所涉及的程序可以是一种用于使计算机作为图像处理装置而发挥功能的程序。
另外，上述发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以构成发明。
附图说明
图1是示出无人驾驶航空器及远程操作装置的外观的一个示例的图。
图2是示出搭载在无人驾驶航空器上的摄像装置的外观的一个示例的图。
图3是示出无人驾驶航空器的功能块的一个示例的图。
图4是示出摄像装置的功能块的一个示例的图。
图5是示出由搭载有摄像装置的无人驾驶航空器进行摄影的情形的图。
图6是示出飞行路径上的多光谱图像的记录地点的一个示例的图。
图7是示出飞行路径上的多光谱图像的记录地点的一个示例的图。
图8是示出摄像控制部中的处理内容的时间流程的图像的图。
图9是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。
图10是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。
图11是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。
图12是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。
图13是示出搭载在无人驾驶航空器上的摄像装置的外观的一个示例的图。
图14是示出硬件配置的一个示例的图。
具体实施方式
以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，并不是所有实施方式中所说明的特征组合对于发明的解决方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人则不会提出异议。但是，在除此以外的情况下，保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。指定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路 (IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行储存的任意有形设备。其结果是，其上存储有指令的计算机可读介质包括一种包括指令的产品，该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例，可以包括floppy(注册商标)disk、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例，包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1示出无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。UAV 10包括UAV主体20、万向节50、多个摄像装置60、以及摄像装置100。万向节50及摄像装置 100为摄像系统的一个示例。UAV 10为移动体的一个示例。移动体是指，包括在空中移动的飞行体、在地面上移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。
UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV 10飞行。UAV主体20使用例如四个旋翼来使UAV 10飞行。旋翼的数量不限于四个。此外，UAV 10也可以是没有旋翼的固定翼机。
摄像装置100为对包含在期望的摄像范围内的对象进行拍摄的摄像用相机。万向节 50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如，万向节50支撑摄像装置100，使其能够使用致动器而以俯仰轴旋转。万向节50支撑摄像装置100，使其还能够使用致动器而分别以滚转轴和偏航轴为中心旋转。万向节50可通过使摄像装置100以偏航轴、俯仰轴以及翻滚轴中的至少一个为中心旋转，来变更摄像装置100的姿势。
多个摄像装置60是为了控制UAV 10的飞行而对UAV 10的周围进行摄像的传感用相机。两个摄像装置60可以设置于UAV 10的机头、即正面。并且，其它两个摄像装置60可以设置于UAV 10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对，起到立体相机的作用。摄像装置60可以检测到摄像装置60的摄像范围所包含的对象的存在以及测量出与对象间的距离。摄像装置60为用于测量存在于摄像装置100的摄像方向的对象的测量装置的一个示例。测量装置也可以是对存在于摄像装置100的摄像方向上的对象进行测量的红外传感器、超声波传感器等的其它的传感器。可以基于由多个摄像装置60拍摄的图像来生成UAV 10周围的三维空间数据。UAV 10所包括的摄像装置60的数量不限于四个。UAV 10包括至少一个摄像装置60即可。UAV 10 也可以在UAV 10的机头、机尾、侧面、底面及顶面分别包括至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV 10通信，以远程操作UAV 10。远程操作装置300可以与UAV 10进行无线通信。远程操作装置300向UAV 10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV 10的移动有关的各种指令的指示信息。指示信息包括例如使UAV 10 的高度上升的指示信息。指示信息可以示出UAV 10应该位于的高度。UAV 10进行移动，以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV 10上升的上升指令。UAV 10在接收上升指令的期间上升。UAV 10的高度已达到上限高度时，即使接收上升指令，也可以限制UAV 10的上升。
图2是示出搭载在UAV 10上的摄像装置100的外观的一个示例的图。摄像装置100是对预定的多个波长带宽中的每一个的图像数据进行摄像的多光谱相机。摄像装置100包括 R用摄像部110、G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150。摄像装置100能够将由R用摄像部110、G用摄像部120、B用摄像部130、RE用摄像部140 以及NIR用摄像部150拍摄的各个图像数据记录为多光谱图像。多光谱图像例如可以用于对农作物的健康状态和生命力进行预测。
图3示出了UAV 10的功能块的一个示例。UAV 10包括UAV控制部30、存储器32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100。
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置 300接收包括对UAV控制部30的各种指令的指示信息。存储器32存储UAV控制部30对推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像装置100进行控制所需的程序等。存储器32可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM、USB 存储器等闪存中的至少一个。存储器32可以设置于UAV主体20的内部。其可以设置成可从 UAV主体20中拆卸下来。
UAV控制部30按照储存在存储器32中的程序来控制UAV 10的飞行及摄像。UAV 控制部30可以由CPU或MPU等微处理器、以及MCU等微控制器等构成。UAV控制部30 按照经由通信接口36从远程操作装置300接收到的指令来控制UAV 10的飞行及拍摄。推进部40推进UAV10。推进部40具有多个旋翼以及使多个旋翼旋转的多个驱动电机。推进部 40按照来自UAV控制部30的指令，经由多个驱动马达使多个旋翼旋转，以使UAV 10飞行。
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41根据所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV 10的位置(纬度及经度)。IMU42检测UAV 10的姿势。IMU42检测UAV 10的前后、左右以及上下的三轴方向的加速度和俯仰轴、滚转轴以及偏航轴的三轴方向的角速度，作为UAV 10的姿势。磁罗盘43检测UAV 10的机头的方位。气压高度计44检测UAV 10的飞行高度。气压高度计 44检测UAV 10周围的气压，并将检测到的气压换算为高度，以检测高度。温度传感器45检测UAV 10周围的温度。湿度传感器46检测UAV 10周围的湿度。
在如上配置的UAV 10中，在摄像装置100中，能够一边高效地记录多光谱图像数据，一边实时地确认所拍摄的内容。
图4示出了摄像装置100的功能块的一个示例。摄像装置100包括R用摄像部110、 G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150。摄像装置100 包括摄像控制部180、发送部190以及存储器192。摄像控制部180包括多路复用器170、输入接收部172、去马赛克处理部174以及记录处理部178。摄像控制部180是图像处理装置的一个示例。
R用摄像部110具有R用图像传感器112和光学系统114。R用图像传感器112拍摄由光学系统114成像的图像。R用图像传感器112具有使红色区域的波长带宽的光透过的滤光器，输出为红色区域的波长带宽的图像信号的R图像信号。红色区域的波长带宽例如为620nm～750nm。红色区域的波长带宽可以是红色区域的特定的波长带宽，例如可以是663nm～673 nm。
G用摄像部120具有G用图像传感器122和光学系统124。G用图像传感器122拍摄由光学系统124成像的图像。G用图像传感器122具有使绿色区域的波长带宽的光透过的滤光器，输出为绿色区域的波长带宽的图像信号的G图像信号。绿色区域的波长带宽例如为500nm～570nm。绿色区域的波长带宽可以是绿色区域的特定波长带宽，例如可以是550nm～570nm。
B用摄像部130具有B用图像传感器132和光学系统134。B图像传感器132拍摄由光学系统134成像的图像。B用图像传感器132具有使蓝色区域的波长带宽的光透过的滤光器，输出为蓝色区域的波长带宽的图像信号的B图像信号。蓝色区域的波长带宽例如为450 nm～500nm。蓝色区域的波长带宽可以是蓝色区域的特定波长带宽，例如可以是465nm～485nm。
RE用摄像部140具有RE用图像传感器142和光学系统144。RE图像传感器142拍摄由光学系统144成像的图像。RE用图像传感器142具有使红色边缘区域的波长带宽的光透过的滤波器，输出为红色边缘区域的波长带宽的图像信号的RE图像信号。红色边缘区域的波长带宽例如为705nm～745nm。红色边缘区域的波长带宽可以为712nm～722nm。
NIR用摄像部150具有NIR用图像传感器152和光学系统154。NIR用图像传感器 152拍摄由光学系统154成像的图像。NIR用图像传感器152具有使近红外区域的波长带宽的光透过的滤光器，输出为近红外区域的波长带宽的图像信号的NIR图像信号。近红外区域的波长带宽例如为800nm～2500nm。近红外区域的波长带宽可以为800nm～900nm。
多路复用器170接收从每个图像传感器输出的图像信号，按照预定的条件选择从任一图像传感器输出的图像信号并输入到输入接收部172。多路复用器170是选择部的一个示例。多路复用器170在第一期间选择从R用摄像部110输出的R图像信号、从G用摄像部120输出的G图像信号以及从B用摄像部130输出的B图像信号并输入到输入接收部172。多路复用器170在第一期间丢弃从RE用摄像部140输出的RE图像信号以及从NIR用摄像部150 输出的NIR图像信号。
多路复用器170在与第一期间不同的第二期间，选择从R用摄像部110输出的R图像信号、从G用摄像部120输出的G图像信号、从B用摄像部130输出的B图像信号、从 RE用摄像部140输出的RE图像信号以及从NIR用摄像部150输出的NIR图像信号并输入到输入接收部172。多路复用器170可以具有接收来自各个图像传感器的图像信号的多个输入端口和向输入接收部172输出图像信号的输出端口。另外，选择是包括多路复用器170从经由输入端口接收的各个图像信号中选择的、多路复用要从输出端口输出的图像信号的动作的概念。
去马赛克处理部174基于在第一期间输入到输入接收部172的R图像信号、G图像信号以及B图像信号，生成显示用的图像数据。去马赛克处理部174是第一生成部的一个示例。去马赛克处理部174通过对R图像信号、G图像信号以及B图像信号实施去马赛克处理，生成显示用的图像数据。去马赛克处理部174通过对R图像信号、G图像信号以及B图像信号实施稀疏化处理，将稀疏化处理的R图像信号、G图像信号以及B图像信号转换为拜耳阵列的图像信号，来生成显示用的图像数据。发送部190将显示用的图像数据发送到显示装置。发送部190例如可以向远程操作装置300发送显示用的图像数据。远程操作装置300可以在显示部上将显示用的图像数据作为实时取景的图像进行显示。
记录处理部178基于在第二期间输入到输入接收部172的R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照预定的记录形式生成记录用的图像数据。记录处理部178是第二生成部的一个示例。记录处理部178可以从R图像信号、G图像信号、 B图像信号、RE图像信号以及NIR图像信号中，按照RAW形式生成RAW数据作为记录用的图像数据。记录处理部178可以不对R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号分别进行稀疏化处理而生成全像素的记录用的图像数据。记录处理部178 可以将记录用的图像数据存储在存储器192中。存储器192可以是计算机可读记录介质，并可以包括SRAM、DRAM、EPROM、EEPROM以及USB存储器等闪存中的至少一个。存储器192可以设置于摄像装置100的壳体内部。存储器192可以设置成可从摄像装置100的壳体上拆卸下来。
多路复用器170可以在第一期间选择R图像信号、G图像信号以及B图像信号中的至少一个图像信号并输入到输入接收部172，将剩余的图像信号与RE图像信号和NIR图像信号一起丢弃。去马赛克处理部174可以在仅对第一期间输入到输入接收部172的图像信号进行稀疏化处理，生成显示用的图像数据。
多路复用器170可以在第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号中的至少一个图像信号并输入到输入接收部172，将剩余的图像信号丢弃。记录处理部178可以在不对第二期间输入到输入接收部172的图像信号进行稀疏化处理的情况下，生成RAW形式的记录用的图像数据。
由记录处理部178进行的记录用的图像数据的生成会花费一定程度的时间。因此，多路复用器170可以在记录处理部178结束记录用的图像数据的生成或者记录用的图像数据向存储器192的记录之前，从第二期间转移到第一期间，仅选择R图像信号、G图像信号以及 B图像信号，并开始向输入接收部172输入。去马赛克处理部174可以不等待记录处理部178 生成记录用的图像数据并存储到存储器192中，而根据在下一个第一期间依次输入到输入接收部172的R图像信号、G图像信号以及B图像信号生成依次显示用的图像数据。发送部190 可以在每当去马赛克处理部174生成显示用的图像数据时，将显示用的图像数据发送到远程操作装置300等显示装置。即，在记录处理部178生成记录用的图像数据并进行存储于存储器192的处理期间，可以在远程操作装置300等显示装置上使由摄像装置100拍摄的图像数据作为实时取景进行显示。
显示用的图像数据的数据量比记录用的图像数据的数据量少。因此，能够降低去马赛克处理部174中的处理负担。
摄像控制部180还具有接收部184和切换部188。接收部184接收将记录用的图像数据存储于存储器192的存储指示。接收部184可以经由远程操作装置300等外部的终端接收来自用户的存储指示。在摄像装置100的位置是预定的位置的情况下，接收部184可以从UAV控制部30接收存储指示。在UAV 10的位置是预定的位置的情况下，UAV控制部30判断摄像装置100的位置是预定位置，接收部184可以从UAV控制部30接收存储指示。摄像装置 100可以包括GPS接收器。在这种情况下，摄像控制部180可以按照自身的来自GPS接收器的位置信息，判断摄像装置100的位置是否为预先确定的位置。
切换部188进行第一期间和第二期间的切换。当接收部184接收到存储指示时，切换部188指示多路复用器170从第一期间到第二期间的切换。进一步地，切换部188将来自输入接收部172的图像信号的输入从去马赛克处理部174切换到记录处理部178。当接收到切换指示时，多路复用器170从第一期间转移到第二期间。即，多路复用器170从选择R图像信号、G图像信号以及B图像信号，并输入到输入接收部172，丢弃RE图像信号以及NIR 图像信号这样的处理转移到选择R图像信号、G图像信号、B图像信号、RE图像信号以及 NIR图像信号，并输入到输入接收部172的处理。
切换部188可以在预定的时刻切换第一期间和第二期间。切换部188可以在预定的周期切换第一期间和第二期间。当接收部184从UAV控制部30接收到UAV 10在预定的期间持续进行悬停的通知时，切换部188可以切换第一期间和第二期间。在UAV 10在预定的期间持续进行悬停的情况下，多路复用器170从选择R图像信号、G图像信号以及B图像信号，并输入到输入接收部172，废弃RE图像信号以及NIR图像信号这样的处理转移到选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部 172的处理。
图5是示出由搭载有摄像装置100的UAV 10进行摄影的情形的图。在UAV 10飞过诸如农作物的摄像区域500的同时，摄像装置100将所拍摄的多光谱图像依次存储在存储器192中。用户能够一边观察在远程操作装置300的显示部上显示的摄像装置100的实时取景的图像，一边通过目视来确认摄像装置100所拍摄的摄像区域。并且，能够使摄像装置100依次将多光谱图像存储到存储器192中。
如图6所示，可以预定摄像区域500上的UAV 10的飞行路径510。将多光谱图像存储在存储器192中的地点可以是飞行路径510上的预定间隔中的每一个地点512。如图7所示，将多光谱图像存储在存储器192中的地点可以是飞行路径510上的任意的地点512。例如，用户也可以经由远程操作装置300，在飞行路径510中一边参照摄像装置100的实时取景，一边登记想要存储多光谱图像的地点。
图8是示出摄像控制部180中的处理内容的时间流程的图像的图。在第一期间T1中，多路复用器170选择R图像信号、G图像信号以及B图像信号，并输入到输入接收部172，丢弃RE图像信号和NIR图像信号。去马赛克处理部174对R图像信号、G图像信号以及B 图像信号进行稀疏化处理，生成拜耳阵列的RGB图像数据。发送部190将RGB图像数据发送到远程操作装置300等外部的显示装置。显示装置将RGB图像数据作为实时取景图像显示于显示部。
在第二期间，多路复用器170选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据。记录处理部178将多光谱图像存储在存储器192中。在记录处理部178生成多光谱图像并存储于存储器192的处理结束之前，多路复用器170也可以从第二期间T2切换到第一期间T1，仅选择R图像信号、G图像信号以及B图像信号，并输入到输入接收部172。
图9是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。
UAV 10开始飞行。将从摄像装置100发送的RGB图像数据作为实时取景图像显示于远程操作装置300的显示部(S100)。接收部184判定是否经由远程操作装置300接收了多光谱图像的记录指示(S102)。当接收部184接收到记录指示时，多路复用器170选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据(S104)。记录处理部178将多光谱图像存储在存储器192中(S106)。如果多光谱图像的摄影未结束(S108)，则摄像装置100重复步骤S100以后的处理。
图10是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。
用户经由远程操作装置300确定UAV 10的飞行路径(S200)。用户可以从在远程操作装置300上显示的地图中确定飞行路径。用户可以从预定的多个飞行路径中选择期望的飞行路径。基于经由远程操作装置300接收的来自用户的指示，摄像装置100在飞行路径上设定记录多光谱图像的地点(S202)。
接下来，UAV 10开始沿着飞行路径的飞行(S204)。当不是记录多光谱图像的地点时，将从摄像装置100发送的RGB图像数据作为实时取景图像显示于远程操作装置300的显示部 (S206)。接收部184判定UAV 10是否已到达记录多光谱图像的地点(S208)。当接收部184 响应于UAV 10到达记录多光谱图像的地点，并从UAV控制部30接收记录指示时，接收部184可以判定UAV 10已到达记录多光谱图像的地点。
当接收部184接收到记录指示时，多路复用器170选择R图像信号、G图像信号、B 图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于 R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据(S204)。记录处理部178将多光谱图像存储在存储器192中(S206)。如果多光谱图像的摄影未结束(S208)，则摄像装置100重复步骤S206以后的处理。
图11是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。
用户经由远程操作装置300确定UAV 10的飞行路径(S300)。接下来，UAV 10开始沿着飞行路径的飞行(S302)。当不是记录多光谱图像的时刻时，将从摄像装置100发送的 RGB图像数据作为实时取景图像显示于远程操作装置300的显示部(S304)。接收部184判定从UAV 10在飞行路径上飞行以来是否经过了预定时间，或者接收部184判定从上次记录多光谱图像以来是否经过了预定时间(S306)。如果是记录多光谱图像的时刻，则多路复用器170选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据(S308)。记录处理部178将多光谱图像存储在存储器192中(S310)。如果多光谱图像的摄影未结束(S312)，则摄像装置100重复步骤S304以后的处理。
图12是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。
用户经由远程操作装置300确定UAV 10的飞行路径(S400)。接下来，UAV 10开始沿着飞行路径的飞行(S402)。当不是记录多光谱图像的时刻时，将从摄像装置100发送的 RGB图像数据作为实时取景图像显示于远程操作装置300的显示部(S404)。接收部184判定UAV10是否在预定的时间内进行悬停(S406)。当从UAV控制部30接收到对应于UAV 10 在预定的时间进行悬停这种情况的接收记录指示时，接收部184判定UAV 10悬停了预定的时间。
如果UAV 10悬停了预定时间，则多路复用器170选择R图像信号、G图像信号、B 图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于 R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据(S408)。记录处理部178将多光谱图像存储在存储器192中(S410)。如果多光谱图像的摄影未结束(S412)，则摄像装置100重复步骤S404以后的处理。
图13是示出搭载在UAV 10上的摄像装置100的外观的另一个示例的图。摄像装置100除了G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150之外，还包括RGB用摄像部160，这一点与图2所示的摄像装置100不同。RGB用摄像部160可以与通常的照相机相同，具有光学系统和图像传感器。图像传感器可以具有以拜尔阵列配置的、使红色区域的波长带宽的光透过的滤光器、使绿色区域的波长带宽的光透过的滤光器以及使蓝色区域的波长带宽的光透过的滤光器。RGB用摄像部160可以输出RGB图像。红色区域的波长带宽例如可以是620nm～750nm。绿色区域的波长带宽例如可以是500nm～570nm。蓝色区域的波长带宽例如为450nm～500nm。
多路复用器170可以在第一期间从RGB用摄像部160中选择RGB图像信号，并输入到输入接收部172。在第一期间时段，多路复用器170可以丢弃R图像信号、G图像信号、B 图像信号、RE图像信号以及NIR图像信号。去马赛克处理部174可以从RGB图像信号生成显示用的RGB图像数据。
多路复用器170可以在第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172，丢弃RGB图像信号。多路复用器170 可以在第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号、NIR图像信号以及RGB图像信号，并输入到输入接收部172。记录处理部178可以基于R图像信号、G图像信号、B图像信号、RE图像信号、NIR图像信号以及RGB图像信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据。
如上所述，根据本实施方式所涉及的摄像装置100，能够一边高效地记录多光谱图像数据，一边实时地确认摄像装置100所拍摄的内容。
图14示出了可全部或部分地体现本发明的多个方面的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者，该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU 1212执行，以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
本实施方式的计算机1200包括CPU 1212和RAM 1214，它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器1220 与主机控制器1210连接。计算机1200还包括ROM 1230。CPU 1212按照ROM 1230及RAM1214内存储的程序而工作，从而控制各单元。
通信接口1222通过网络与其他电子装置通信。硬盘驱动器可以储存计算机1200内的 CPU 1212所使用的程序及数据。ROM 1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM 1214或ROM 1230中，并通过CPU 1212执行。这些程序中记述的信息处理由计算机 1200读取，并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机1200 的使用而实现信息的操作或者处理来构成装置或方法。
例如，当在计算机1200和外部装置之间执行通信时，CPU 1212可执行加载在RAM1214中的通信程序，并且基于通信程序中描述的处理，命令通信接口1222进行通信处理。通信接口1222在CPU 1212的控制下，读取存储在RAM 1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外，CPU 1212可以使RAM 1214读取USB存储器等外部记录介质所存储的文件或数据库的全部或者需要的部分，并对RAM 1214上的数据执行各种类型的处理。接着，CPU1212可以将处理过的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息存储在记录介质中，并接受信息处理。对于从RAM 1214读取的数据，CPU 1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理，并将结果写回到RAM 1214中。此外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中储存具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时，CPU 1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内储存的第二属性的属性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以存储在计算机1200上或者计算机1200附近的计算机可读存储介质上。另外，连接到专用通信网络或因特网的服务器系统中提供的诸如硬盘或 RAM之类的记录介质可以用作计算机可读存储介质，从而可以经由网络将程序提供给计算机 1200。
应该注意的是，权利要求书、说明书以及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及附图中的动作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。
以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
【符号说明】
10 UAV
20 UAV主体
30 UAV控制部
32存储器
36通信接口
40推进部
41 GPS接收器
42惯性测量装置
43磁罗盘
44气压高度计
45温度传感器
46湿度传感器
50万向节
60摄像装置
100摄像装置
110 R用摄像部
112 R用图像传感器
114光学系统
120 G用摄像部
122 G用图像传感器
124光学系统
130 B用摄像部
132 B用图像传感器
134光学系统
140 RE用摄像部
142 RE用图像传感器
144光学系统
150 NIR用摄像部
152 NIR用图像传感器
154光学系统
160 RGB用摄像部
170多路复用器
172输入接收部
174去马赛克处理部
178记录处理部
180摄像控制部
184接收部
188切换部
190发送部
192存储器
1200计算机
1210主机控制器
1212 CPU
1214 RAM
1220输入/输出控制器
1222通信接口
1230 ROM

Claims (17)

1.一种图像处理装置，其特征在于，包括：选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从所述摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择所述第一图像信号，在第二期间选择所述第一图像信号以及所述第二图像信号；
第一生成部，其基于在所述第一期间从所述选择部选择的所述第一图像信号，生成显示用的图像数据；以及
第二生成部，其基于在所述第二期间从所述选择部选择的所述第一图像信号以及所述第二图像信号，按照预定的记录形式生成记录用的图像数据；
其中，所述选择部在所述摄像装置的位置是预定的位置的情况下，从所述第一期间转移到所述第二期间。
2.如权利要求1所述的图像处理装置，其特征在于，还包括：发送部，每当所述第一生成部生成所述显示用的图像数据时，其将所述显示用的图像数据发送到显示装置。
3.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第二生成部结束所述记录用的图像数据的生成或者所述记录用的图像数据向记录部的记录之前，从所述第二期间转移到所述第一期间，开始所述第一图像信号的选择。
4.如权利要求1所述的图像处理装置，其特征在于，所述显示用的图像数据的数据量比所述记录用的图像数据的数据量少。
5.如权利要求1所述的图像处理装置，其特征在于，所述第二生成部以RAW形式生成所述记录用的图像数据。
6.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、从所述摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、以及从所述摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号中，在所述第一期间选择所述第一图像信号、所述第三图像信号以及所述第四图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号以及所述第四图像信号；
所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号、所述第三图像信号以及所述第四图像信号，生成所述显示用的图像数据；
所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号以及所述第四图像信号，生成所述记录用的图像数据。
7.如权利要求6所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及从所述摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号中，在所述第一期间选择所述第一图像信号、所述第三图像信号以及所述第四图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及所述第五图像信号；
所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号、所述第三图像信号以及所述第四图像信号，生成所述显示用的图像数据；
所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及所述第五图像信号，生成所述记录用的图像数据。
8.如权利要求7所述的图像处理装置，其特征在于，所述第一波长带宽是红色区域的波长带宽，
所述第二波长带宽是红色边缘区域的波长带宽，
所述第三波长带宽是绿色区域的波长带宽，
所述第四波长带宽是蓝色区域的波长带宽，
所述第五波长带宽是近红外区域的波长带宽。
9.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、从所述摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、从所述摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号、从所述摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号以及从所述摄像装置所包括的第六图像传感器输出的第六波长带宽的第六图像信号中，在所述第一期间选择所述第一图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号、所述第五图像信号以及所述第六图像信号；
所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号，生成显示用的图像数据；以及
所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号、所述第五图像信号以及所述第六图像信号，生成所述记录用的图像数据。
10.如权利要求9所述的图像处理装置，其特征在于，所述第一波长带宽是第一红色区域、第一绿色区域以及第一蓝色区域的波长带宽，
所述第二波长带宽是红色边缘区域的波长带宽，
所述第三波长带宽是近红外区域的波长带宽，
所述第四波长带宽是比所述第一红色区域窄的第二红色区域的波长带宽，
所述第五波长带宽是比所述第一绿色区域窄的第二绿色区域的波长带宽，
所述第六波长带宽是比所述第一蓝色区域窄的第二蓝色区域的波长带宽。
11.如权利要求1所述的图像处理装置，其特征在于，还包括：接收部，所述接收部接收将所述记录用的图像数据存储于存储部的存储指示；
当所述接收部接收到所述存储指示时，所述选择部从所述第一期间转移到所述第二期间。
12.如权利要求1所述的图像处理装置，其特征在于，所述选择部在预定的时刻切换所述第一期间和所述第二期间。
13.一种摄像装置，其特征在于，包括：如权利要求1所述的图像处理装置，
所述第一图像传感器，以及
所述第二图像传感器。
14.一种移动体，其特征在于，其包括如权利要求13所述的摄像装置并移动。
15.如权利要求14所述的移动体，其特征在于，所述移动体是飞行体，
所述选择部在所述飞行体持续悬停预定的时间的情况下，从第一期间切换到第二期间。
16.如权利要求15所述的移动体，其特征在于，包括控制部，其沿着预定的路径使所述移动体移动。
17.一种图像处理方法，其特征在于，包括：在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从所述摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择所述第一图像信号，在第二期间选择所述第一图像信号以及所述第二图像信号的阶段；
基于在所述第一期间选择的所述第一图像信号，生成显示用的图像数据的阶段；以及
基于在所述第二期间选择的所述第一图像信号以及所述第二图像信号，按照预定的记录形式生成记录用的图像数据的阶段；
其中，在所述摄像装置的位置是预定的位置的情况下，选择从所述第一期间转移到所述第二期间。
CN201980008830.XA 2018-10-29 2019-10-28 图像处理装置、摄像装置、移动体、图像处理方法 Expired - Fee Related CN111602384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-202749 2018-10-29
JP2018202749A JP6627117B1 (ja) 2018-10-29 2018-10-29 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
PCT/CN2019/113698 WO2020088406A1 (zh) 2018-10-29 2019-10-28 图像处理装置、摄像装置、移动体、图像处理方法以及程序

Publications (2)

Publication Number Publication Date
CN111602384A CN111602384A (zh) 2020-08-28
CN111602384B true CN111602384B (zh) 2021-11-05

Family

ID=69101096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008830.XA Expired - Fee Related CN111602384B (zh) 2018-10-29 2019-10-28 图像处理装置、摄像装置、移动体、图像处理方法

Country Status (4)

Country Link
US (1) US20210235044A1 (zh)
JP (1) JP6627117B1 (zh)
CN (1) CN111602384B (zh)
WO (1) WO2020088406A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514901B (zh) * 2022-09-09 2024-10-25 维沃移动通信有限公司 曝光时间调整方法及其电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185598A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN106537900A (zh) * 2014-02-17 2017-03-22 通用电气公司 用于数据通信的视频系统和方法
CN106561045A (zh) * 2016-07-09 2017-04-12 西北农林科技大学 一种便携式无人机多光谱成像系统
CN108449572A (zh) * 2018-02-05 2018-08-24 华南农业大学 一种基于嵌入式的无人机遥感图像采集方法
CN108460361A (zh) * 2018-03-23 2018-08-28 苏州市农业科学院 一种作物监测装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69619965T2 (de) * 1996-04-30 2002-08-08 Plusmic Corp., Tokio/Tokyo Bewegtbild-Beurteilungsgerät
JP5675215B2 (ja) * 2010-08-20 2015-02-25 オリンパス株式会社 デジタルカメラ
JP6108755B2 (ja) * 2012-10-18 2017-04-05 オリンパス株式会社 撮影機器、撮影画像送信方法及び撮影画像送信プログラム
JP2015198391A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP6639832B2 (ja) * 2015-08-25 2020-02-05 オリンパス株式会社 撮像装置，撮像方法，撮像プログラム
US9945828B1 (en) * 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
CN106210675A (zh) * 2016-09-22 2016-12-07 云南电网有限责任公司电力科学研究院 一种输电线路山火监测方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537900A (zh) * 2014-02-17 2017-03-22 通用电气公司 用于数据通信的视频系统和方法
WO2016185598A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN106561045A (zh) * 2016-07-09 2017-04-12 西北农林科技大学 一种便携式无人机多光谱成像系统
CN108449572A (zh) * 2018-02-05 2018-08-24 华南农业大学 一种基于嵌入式的无人机遥感图像采集方法
CN108460361A (zh) * 2018-03-23 2018-08-28 苏州市农业科学院 一种作物监测装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Also Published As

Publication number Publication date
US20210235044A1 (en) 2021-07-29
JP6627117B1 (ja) 2020-01-08
CN111602384A (zh) 2020-08-28
JP2020072289A (ja) 2020-05-07
WO2020088406A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
CN110383812B (zh) 控制装置、系统、控制方法以及程序
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN111602384B (zh) 图像处理装置、摄像装置、移动体、图像处理方法
CN110383228B (zh) 生成装置、生成系统、摄像系统、移动体以及生成方法
CN110337609B (zh) 控制装置、镜头装置、摄像装置、飞行体以及控制方法
WO2022205294A1 (zh) 无人机的控制方法、装置、无人机及存储介质
US11066182B2 (en) Control apparatus, camera apparatus, flying object, control method and program
US20210105411A1 (en) Determination device, photographing system, movable body, composite system, determination method, and program
US20200410219A1 (en) Moving object detection device, control device, movable body, moving object detection method and program
CN110770667A (zh) 控制装置、移动体、控制方法以及程序
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
CN112335230A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
CN112955925A (zh) 图像处理装置、图像处理方法以及程序
CN112313941A (zh) 控制装置、摄像装置、控制方法以及程序
CN112313943A (zh) 装置、摄像装置、移动体、方法以及程序
CN112166374B (zh) 控制装置、摄像装置、移动体以及控制方法
CN114599581A (zh) 确定装置、飞行体、确定方法以及程序
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
JP6884959B1 (ja) 制御装置、画像処理装置、撮像装置、移動体、制御方法、及びプログラム
CN110383815B (zh) 控制装置、摄像装置、飞行体、控制方法以及存储介质
JP6690106B1 (ja) 決定装置、撮像システム、及び移動体
CN114599582A (zh) 确定装置、飞行体、确定方法以及程序
CN111226263A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN114600446A (zh) 控制装置、摄像装置、移动体、控制方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211105