CN106575419A - 信息处理设备、产生控制信号的方法、信息处理系统以及程序 - Google Patents

Abstract

本发明为一种处理信息并生成用于控制设备的控制信号的信息处理设备(704)，所述信息处理设备特征在于具有：用于获取指示摄像对象的状态的第一摄像对象状态信息的获取装置(7045)，对于由图像摄像装置(400)拍摄的特定的摄像对象的所述第一摄像对象状态信息是从图像信息中生成的；以及用于基于所获取的第一摄像对象状态信息生成控制信号的生成装置。

Description

信息处理设备、产生控制信号的方法、信息处理系统以及程序

技术领域

本公开涉及信息处理设备、产生控制信号的方法、信息处理系统以及程序。

背景技术

近年来IT(信息管理技术)发展的进步使得将IT技术应用到农业领域成为可能。例如，在设施中的农业以及园艺领域，通过术语“植物工厂”而被知晓，已研究通过管理栽培植物的环境，以使所述用于植物栽培的环境被控制处于适宜植物栽培的状态而提高植物的生产率。

在这样的植物工厂中，控制用于栽培植物的环境的植物栽培系统降低栽培作业的负荷，并且稳定植物的供给。因此，这样的系统由于它们提高植物的生产率的可能性而引起了注意(例如，见专利文献1和专利文献2)。

专利文献1描述了基于由放置在固定点的相机获取的植物的图像的信息与表示典型植物(标准数据)的特征的信息之间的相似性的确定。专利文献2描述了在由相机获取的图像中检测到的植物的生长阶段的管理。

然而，通过由诸如植物栽培系统控制用于栽培植物的环境来提高植物的生产率，不可避免地有效率地收集关于植物的生产率的信息。然而，如专利文献1和2中描述的技术，仅通过相机获取亮度信息作为与植物本身直接相关的信息，而很难说有效率地收集关于植物的生产率的信息。

引用列表

专利文献1：公开号No.5-17505的日本未审查实用新型申请

专利文献2：公开号No.2013-5725的日本未审查专利

发明内容

鉴于以上问题，本公开的实施例的目的是使整个系统有效率，并且提供一种信息处理设备、机器、产生控制信号的方法、信息处理系统，以及有助于提高诸如植物的目标的生产率的程序。

用于解决问题的手段

根据本公开的实施例，信息处理设备包含：获取单元，被配置来获取从由成像单元捕获的对象的图像信息中生成的、表示对象的状态的第一对象状态信息；以及生成单元，被配置来基于所获取的第一对象状态信息生成控制信号。

发明效果

根据本公开的实施例，可使所述整体系统有效率。

附图说明

图1是根据本公开的实施例示意性地示出植物栽培系统的系统配置图；

图2是根据本公开的实施例示意性地示出包含支配全局控制的服务器装置的信息通信系统的配置图；

图3是根据本公开的实施例示出作为机器示例的操作机器的图；

图4是根据本公开的实施例示出作为一种传感器装置的立体相机装置的外观图；

图5是根据本公开的实施例示出立体相机装置的配置图；

图6是根据本公开的实施例示出安装在立体相机装置中的FPGA的功能框图；

图7是根据本公开的实施例示出由立体相机装置进行测距的原理的示意图；

图8A是根据本公开的实施例示出可由立体相机装置检测的图像的图；

图8B是根据本公开的实施例示出通过图8A中的参考图像的块匹配方法的视差图像的示意图；

图8C是根据本公开的实施例示出通过图8A中的参考图像的SGM方法的视差图像的示意图；

图9A是根据本公开的实施例示出通过立体相机装置在参考图像中的参考像素的示例图；

图9B是根据本公开的实施例示出在关于参考图像(预定的参考像素)中的区域的比较图像中的特定的范围内检测代价(一致度、不相似性或相似性程度)的处理的图；

图10是根据本公开的实施例示出在由立体相机装置获取的偏移量与代价值之间的关系的图；

图11是根据本公开的实施例示意性地示出通过立体相机装置合成代价的处理的图；

图12是根据本公开的实施例示出立体相机装置的偏移量与合成的代价值之间的关系的图；

图13是根据本公开的实施例示出偏振相机装置的外观图；

图14是根据本公开的实施例示出偏振相机装置的配置图；

图15A是根据本公开的实施例示出安装在偏振相机装置中的滤光器的前视图；

图15B是根据本公开的实施例示出安装在偏振相机装置中的滤光器与像素之间的对应的图；

图16是根据本公开的实施例示出多光谱相机装置(比色法相机装置)的外观图；

图17A是根据本公开的实施例示出多光谱相机装置(比色法相机装置)的(前视图)配置图；

图17B是根据本公开的实施例示出多光谱相机装置(比色法相机装置)的(侧向截面图)配置图；

图18是根据本公开的实施例示出滤光器和可安装在多光谱相机装置上的孔径光阑的图；

图19是根据本公开的实施例示出由多光谱相机装置捕获的图像的图；

图20是根据本公开的实施例示出由多光谱相机装置捕获的图像中的宏像素的放大视图；

图21是根据本公开的实施例示出可由多光谱相机装置测量的波长与光谱反射率之间的关系的图；

图22A是根据本公开的实施例示出滤光器和可安装在多光谱相机装置上的孔径光阑示例图；

图22B是根据本公开的实施例示出滤光器和可安装在多光谱相机装置上的孔径光阑另一示例图；

图23是根据本公开的实施例示出关于植物叶片的典型光谱反射光谱的图，其中示出了针对具有高植物活性的正常叶片、具有低植物活性的枯叶，以及具有给定的水应力(water stress)的叶片的波长和光谱反射率；

图24是根据本公开的实施例示出环境信息获取单元500的示意图；

图25是根据本公开的实施例示出环境调节单元600的示意图；

图26是根据本公开的实施例示出预测收获时间的处理的流程图；

图27是根据本公开的实施例示出预测收获时间的处理的另一示例的流程图；

图28是根据本公开的实施例示出调节收获时间的处理的流程图；

图29是根据本公开的实施例示出灭除害虫的处理的流程图；

图30是根据本公开的实施例示出通过补充光源照明的处理的流程图；

图31是根据本公开的实施例示出收获处理的流程图；

图32是用于示出PRI的示例图；

图33是通过植物栽培系统获取表示水应力与PRI之间关系的数据处理的流程图的示例；

图34A是水应力的程度与PRI之间关系的示意图的示例；

图34B是育成(raising)月份与优选PRI之间关系的示意图的示例；

图35是示出用于由植物栽培系统执行的灌溉控制的步骤的流程图的示例。

附图标记列表

1：植物栽培系统

10：植物栽培设施

100：操作机器

106：收获装置

108：收获剪切机

110：抓取臂

112：收获箱

118：控制装置

400：植物信息获取单元

410：立体相机装置

430：偏振相机装置

450：多光谱相机装置

500：环境信息获取单元

600：环境调节单元

704：服务器

706,708：数据库

710,712：用户终端

1501：系统

1502：信息通信系统

5002：温度传感器

5004：湿度传感器

5006：光照传感器

5008：风速传感器

5010：CO₂(二氧化碳)浓度传感器

5012：水传感器

5014：养分传感器

6002：温度调节单元

6004：湿度调节单元

6006：光照调节单元

6008：风速调节单元

6010：CO₂浓度调节单元

6012：水调节单元

6014：养分调节单元

具体实施方式

在下文中，将通过使用图1至图31来描述本公开中的实施例。实施例描述了在移动时作业或在移动后作业的移动对象本身的示例，所述移动对象包含诸如操作机器和建筑机器的行走机器、飞行机器、船舶、潜水机器，机器人等，以及直接或间接地控制这样的移动对象以执行期望作业的系统。尽管实施例可应用于如上所述的各种移动对象，但此处采用操作机器来描述基本配置和操作，因为其移动和工作内容是直观可理解的。

[整体系统的概述]

通过使用图1和图2，将根据实施例描述整体系统的概述。

<植物栽培系统的配置>

植物工厂中一个要解决的问题是提高植物的生产率，通过使用实施例中的各种相机装置来解决所述问题。注意植物工厂可以是仅使用太阳光或使用太阳光与诸如LED的人造光的组合的太阳光使用类型，或是从不使用太阳光的完全控制类型。在实施例中，将使用太阳光和人造光一起的太阳光使用类型的植物工厂作为示例来描述。图1示出植物栽培系统1的配置，所述植物栽培系统被应用于实施例。在植物栽培设施10中，图1中的植物栽培系统1包含具有植物信息获取单元400、环境信息获取单元500，以及环境调节单元600的操作机器100。后文将详细描述各个机器的配置和操作。在植物栽培设施10中，植物遍布在垂直布置的六阶架子上，并且将植物放入具有用于管理的各自的植物管理ID的若干组中。

图中的虚线标出了通过无线通信的信息的接收和发送，并且这些单元构成无线通信网络。该无线通信被连接到图2中所示的信息通信系统1502的无线接入点700。以这种方式，单元协同操作，并因此，其能够有效率地传送信息。后文将详细描述使用无线通信的植物栽培系统1的操作。

注意，在图1中示出所述植物栽培系统1作为室内植物工厂，但其并不限制于此；实施例覆盖室外设施，例如农田。

本实施方式中的植物栽培系统1由将在接下来被描述的植物工厂中的植物栽培装置10内的系统1501以及信息通信系统1502构成。注意，作为附图中的参考标号(数字)的后缀而附加的字母字符a、b、c等，被用于在具有参考标号装置、机器、部件等之间进行区分，以便这样的装置被辨识为具有相同基本功能，但也具有各自的功能。如果不需要澄清所述区分，则在实施例的描述中可以省略这样的字母字符。在这种情况下，所述描述适用于具有这种字母字符的所有机器和装置。

另外，具有连字符和数字作为参考标号的后缀的元件基本上具有与不带后缀的参考标号的元件相同或类似的功能，但具有不同构造。除非有意地区分，否则将在下文描述这样的元件而不考虑连字符和数字。在这种情况下，该描述适用于具有这种连字符和数字的所有机器和装置。

此外，在以下描述中，如果参考标号在它们之间用“、”连接，诸如“所述用户终端710、712”，这基本上意味相关的描述被应用于“参考标号和/或另一参考标号”，或“所有参考标号中的至少一个”。在上述的示例中，相关的描述被应用于“所述用户终端710和/或所述用户终端712”，或“所述用户终端710和712中的至少一个”。

<信息通信系统的配置>

图2示出了所述信息通信系统1502的配置，所述信息通信系统被应用于实施例。所述信息通信系统1502包含无线接入点700、互联网702、服务器704、数据库706、数据库708、用户终端710，以及用户终端712。

无线接入点700、服务器704，以及数据库706和708通过有线与互联网702相连接，但是连接不限于此，并且也可以采用无线连接。另外，用户终端710和712可以直接通过有线或无线与互联网702相连接，或可以经由无线接入点700和/或其他的转发器连接。

所述无线接入点700为室内无线LAN接入点，并包含定向天线701。如果信息通信不限于特定的方向，可使用非定向天线作为定向天线701。另外，无线接入点700为包含路由功能和/或网络地址转换(NAT)功能的路由器类型。所述路由功能使得选择用于在TCP/IP网络中向目的地主机发送分包的最佳路由成为可能。另外，NAT功能使得在两个TCP/IP网络的边界处的路由器或网关可以自动地将各个网络中的IP地址彼此转换，以用于传送数据。通过这些功能，能够在服务器704以及其他的之中执行有效率的信息通信。

假设此处的无线协议符合IEEE802.11系列标准，但不限于此。例如，无线协议可以是用于移动通信系统的W-CDMA(UMTS)、CDMA2000 1X、长期演进(LTE)或诸如此类。

服务器704包含CPU(中央处理单元)7041、ROM(只读存储器)7044、RAM(随机存取存储器)7042、固态驱动器(SSD)7043以及I/F(接口)7045。注意，除了SSD之外，服务器704可以包含硬盘，或者代替SSD。CPU 7041是在服务器704上执行程序的主要单元。ROM 7044在电源接通之后立即记录要由CPU 7041处理的内容，并且最少需要一组指令。RAM 7042为临时存储由CPU 7041处理的数据的存储器。该服务器704作为控制装置工作，以控制操作机器100、植物信息获取单元400、环境信息获取单元500，以及环境调节单元600。

如图1所示，经由无线接入点700，服务器704在植物工厂中执行与操作机器100、环境信息获取单元500、环境调节单元600等的信息通信。服务器704还执行与数据库706和708以及用户终端710和712的信息通信。后文将描述由该服务器704执行的操作。由服务器704执行的操作由读出存储在SSD中的要加载到RAM中的程序，并且基于加载到RAM中的数据执行程序的CPU执行。注意，存储在SSD中的程序是可更新的。另外，所述程序可以存储于诸如CD-ROM、DVD-ROM、SD卡以及USB存储器的便携式记录介质中。在这种情况下，服务器704从这样的介质读出程序，并执行该程序。另外，服务器704经由接口与互联网702连接。

无线接入点700作为服务器704的获取单元工作，以从操作机器100等中获取信息。此外，CPU、ROM以及RAM作为生成单元工作，以生成用于控制操作机器100等的控制信号。

在本文中，实施例中的植物栽培系统1具有待解决的问题：在通过无线通信交换信息时正确地传输和接收信息，以及确保要传输和接收的信息的安全性。因此，服务器704基于从操作机器100、用户终端710和712等中获取的位置信息，来确定操作机器100、用户终端710和712等是否位于诸如植物工厂和与信息通信相关的设施的特定区域内。如果已确定这些装置位于特定区域内，则服务器704对操作机器100、用户终端710和712等执行认证处理，并且仅当认证成功时才将实施例中的植物栽培系统1应用于所述装置。换言之，在信息通信系统1502中通信的信息被加密，并且仅当认证成功时才分派用于解密的密钥，以使得能够进行有意义的信息通信。另一方面，如果认证失败，则不能对信息进行解密，不能执行有意义的信息通信，并且信息通信系统1502变为不可用。以这种方式，提高了信息通信系统1502的安全性。另外，即使操作机器100被盗，只要认证失败，也不能使用操作机器100，这对于防盗是有用的。注意，不管将要使用信息通信系统1502的装置是否位于特定区域内，服务器704都可以执行认证处理。可以如本实施例中那样，通过使用户输入用户ID和密码来执行认证，或者可以通过使用用于每个单元或构成该单元的装置的特定的ID来执行认证。此外，如果不需要考虑安全性，则认证、加密以及解密不需要处理。

另外，当为用户提供包含信息通信系统1502的植物栽培系统1时，期望精确且容易地掌握植物栽培系统1的使用，以便能够有效率地向用户收取植物栽培系统1的使用费。因此，服务器704还执行下文将描述的收费处理(计费)。以这种方式，所述服务器704执行大量处理，并因此使用高性能，稳定(Robust)的计算机。然而，到目前为止描述的或将在下文描述的服务器704执行的处理，可由多个服务器(计算机)分配和执行。例如，植物栽培系统1可以包含用于管理的服务器、用于辨识和分析的服务器以及用于收费管理的服务器以分配相应的处理。

此外，类似于植物栽培系统1的系统需要多个元件的协作操作。因此，要解决的问题是对植物栽培系统1中的元件的故障的迅速处理。为解决这个问题，服务器704监视在每个单元(诸如操作机器100)中是否发生失效(诸如故障)。如果检测到失效，则服务器704向植物栽培系统1的提供方，或使用植物栽培系统1的服务提供方，以及用户终端710和712自动指示故障。注意，如果操作机器100等检测到失效(诸如故障)，则可以向服务器704指示故障而不等待来自服务器704的查询。以这种方式，所述植物栽培系统1能够进行故障排除。因此，如果在植物栽培系统1中发生了缺陷，服务提供方等可立即掌握情况，并且能够处理该缺陷。

植物栽培系统1要解决的问题之一是正确地辨识用于各种处理的植物。于是，为正确且迅速地执行该辨识处理，数据库706存储各种数据项。服务器704使用存储于该数据库706中的数据，以执行将在下文描述的辨识处理。存储于数据库706中的数据大部分是图像数据(用于辨识处理的标准图案等)、图像数据的属性和类型，以及关于与所述类型相对应的操作机器100的操作的信息。所述图像数据以与表示属性和类型的数据相关联的状态被存储。注意，数据库706可以存储内容数据以经由互联网702提供信息。在这种情况下，所述图像数据还与表示属性和类型的数据相关联。数据库706积累的这种数据的量越多，服务器704可以越精确地执行所述辨识处理。

除了上述辨识处理外，重要的是积累关于植物工厂中作业以及要被执行作业的植物的状态的信息，以便有效率地执行上述的收费处理以及未来的作业。为此，数据库708主要作为存储工作，以存储从植物工厂中的操作机器100、环境信息获取单元500等中传输的信息的存储器。所述信息包含，例如，作业的开始时间、中断时间、结束时间、关于需要作业的场所的信息、带有日期和时间的施肥的作业地点、将在后文描述的归一化植被指数NDVI以及关于害虫的信息。通过将这样的信息项积累到数据库中，能够分析和利用所积累的数据以使未来的耕作有效率。换言之，服务器704等能够分析所积累的信息，就育成状态和出货时间而言，推导植物的特定趋势，并且基于所述趋势来计算，例如，需要施多少肥料以在期望的时间获取具有目标质量的植物。特别地，由于能以归一化植被指数NDVI的值预测收获时间，故期望来从植物工厂中育成的植物中积累大量的信息。

此外，由于产品的销售价格由供求关系决定，故期望在需求高时将产品出货。于是，数据库708还存储来自市场的出货信息和库存信息。例如，待出货的植物(或它们的包装)可附有可辨识的信息，诸如无线标签和条形码。当在产品出货后在市场上出现前移动或存储的时刻，从所述可辨识的信息中获取产品的类型，并且所辨识的信息，关于辨识的位置的信息以及辨识的时间被依次存储于数据库708中。注意，待辨识的信息由具有无线标签读取器或条形码读取器的系统获取，并且经由互联网702，与用于跟踪植物所需的信息(诸如关于辨识的时间的信息)，以及关于辨识的位置的信息一起被存储于数据库708中。因此，实施例中的用户(使用用户终端710或712)和服务器704能够跟踪植物的移动，并且能够确定该植物的需求的状态。换言之，由于消费者青睐的植物以更小的量被存储或被更快地移动，故服务器704(或经由用户终端710或712的用户)能够通过分析存储在数据库708中的信息来辨识这样的植物。此外，为了使这样的消费者所青睐的植物更早地出货，所述服务器704控制环境调节单元600等，来控制设施中的环境，即控制施肥、浇灌以及供应二氧化碳以便加速植物的生长，并使得更早地收获。

另外，能够预测植物的收获时间和作物产量为系统用户提供了更大的价值。为实现这样的能力，服务器704可以响应来自用户终端710和712的命令，通过使用实际育成产品的条件(育成条件)来执行多变量分析，诸如植物活性(将在后文描述的归一化植被指数NDVI是指数之一)、水应力的程度、浇灌和施肥的情况、日照时数、空气温度、湿度等。这些条件以在该条件下获取的植物的育成阶段、收获时间以及作物产量进行分析。这些数据项积累得越多，根据预测输出(收获时间和作物产量)的精度就越高。注意，上述育成条件是由服务器704从包含诸如植物工厂中的操作机器100的单元的信息源、关于经由互联网提供的环境的内容信息(天气信息)，以及由用户输入中的任意一个或是它们的组合中获取的。注意，所预测的输出被传输至，例如用户终端710和712以被显示。另外，所预测的信息的输出是能够通过诸如互联网的电信线路，或者通过提供的记录所预测的信息的记录介质，独立地被销售给其他用户和消费者的信息资产。

注意，尽管数据库706和708已经被描述为与服务器704分离的元件，但数据库706和708中的至少一个可被安装在服务器704中。在这种情况下，可将SSD的区域进行分割以便配置各自的数据库。可替换地，数据库706和数据库708中的至少一个可以有线或无线地与服务器704连接，而不需要互联网702的介入。如此配置，能够省略经由互联网的通信，并因此能够迅速完成需要访问的处理。

用户终端710是平板计算机。另外，用户终端712是与需要选择要使用的场所的智能手机等不同的移动计算机。注意，用户终端710和712不限于平板计算机和移动计算机，也可以是台式计算机、在其他装置中的嵌入式计算机，或者诸如腕表和眼镜的可穿戴计算机。

这些用户终端710和712能够经由服务器704从单元获取指示以及信息。例如，用户终端710和712能够显示在操作机器100上获取的图像。服务器704监视在这些用户终端710和712与单元之间的信息的交换，并将交换记录在数据库706和数据库708上。注意，如果服务器704不执行监视，则用户终端710和712可以在没有服务器704介入的情况下直接与单元执行信息通信。

注意，本实施例中的信息通信系统1502为所谓的“云系统”，其经由互联网702执行信息交换，但不限于此；例如，所述系统可以仅通过在用户设施中构建的专用通信网络，或者通过专用通信网络与互联网的组合来交换信息。这使得可以执行更快的信息传送。另外，操作机器100和其他构成单元可具有服务器704的功能，并且执行与功能相对应的处理。这进一步地使得由操作机器100获取的图像数据的处理速度加快成为可能。

注意，本实施例中的植物栽培系统1由图1中所示的植物工厂中的系统1501，以及如图2中所示的信息通信系统1502构成。上述信息通信系统1502中的服务器704以及数据库706和708可以安装在诸如植物工厂的系统1501中的操作机器100的单元中。

[单元的描述]

接下来，将使用图3至图31描述操作机器、安装在操作机器上的单元、各种传感器装置，以及安装在植物工厂中的装置。

<操作机器>

为实施有效率的作业，作为植物栽培系统1的元件之一的操作机器，能够基于来自服务器704的命令或者自主地(autonomously)自动行走，并且能对作为作业目标的植物进行自动作业。图3是主要示出操作机器100的外观图。注意，如果其他的附图包含具有相同参考标号的元件，则这些元件表现出实质上相同的功能，以及可以省略其描述。

操作机器100包含驱动单元102、收获装置106、立体相机装置410、偏振相机装置430、多光谱相机装置450、用于无线通信的天线114、控制装置118，以及一组前轮128和后轮130。所述立体相机装置410、偏振相机装置430，以及多光谱相机装置450构成植物信息获取单元400。

所述驱动单元102安装在操作机器100中，并驱动所述后轮130以移动所述操作机器100。

收获装置106包含收获剪切机108、抓取臂110，以及收获箱112，所述收获装置通过马达和油压缸(未示出)，驱动收获剪切机108和抓取臂110上下移动，以及打开和关闭，并且驱动收获箱112上下移动，以及左右移动。然后，所述收获装置106通过使用由立体相机装置410获取的距离信息，来执行收获操作。收获剪切机108基于来自控制装置118的控制命令切割目标部分。抓取臂110基于来自控制装置118的控制命令抓取要由收获剪切机108切割的部分。收获箱112是底部能打开和关闭的箱型构件，暂时容纳被收获剪切机108切断的对象，并且当已经积累了预定量的容纳对象时，通过打开底部部分将对象放置于带式输送机(未示出)上。

立体相机装置410是包含两组光学系统和成像元件的成像传感器装置，以获取主要用于测距的立体图像。该立体相机装置410用于检测到要被测量对象的距离以及该对象的尺寸，并且对于操作机器100的作业，特别是收割操作，起主要作用。该立体相机装置410安装在操作机器100的头部附近，并且可绕垂直轴线旋转。立体相机装置410被手动地或者通过来自控制装置118的控制来旋转。通过安装在头部附近，能够容易地获取前方的图像，以及能够提高测距精度。注意，要安装的位置不限于头部附近；例如，立体相机装置410可以安装在可以容易地进行观看的操作机器100周围空间的位置处，诸如用于无线通信的天线114被安装在的操作机器100的上部。另外，为了使立体相机装置410能够上下移动，可将所述垂直轴配置为可移动的。这使得可以捕获遍布在最上阶的植物的图像。另外，为了有效率地捕获在操作机器100左右的植物，可在操作机器100的两侧安装多个立体相机装置410。另外，旋转不限于如实施例中的单轴旋转；可以采用多轴旋转以在期望的位置和角度获取图像。另外在这种情况下，立体相机装置410还可以手动或通过控制装置118的控制旋转。将在后文详细描述该立体相机装置410的配置。偏振相机装置430是成像传感器装置，以从对象获取偏振信息，并能获取害虫爆发等的状态。换言之，即使在通常的亮度图像中难以辨识的浅色的害虫，诸如二斑叶螨，也能够通过使用偏振信息的高对比度的图像被辨识。该偏振相机装置430被布置为绕垂直轴可旋转的。另外，所述旋转不限于如实施例中的单轴旋转；可以采用多轴旋转以在期望的位置和角度获取图像。这种旋转运动可以手动地或通过控制装置118的控制来完成。

多光谱相机装置450是用于从对象获取光谱信息的成像传感器装置，并且能获取作物等的生长情况。该多光谱相机装置450被布置为绕垂直轴可旋转。如将在后文描述的，多光谱相机装置450包含多个LED，从LED发射具有期望波长的光，并且捕获所捕获的图像上的反射率。因此，可以观察到作物的精确生长情况。因此，可以观察到作物的精确生长情况。另外，旋转不限于如实施例中的单轴旋转；可以采用多轴旋转以在期望的位置和角度获取图像。这种旋转运动可以手动地或通过控制装置118的控制来完成。用于无线通信的天线114是通过与操作机器100、其他单元、以及无线接入点700等进行无线通信来传输和接收信息的天线，并且其附接到操作机器100的上部，以便容易地接收无线信号。该用于无线通信的天线114能够中继无线通信。

控制装置118与驱动单元102、收获装置106、立体相机装置410、偏振相机装置430、多光谱相机装置450、用于无线通信的天线114等交换信息，并且控制所述操作机器100。该控制装置118安装在操作机器100中。控制装置118能够经由用于无线通信的天线114与服务器704以及用户终端710和712通信。注意，所述控制装置118由CPU、RAM、ROM、存储器等构成，并且所述CPU基于存储在存储器中的程序执行控制处理。

前轮128被提供为使操作机器100移动和转向。后轮130是由驱动单元102将动力传送到的部件，并且当所述后轮旋转时，操作机器100移动。

注意，实施例中的操作机器100包含立体相机装置410、偏振相机装置430，以及作为传感器装置的多光谱相机装置450，以从操作机器100外获取信息，但所述操作机器不需要包含所有的这些；可以取决于需要获取的信息来安装要使用的传感器装置。另外，自然地，操作机器100可以包含除上述传感器之外的传感器装置，例如红外传感器、温度传感器以及湿度传感器。由这些传感器获取的信息被传输至服务器704。所述服务器704将该信息存储于数据库708中，并利用该信息来预测收获时间等。

<立体相机装置>

A.立体相机装置的配置

图4示出了立体相机装置410的外观。所述立体相机装置410捕获区域的图像，生成可传输至操作机器100的控制装置118、服务器704，以及用户终端710和712的图像数据，并且此外，从所述立体相机装置410中获取对于所捕获的图像中的每个点的距离信息(或视差信息)。当然，距离信息(或视差信息)可传输至控制装置118等。该立体相机装置410能够执行应用SGM(半全局匹配)方法的测距。立体相机装置410包含主体部分2，以及一对布置在主体部分2上的、具有圆柱形状的成像装置10a和10b。注意，该立体相机装置410附接至所述操作机器100上，可通过具有旋转轴的柱来旋转。该旋转运动是手动地或通过来自控制装置118的控制来完成的。

图5示出了整体的立体相机装置410的硬件配置。如图5中所示，所述立体相机装置410包含成像装置10a、成像装置10b、信号转换装置20a、信号转换装置20b以及图像处理装置30。

其中，成像装置10a为捕获前方场景的图像，并生成表示图像的模拟信号的装置，并且包含成像透镜11a，孔径光阑12a以及图像传感器13a。成像透镜11a是用来折射通过所述成像透镜11a的光的光学元件，用于形成对象的图像。孔径光阑12a拦截通过成像透镜11a的光的一部分，以调节输入到图像传感器13a中的光量，其将在后文描述。所述图像传感器13a是用来将从成像透镜11a以及孔径光阑12a输入的光转换成电学的模拟图像信号，并且由CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)实施的半导体元件。注意，由于成像装置10b具有与成像装置10a相同的配置，故省略关于成像装置10b的描述。另外，布置成像透镜11a和成像透镜11b以便各自的透镜光轴彼此平行。

注意，由于孔径光阑12b和图像传感器13b各自具有与孔径光阑12a和图像传感器13a相同的配置，因此省略关于孔径光阑12b和图像传感器13b的描述。

另外，信号转换装置20a将表示捕获的图像的模拟信号转换成数字格式的图像数据，并且其包含CDS(相关双采样)21a、AGC(自动增益控制)22a、ADC(模数转换器)23a以及帧存储器24a。所述CDS 21a通过相关双采样，从由图像传感器13a转换的模拟图像信号中去除噪声。AGC 22a执行控制具有由所述CDS 21a去除的噪声的模拟图像信号的强度的增益控制。ADC 23a将具有由所述AGC 22a施加的增益控制的模拟图像信号转换为数字格式的图像数据。帧存储器24a存储由所述ADC 23a转换的图像数据(参考图像)。

类似地，信号转换装置20b将表示捕获的图像的模拟信号转换为数字格式的图像数据，并且其包含CDS(相关双采样)21b、AGC(自动增益控制)22b、ADC(模数转换器)23b以及帧存储器24b。注意，CDS 21b、AGC 22b、ADC 23b，以及帧存储器24b各自具有与CDS 21a、AGC22a、ADC 23a，以及帧存储器24a相同的配置，省略对它们的描述。然而，帧存储器24b存储比较图像。

此外，图像处理装置30是处理由信号转换装置20a以及信号转换装置20b转换的图像数据的装置。该图像处理装置30包含FPGA(现场可编程门阵列)31、CPU 32、ROM 33、RAM34、I/F 35，以及包含地址总线和数据总线的总线39以电学地连接如图5中所示的上述元件(FPGA 31至I/F 35)。

其中，所述FPGA 31是在购买者或设计者制作之后可配置的集成电路，并且，此处执行用于计算由图像数据表示的图像中的视差值Δ的处理。所述CPU 32控制立体相机装置410的功能。所述ROM 33存储用于由CPU 32执行的图像处理的程序，以控制视差值推导装置的功能。所述RAM 34用作CPU 32的工作区域。所述I/F 35是用来连接至操作机器100的控制装置118的接口。

注意，上述用于图像处理的程序可以作为可安装格式或可执行格式的文件被记录在计算机可读记录介质上以进行传播。记录介质可以是CD-ROM、SD卡等。

接下来，图6是示出立体相机装置410的主要部件的配置图。如图6中所示，FPGA 31包含代价(一致度、不相似性或相似性)计算单元310、代价合成单元320，以及视差值推导单元330。这些单元作为FPGA的电路的部分而被实施，但可被配置为当执行存储于ROM 33中用于图像处理的程序时执行的相对应的处理。

其中，所述代价计算单元310基于参考图像Ia中的参考像素的亮度值，以及相对于参考像素的比较图像Ib中的核线(epipolar line)上对应像素的多个候选的亮度值，来计算相对于所述参考像素的对应像素的候选的代价值C。所述代价合成单元320通过代价计算单元310合成相对于参考像素的对应像素的候选的代价值，以及通过代价计算单元310合成对应像素相对于另一参考像素的候选的代价值，并输出合成代价值Ls。注意，该合成处理是基于后述的公式3从代价值C中计算路径代价值Lr，然后，基于后述的公式4进一步加上各个放射线中的路径代价值Lr的处理，并且最终计算合成代价值Ls。

视差值推导单元330基于参考图像中参考像素的位置以及在由所述代价合成单元320合成后的比较图像中具有最小合成代价值Ls的对应像素的位置，来推导视差值Δ，并输出在各自像素处表示的视差值的视差图像Ic。通过使用此处获取的视差值Δ，成像透镜11a和成像透镜11b的焦距f(基线长度B为成像透镜11a与成像透镜11b之间的长度)，通过使用公式2能够计算距离Z，其将在后文描述。计算该距离Z的处理可由视差值推导单元330执行，或者可由CPU 32或服务器704执行。以这种方式，立体相机装置410能够使用关于捕获的图像的视差，以获取到捕获的图像中每个点的距离信息(或视差信息)。注意，不需要计算视差值的图像处理和图像辨识可以只使用参考图像和比较图像之一(即，从图像传感器13a和13b之一获取的图像作为能由通常的单眼相机类似地捕获的图像)。

B.使用SGM方法测距的方法的描述

接下来，将使用图7至图12总结通过立体相机装置410测距的方法，特别是，通过使用SGM方法来计算视差值的方法。首先，使用SGM方法测距的方法将使用图7至图12总结。

通过使用图7，将描述用于基于表示相对于从立体相机中观看的对象的视差的视差值来测量从立体相机到对象的距离的原理，所述视差通过立体成像从所述立体相机中获取。另外，为简化下文中的描述，将以像素单位而不是由多个像素构成的预定区域来描述。

首先，如图7中所示，由成像装置10a和成像装置10b捕获的图像将被各自被称为参考图像Ia和比较图像Ib。假设成像设备10a和成像设备10b被平行地安装，并在图7中的相同的高度。在图7中，在三维空间中的对象E上的点S被映射到成像设备10a和成像设备10b中的同一水平线上的位置。换言之，在参考图像Ia中的点Sa(x，y)和比较图像Ib中的点Sb(x'，y)上捕获每个点S。在这种情况下，使用成像装置10a上的坐标系中的Sa(x，y)中的x，以及成像装置10b上的坐标系中的Sb(x'，y)中的x'，由公式1表示视差值Δ。

Δ＝x'-x (公式1)

此处，在图7的情况中，由Δa表示参考图像Ia中的点Sa(x，y)与从成像透镜11a向下画出的正交于成像表面上的交叉点之间的距离，并且由Δb表示点Sb(x'，y)与从成像透镜11b向下画出的正交于成像表面上的交叉点之间的距离，所述视差值由Δ＝Δa+Δb表示。

另外，通过使用视差值Δ，能够推导成像设备10a或10b与对象E之间的距离Z。具体地，所述距离Z是从包含成像透镜11a的焦点位置以及成像透镜11b的焦点位置的表面，到对象E上的特定点S的距离。如图7中所示，能使用成像透镜11a和成像透镜11b的焦距f，作为成像透镜11a和成像透镜11b之间的长度的基线长度B以及视差值Δ通过公式2来计算距离Z。

Z＝(B×f)/Δ (公式2)

该公式2意味着视差值Δ变得越大，距离Z越小，以及视差值Δ变得越小，距离Z越大。

接下来，将通过使用图8至图12描述使用SGM方法的测距方法。注意图8A为示出参考图像的示意图；图8B为示出通过相对图8A中的参考图像的块匹配(block matching)方法的视差图像的示意图；图8C为示出通过关于图8A中的参考图像的SGM方法的视差图像的示意图。此处，参考图像是其中的对象由亮度表示的图像。通过块匹配方法的视差图像是通过使用块匹配方法推导的图像，在其中仅呈现具有强纹理的部分(诸如参考图像中的边缘部分)的视差值。通过应用SGM方法的视差图像是通过SGM方法的应用技术从参考图像中推导的图像，在其中呈现了参考图像中的坐标处的视差值。在图8C中，颜色的明暗表示不同的视差值。在该示例中，较浓的颜色表示较小的视差值。换句话说，较浓的颜色表示更长的距离。

SGM方法是即使对于具有弱纹理的对象也能够适当地推导视差值，并且用于基于图8A所示的参考图像来推导图8C所示的视差图像的方法。注意，块匹配方法基于图8A所示的参考图像，推导如图8B所示的边缘视差图像。通过将图8B和图8C中各自的虚线圆801彼此比较可以看出，通过SGM方法的视差图像，与通过块匹配方法的视差图像相比，其可以表示具有较弱纹理的区域的详细信息，因此，所述SGM方法使得可以进行详细的测距。

该SGM方法计算表示不相似性的代价值，但是在计算代价值后并不立即推导视差值；而是在计算代价值后进一步计算表示合成不相似性的合成代价值，然后再推导视差值，以最终推导表示所有像素处的视差值的视差图像(此处，通过SGM方法的视差图像)。注意，块匹配方法就计算代价值而言，与SGM方法相同，但其不如通过SGM方法完成那样去计算合成代价值，并且仅计算具有强纹理的部分(例如边缘部分)的视差值。

接下来，通过使用图9和图10，将描述计算代价值C(p，d)的方法。注意，代价值C(x，y，d)如下标记为C(p，d)。图9A是示出参考图像中的参考像素的示意图；图9B是示出在与图9A中的参考像素相对应的比较图像中的像素的候选的顺序偏移的同时，计算偏移量的处理的示意图。图10是示出表示各自的偏移量的代价值的曲线图。

如图9A所示，基于参考图像中预定的参考像素p(x，y)，以及相对于参考像素p(x，y)的比较图像中的核线上的对应像素的多个候选q(x+d，y)中的每一个的亮度值，计算相对于参考像素p(x，y)的对应像素的每个候选q(x+d，y)的代价值C(p，d)。此处，d表示在参考像素p与对应像素的候选q之间的偏移量(偏移的量)，其以实施例中的单位所表示。换言之，在图9中，对应像素的候选q(x+d，y)在预先特定的范围(例如，0<d<25)内逐像素地偏移，以计算表示对应像素的候选q(x+d，y)与参考像素p(x，y)之间的亮度值的相似度的代价值C(p，d)。以这种方式计算的代价值C(p，d)能够由图10所示的偏移量d的曲线图所表示。在图10中，对于偏移量d＝5、12和19，代价值C为0(零)。因此，不能获取最小值。正因如此，难以获取具有较弱纹理的对象的最小值。换言之，如果纹理较弱，则存在块匹配方法不能执行正确测距的情况。

接下来，将通过使用图11和图12来描述计算合成代价值Ls(p，d)的方法。图11是示意性地示出推导合成代价值的处理的图。图12是表示每个视差值的合成代价值的曲线图。实施例中的合成代价值的计算是不仅计算代价值C(p，d)，而且计算合成代价值Ls(p，d)的方法，在所述方法中，代价值C(p，d)，以及假设为参考像素的预定的参考像素p(x，y)的周围像素的代价值被计算出，并被集合为参考像素p(x，y)的代价值C(p，d)。

此处，将详细描述计算合成代价值的方法。为计算合成代价值Ls(p，d)，首先，需要计算路径代价值Lr(p，d)。公式3是计算路径代价值Lr(p，d)的公式，公式4是计算合成代价值Ls的公式。

Lr(p,d)＝C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2} (公式3)

其中，r表示集合的方向，min{}是获取最小值的函数。如公式3中所表示，分别地计算Lr。另外，P1和P2是通过实验预先定义的固定参数，以使得与参考像素p(x，y)具有更大距离的像素对于路径代价值Lr具有更小的影响。例如，P1＝48，以及P2＝96。

另外，如公式3所表示，通过将图11所示的r方向上的像素的路径代价值Lr的最小值，加上参考像素p(x，y)处的代价值C，来获取Lr(p，d)。为了以这种方式获取r方向上的像素的Lr，从r方向上相对于参考图像p(x，y)的远端处的像素开始，并且沿着r方向获取各自的Lr。

然后，如图11所示，在八个方向上获取Lr，即Lr0、Lr45、Lr90、Lr135、Lr180、Lr225、Lr270，以及Lr315，并最终基于公式4获取合成代价值Ls。

Ls(p,d)＝ΣLr (公式4)

以这种方式计算的合成代价值Ls(p，d)能够由图12所示的每个偏移量d的曲线图来表示。在图12中，由于合成代价值Ls取偏移量d＝3的最小值，故视差值Δ被计算为Δ＝3。

注意，由于与块匹配方法相比，SGM方法需要更长的处理时间，所以如果处理速度需要优先于测距精度，则可以通过块匹配方法来执行测距。在这种情况下，不执行图6中的代价合成单元320的处理，并且视差值推导单元330从由代价计算单元计算的代价值中推导视差值。

注意，一旦已经辨识出由立体相机装置410捕获的对象，并且已经获取距离，则能够获取对象的尺寸和长度。具体地，立体相机装置410的ROM 33存储关于距离与每个像素的尺寸和长度之间的关系的表格。因此，CPU 32能识别对象的大小和长度。注意，代替所述表格，ROM 33可以存储距离与每个像素的尺寸和长度之间的关系表达式。此外，对象的尺寸和长度可以不作为立体相机装置410中的处理来计算，而是操作机器100的控制装置118或服务器704可以具有计算尺寸和长度所需的数据，诸如上述的表格，以计算对象的尺寸和长度。

<偏振相机装置>

图13示出偏振相机装置的配置。该偏振相机装置430是能够获取亮度图像，以及与亮度图像相对应的偏振比图像的相机装置。由于所获取的偏振比图像具有高对比度，故该偏振相机装置430能够辨识可能不被亮度或光谱信息所辨识的对象。偏振相机装置430包含主体部分40和镜筒50。该偏振相机装置430可旋转地安装在操作机器100上。该旋转运动是手动地或通过来自控制装置118的控制而完成的。通过这样的操作，可以对操作机器100周围的各个方向上的对象的偏振光进行成像，以辨识害虫等。

图14是示出偏振相机装置430的配置图。图14为侧向截面视图。主体部分40包含偏振滤光器42、基板43和构成传感器基板43的光检测器阵列44，以及FPGA 46。镜筒50包含LED52、主透镜54、孔径光阑56以及聚光透镜58。

偏振滤光器42是具有透射S偏振的S偏振光透射区域，以及透射P偏振的P偏振透射区域的滤光器，其在二维方向上交替排列。光电检测器阵列44是包含多个光电检测器的单色传感器，并且不具有为每个光电检测器(以下可以称为“像素”)安装的滤色器。另外，光电检测器阵列44是将光学信息转换为电信息的传感器。FPGA 46是用于基于从光检测器阵列44中输出的关于S偏振和P偏振的电信息，来生成亮度图像和偏振比图像的图像生成单元。

来自该偏振相机装置430的输出是由FPGA 46生成的亮度图像和偏振比图像。这些信息项被传送到操作机器100的控制装置118、服务器704、用户终端710和712等。

LED 52是以嵌入状态、以相等的间隔围绕镜筒50的尖端放置的多个光源。通过将所述LED用作光源，成像受到来自环境的更小的影响，并且可以稳定地获取偏振信息。主透镜54是将来自对象Op的反射光导入到孔径光阑56的透镜。孔径光阑56是用于调节通过光量的屏蔽。聚光透镜58是将通过孔径光阑56的光引入偏振滤光器42的透镜。

来自对象Op的反射光入射在主透镜54上，所述对象接收来自LED 52和其他光源的光。入射在该主透镜54上的光通量被分离成要获取的S偏振分量和P偏振分量。

图15A是实施方式中使用的偏振滤光器42的前视图。注意，图15A中的虚线42a标出偏振滤光器42和光电检测器阵列44的一部分，图15A的下部示出了虚线42a的放大视图。图15B是示出偏振滤光器42与像素之间的对应的图。偏振滤光器42具有透射S偏振的S偏振光透射区域，以及透射P偏振的P偏振光透射区域，它们在二维方向上交替排列。因此，要获取的S偏振图像和P偏振图像是每隔一个缺少一个像素的图像。FPGA 46首先通过使用相邻像素的值来执行用于内插丢失像素的处理。因此，获取内插的S偏振图像和内插的P偏振图像。接下来，基于这些S偏振图像和P偏振图像，生成亮度图像和偏振比图像。此处构成偏振比图像中的每个像素的偏振比，仅需要可用于检测在获取的具有各自相位差的偏振分量之间的特性差异。因此，如以下公式6所表达，偏振比可以是P偏振分量与S偏振分量之间的差；如公式7所表达，偏振比可以是P偏振分量与S偏振分量的比率，与(P偏振分量+S偏振分量)之比；如公式8所表达，偏振比可以是(P偏振分量-S偏振分量)与(P偏振分量+S偏振分量)的比率；或诸如此类。虽然公式6此处表达“差”，但是本公开中的偏振“比”是通过使用具有这种相位差的偏振信息而获取的计算结果的通用术语。

偏振比＝P偏振分量/S偏振分量 (公式5)

偏振比＝P偏振分量-S偏振分量 (公式6)

偏振比＝(P偏振分量/S偏振分量)/(P偏振分量+S偏振分量) (公式7)

偏振比＝(P偏振分量-S偏振分量)/(P偏振分量+S偏振分量) (公式8)

注意，虽然提供了公式7和公式8中的分母用于归一化，正因如此，限制了归一化；归一化可以利用与(P偏振分量+S偏振分量)的差来完成。另外，在这些示例公式中，虽然P偏振信息和S偏振信息被用作具有不同相位的偏振比信息，但是这些信息项只需要具有不同的相位，因此，可以使用圆偏振光分量。另外，构成亮度图像中的每个像素的亮度由亮度＝(P偏振分量+S偏振分量)表示。

<多光谱相机装置>

图16示出了多光谱相机装置450的外观。该多光谱相机装置450是能够捕获图像，并且获取所捕获的图像中的光谱反射率的相机装置。该多光谱相机装置450适用于非接触和非破坏性地在一个范围(区域或表面)中，而不是在单个点处，检测植物的状态。多光谱相机装置450包含主体部分60以及镜筒70。多光谱相机装置450可旋转地安装在操作机器100上。该旋转运动是手动地或通过来自控制装置118的控制来完成的。通过这样的操作，可以对操作机器100周围的各个方向上的对象的反射光进行成像，以掌握植物的育成状态，诸如植物活性、枝之间的长度以及叶片的大小。

图17A至17B是示出该多光谱相机装置450的配置图。图17A为前视图以及图17B为侧向截面图。主体部分60包含微透镜阵列62、光电检测器阵列64、FPGA 66以及光谱反射率计算单元68。透镜镜筒70包含发光二极管(LED)72、主透镜74、孔径光阑76、滤光器78A以及聚光透镜79。

微透镜阵列62是具有在二维方向上排列的多个小透镜的滤光器。光电检测器阵列64是包含多个光电检测器的单色传感器，并且不具有为每个光电检测器安装的滤色器(以下可以称为“像素”)。另外，光电检测器阵列64是将光学信息转换为电信息的传感器。FPGA66是基于作为从光检测器阵列64输出的光谱信息的电信息，来生成多类型的光谱图像的光谱图像生成单元。

光谱反射率计算单元68由半导体元件构成，诸如CPU、ROM和RAM，并且计算由FPGA66生成的光谱图像中的每个像素的光谱反射率。

来自该多光谱相机装置450的输出是由FPGA 66生成的多种类型的光谱图像，以及每个光谱图像中每个像素的光谱反射率。这些信息项被传送到操作机器100的控制装置118、服务器704、用户终端710和712等。

LED 72是以嵌入状态、以相等的间隔围绕透镜镜筒70的尖端放置的多个光源。通过将LED用作光源，成像受到来自环境的更小的影响，并且可以稳定地获取光谱信息。主透镜74是将来自对象Om的反射光引入到孔径光阑76的透镜。孔径光阑76是用于调节通过光量的屏蔽。滤光器78A在空间上连续地改变光谱透射率。换言之，滤光器78A具有多个光谱特性。注意，滤光器78A的光谱透射率的连续性的方向性不受限制，只要其在表面上在一个方向上改变即可。例如，在主透镜74的垂直于其光轴的表面上，连续改变可以在上下方向上进行，如图17A所示，所述方向与上下方向正交，或者是倾斜交叉的方向。聚光透镜79是将通过滤光器78A的光导入微透镜阵列62的透镜。

来自对象Om的反射光入射在主透镜74上，所述对象接收来自LED 72和其它光源的光。入射在该主透镜74上的光通量是光谱反射率测量的目标。入射到主透镜74上的光通量是无数光的光线的聚集，并且所述光线通过孔径光阑76的不同位置。通过孔径光阑76，对通过的光的量来调节由主透镜74聚集的反射光，并且所述反射光入射在滤光器78A上。注意，在实施例中，孔径光阑76设置在滤光器78A上，但不限于此。入射在滤光器78A上的光线在具有不同的光谱透射率值的区域通过滤光器。已经通过滤光器78A的光的光线被聚光透镜79聚光，并在微透镜阵列62的附近形成一次图像。注意，微透镜阵列62被安装来使微透镜(小透镜)放置在正交于主透镜74光轴的方向。已经形成图像的光线通过微透镜阵列62，以到达光电检测器阵列64上的各自的位置。换言之，光检测器阵列的光接收表面上的位置对应于滤光器78A上的光线已经通过的位置。因此，可以同时测量对象Om上每个点的光谱反射率。

图18是实施例中使用的滤光器78A以及孔径光阑76的前视图。滤光器78A的下部具有在较短波长处的光谱透射率的峰值，而上部在较长波长处具有峰值。在这种情况下，如图19所示，捕获的图像由阵列的小圆圈形成。形成圆圈是因为主透镜74的孔径光阑76的形状是圆形的。以下将把每个小圆圈称为“宏像素”(macro pixel)。通过收集所有宏像素77来形成图像。每个宏像素77形成在构成微透镜阵列62的、对应的小透镜(微透镜)的紧下方。宏像素77的直径事实上与微透镜的直径是相同的。

如图17A至17B所示，已经穿过滤光器78A的下部的光的光线到达宏像素77的上部，而已经穿过滤光器78A的上部的光的光线到达宏像素77的下部。通过滤光器78A的下部在较短波长处具有峰值，而上部在光谱透射率中具有较长波长的峰值的排布，具有较短波长的光的光线到达宏像素77的上部，而具有较长波长的光的光线到达宏像素77的下部。FPGA 66从来自具有到达的各个波长的光的光谱信息中生成光谱图像。因此，能够获取对于期望波长的多个光谱图像。光谱反射率计算单元68计算每行宏像素77的平均值，并且考虑LED 72等的照明的光谱强度、滤光器78A的光谱透射率，以及光电检测器阵列64的光谱灵敏度，来计算光谱反射率。

图20示出了宏像素77的放大视图。此处，考虑宏像素77包含19乘19像素的情况。从该单个宏像素77中，可获取对象Om上的点作为样本的光谱反射率如下：首先，将描述计算最短波长(λs)侧的反射率的步骤。从多光谱相机装置450中获取的数据是来自光电检测器的输出值，其与入射在光电检测器上的光的光线量相对应。光的光线量是在波长λs处的五个特性值的积，所述特性值为LED 72等的照明的光谱强度；对象Om的光谱反射率；光学系统(主透镜74和聚光透镜79)的光谱透射率；滤光器78A的光谱透射率；以及光电检测器阵列64的光谱灵敏度。因此，为计算对象Om在λs处的反射率，输出值可以被光谱反射率之外的四个值所除。

作为此处的输出值，使用通过将图20中最下行上的19个像素的输出值的总和，除以形成宏像素77处的面积而获取的值。所述“形成宏像素77的面积”是光线到达的区域，而不是图1中涂黑的区域。如此定义输出值以标准化每条线的输出值。通过这些步骤，可以获取在λs处的反射率的相对值。需要单独校准以获取绝对值。在设计时期已知LED 72等的照明的光谱强度、主透镜74和聚光透镜79的光谱透过率、滤光器78A的光谱透过率、光检测器阵列64的光谱灵敏度，以及每行宏像素77的面积。通过将上述处理应用到每行宏像素77，能够在19个波长处获取反射率。

在图21中示出这样的测量结果的示例。横轴表示波长，而纵轴表示光谱反射率的相对值。到目前为止，已经描述了应用于一个宏像素77的处理。通过将相同的处理应用到所有宏像素77，能够通过滤光器78A测量二维光谱反射率。滤光器78A能由透明基板制造，诸如具有用于形成厚度以楔形改变的薄膜的气相沉积的光学玻璃。在实施例中，薄膜的材料是五氧化二铌，而短波长侧上的材料是五氧化二钽。薄膜的厚度为几十至几百纳米(nm)。越薄的膜对应于越短的波长，而越厚的膜对应于越长的波长。由于薄膜的厚度以楔形(无步进(stepping))改变，故光谱透射率也连续改变。

由于光的干涉控制光谱透射率，故增强透射光的条件对应于光谱透射率的峰值波长。透明基板的厚度可以被设为能够支撑滤光器。对被设计为位于靠近孔径光阑的透镜而言，优选地使用更薄的透明基板。例如，约0.5毫米(mm)可能是合适的。通过使用具有如上所述的连续光谱透射率特性的滤光器78A，能在成像同时直接获取连续光谱反射率。因此，不需要估计处理，并且能够测量具有关于噪声的稳定性(robustness)的二维光谱反射率。

接下来，将通过使用图22A-22B来描述能够用于实施例中的多光谱相机装置450的滤光器的另一示例。配置图22A中的滤光器78B以具有分割的传输频带。具体地，滤光器78B由对应于400nm至500nm的波长区域的滤光器78Ba；对应于500nm至600nm的波长区域的滤光器78Bb；以及对应于600nm至700nm的波长区域的滤光器78Bc。正因如此，滤光器78B是其光谱透射率即使在紫外区域和红外区域也连续改变的滤光器。滤光器78Ba、78Bb和78Bc中的每一个是其光谱透射率空间地改变的滤光器。在此处的示例中，波长从图中的下侧向上侧变长。滤光器78Ba、78Bb和78Bc的纵向方向不需要被特定地定向。换言之，对于滤光器的要求是具有光谱透射率连续改变的区域，而非方向性。另外，滤光器78Ba、78Bb和78Bc不限于如上所述配置，只要每个滤光器包含与其他波长区域不同的波长区域的至少一部分即可。传输频带只是示例，并且范围不限于这些值。通过以这种方式对滤光器进行分割，能将对应于单个像素的波长宽度设置得窄。换言之，可以以就波长而言的高分辨率测量光谱反射率。另外，通过使滤光器分割和放置，与细长的滤光器(elongated filter)相比，其能够在窄孔径内确保光谱透射率的连续性。

注意，为了有效率地使用光，孔径光阑76的形状可以被形成为具有多边形形状，例如矩形，或任何其它期望的形状。

图23示出了植物叶片的光谱反射率的典型光谱。实线2301表示正常叶的光谱(植物活性高)，而虚线2302表示枯叶的光谱(植物活性低)。如该图中的实线2301所标出的，植物活性高的正常叶片在波长660nm附近的可见红色区(和短波长区域)2304中表现出低反射率，这是由于作为某种叶绿体的叶绿素的光吸收。相比之下，正常叶片在从700nm到1100nm的近红外区域2305中表现出高反射率。另一方面，植物活性低的枯叶在可见红色区2304中表现出比正常叶更高的反射率，因为叶绿素已经被分解，并且光在可见红色区2304中被吸收得更少。注意，已经理解的是不管植物的类型如何都可以看到这种趋势。于是，使用带有在可见红色区2304中的光谱反射率R以及在近红外区域2305中的光谱反射率IR的以下公式9，能够获取归一化植被指数(NDVI)。

NDVI＝(IR-R)/(IR+R) (公式9)

通常，归一化植被指数NDVI取-1和+1之间的值，并且越大的NDVI值表示越高的植物活性。通过使用多光谱相机装置450，理论上，能够在整体成像区域中获取归一化植被指数NDVI。因此，可以采用图22B中的滤光器78C作为实施例中的多光谱相机装置450的滤光器。滤光器78C包含对应于660nm附近的可见红色区中的波长区域的滤光器78Ca，以及对应于770nm附近的近红外区域中的波长区域的滤光器78Cb。注意，作为近红外滤光器78Cb，可以采用对应于785nm或900nm附近的波长区域的滤光器。在这种情况下，能够通过LED容易地获取波长785nm。安装LED 72以便使一半的LED在波长660nm附近发射具有高强度的光，而另一半在波长770nm附近发射具有高强度的光。如此配置的多光谱相机装置450用LED光来照射目标植物，以捕获反射光的图像。然后，FPGA 66获取波长660nm处的光谱图像以及波长770nm处的光谱图像。光谱反射率计算单元68获取在这些光谱图像中的期望位置处或区域处的光谱反射率。此外，将光谱反射率计算单元68中的CPU应用公式9用于获取归一化植被指数NDVI。注意，可以不在多光谱相机装置450中获取归一化植被指数NDVI，而是在可以获取光谱图像和关于光谱反射率的信息的操作机器100的控制装置118或服务器704中获取归一化植被指数NDVI，以应用公式9。注意，每个作物的归一化植被指数NDVI被传输至数据库708，并且被积累。另外，FPGA 66可以被配置基于上述光谱图像来计算具有每个像素的NDVI值的NDVI图像。注意，可以仅通过使用可见红色区(例如，660nm)中的波长的光谱反射率，而不使用归一化植被指数NDVI来掌握植物的育成状态。这是因为在该可见红色区中，光谱反射率对于植物活性的不同值改变很大。因此，不仅能够掌握生长情况，而且能够加快处理和确定，因为省略了用于测量近红外区域中的光谱反射率的计算，以及用于归一化的植被指数NDVI的计算。另一方面，如果计算归一化植被指数NDVI，则能够针对归一化的，更精确的育成状态(植物活性)获取信息。

另外，归一化植被指数NDVI的日常观察使得正确预测收获时间成为可能。例如，在叶菜类蔬菜的情况下，当标准化植被指数NDVI为最大(植物活动最高)时，期望收获蔬菜。归一化植被指数NDVI的最大值和当DVI变为最大时的预期日期取决于产品的种类。因此，对于每种待收获的植物，确定归一化植被指数NDVI的范围。这能够通过使用在数据库708中积累的归一化植被指数NDVI的数据而在服务器704或用户终端710或712上完成。例如，即使在已经观察到各自的归一化植被指数NDVI的最大值之后，也可以实验地观察到相同种类的多种作物，以获取改变程度，从所述变化程度中可以确定收获时的归一化植被指数NDVI的范围(例如，对于莴苣，NDVI范围可以在0.5和0.55之间)。然后，当由多光谱相机装置450等获取的归一化植被指数NDVI属于所述范围内时，能够收获作物。此外，可以通过统计地从积累的数据中计算每个作物的归一化植被指数NDVI的日常变化的趋势来预测收获时间。

此外，可以通过使用多光谱相机装置450从颜色确定可配送物(果实)的质量(糖含量)。在这种情况下，使用图22A中的过滤器78B，其具有分割的传输频带(从400nm至500nm(78Ba)、从500nm至600nm(78Bb)，以及从600nm至700nm(78Bc))，此外，使用颜色传感器，其具有布置在光电检测器阵列64的每个光电检测器(像素)的拜耳阵列中的RGB滤色器。该RGB滤色器具有对于B(蓝色)在470nm附近、对于G(绿色)在540nm附近，以及对于R(红色)在620nm附近的光谱的峰值(最大值)。构成滤光器78B的滤光器78Ba、78Bb和78Bc的光谱特性分别地不同于构成颜色传感器中的第二滤光器的RGB滤色器的光谱特性。通过使光的光线通过构成滤光器78B的滤光器以及构成颜色传感器中的第二滤光器的滤光器，能够同时获取光谱信息，其可以等效于3乘3，或9种类型的带通滤光器。然而，严格讲，由于光能够仅透射各自的滤光器的光谱透射区域的一部分，故在实施例中可以获取六种类型的光谱信息。通过以这种方式获取六种类型的光谱信息，能够精确地测量自然界中的光谱，并且能够正确地辨识成像的颜色。该多光谱相机装置构成能够精确地测量可见光的测色相机装置。例如，对于糖含量随着成熟和变红而增加的果实(诸如某种类型的草莓)，能够通过使用多光谱相机装置(测色相机装置)450来估计糖含量，所述多光谱相机装置能够获取整体果实的光谱图像中的可见红色区的光谱反射率。

此外，对于具有薄果皮的果实，例如桃子果实，能够通过测量近红外区域中的光谱反射率的多光谱相机装置450来估计糖含量。

此外，多光谱相机装置450能够非破坏性地和非接触地测量植物的绿叶中所含的水量。水量的测量基于捕获植物的绿叶表面上的光谱特性的改变，所述改变发生在当水在植物中变得不足，并且植物暴露出水应力时。如图23所示，在可见红色区和近红外区域之间，存在反射率急剧增大的区域(红色边缘)。已知当植物暴露出水应力时，反射增加的区域向波长较短的蓝色侧(向左)偏移(蓝移)。图23中的虚线2303表示给予水应力的情况下的蓝移的外观。如果能够检测到偏移量，则能够识别植物叶片中的水量(水应力的程度)。于是，为检测这样的分水胁迫的程度，具体地，在反射率急剧上升的可见红区域与近红外区域之间的区域，测量多个波长的反射率，多光谱相机装置450包含能对应于多个波长区域的光谱滤光器。例如，光谱滤光器可以是，如滤光器78A，特性从可见红色区域连续改变到近红外区域的滤光器，或者可以是选择要透射的期望波长(例如，715nm和740nm)的滤光器。

通过测量在反射率急剧增加的可见红色区域和近红外区域之间的区域中的这些期望波长处的反射率，并且将反射率与参考反射率(例如，没有给予水应力的状态下，各自波长处的光谱反射率)，能够检测偏移量。在这种情况下安装和使用的LED 72可以是能够在反射率急剧增加的可见红色区域和近红外区域之间的区域中输出这些期望波长的LED。可替换地，可以省略LED 72的照明，并且可以通过使用太阳光来执行反射率测量。如果使用太阳光，则从在植物上反射的太阳光中获取的多个波长处的光谱反射率，可以除以从分别安装在农田或操作机器100中的标准白板上反射的太阳光获取的反射率；并且通过将归一化水平彼此进行比较，可以使由于太阳光量的改变而造成的测量值的误差具有较小的影响。注意，光谱反射率不限于在两个波长处测量，还可以在三个或更多个波长处测量以提高精度。以这种方式，通过多光谱相机装置450测量植物中的含水量，使得非破坏性地、非接触地且快速地对待测量的植物执行测量成为可能。

注意，可以组合两个单位的多光谱相机装置(比色(colorimetry)相机装置)450以基于与上述立体相机装置410中采用的原理相同的原理来测量距离。这使得通过单次成像操作获取对象的图像、光谱信息，以及距离信息(视差信息)成为可能。

<环境信息获取单元>

图24是示出环境信息获取单元500的示意图。与能直接获取关于植物本身的信息的操作机器100的植物信息获取单元400(包含立体相机装置410、偏振相机装置430，以及多光谱相机装置450)相比，环境信息获取单元500间接地获取用于估计关于植物的信息的环境信息。环境信息获取单元500获取诸如植物栽培装置10内的温度，湿度，光照的环境信息，并将所获取的环境信息传输至服务器704。环境信息获取单元500包含温度传感器5002、湿度传感器5004、光照传感器5006、风速传感器5008、CO₂浓度传感器5010、水传感器5012、养分传感器5014、用来电学地连接各种传感器的总线5016，以及无线通信单元5018。注意，虽然为简单起见，图24中仅示出了各个传感器的单独实例，但实际上布置了多个实例，因为需要在整个植物栽培设施10上获取信息。

温度传感器5002是能够获取大气温度，以获取植物栽培设施10中的温度的通用传感器，诸如热敏电阻。湿度传感器5004是能够获取大气湿度，以获取植物栽培设施10中的湿度的通用传感器，诸如可变电阻型和静电电容型。光照传感器5006是能够获取周围光的照度，以获取植物栽培中的光照的通用传感器设施10的通用传感器，诸如光电晶体管和光电二极管。风速传感器5008是在预定壳体中具有通道以能够至少检测风速，以获取植物栽培设施10中的风速的传感器。CO₂浓度传感器5010是能够获取大气中CO₂(二氧化碳)浓度，以获取植物栽培设施10中的CO₂浓度的通用传感器，诸如NDIR(非分散红外气体分析仪)和光声型传感器。水传感器5012是能够获取的水量，以获取在植物栽培设施10中种植的植物的土壤或聚氨酯泡沫中的水量的通用传感器，诸如可变电阻型和静电电容型。养分传感器5014是能够基于电导率等的测量来获取养分浓度，以获取在植物栽培设施10中种植的植物的土壤或聚氨酯泡沫中的养分量的通用传感器。无线通信单元5018将由诸如温度传感器5002的传感器获取的、与传感器的ID相关联的环境信息传输至服务器704。

<环境调节单元>

图25是示出环境调节单元600的示意图。环境调节单元600基于来自服务器704的信息，相对于温度、湿度、光照等调节植物栽培设施10中的环境。环境调节单元600包含温度调节单元6002、湿度调节单元6004、光照调节单元6006、风速调节单元6008、CO₂浓度调节单元6010、水调节单元6012、养分调节单元6014、用来电学地连接各种传感器的总线6016，以及无线通信单元6018。上述的每个单元基于来自服务器704的、由无线通信单元6018接收的控制信号而被控制。

温度调节单元6002对整体的植物栽培装置10执行大气调节，以调节植物栽培装置10内的温度。注意，温度调节单元6002可以被配置为带有用于冷却和加热的孔的管道，其布局来覆盖诸如植物的叶片和生长点固定点，并具有朝向固定点延伸的喷嘴，以便调节固定点处的温度。通过考虑最佳温度而调节温度、白天和晚上的温度差或诸如此类，可以调节光合作用以及呼吸，以加速或减速植物的生长。湿度调节单元6004通过干燥剂型的加湿和除湿技术，调节植物栽培设施10中的湿度。通过控制湿度，能够调节来自植物的蒸腾，这也使得加速或减速植物的生长成为可能。光照调节单元6006为LED或诸如此类，其在必要时被控制开启和关闭，以便调节植物栽培设施10中的光照。由于光极大地影响植物的光合作用，故控制光照也使得控制植物的生长成为可能。风速调节单元6008通过鼓风机进行鼓风来调节植物栽培设施10中的风速。特别地，通过控制植物叶片表面的风速，可以调节植物的蒸腾速率，这也使得加速或减速植物的生长成为可能。CO₂浓度调节单元6010引入外部空气，或燃烧燃料以在植物栽培设施10中生成CO₂，用于调节CO₂浓度。由于通过光合作用和呼吸来交换CO₂的速率受CO₂浓度的影响，故控制CO₂浓度预期具有激活光合作用和呼吸的效果，以加速植物的生长。注意，CO₂浓度调节单元6010可以不生成CO₂，而是可以再利用在另一设施处生成的CO₂。水调节单元6012供应水，以调节植物栽培设施10中的土壤、聚氨酯泡沫或诸如此类中的水量。土壤或诸如此类中的水量影响植物的蒸腾，因此，有助于调节植物的生长。养分调节单元6014供应养分溶液，以调节植物栽培设施10中的土壤、聚氨酯泡沫或诸如此类中的养分。通过控制养分的量，能够调节植物的生长。

上述调节单元通常由服务器704控制，以便维护环境条件并将其调节到预定的设置条件。

[系统的操作]

通过使用图26到30，将根据实施例描述植物栽培系统1的操作。这些图中的流程图所示的植物栽培系统1的操作为代表性的操作。其他操作和更加详细的操作可以已被描述过或将通过文字来描述。另外，如已经描述的，直接或经由无线接入点中继，通过有线或无线通信来执行操作机器100、服务器704、用户终端710和712、环境信息获取单元500、环境调节单元600等之间的信息交换。如果无线电波的无线通信无效，则可以执行使用可见光或非可见光的无线信息通信。

注意，虽然在目前为止和以下的描述中，主要是由服务器704执行的操作，但更确切地说，是由服务器的CPU遵循存储在SSD等中的程序而执行的操作，为简化描述起见假设所述操作是由服务器704执行。另外，虽然在目前为止和以下的描述中，主要是由操作机器100执行的操作，但更确切地说，是由安装在操作机器100中的控制装置118遵循其中存储的程序而执行的操作，为简化描述起见假设所述操作是由操作机器100执行。此外，虽然在目前为止和以下的描述中，主要是由用户终端710和712执行的操作，但更确切地说，是由安装在用户终端710和/或用户终端712中的CPU遵循其中存储的程序，或者用户终端的用户的命令而执行的操作，为简化描述起见假设是由用户终端710和/或712执行操作。此外，虽然在目前为止和以下的描述中，是由立体相机装置410、偏振相机装置430多光谱相机装置450、环境信息获取单元500、环境调节单元600，或另一装置执行操作，但更确切地说，是由安装在其中的控制处理器或CPU遵循存储在每个装置和数据库中的程序而执行的操作，为简化描述起见假设操作由偏振相机装置430、多光谱相机装置450、环境信息获取单元500、环境调节单元600或其他装置执行操作。

[预测收获时间的处理：第一应用例]

图26是根据实施例示出预测收获时间的处理的流程图。实施例中的植物栽培系统1执行预测收获时间的处理，以预测目标植物的收获时间。

具体地，操作机器100的多光谱相机装置450获取用于获取在特定范围中的亮度图像和归一化植被指数NDVI的图像(以下称为“NDVI图像”)，所述范围包含收获时间预测的目标，并且从放置于植物前方的板(未示出)上的二维码中获取目标植物(植物群)的植物管理ID(步骤S100A)。植物管理ID与关于目标植物的信息相关联，包含其种类，并且存储于数据库706中。

多光谱相机装置450基于获取的亮度图像以及通过预先学习而存储在存储单元中的特征量来辨识目标植物，以识别与植物相对应的图像中的区域(步骤S102A)。

基于所获取的NDVI图像和所识别的植物的区域，多光谱相机装置450计算与目标植物相对应的NDVI值(步骤S104A)。此处将与植物相对应的图像上的区域中各自像素中的NDVI值的平均用作NDVI值。

操作机器100将植物管理ID以及计算的NDVI值传输至服务器704(步骤S106A)。服务器704接收并获取植物管理ID和NDVI值，并基于所获取的植物管理ID，来获取存储在数据库706中的NDVI函数N(d)(步骤S108A)。此处所述的NDVI函数N(d)是经过的天数d(0到收获时间dh)以及NDVI值的函数，所述NDVI是对于在环境中满足上述设置条件的一定时间段的时间，基于目标植物的NDVI值的时间序列信息而获取的。由于至少从栽培开始直到收获的时间，植物的生长程度，或NDVI值，在经过的天数d增加的同时而增加，故NDVI函数N(d)是单调递增函数，其满足N'(d)≥0，因此，可以从NDVI值中识别对于植物要经过的天数中已经过去了多少天。

服务器704从所获取的NDVI函数N(d)以及NDVI值中识别当前日dn(步骤S110A)。从所识别的当前日dn和收获时间dh中，所述服务器704计算直到收获为止要经过的时间段dh-dn，并且基于计算的时间段和通过内置于服务器704中的时钟所获取的当前日，来识别预测收获日期dp(步骤S112A)。

服务器704控制用户终端710和712以基于所识别的预测收获日期dp来生成用于显示屏幕的控制信号，或者生成用于执行后述的收获时间调节的处理的控制信号(步骤S114A)。所生成的控制信号用于各种控制操作。然后，在完成了步骤S114A后，操作机器100移动至正在栽培的下一植物群的附近位置，并重新开始从步骤S100A开始的处理。

注意，步骤S102A到S104A可以由服务器704执行。在这种情况下，操作机器100将在步骤S100A获取的信息传输至服务器704。另外，不需要执行步骤S106A。如上所述配置，能够在服务器704上执行具有很多负载的步骤。

另外，可以不使用NDVI图像，但系统可以被配置以使多光谱相机装置450获取所述NDVI值。

[预测收获时间的处理：第二应用例]

图27是根据实施例示出预测收获时间的处理的另一示例的流程图。第二应用例中的植物栽培系统1能够基于除了，或者代替由第一应用示例中的多光谱相机装置450获取的NDVI值之外，还可以基于由立体相机装置410获取的植物尺寸值来执行预测收获时间的处理。在下文中，将描述使用除NDVI值之外的植物尺寸值的示例。

操作机器100的多光谱相机装置450获取包含收获时间预测的目标的一定范围内的亮度图像和NDVI图像(步骤S100B)。另外，操作机器100的立体相机装置410获取包括收获时间预测的目标的一定范围内的亮度图像和视差图像，并且从放置于植物前方的板上的二维码中获取目标植物(植物群)的植物管理ID(步骤S101B)。此处，植物管理ID通常由具有相对较高分辨率的立体相机装置410获取，但也可以通过多光谱相机装置450获取。

多光谱相机装置450基于获取的亮度图像以及通过预先学习存储在存储单元中的特征量来辨识目标植物，以识别与植物相对应的图像中的区域(步骤S102B)。

立体相机装置410基于获取的亮度图像和通过预先学习存储在存储单元中的特征量来辨识目标植物，以识别与植物相对应的图像中的区域(步骤S103B)。

基于所获取的NDVI图像和所识别的植物的区域，多光谱相机装置450计算与目标植物相对应的NDVI值(步骤S104B)。

基于获取的视差图像和植物的识别区域，立体相机装置410计算与目标植物相对应的植物尺寸值(步骤S105B)。植物尺寸值对应于植物的尺寸，其能够由立体相机装置410计算，例如，通过测量如在先前的成像中捕获的位置中相同的对象的枝之间的距离，或者通过测量叶片的大小。

操作机器100将植物管理ID、计算的NDVI值，以及植物尺寸值传输至服务器704(步骤S106B)。

基于接收到的植物管理ID，服务器704获取存储在数据库706中的收获时间识别函数H(d)(步骤S108B)。此处的收获时间识别函数H(d)是由NDVI函数N(d)和植物尺寸函数S(d)所定义的函数，并且如在第一应用例中，是经过的天数d(0至收获时间dh)、NDVI值，以及植物尺寸值。其可以被简单定义为：

H(d)＝αN(d)+βS(d)(α≥0andβ≥0)

其中α和β是取决于NDVI和植物尺寸中的哪一个作为用于收获那种植物的参考值而定义的加权系数。因此，类似于收获时间识别函数H(d)，该值由ID唯一地识别。类似于NDVI值，由于至少直到收获时间，在经过的天数d增加的同时植物尺寸值增加，故收获时间识别函数H(d)是满足H'(d)≥0的单调递增函数，因此，可以从NDVI值和植物尺寸值中识别对于植物要经过的天数中已经过去了多少天。

服务器704从收获时间识别函数H(d)、NDVI值，以及植物尺寸值识别当前日dn(步骤S110B)。从识别出的当日dn和收获时间dh中，服务器704计算出直到收获为止所经过的时间段dh-dn，并且基于计算出的时间段和通过内置于服务器704中的时钟获取的当前日，来预测收获日dp(步骤S112B)。

服务器704控制用户终端710和712以基于所识别的预测收获日期dp来生成用于显示画面的控制信号，或者生成用于执行后述的收获时间调节处理的控制信号(步骤S114B)。所生成的控制信号用于各种控制操作。如果控制用户终端710和712以生成用于显示屏幕的控制信号，则可以响应来自用户的输入，显示屏幕。然后，在完成步骤S114B后，操作机器100移动到正在耕作的下一植物群的附近位置，并且重新开始从步骤S100B开始的处理。

注意，步骤S101B至S105B可以由服务器704执行。在这种情况下，操作机器100将在步骤S100B和步骤S101B处获取的信息传输至服务器704。另外，不需要执行步骤S106B。如上所述配置，能够在服务器704上执行具有很多负载的步骤。

当根据该应用例执行预测收获时间的处理时，多光谱相机装置450可以是与立体相机装置410分离的装置，但更优选的是，将两个单位的多光谱相机装置450组合以基于与如上所述的立体摄影设备410中采用的相同原理，来测量距离。通过使用这样的设备，可以共享用于多光谱相机装置450中的处理以及立体相机装置410中的处理的一部分图像，并且可以实施更加有效率且高精度的系统。

注意，虽然在应用例中通过立体相机装置410获取植物尺寸，但所述植物尺寸也可以通过与由多光谱相机装置450捕获的植物前面的板的图像进行比较而计算出。

另外，可以不使用NDVI图像，但是可以配置所述系统以使多光谱相机装置450获取所述NDVI值。

[调节收获时间的处理]

图28是根据实施例示出调节收获时间的处理的流程图。实施方式中的植物栽培系统1执行调节收获时间的处理，以调节目标植物的收获时间。具体地，服务器704接收由用户在用户终端710上输入的期望的收获日期dw(步骤S200)。该期望的收获日期dw可以是由用户输入的日期。可替换地，通过从由用户输入的期望配送日期中减去配送花费的预定天数，可以获取期望的收获日期。在这种情况下，用户在用户终端710上订购期望的植物，并且于此同时，输入期望的配送日期以及期望的配送区域。服务器704接收所输入的期望的配送日期以及期望的配送区域，并且通过从所述期望的配送日期减去特定于用户期望的配送区域的配送花费的天数，来计算收获日期，这将在后面描述。

服务器704通过ID识别目标植物群，所述植物群的期望的收获日期已被计算出，并且确定在预测收获时间的处理中的步骤S112A或B处获取的所预测的收获日期dp是否早于期望的收获日期dw(步骤S202)。如果dw-dp>0(步骤S202处为“是”)，则预测的收获日期早于期望的收获日期，服务器704计算用于减速植物生长的控制条件，并且将用来执行控制的所述减速信号传输至环境调节单元600(步骤S204)。

环境调节部600基于接收到的减速信号，通过温度调节单元6002、光照调节单元6006等的环境调节，执行用于减速植物生长的控制(步骤S206)。例如，环境调节单元600使温度调节单元6002降低对于目标植物群的环境温度，以及使光照调节单元6006降低光照。

另一方面，如果dw-dp<0(步骤S202处为“否”)，则预测的收获日期在期望的收获日期之后，服务器704计算用于加速植物生长的控制条件，并且将所述加速信号传输至环境调节单元600(步骤S208)。环境调节单元600基于接收到的加速度信号，通过由温度调节单元6002、光照调节单元6006等的环境调节，来执行用于加速植物生长的控制(步骤S210)。例如，环境调节单元600使温度调节单元6002增加目标植物群的环境温度，以及使CO₂浓度调节单元6010增加CO₂浓度。上述控制基于预测的收获日期dp和期望的收获日期dw，这可能引起植物栽培设施10中环境的突然改变。于是，通过基于天数的时间微分值来执行控制，可以以相对较小的环境改变来执行控制。

注意，如果预测收获日期与收获日期相同(dw-dp＝0)，则将传输用于以相同速率来继续生长的控制信号至环境调节单元600。

虽然在上文的描述中区分了减速信号与加速信号，但是所述两者均为用于控制环境调节单元600的信号，故可以不被区分。

另外，代替传输用于以相同速率来继续生长的控制信号，也可省略发送这样的控制信号。

[灭除害虫的处理]

图29是根据实施例示出灭除害虫的处理的流程图。实施例中的植物栽培系统1执行灭除害虫的处理，以灭除侵害目标植物的害虫。

具体地，操作机器100的偏振相机装置430获取在一定范围内的亮度图像和偏振比图像，所述范围可包含可能需要灭除害虫的目标，并且从放置于植物前方的板上的二维码中获取目标植物(植物群)的植物管理ID(步骤S300)。

偏振相机装置430基于获取的亮度图像和通过预先学习存储在存储单元中的特征量来辨识目标植物，以识别与植物对应的图像中的区域(步骤S302)。偏振相机装置430基于所获取的偏振比图像和所识别的植物的区域，来识别侵害目标植物的害虫，并且计算植物占有率P(步骤S304)，其表示在植物的区域中被害虫侵害的面积与目标区域(例如叶片)的比率。

偏振相机装置430将计算的植物占有率P以及植物管理ID传输至服务器704(步骤S306)。服务器704接收并获取植物管理ID以及植物占有率P，并且确定所获取的植物占有率P是否超过预定值P0(例如，5％)(步骤S308)。

如果P>P0(步骤S308中为“是”)，则服务器704生成表示要执行灭除害虫的处理的灭除信号，将所述灭除信号传输至操作机器100，并将植物管理ID以及计数值传输至数据库706(步骤S310)。此处的计数值是用于计数已经执行了多少次的灭除害虫的处理的指数值。由于杀虫剂通常用于灭除害虫，取决于植物的种类，考虑到人的健康，可能需要限制灭除的次数。能够通过计数值来管理灭除害虫的处理的次数。注意，虽然上述次数是能够间接测量喷洒杀虫剂的量的指数值，但也可以使用直接表示所述量的信息。

服务器704确定作为计数值的所计的次数是否超出提前设置的预定的次数(步骤S312)。如果服务器704在步骤S312处确定没有超出预定的次数(步骤S312处为“否”)，则操作机器100基于所接收的灭除信号，通过使用安装在操作机器100中的杀虫剂喷射装置(未示出)，来执行灭除害虫的处理(步骤S314)。

在此之后，操作机器100移动至下一个目标，并开始灭除害虫的处理(步骤S316)。

另一方面，如果服务器704在步骤S312处确定已经超过所述预定次数(步骤S312处为“是”)，或者如果在步骤S308处为P≤P0(步骤S308处为“否”)，则服务器704生成表示不执行灭除害虫的处理，并将所述信号传输至操作机器100(步骤S318)。

基于接收的非灭除信号，操作机器100不执行灭除害虫的处理，移动到下一个目标，并开始灭除害虫的处理(步骤S316)。在这种情况下，服务器704向用户终端710和712指示尚未执行害虫的灭除。通过该指示，用户可以手动地执行对害虫的灭除。注意，也可以被配置来生成用于控制操作机器100移动到下一个目标的信号，而不执行在步骤S316处的灭除害虫的处理，不在步骤S310向操作机器100传输灭除信号。

虽然在上述实施例中使用偏振比图像，但也可以使用光谱图像。在光谱图像上可以辨识在通常的亮度图像上不能被辨识的害虫。

[通过补充光源照明的处理]

图30是根据实施例示出通过补充光源照明的处理的流程图。实施例中的植物栽培系统1执行通过补充光源照明的处理，以通过补充光源来补充太阳光来照明植物。

具体地，服务器704经由互联网从外部信息源(未示出)中获取天气预报信息(步骤S400)。服务器704基于利用通过调节收获时间的处理所获取的天气预报信息而识别的、针对光照调节单元6006设置的LED的照明条件，来确定是否执行LED的照明。换言之，服务器704通过图28所示的调节收获时间的处理，来确定是否执行用于减速植物生长的调节(步骤S402)。

如果执行用于减速植物生长的调节(步骤S402处为“是”)，则不管天气预报如何都不执行LED的照明，因为LED的照明具有不利影响。

如果不进行用于减速植物生长的调节(步骤S402处为“否”)，则服务器704从天气预报信息中确定是否执行LED的照明(步骤S404)。

如果通过天气预报预测下雨天气等，并且与晴天相比，不足的光照需要LED的照明(步骤S404处为“是”)，则服务器704生成表示要执行LED的照明的照明信号，并将所述信号传输至环境调节单元600(步骤S406)。

环境调节单元600基于接收的照明信号，执行光照调节单元6006的LED的照明(步骤S408)。

另一方面，如果通过天气预报预测为晴天，并且足够的光照不需要LED的照明(步骤S404处为“否”)，则不执行LED的照明。注意，可以基于由光照传感器5006获取的光照与外部信息源一起，或代替外部信息源，来执行LED的照明控制。

[收获处理]

图31是根据实施例示出收获处理的流程图。实施例中的植物栽培系统1执行用于收获的处理以收获处于需要收获状态的目标植物。具体地，操作机器100的多光谱相机装置450获取一定范围内的亮度图像和NDVI图像，所述范围包含要确定用于收获的植物，并且从放置于在植物前方的板上的二维码中获取目标植物的植物管理ID(步骤S500)。

多光谱相机装置450基于所获取的亮度图像和通过预先学习存储在存储单元中的特征量来辨识目标植物，以识别与植物对应的图像中的区域(步骤S502)。

基于所获取的NDVI图像和所识别的植物的区域，多光谱相机装置450计算与当前日dn处的目标植物相对应的NDVI值(dn)(步骤S504)。

操作机器100将植物管理ID和计算的NDVI值(dn)传输至服务器704(步骤S506)。服务器704接收并获取植物管理ID和NDVI值，并且基于所获取的植物管理ID，获取存储在数据库706中的NDVI值(dh)(步骤S508)。此处的NDVI值(dh)是对应于收获时间dh的NDVI值。

服务器704将获取的NDVI值(dh)与从操作机器100接收的NDVI值(dn)进行比较，以确定目标植物是否处于需要收获状态(步骤S510)。如果NDVI值(dn)≥NDVI值(dh)，即dn≥dh，则确定为需要收获状态(步骤S510处为“是”)，服务器704生成表示收获的收获信号，并将所述信号传输至操作机器100(步骤S512)。

响应接收的收获信号，操作机器100使立体相机装置410捕获包含目标植物的区域的图像，以获取亮度图像和视差图像(步骤S514)。

立体相机装置410基于获取的亮度图像和通过预先学习存储在存储单元中的特征量来辨识目标植物，以识别与植物相对应的图像中的区域(步骤S516)。

基于所述视差图像，立体相机装置410计算所识别的区域的距离信息(步骤S518)。

通过使用所获取的距离信息，操作机器100识别用于收获的切断位置，并且通过收割装置106的收获剪切机108、抓取臂110，以及收获箱112执行切断和收获操作(步骤S520)。

在此之后，操作机器100移动到相邻的植物，直到对于植物群中的植物的收获处理完成为止，并且当已处理完整个植物群时移动到下一个群，以开始收获处理(步骤S522)。

另一方面，如果在步骤S510处的NDVI值(dn)<NDVI值(dh)，即如果dn<dh，则确定为不处于收获需要状态(步骤S510处为“否”)，服务器704生成表示非收获的非收获信号，并所述该信号传输至操作机器100(步骤S524)。

响应接收的非收获信号，操作机器100移动到下一组，以开始收获过程(步骤S522)。

注意，当执行收获过程时，多光谱相机装置450可以是与立体相机装置410分离的装置，但更加优选的是，两个单位的多光谱相机装置450组合以基于与如上所述的立体相机装置410中采用的相同的原理来测量距离。通过使用这样的装置，能够共享用于多光谱相机装置450中的处理以及立体相机装置410中的处理的一部分图像，并且能够实施更加有效率且高精度的系统。

注意，虽然在收获过程中通过立体相机装置410获取距离信息，但也可以通过与由多光谱相机装置450捕获的植物前的板的图像进行比较，来计算距离信息。除此之外，可以使用任何用于获取距离信息的其它设备，诸如可以使用激光雷达。

[收费处理]

如上所述，服务器704(或用于收费管理的服务器，以下同样适用)也执行收费处理(计费处理)。由于系统提供方能够通过适当地收集系统使用费来继续业务、开发新服务，以及改进当前服务，故通过所述技术自动地、正确地，并且有效率地执行收费处理是需要解决的问题。

存在各种形式的收费方法，实施例中的植物栽培系统1的用户能够选择所述方法。以统一费率的收费形式包含：例如，(i)如图2所示的信息通信系统1502的使用费；(ii)如图1所示的植物工厂中的系统1501(包含植物信息获取单元400、环境信息获取单元500，以及环境调节单元600)的租金(单个单位的装置每月100美元，单个单位的操作机器每月200美元)；以及(iii)土地租金(植物工厂)(每平方米15美元)。

在系统提供方与用户之间同意的收费形式，在系统使用开始时被登记在数据库708中。服务器704定期(例如，每月一次)向用户终端710和712传输要计费的费用，对于在数据库708中注册的、各自的或组合的、诸如上述(i)至(iii)的收费形式。

以按次支付的收费形式包含：例如，(i)处理的类型；(ii)处理时间；(iii)处理的地点的尺寸；(iv)由服务器704执行的分析；(v)收获日期预测的执行；(vi)市场需求的获取；以及(vii)植物栽培系统1中的信息通信量。可以分别或组合采用这些形式。如上所述，由服务器704将关于这些(i)至(vii)的信息(或生成(i)至(vii)的信息)记录在数据库708上。例如，对于(i)与(ii)的组合，服务器704可以对于处理的类型(收获，每小时5美元)以及处理时间(20小时)，来生成100美元的总费用，或者对于(i)与(iii)的组合，服务器704可以对于作业的类型(平整土地，每平方米0.2美元)以及作业地点的大小(1000平方米)，来生成200美元的总费用。以这种方式，由于对于植物培育系统1，容易在预定时间段(例如，一个月)的期间识别作业的内容(作业的类型、作业小时数、作业地点的尺寸、作业的操作机器等)，故可以取决于工作内容向用户收取费用。另外，除了(i)与(ii)这样的组合外，服务器704可以生成，例如多次(五次)执行的收获日期预测的总费用(形式(v)，每次10美元)，其总计50美元。服务器704基于登记在数据库708中的信息，计算(i)至(vii)的作业的各自费用，并且在每个预定时间段(例如，每半年)，在用户终端710和712上执行计费。

此外，植物栽培系统1提供以成功酬金(contingent fee)的收费形式。以成功酬金的收费形式包括：例如，(i)对于通过使用植物栽培系统1收获的植物的销售额，以一定比例(例如，20％)收费，(ii)对于由所述植物栽培系统1栽培的植物的作物产量的增加量的销售额，以一定比例(例如，50％)收费，(iii)附加了反映收获的植物的市场价格的可变费率(例如，如果市场价格相对于参考价格突然超过一定水平，或者如果市场价格崩溃，则降低比率)的(i)和(ii)来收费。用于计算(i)到(vii)的这些形式的信息被记录在数据库708上。服务器704从存储在数据库708中的数据中，计算这些费用，并且在每个预定时间段(例如，每半年)在用户终端710和712上执行计费。

另一方面，如果用户满足预定条件，则可以折扣所述费用。例如，如果用户带来关于植物栽培系统1的有用信息(例如，害虫的类型、生成的地方，以及生成的数量)，则可以按照带预定次数上限(每月10次)的每次3美元折扣费用。可以设置预定的金钱数量作为上限。另外在这种情况下，信息还可能已被记录在数据库708上，并且服务器704可以参考用于折扣的信息。因此，植物栽培系统1的系统提供方在未来能够获取植物栽培系统1的有效操作所需的数据，并且用户可以接收系统使用费的折扣，这对双方都有利。

另外，如果用户通过远程控制等在操作机器100上操作，则可从其中自动控制而降低系统使用费。这种情况下的定价是基于由植物栽培系统1提供的值，即，所述值越高(以自动控制，然后，遥控的顺序)，设定越高的费用。服务器704从存储在数据库706至708以及服务器704中SSD中的数据中获取这种折扣的信息，计算降低的费率，并且以计算的折扣在用户终端710和712上执行计费。服务器704能够分别地以及独立地，或以它们的共同组合的形式，执行以通过统一费率、以按次支付，以及成功酬金的形式的费用的计费。此时，上述折扣也被考虑在内。以这种方式，植物栽培系统1可以自动地获取并自动地求和从作业开始到作业完成，甚至直到收获之后作物的零售，的相关信息，因此，能够正确地且有效率地执行收费处理。

注意，植物栽培系统1的用户可以通过在用户终端710和712上使用信用卡、借记卡，以及任何其他类型的电子货币来执行电子支付。另外，银行转账也是可以接受的。如果服务器704已经在用户终端710和712上发送帐单后，不能确认到预定截止日期的费用的支付，则服务器704可以在用户终端710和712上发送提醒，或者可以通过其他的手段，诸如邮寄，发送提醒。如果，即使在已发送提醒后，服务器704仍不能确认预定截止日期的费用的支付，则服务器704可以禁止用户使用一部分或全部的植物栽培系统1。因此，可以限制没有支付使用费的用户使用植物栽培系统1。

[使用PRI的灌溉控制]

由于NDVI是具有不急剧改变的趋势的值，故能够用于稳定的育成控制。另一方面，NDVI不适合作为用于监视短周期的植物状态来控制育成的指数。于是，使用称作“PRI”(光化学/生理反射指数)的指数是有效率的。由公式(10)计算PRI，其中，R531是R570是分别在波长531nm和570nm的反射率。

PRI＝(R531-R570)/(R531+R570) (公式10)

图32是示出所述PRI的示例图，其中对于植物叶片，呈现在500与600nm之间的光谱反射光谱。实线321表示不具给予水应力的叶片的光谱反射光谱，而虚线322表示给予水应力的叶片的光谱反射光谱。已经用图23描述了水应力对反射率的影响，而图32的光谱反射光谱表现了典型的情况。换言之，虽然就绝对值以及相对于波长的斜率而言，所述反射率取决于植物、空气温度、育成阶段等而变化，但水应力在宽波长范围内改变反射率。已经认为这种改变是由于当给予植物水应力时，包含于叶片中的叶绿体的色素的性质改变而引起的。

这种改变发生在给予水应力之后的相对短的时间内，大约一小时。因此，如果能够监视反射率的所述改变，则能够实现有效率的灌溉。上述PRI被认为是监视反射率改变的有效率的指数。

另外，已知PRI与光合作用的速度具有高度的正相关性(光合作用的速度越大，PRI变得越接近“1”)。此外，已知如果给予植物水应力，叶片的气孔关闭，光合作用的速度急剧下降。因此，关于光合作用的速度以及PRI的这种知识还对通过使用PRI来定量测量水应力给予支持。

如已描述的，多光谱相机装置450能够分别检测波长531nm和570nm的光的反射率。在这种情况下，在图22B中的滤光器78C中，与531nm附近的波长区域相对应的滤波器被采用为滤光器78Ca，与570nm附近的波长区域相对应的滤波器被采用为滤波器78Cb。理论上，能够在整体成像区域上获取PRI。

另外，对于大约一半安装在多光谱相机装置450中的LED72，采用具有波长531nm附近的强度的LED，而对于剩余的一半，采用具有波长570nm附近的强度的LED。如此配置的多光谱相机装置450在目标植物上通过LED灯执行照明，并且捕获反射光的图像。然后，FPGA66获取波长531nm中光谱图像，以及波长570nm的光谱图像。光谱反射率计算单元68计算这些光谱图像中期望位置或区域中的光谱反射率。光谱反射率计算单元68还通过使用公式10计算PRI。FPGA 66可以基于上述的光谱图像，计算对于每个像素的PRI。

注意，代替多光谱相机装置450，已经获取光谱图像和关于光谱反射率的信息的操作机器100的控制装置118或服务器704，可以通过使用公式10来计算PRI。以这种方式计算的对于每个植物的PRI积累在数据库706中。

如在公式10中显而易见的，PRI在“-1”与“+1”之间取值，但是在实际情况中从叶片反射率中计算的PRI通常具有在零附近的小绝对值。通常，服务器704难以仅仅由于PRI取一定的值，而明确地确定植物是否处于水应力的状态。这是因为反射率受植物的种类、空气温度等的影响。

然而，对于如在植物工厂中的稳定的生长环境中栽培的植物，多光谱相机装置450能够在控制水应力的状态下，预先测量培养目标植物的反射光。因此，服务器704能够积累处于对任何植物控制水应力一定时间段的状态下所观察到的PRI。例如，可以积累单位时间内喷洒的水量与PRI之间的关系，以便获取给予一定植物的水应力与PRI的值之间的关系。另外，植物的管理员能够通过在收获和实际品尝之后的检查，来掌握多少水应力对于提高植物是有效率的。

以这种方式，通过参考预先积累的知识数据，能够清楚PRI的优选值。因此，如果PRI低于阈值(例如，“0”)，则服务器704能够控制水调节单元6012开始灌溉。由于PRI改变其值以响应在小于一小时的极短时间内的水应力，故所述服务器704可以在几分钟的间隔观察PRI以执行适当的灌溉。通过建立这样的PRI观察-灌溉控制系统，植物栽培系统1能够对各个植物执行适当的灌溉。

注意，NDVI能够被用作用于相对长的时间段的控制(诸如管理育成状态以及收获时间)的指数，而PRI是当给予分水胁迫时可以进行短周期控制的指数。通过使用这两种指数，服务器704等能够执行控制，用于在整体育成时间段将植物的质量和作物产量置于期望的状态。

图33是通过植物栽培系统1获取表示水应力与PRI之间关系的数据的处理流程图。在下文中，假设服务器704计算PRI。

首先，植物栽培设施10的环境调节单元600控制水应力，以响应于服务器704的控制以及植物的管理员的操作(步骤S1)。优选地对于覆盖从水分充足状态的状态，到在产品的育成处理期间允许的水分缺乏的状态的宽范围，执行控制水应力。

接下来，操作机器100的多光谱相机装置450获取植物叶片的图像(步骤S2)。与给予水应力平行地完成对植物叶片成像，并且优选地获取多张图像，以便服务器704能够在给予水应力，并且水应力的影响已经暂时变得稳定之后观察所述影响。

多光谱相机装置450将在步骤S2处获取的图像传输至服务器704(步骤S3)。多光谱相机装置450还将水应力的程度传输至服务器704，如果已经控制给予的水应力的程度，则所述水应力的程度可以不是表示是否已给予水应力的二进制值。

接下来，服务器704接收图像(步骤S4)，并且服务器704通过公式10计算PRI(步骤S5)。

服务器704使数据库706积累表示与水应力与PRI之间关系的数据(步骤S6)。以这种方式，给予植物水应力的程度与PRI之间的关系被积累在数据库706中。

图34是表示水应力的程度与PRI之间关系的示意图的示例。在图34A，虽然水应力越大(水量越小)，PRI越向右下，该附图仅为示意图；PRI可向右上，或可不统一改变。

利用从农业雇员、收获以及实际品尝后的检查中获取的关于多少水应力对于植物是优选的知识，能够从图34A中确定优选的PRI

附带地，优选的水应力可以取决于植物的育成阶段而改变。因此，考虑到植物的育成阶段，优选地是服务器704定期(例如，每十天或每月)获取水应力的程度与PRI之间的关系。通过这样做，能够在育成阶段的整个时间段上积累优选的PRI。

图34B是育成月份与优选的PRI之间关系的示意图的示例。根据图34B，该植物在育成阶段的前半段被有利地给予具有更高PRI的水应力，并且在育成阶段的后半段被有利地给予具有更低PRI的水应力。这种给予水应力的方式可以称为“排水”。例如，已知通过在收获果实之前通过“排水”将植物置于有意的水分缺乏状态，来提高果实的糖含量的技术。具有在数据库706中注册的PRI的这些值，为了在预定的育成阶段实现期望的水分缺乏状态，服务器704能够自动执行排水。因此，如果如图34所示的知识已经积累在数据库706中，服务器704能够基于PRI有意地生成优选的水胁迫的状态。

接下来，通过使用图35，将描述使用表示水应力与优选PRI之间的关系的数据的灌溉控制。图35是示出由植物栽培系统1执行的灌溉控制的步骤的流程图。例如，每几分钟重复执行图35所示的处理。

操作机器的多光谱相机装置450间歇地捕获产品的图像(步骤S1)。成像间隔优选为约一分钟。

接下来，多光谱相机装置450将获取的图像传输至服务器704(步骤S2)。

服务器704接收所述图像(步骤S3)，并且服务器704分析所述图像以计算PRI(步骤S4)。

接下来，服务器704用数据库706中的数据验证PRI，以估计水应力的状态(步骤S5)。服务器704读取与当前育成月份相对应的PRI，例如，如图34B所表示的，并将读取的PRI与在步骤S4处计算的PRI进行比较。

接下来，服务器704取决于估计的水应力的状态确定是否执行灌溉(步骤S6)。具体地，服务器704执行控制以便补偿在步骤5估计的水应力的状态与期望的水应力的状态之间的差。换言之，如果估计的水应力的状态(PRI)是相对于期望的水应力的状态(PRI)的水分缺乏状态，则服务器704确定执行灌溉，或者如果处于水分过度状态，则确定不执行灌溉。

如果已经确定执行灌溉(步骤S7处为“是”)，则服务器704生成灌溉控制信号，并所述该信号传输至环境调节单元600(步骤S8)。

环境调节单元600的水调节单元响应灌溉控制信号，执行冲洗控制(步骤S9)。

如上所述，监测PRI使得执行适当的灌溉成为可能。注意，在波长531nm和570nm的反射率不一定用于计算PRI，但是可以使用对于每个植物在最佳波长处的反射率。另外，可以基于任意波长的反射率来监测水应力的状态，而不计算PRI。

[基于实施例的发明]

上述实施例和应用例至少包括具有各自特征的以下发明。

(1)诸如服务器704的信息处理装置处理信息以生成用于控制诸如操作机器100以及用户终端710和712的装置的控制信号。信息处理装置包含获取单元，配置来获取表示诸如植物的特定对象的状态的第一对象状态信息，诸如NDVI值，所述第一对象状态信息从对象的诸如光谱图像信息的图像信息中生成，所述图像信息由诸如光谱相机装置450的成像单元捕获；以及生成单元，配置来基于所获取的第一对象状态信息生成控制信号。

(2)根据(1)所述的信息处理装置，其中，所述获取单元获取从所述对象的光谱图像信息中生成的、表示所述对象的状态的所述第一对象状态信息。

(3)根据(1)所述的信息处理装置，其中，所述获取单元获取关于对象的状态的第一被对象状态信息，所述第一对象状态信息表示从所述对象的偏振图像信息生成的害虫等的植物占有率。

(4)根据(2)所述的信息处理装置，其中，所述获取单元获取所述对象的NDVI值。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，所述获取单元除了获取所述第一对象状态信息之外，还获取从所述光谱图像信息、距离图像信息，以及偏振图像信息中的至少一个中生成的、表示诸如植物尺寸值的所述对象的状态的第二对象状态信息，并基于所获取的第一以及第二对象状态信息生成控制信号。

(6)根据(1)至(5)中任一项所述的信息处理装置，所述生成单元基于所述第一对象状态信息，生成诸如预测收获日期的估计信息，并且基于生成的估计信息以及由用户输入的输入信息，例如期望的收获日期和期望的配送日期，生成控制信号。

(7)根据(1)至(6)中任一项所述的信息处理装置，所述生成单元基于所述第一对象状态信息，获取用于加速或减速植物的生长的控制条件，所述控制条件用于在预定时间段的时间(诸如收获时间)内，使对象的当前状态转变到诸如需要收获的状态的期望状态，并基于所述控制条件生成控制信号。

(8)根据(1)至(7)中任一项所述的信息处理装置，所述生成单元生成关于所述控制信号的控制量(诸如计数值)的量信息，并基于所述量信息生成控制信号或表示由控制信号进行的控制将不被执行的非控制信号。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中，所述获取单元从外部信息源获取用于预测预定目标的行为的预测信息，诸如天气预报，其中，在通过控制信号进行的控制要被执行的情况下，诸如通过用于调整收获时间的处理的控制信号来控制LED照明，生成单元不基于预测信息生成控制信号，并且在通过控制信号进行的控制不要被执行的情况下，基于预测信息生成控制信号。

(10)根据权利要求1至10中任一项所述的装置，所述装置由来自诸如服务器704的信息处理装置的控制信号而被控制，诸如操作机器100，其包含获取单元，其被配置来响应所述控制信号，获取关于从所述装置到对象的距离的信息；以及操作单元，被配置来基于所获取的距离信息对所述对象执行预定作业。

(11)处理信息以生成用于控制诸如操作机器100以及用户终端710和712的装置的控制信号的信息处理系统，诸如植物栽培系统1，其包括成像单元，诸如多光谱相机装置，其被配置为通过捕获诸如植物的特定对象的图像来获取光谱图像信息；计算单元，被配置来计算表示从对象的光谱图像信息中生成的、表示对象的状态的对象状态信息，诸如NDVI值；以及生成单元，被配置为基于所计算的对象状态信息生成所述控制信号。

(12)用于产生控制信号以通过处理信息来控制诸如操作机器100以及用户终端710和712的装置的方法，所述方法包含获取表示诸如植物的特定对象的状态的第一对象状态信息，诸如NDVI值，所述第一对象状态信息从对象的诸如光谱图像信息的图像信息中生成，所述图像信息由诸如光谱相机装置450的成像单元捕获；以及基于所获取的对象状态信息生成控制信号。

(13)用于使诸如服务器704的计算机执行用于处理信息的方法以产生用于控制诸如操作机器100以及用户终端710和712的装置的控制信号的程序，该方法包含获取表示诸如植物的特定对象的状态的第一对象状态信息，诸如NDVI值，所述第一对象状态信息从对象的诸如光谱图像信息的图像信息中生成，所述图像信息由诸如光谱相机装置450的成像单元捕获；以及基于所获取的对象状态信息生成控制信号。

注意，该国际专利申请是基于并要求于2014年7月16日提交的日本专利申请No.2014-146161，以及2015年1月15日提交的日本专利申请No.2015-005745的优先权，其整体内容通过引用并入本文。

到目前为止，已经用实施例和应用示例描述了农业机器以及用于农业领域的系统。注意，本发明不限于实施例和应用示例，而是能够在本发明的范围内进行各种修改和改进。

Claims (14)

1.一种处理信息以生成用于控制装置的控制信号的信息处理设备，所述信息处理设备包括：

获取单元，被配置来获取从由成像单元捕获的对象的图像信息生成的、表示对象的状态的第一对象状态信息；以及

生成单元，被配置基于所获取的第一对象状态信息来生成所述控制信号。

2.根据权利要求1所述的信息处理设备，其中，所述获取单元获取从所述对象的光谱图像信息生成的、表示所述对象的所述状态的所述第一对象状态信息。

3.根据权利要求1所述的信息处理设备，其中，所述获取单元获取从所述对象的偏振图像信息中生成的、表示所述对象的所述状态的所述第一对象状态信息。

4.根据权利要求2所述的信息处理设备，其中，所述获取单元获取所述对象的NDVI值

5.根据权利要求2所述的信息处理设备，其中，所述获取单元获取所述对象的PRI(光化学/生理反射指数)。

6.根据权利要求1至5中任意一项所述的信息处理设备，其中，所述获取单元除了获取所述第一对象状态信息之外，还获取从光谱图像信息、距离图像信息以及偏振图像信息中的至少一个生成的、表示所述对象的状态的第二对象状态信息，并基于所获取的第一以及第二对象状态信息生成所述控制信号。

7.根据权利要求1至6中任意一项所述的信息处理设备，所述生成单元基于所述第一对象状态信息生成估计信息，并基于所生成的估计信息以及由用户输入的输入信息来生成所述控制信号。

8.根据权利要求1至7中任意一项所述的信息处理设备，所述生成单元基于所述第一对象状态信息，获取用于在预定时间段的时间内使所述对象的当前状态转变为期望状态的控制条件，并基于所述控制条件生成所述控制信号。

9.根据权利要求1至8中任意一项所述的信息处理设备，所述生成单元生成关于由控制信号进行的控制的量的量信息，并基于所述量信息，生成所述控制信号或表示由所述控制信号进行的控制将不被执行的非控制信号。

10.根据权利要求1至9中任意一项所述的信息处理设备，其中，所述获取单元从外部源获取用于预测预定目标的行为的预测信息，

其中，在由所述控制信号进行的控制要被执行的情况下，所述生成单元不基于所述预测信息而生成控制信号，以及在由所述控制信号进行的控制将不被执行的情况下，基于所述预测信息而生成控制信号。

11.由来自根据权利要求1至10中任意一项所述的信息处理设备的所述控制信号而控制的装置，其包括：

另一获取单元，被配置来响应所述控制信号，获取关于从所述装置到对象的距离的距离信息；以及

操作单元，被配置基于所获取的距离信息对所述对象执行预定作业。

12.一种处理信息以生成用于控制装置的控制信号的信息处理系统，所述信息处理处理系统包括：

成像单元，被配置来通过捕获对象的图像获取图像信息；

计算单元，被配置来计算从对象的所述图像信息中生成的、表示对象的状态的对象状态信息；以及

生成单元，被配置基于所计算的对象状态信息来生成所述控制信号。

13.一种通过处理信息来产生控制信号以控制装置的方法，所述方法包括：

获取从由图像单元捕获的对象的图像信息生成的、表示对象的状态的对象状态信息；以及

基于所获取的对象状态信息来产生所述控制信号。

14.一种用于使得计算机执行用于处理信息以生成用于控制装置的控制信号的方法的程序，所述方法包括：

获取从由图像单元捕获的对象的图像信息生成的、表示对象的状态的对象状态信息；以及

基于所述获取的对象状态信息生成所述控制信号。