[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7218365B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP7218365B2
JP7218365B2 JP2020523619A JP2020523619A JP7218365B2 JP 7218365 B2 JP7218365 B2 JP 7218365B2 JP 2020523619 A JP2020523619 A JP 2020523619A JP 2020523619 A JP2020523619 A JP 2020523619A JP 7218365 B2 JP7218365 B2 JP 7218365B2
Authority
JP
Japan
Prior art keywords
index
area
image
sunny
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020523619A
Other languages
English (en)
Other versions
JPWO2019235240A1 (ja
Inventor
宏 中川
和宏 山田
陽平 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2019235240A1 publication Critical patent/JPWO2019235240A1/ja
Application granted granted Critical
Publication of JP7218365B2 publication Critical patent/JP7218365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Botany (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Description

本発明は、作物に関する作業の内容の決定を支援する技術に関する。
作物に関する作業の内容の決定を支援する技術が知られている。特許文献1には、作物を撮影した画像データから算出される換算葉色値等の観察されるデータに基づいて、肥料の量の決定等の施肥管理やその他の農作業を含む肥培管理を支援する技術が開示されている。
特開2017-125705号公報
圃場の作物について光に関する量を測定するセンサ(イメージセンサ等)の出力を利用して生育状況を示す指標(例えばNDVI)を取得して作業時期の目安として活用することが行われている。その場合に、日向と日陰では光量が異なるので、同じ育成状況でも得られる指標の値が変化する。
そこで、本発明は、日陰が混じる圃場における生育状況の適切な判断を支援することを目的とする。
上記目的を達成するために、本発明は、撮影された圃場の画像に含まれる当該圃場の日向領域を判定する判定部と、判定された前記日向領域における作物の育成状況を示す指標を日向指標として取得する指標取得部と、取得された前記日向指標を前記日向領域の指標として出力する出力部と、撮影手段を備える飛行体により撮影された圃場の画像を取得する第1画像取得部と、取得された前記圃場の前記画像から前記作物の前記育成状況を示す指標を算出する算出部と、前記飛行体により撮影された指標補正用の画像を取得する補正取得部と、前記指標補正用の画像の撮影条件が日向及び日陰のいずれであるかを特定する条件特定部とを備え、前記指標取得部は、前記圃場の前記画像の全体について算出された前記指標から前記日向領域について算出されたものを前記日向指標として取得し、又は、前記圃場の画像のうち前記日向領域についてのみ算出された前記指標を前記日向指標として取得し、前記算出部は、前記日向の前記撮影条件が特定された場合に、前記圃場の前記画像のうち前記日向領域と判定された部分における前記指標として、取得された前記指標補正用の前記画像に基づいて補正された前記指標を算出する情報処理装置を提供する。
前記算出部は、前記日陰の前記撮影条件が特定された場合に、前記圃場の前記画像のうち前記日向領域と判定されなかった部分における前記指標として、取得された前記指標補正用の画像に基づいて補正された前記指標を算出するようにしてもよい。
また、本発明は、撮影された圃場の画像に含まれる当該圃場の日向領域を判定する判定部と、判定された前記日向領域における作物の育成状況を示す指標を日向指標として取得する指標取得部と、取得された前記日向指標を前記日向領域の指標として出力する出力部と、撮影手段を備える飛行体により撮影された圃場の画像を取得する第1画像取得部と、取得された前記圃場の前記画像から前記作物の前記育成状況を示す指標を算出する算出部と、前記圃場のうち前記日向領域と日陰領域とが切り替わる固定領域を撮影する撮影手段が撮影した前記固定領域の画像を取得する第2画像取得部とを備え、前記指標取得部は、前記圃場の前記画像の全体について算出された前記指標から前記日向領域について算出されたものを前記日向指標として取得し、又は、前記圃場の画像のうち前記日向領域についてのみ算出された前記指標を前記日向指標として取得し、前記算出部は、取得された前記固定領域の画像から得られる前記日向領域の指標と前記日陰領域の指標の相関関係に基づいて、前記圃場の前記画像のうち前記日向領域と判定されなかった部分について補正された前記指標を算出する情報処理装置を提供する。
本発明によれば、日陰が混じる圃場における生育状況の適切な判断を支援することができる。
実施例に係る農業支援システムの全体構成を表す図 サーバ装置のハードウェア構成を表す図 ドローンのハードウェア構成を表す図 農業支援システムが実現する機能構成を表す図 圃場の撮影方法の一例を表す図 日向領域の判定結果の一例を表す図 画素単位のNDVIマップの一例を表す図 領域単位のNDVIマップの一例を表す図 領域単位のNDVIマップの一例を表す図 生育情報の検索画面の一例を表す図 生育情報の検索画面の一例を表す図 生育情報の検索画面の一例を表す図 生育情報の検索画面の一例を表す図 記録処理における各装置の動作手順の一例を表す図 変形例で実現される機能構成を表す図 指標補正用の画像の一例を表す図 変形例で実現される機能構成を表す図 撮影条件の入力画面の一例を表す図 変形例で実現される機能構成を表す図 変形例で設置される撮影手段の撮影範囲の一例を表す図 変形例で実現される機能構成を表す図 指標割合の相関関係の一例を表す図 日向画素及び日陰画素の一例を表す図
1 実施例
図1は実施例に係る農業支援システム1の全体構成を表す。農業支援システム1は、作物の生育状況を表す指標を活用して、圃場(稲、野菜及び果物等の作物を生育する場所)での作業を行う者を支援するシステムである。生育状況を表す指標とは、作物の生育段階の進み具合(例えば収穫に適した時期か否か)と、サイズ及び病気の有無等の状況(活性度ともいう)との一方又は両方を表す指標である。
本実施例では、後述するNDVI(Normalized Difference Vegetation Index:正規化差植生指数)が用いられ、飛行体によって上空から撮影された圃場の画像を用いてその圃場の作物の生育状況を表す指標が算出される。飛行体は圃場を撮影可能であれば何でもよく、本実施例ではドローンが用いられる。農業支援システム1は、ネットワーク2と、サーバ装置10と、ドローン20と、ユーザ端末30とを備える。
ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、サーバ装置10が有線通信で(無線通信でもよい)アクセスしており、ドローン20及びユーザ端末30が無線通信(ユーザ端末30は有線通信でもよい)でアクセスしている。
ユーザ端末30は、本システムのユーザ(例えば圃場で作業を行う作業者)が利用する端末であり、例えばスマートフォン、ノートパソコン又はタブレット端末等である。ドローン20は、本実施例では、1以上の回転翼を備え、それらの回転翼を回転させて飛行する回転翼機型の飛行体である。ドローン20は、飛行しながら上空から圃場を撮影する撮影手段を備えている。ドローン20は、例えば農業支援システム1のユーザである農作業者によって圃場まで持ち運ばれ、撮影飛行開始の操作が行われることで飛行及び撮影を行う。
サーバ装置10は、作業者の支援に関する処理を行う情報処理装置である。サーバ装置10は、例えば、ドローン20により撮影された圃場の映像から前述したNDVIを算出する処理を行う。NDVIは、直物の緑葉が赤色の可視光を多く吸収して近赤外領域の波長(0.7μm~2.5μm)の光を多く反射するという性質を利用して作物の生育状況を数値で表す。作業者は、ユーザ端末30に表示されるNDVIの算出結果が表す生育状況を参考にして、自分が作業を行う圃場の作物への散水、肥料散布及び農薬散布等のタイミングを判断することができる。
図2はサーバ装置10及びユーザ端末30のハードウェア構成を表す。サーバ装置10及びユーザ端末30は、いずれも、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、バス17という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカなど)である。なお、入力装置15及び出力装置16は、一体となった構成(例えば、タッチスクリーン)であってもよい。また、プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス17を介して互いにアクセス可能となっている。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
図3はドローン20のハードウェア構成を表す。ドローン20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、飛行装置25と、センサ装置26と、撮影装置27と、バス28という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ21、メモリ22、ストレージ23、通信装置24及びバス28は、図2に表す同名の装置と同種のハードウェア(性能及び仕様等は異なっていてもよい)である。通信装置24は、ネットワーク2との無線通信に加え、ドローン同士の無線通信を行うこともできる。飛行装置25は、モータ及びローター等を備え、自機を飛行させる装置である。飛行装置25は、空中において、あらゆる方向に自機を移動させたり、自機を静止(ホバリング)させたりすることができる。
センサ装置26は、飛行制御に必要な情報を取得するセンサ群を有する装置である。センサ装置26は、自機の位置(緯度及び経度)を測定する位置センサと、自機が向いている方向(ドローンには自機の正面方向が定められており、その正面方向が向いている方向)を測定する方向センサと、自機の高度を測定する高度センサと、自機の速度を測定する速度センサと、3軸の角速度及び3方向の加速度を測定する慣性計測センサ(IMU(Inertial Measurement Unit))とを備える。
撮影装置27は、レンズ及びイメージセンサ等を有し、イメージセンサで撮影した画像をデジタルデータで記録するいわゆるデジタルカメラである。このイメージセンサは、可視光に加えて、NDVIの算出に必要な近赤外領域の波長の光にも感度を有する。撮影装置27は、自機(ドローン20)の筐体の下部に取り付けられ、撮影方向が固定されており、自機の飛行中に鉛直下方を撮影する。また、撮影装置27は、オートフォーカス機能を有しており、飛行高度が変化しても自動的にピントを合わせて撮影をすることができる。
なお、サーバ装置10及びドローン20は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
農業支援システム1が備えるサーバ装置10及びドローン20には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図4は農業支援システム1が実現する機能構成を表す。サーバ装置10は、圃場画像生成部101と、日向領域判定部102と、指標算出部103と、生育情報生成部104と、生育情報記録部105とを備える。
ドローン20は、飛行制御部201と、飛行部202と、センサ測定部203と、撮影部204とを備える。飛行制御部201は、圃場を撮影する際に自機の飛行を制御する。飛行制御部201は、例えば、ユーザである農作業者が予め登録した圃場の地理的な範囲を示す圃場範囲情報(例えば圃場の外縁を示す緯度及び経度の情報)を記憶しておき、その圃場範囲情報に基づいて、圃場全体の上空を一定の高度で万遍なく飛行する飛行経路で自機を飛行させる制御を行う。
この場合の飛行経路は、例えば長方形の圃場であれば、圃場の一方の辺からその辺に対向する他方の辺まで波状の軌跡を描いて飛行する経路である。他にも、圃場の外縁に沿って飛行して、1週したら内側に経路をずらして渦巻き状の軌跡を描いて飛行する経路であってもよく、要するに圃場の全体を万遍なく飛行する飛行経路であればよい。飛行部202は、自機を飛行させる機能であり、本実施例では、飛行装置25が備えるモータ及びローター等を動作させることで自機を飛行させる。
センサ測定部203は、センサ装置26が備える各センサ(位置センサ、方向センサ、高度センサ、速度センサ、慣性計測センサ)による測定を行い、自機の位置、方向、高度、速度、角速度、加速度を所定の時間間隔で繰り返し測定する。センサ測定部203は、測定した位置、方向、高度、速度、角速度、加速度を示すセンサ情報を飛行制御部201に供給する。飛行制御部201は、供給されたセンサ情報に基づいて飛行部202を制御し、前述した飛行経路に沿って自機を飛行させる。
センサ測定部203は、測定した位置、方向、高度及び速度を示すセンサ情報を撮影部204に供給する。撮影部204は、撮影装置27を用いて被写体を撮影する機能であり、本発明の「撮影手段」の一例である。撮影部204は、飛行制御部201が上記のとおり圃場の上空を飛行する制御を行っているときには、その圃場を被写体として撮影する。撮影部204は、圃場を撮影することで、その圃場において作物が生育している領域(作物領域)も撮影することになる。
撮影装置27のイメージセンサは上記のとおり近赤外領域の波長の光にも感度を有するので、撮影部204が撮影した静止画像を形成する各画素は、可視光の赤色、緑色、青色を示すピクセル値(R、G、B)と共に、近赤外領域の波長の光を示すピクセル値(IR)によって表される。撮影部204は、供給されたセンサ情報に基づいて、圃場内の全ての領域が含まれるように、複数の静止画像を撮影する。
図5は圃場の撮影方法の一例を表す。図5では、ドローン20が圃場A1の上空を波状の軌跡を描いて飛行する際の経路B1が表されている。撮影部204は、センサ情報が示す高度及び撮影装置27の画角から圃場(地上0m地点)の撮影範囲(画角に含まれる圃場の範囲)を算出する。そして、撮影部204は、センサ情報が示す速度及び方向から現時点の撮影範囲と前回の撮影範囲とが重複する面積の割合(例えば撮影範囲の面積を100%とした場合の重複面積のパーセンテージで表す)が閾値未満になったときに次の撮影を行う。
撮影部204は、図5の例であれば、最初に撮影領域C1を撮影し、次に撮影領域C1と少し重なった撮影領域C2を撮影する。また、撮影部204は、自機(ドローン20)の折り返しの際に、算出した撮影範囲の大きさを飛行制御部201に通知する。飛行制御部201は、通知された大きさの撮影範囲が例えば図5の撮影領域C4及びC5のように重複する距離だけ経路をずらして折り返す。
撮影部204は、この方法での撮影を繰り返すことで、図5に表す撮影領域C1からC32までを撮影した静止画像、すなわち、撮影範囲が少しずつ重複した複数の静止画像を撮影する。なお、図5の例では圃場A1が複数の撮影範囲を丁度収められる大きさ及び形になっていたが、そうなっていなくてもよい。その場合は、撮影範囲同士の重複部分を広くしたり、圃場の外部を含めて撮影したりすることで、圃場内の全ての領域がいずれかの静止画像に含まれるようになる。
なお、撮影部204による撮影方法はこれに限らない。例えば撮影の際の飛行速度及び飛行高度が決まっていれば、撮影範囲が図5に表すように重複する時間の間隔が予め算出されるので、その時間の間隔で撮影が行われてもよい。また、圃場の地図と撮影位置とが予め決められていれば、撮影部204は、その決められた位置を飛行しているときに撮影すればよい。また、撮影部204は、自機の記憶容量又は通信速度に不足がなければ、データが大きくなる動画像を撮影してもよい。
これら以外にも、ドローンを用いて地上を撮影するための周知の方法が用いられてもよい。ドローン20が備える各部の動作は、上述した農作業者による飛行開始の操作が行われることで開始される。各部の動作が開始されると、ドローン20は圃場の上空を設定された飛行経路で飛行し、撮影部204は、前述のとおり繰り返し撮影を行う。撮影部204は、撮影を行うと、撮影した静止画像と、撮影に関する撮影情報(撮影したときの位置、方位、高度及び時刻と、撮影装置27の画角とを示す情報)とを示す画像データを生成してサーバ装置10に送信する。
サーバ装置10の圃場画像生成部101は、送信されてきた画像データを受け取ることで、その画像データが示す静止画像を、ドローン20により撮影された圃場の画像として取得する。圃場画像生成部101は本発明の「第1画像取得部」の一例である。圃場画像生成部101は、受け取った画像データが示す撮影情報も取得すると、撮影領域毎の画像から圃場全体の画像を生成する。
圃場画像生成部101は、取得した撮影情報が示す位置、方位、高度及び画角を用いて各画像の重複部分を計算し、重複部分については例えば一方の画像の画素を採用することで圃場全体の画像を生成する。圃場画像生成部101は、生成した圃場全体の画像の各画素に画素IDを割り当てると、その画素ID及び圃場全体の画像を示す圃場全体画像データを日向領域判定部102及び指標算出部103に供給する。
日向領域判定部102は、撮影された圃場の画像に含まれるその圃場の日向領域を判定する。日向領域判定部102は本発明の「判定部」の一例である。日向領域判定部102は、本実施例では、上記のとおりドローン20の撮影部204により撮影された圃場の画像に含まれる日向領域を判定する。日向領域判定部102は、供給された圃場全体画像データが示す圃場全体の画像の各画素のピクセル値に基づいて日向領域を判定する。
日向領域判定部102は、例えば、ピクセル値のうちのR、G、Bの値から各画素のHSV色空間における値(色相H:Hue、彩度S:Saturation、明度V:Value)を算出する。日向領域判定部102は、算出した各画素のHSVの値のうち例えば色相H及び彩度Sの差が所定の範囲内に収まる領域を同じ色の物体の領域(例えば作物領域及び土領域等)と判断する。日向領域判定部102は、そうして判断した同一色の領域において、明度Vの値が差分閾値以上変化する画素を抽出する。
こうして抽出された画素は、日向と日陰の境界を示す可能性がある。日向領域判定部102は、抽出した画素によって区切られる領域のうち明度Vの値が大きい方の領域の明度Vの値の平均値が明度閾値以上である場合に、その明度Vの値は日向の画素を表していると判断し、その領域を日向領域として判定する。また、日向領域判定部102は、日向領域と判定しなかった領域を日陰領域として判定する。
なお、領域の色によって、日向及び日陰の明度Vはそれぞれ異なる大きさになり易く、そのため日向及び日陰の明度Vの差分も異なる大きさになりやすい。例えば緑の葉の領域における日向の画素の明度は、土の領域における日向の画素の明度よりも大きくなりやすい。そこで、日向領域判定部102は、例えば各領域の色相H及び彩度Sの値に応じた差分閾値及び明度閾値(葉領域では土領域に比べて両閾値を大きくする)を用いて日向領域及び日陰領域の判定を行ってもよい。
圃場A1の南側には、図5に表すように、圃場A1の西の端から東西方向の長さの3分の2ほどに沿って林R1が存在するものとする。
図6は日向領域の判定結果の一例を表す。図6では、圃場A1の圃場全体画像E1に、判定結果として、南西側に林R1による日陰領域G1が表されており、それ以外の領域が日向領域F1として表されている。
日向領域判定部102は、上記のとおり判定を行うと、日向と判定した領域に含まれる画素の画素IDを示す日向情報と、日陰と判定した領域に含まれる画素の画素IDを示す日陰情報とを生成する。日向領域判定部102は、生成した日向情報及び日陰情報を圃場全体画像データと共に生育情報生成部104に供給する。
指標算出部103は、圃場画像生成部101により取得された圃場の画像からその画像に写る作物の生育状況を表す指標を算出する。指標算出部103は本発明の「算出部」の一例である。指標算出部103は、上述したNDVIを、生育状況を表す指標として算出する。指標算出部103は、例えば、圃場全体画像データが示す圃場全体の画像の画素毎に、上述した赤色のピクセル値(R)及び近赤外領域の波長の光のピクセル値(IR)をNDVI=(IR-R)/(IR+R)という式に代入してNDVIを算出する。
本実施例では、ドローン20の撮影部204が圃場の画像を撮影し、指標算出部103が上記のとおりNDVIを算出することで、圃場の作物の育成状況が測定されることになる。生育情報生成部104は、各画素に対応する圃場上の位置におけるNDVIを表す画素単位のNDVIマップを生成する。
図7は画素単位のNDVIマップの一例を表す。図7の例では、図5に表す圃場A1の画素単位のNDVIマップM1が表されている。
NDVIマップM1は、図6に表す圃場全体画像E1における左上角の画素D1(NDVI=0.3)と、左下角の画素D2(NDVI=-0.5)と、右上角の画素D3(NDVI=0.3)と、右下角の画素D4(NDVI=0.2)とを角に持つ長方形のマップである。指標算出部103は、算出したNDVIを表すNDVIマップM1を、算出した作物の生育状況を表す指標情報として圃場全体画像データと共に生育情報生成部104に供給する。
生育情報生成部104は、供給された日向情報、日陰情報、指標情報(例えばNDVIマップM1)及び圃場全体画像データを用いて、圃場における作物の生育状況を示す生育情報を生成する。生育情報生成部104は、特に、日向における作物の生育状況を示す日向生育情報と、日陰における作物の生育状況を示す日陰生育情報とを生成する。生育情報生成部104は、これらの情報を例えば次のように生成する。
生育情報生成部104は、指標算出部103から供給されたNDVIマップM1が示す各画素のNDVIのうち、日向領域判定部102により判定された日向領域におけるNDVI(日向領域に含まれる各位置におけるNDVI)を日向指標として取得する。ここでいう位置とは、圃場全体画像の1つの画素が表す位置から複数の画素が表す位置までを含み、いずれの場合もある程度の広さを持った領域を表す。日向指標とは、日向領域の作物の画像から測定される作物の生育状況を表す指標を言うものとする。
生育情報生成部104は、具体的には、指標情報が示すNDVIのうち、日向情報が示す画素IDに対応付けられたNDVIを日向指標として取得する。また、生育情報生成部104は、日向領域と判定されなかった日陰領域の指標(日向領域と判定されなかった位置の指標)を日陰指標として取得する。日陰指標とは、日陰領域の作物の画像から測定される作物の生育状況を表す指標を言うものとする。生育情報生成部104は、指標情報が示すNDVIのうち、日陰情報が示す画素IDに対応付けられたNDVIを日陰指標として取得する。生育情報生成部104は本発明の「指標取得部」の一例である。
生育情報生成部104は、本実施例では、上記のとおり、圃場の画像の全体について指標算出部103により算出されたNDVIから日向領域について算出されたNDVIを日向指標(圃場の日向領域に含まれる位置におけるNDVI)として取得する。また、生育情報生成部104は、圃場の画像の全体について指標算出部103により算出されたNDVIから日陰領域について算出されたNDVIを日陰指標(圃場の日陰領域に含まれる位置におけるNDVI)として取得する。
生育情報生成部104は、取得した日向指標及び日陰指標を用いて、圃場A1を区分する複数の領域毎の作物の生育状況を表す領域単位のNDVIマップを、日向領域及び日陰領域のそれぞれについて生成する。
図8A及び図8Bは領域単位のNDVIマップの一例を表す。図8Aでは図6に表す日向領域F1における領域単位のNDVIマップMf1が表され、図8Bでは図6に表す日陰領域G1における領域単位のNDVIマップMg1が表されている。
図8A及び図8Bの例では、各区分領域がNDVIの平均値の大きさに応じて8段階(Lv1が最も小さく、Lv8が最も大きい)のパターンで表されている。NDVIマップMf1では、圃場A1の北東側に近づくほどNDVIが大きく生育状況がよいことが表されている。また、NDVIマップMg1でも同じく圃場A1の北東側に近づくほどNDVIが大きく生育状況がよいことが表されている。但し、NDVIマップMg1では、NDVIマップMf1と同じ撮影領域を表す区分領域でも、日陰であるためNDVIが小さくなっている。
例えば撮影領域C14を表す区分領域Hc14のNDVIは、NDVIマップMf1ではLv6(大きい方から3番目)であるが、NDVIマップMg1ではLv4(大きい方から5番目)となっている。また、撮影領域C19を表す区分領域Hc19のNDVIは、NDVIマップMf1ではLv7(大きい方から2番目)であるが、NDVIマップMg1ではLv5(大きい方から4番目)となっている。
生育情報生成部104は、生成したNDVIマップMf1を、取得した日向指標から生成したことを示す記号(日向識別記号)、元になった圃場全体画像の撮影情報及び撮影日時に対応付けた情報を上述した日向生育情報として生成する。また、生育情報生成部104は、生成したNDVIマップMg1を、取得した日陰指標から生成したことを示す記号(日陰識別記号)、元になった圃場全体画像の撮影情報及び撮影日時に対応付けた情報を上述した日陰生育情報として生成する。生育情報生成部104は、生成した日向生育情報及び日陰生育情報を生育情報記録部105に供給する。
生育情報記録部105は、生育情報生成部104により生成された日向生育情報及び日陰生育情報を合わせて、圃場における作物の生育情報(作物の生育状況を表す情報)として記録する。生育情報記録部105は、記録した生育情報をユーザ(農作業者)が閲覧可能な状態で(例えばユーザに伝えられているURL(Uniform Resource Locator)でアクセス可能なウェブページに掲載されるように)保持する。
生育情報記録部105は、ユーザ端末30から上記URLへのアクセスがあると、例えば保持している生育情報を検索させる画面を表示させる。
図9A~9Dは生育情報の検索画面の一例を表す。図9Aでは、ユーザ端末30が、時期、圃場名、日照条件の入力欄を含む生育情報検索画面を表示している。この例では、「2017/5/15」の「圃場A1」の「日向」という検索条件が入力されている。
ユーザが検索ボタンH1を押す操作を行うと、ユーザ端末30は、「2017/5/15」を撮影日時とする圃場A1の撮影画像から生成された日向生育情報を要求する要求データをサーバ装置10に送信する。生育情報記録部105は、記録してある生育情報から要求された日向生育情報を読み出し、読み出した日向生育情報をユーザ端末30に送信する。ユーザ端末30は、送信されてきた日向生育情報が示すNDVIマップMf1を図9Bに表すように表示する。
また、ユーザが日照条件だけを図9Cに表すように「日陰」と変更して検索ボタンH1を押すと、ユーザ端末30は、「2017/5/15」を撮影日時とする圃場A1の撮影画像から生成された日陰生育情報を要求する要求データをサーバ装置10に送信する。生育情報記録部105は、記録してある生育情報から要求された日陰生育情報を読み出し、読み出した日陰生育情報をユーザ端末30に送信する。ユーザ端末30は、送信されてきた日陰生育情報が示すNDVIマップMg1を図9Dに表すように表示する。
日向生育情報は、生育情報生成部104により取得された日向指標(日向領域のNDVI)を表すNDVIマップMf1を、日向領域の指標であることを示す日向識別記号に対応付けた情報である。生育情報記録部105は、この日向生育情報をユーザ端末30に対して出力する(送信する)ことで、取得された日向指標を日向領域の指標として対応付けた出力(日向領域の指標であることを見分けられるようにした出力)を行う。
また、日陰生育情報は、生育情報生成部104により取得された日陰指標(日陰領域のNDVI)を表すNDVIマップMg1を、日陰領域の指標であることを示す日陰識別記号に対応付けた情報である。生育情報記録部105は、この日陰生育情報をユーザ端末30に対して出力する(送信する)ことで、取得された日陰指標を日陰領域の指標として対応付けた出力(日陰領域の指標であることを見分けられるようにした出力)を行う。生育情報記録部105は本発明の「出力部」の一例である。
農業支援システム1が備える各装置は、上記の構成に基づいて、作物の生育情報を記録する記録処理を行う。
図10は記録処理における各装置の動作手順の一例を表す。この動作手順は、ユーザである農作業者が圃場にドローン20を持って行き撮影飛行開始の操作を行うことを契機に開始される。まず、ドローン20(飛行制御部201、飛行部202及びセンサ測定部203)は、記憶している圃場範囲情報に基づき圃場上空での飛行を開始する(ステップS11)。
次に、ドローン20(撮影部204)は、圃場上空からの各撮影領域の撮影を開始し(ステップS12)、撮影を行う度に、撮影した静止画像と、撮影情報(撮影したときの位置、方位及び高度を示す情報)とを示す画像データを生成してサーバ装置10に送信する(ステップS13)。サーバ装置10(圃場画像生成部101)は、送信されてきた画像データが示す圃場の画像を取得する(ステップS14)。
次に、サーバ装置10(圃場画像生成部101)は、取得した圃場の画像を合わせた圃場全体の画像を生成する(ステップS21)。続いて、サーバ装置10(日向領域判定部102)は、生成された圃場全体の画像に含まれるその圃場の日向領域及び日陰領域を判定する(ステップS22)。次に、サーバ装置10(指標算出部103)は、生成された圃場全体の画像からその画像に写る作物の生育状況を表す指標(NDVI)を算出する(ステップS23)。
なお、ステップS22及びS23の動作は反対の順番で行われてもよいし、並行して行われてもよい。続いて、サーバ装置10(生育情報生成部104)は、圃場のうちステップS22で判定された日向領域の指標等を示す日向生育情報を生成する(ステップS24)。次に、サーバ装置10(生育情報生成部104)は、圃場のうちステップS22で判定された日陰領域の指標等を示す日陰生育情報を生成する(ステップS25)。なお、ステップS24及びS25の動作は反対の順番で行われてもよいし、並行して行われてもよい。
続いて、サーバ装置10(生育情報記録部105)は、ステップS24及びS25で生成された日向生育情報及び日陰生育情報を合わせて圃場における作物の生育情報として記録する(ステップS26)。そして、サーバ装置10(生育情報記録部105)は、ユーザ端末30からのアクセス(要求)があった場合に、ステップS26で記録した生育情報をユーザ端末30に出力する(ステップS31)。
日陰領域では、日向領域に比べて、反射光が弱くなり画素のピクセル値が小さくなるため、ピクセル値の誤差が同じ値でもNDVIの誤差はより大きな値になる。そのため、日陰領域では、日向領域に比べて、NDVIの精度が低くなりやすい。本実施例では、上記のとおり日向領域だけのNDVIを取得することで、日向と日陰を区別しない場合に比べて、日陰が混じる圃場における生育状況の適切な判断を支援することができる。
また、本実施例では、日陰領域だけのNDVIが取得されて日陰領域のNDVIマップも出力される。日陰領域のNDVIを日向領域のNDVIと比較すると生育状況が悪いと判断されることになりやすいが、日陰領域内だけでNDVIを比較することで、日陰領域内で生育状況が良いところと悪いところ(例えば図8BのNDVIマップMg1なら北東側の方が生育状況が良いところと言える)を判断することができる。
2 変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は必要に応じてそれぞれ組み合わせてもよい。その際は、各変形例について優先順位を付けて(各変形例を実施すると競合する事象が生じる場合にどちらを優先するかを決める順位付けをして)実施してもよい。
また、具体的な組み合わせ方法として、例えば共通する値(例えばNDVI)を求めるために異なるパラメータを用いる変形例を組み合わせて、それらのパラメータを共に用いて共通する値等を求めてもよい。また、個別に求めた値等を何らかの規則に従い合算して1つの値等を求めてもよい。また、それらの際に、用いられるパラメータ毎に異なる重み付けをしてもよい。
2-1 日向指標のみの取得
生育情報生成部104は、実施例では、日向指標及び日陰指標の両方を取得したが、これに限らず、例えば日向指標のみを取得してもよい。その場合、生育情報生成部104は、取得した日向指標を表すNDVIマップMf1だけを生成し、そのNDVIマップMf1を示す日向生育情報をユーザ端末30に対して出力する。この場合でも、日向領域のNDVIだけを比べることができるので、日陰が混じる圃場において日向の作物の生育状況の適切な判断を支援することができる。
2-2 指標の取得方法
実施例では、圃場全体の各画素についてNDVIが算出されたが、これに限らない。例えば上記変形例のように日向生育情報しか生成されない場合には、日向領域についてだけNDVIが算出されればよい。この場合、日向領域判定部102は、日向領域だけを判定し、生成した日向情報を圃場全体画像データと共に指標算出部103に供給する。
指標算出部103は、供給された日向情報が示す日向領域の画素についてのみNDVIを算出し、算出した日向領域のNDVIを表すマップを指標情報として圃場全体画像データと共に生育情報生成部104に供給する。生育情報生成部104は、こうして供給されたNDVI、すなわち、圃場の画像のうち日向領域についてのみ算出されたNDVIを日向指標として取得する。これにより、日陰領域のNDVIも算出される場合に比べてサーバ装置10の処理(NDVIの算出処理)の負荷を小さくすることができる。
2-3 区分領域
生育情報生成部104は、実施例では撮影範囲に対応する領域を区分領域として領域単位のNDVIマップを生成したが、区分領域はこれに限らない。例えば複数の撮影範囲を1つの区分領域としてもよいし、1つの撮影領域を複数に分割した分割領域に対応する領域を区分領域としてもよい。また、各区分領域の形及び大きさが統一されていてもよいし揃っていなくてもよい。
2-4 飛行体
実施例では、自律飛行を行う飛行体として回転翼機型の飛行体が用いられたが、これに限らない。例えば飛行機型の飛行体であってもよいし、ヘリコプター型の飛行体であってもよい。また、自律飛行の機能も必須ではなく、割り当てられた飛行空域を割り当てられた飛行許可期間に飛行することができるのであれば、例えば遠隔から操縦者によって操作されるラジオコントロール型(無線操縦型)の飛行体が用いられてもよい。
2-5 日向領域判定及び指標算出の元情報
実施例では、ドローン20が飛行中に撮影した画像に基づいて日向領域の判定及びNDVIの算出が行われたが、これに限らない。これらの判定及び算出は、例えば作業者がデジカメを用いて手作業で撮影した画像、圃場に設置された固定のデジカメが撮影した画像又は衛星から撮影された画像に基づいて行われてもよい。
また、実施例ではドローン20の撮影装置27のイメージセンサの測定値を用いてNDVIが算出されたが、これに限らず、例えばハンディタイプのNDVI測定器の赤外線センサ等の測定値を用いてNDVIが算出されてもよい。もちろん、圃場全体の生育状況を知るためにはドローン20等で撮影した画像を用いた方が手間がかからないが、ハンディタイプの方が作物だけの反射光からNDVIを算出することができるのでNDVIの精度が高くなりやすい。どの方法を用いるかは手間、コスト及び求められる精度との兼ね合いで決定されればよい。
2-6 生育状況を表す指標
実施例では、生育状況を表す指標としてNDVIが用いられたが、これに限らない。例えば、葉色値(葉の色を示す値)、植被率(植被領域の単位面積あたりの占有率)、SPAD(葉緑素含量)、草丈又は茎数等が用いられてもよい。要するに、作物の生育状況を表しており、且つ、撮影された作物領域の画像から算出可能な値であれば、どのような値が生育状況を表す指標として用いられてもよい。
2-7 指標の補正
撮影装置27のイメージセンサに到達する作物からの反射光の強さは、日向及び日陰だけでなく、季節毎の太陽光の強さ、雲のかかり具合及び大気の状態等の周囲の環境によっても変化し得る。また、気温及び湿度等の影響を受けた撮影装置27のレンズの状態によっても変化し得る。それらの要因でイメージセンサに到達する反射光の強さが変化することに起因する指標(NDVI)の変化をなくすための補正を行ってもよい。
図11は本変形例で実現される機能構成を表す。図11では、図4に表す各部に加えて補正画像取得部106を備えるサーバ装置10aが表されている。補正画像取得部106は、ドローン20により撮影された指標補正用の画像を取得する。補正画像取得部106は本発明の「補正取得部」の一例である。指標補正用の画像とは、例えば予め特定の波長の光の反射率が分かっている領域を複数有するパネルを撮影した画像である。
図12は指標補正用の画像の一例を表す。図12では、特定反射率領域J11、J12、J13及びJ14が表面に表されたパネルJ1を撮影した画像が指標補正用の画像として表されている。各特定反射率領域は、例えば、赤色の光及び赤外線の反射率がそれぞれ段階的に変化するパネル上の領域(例えばJ11、J12、J13、J14の赤色の光及び赤外線の反射率はどちらも20%、40%、60%、80%)である。
本変形例では、農作業者は、撮影飛行開始の操作を行う前又は撮影飛行の終了後に、パネルJ1をドローン20に撮影させる。パネルJ1の撮影時にはドローン20は飛行していてもよいし、ユーザが持ち上げて撮影させてもよい。ドローン20の撮影部204は、撮影したパネルJ1の画像を示す画像データをサーバ装置10aに送信する。補正画像取得部106は、こうして送信されてきた画像データが示すパネルJ1の画像を指標補正用の画像として取得する。
補正画像取得部106は、取得した指標補正用の画像を指標算出部103に供給する。指標算出部103は、供給された画像、すなわち補正画像取得部106により取得された指標補正用の画像に基づいて補正された指標を算出する。指標算出部103は、取得された指標補正用の画像に含まれる特定反射率領域J11、J12、J13、J14の赤色のピクセル値(r11、r12、r13、r14)及び近赤外領域の波長の光のピクセル値(ir11、ir12、ir13、ir14)を測定値として読み出す。
サーバ装置10aは、例えばNDVIが良好に測定可能な環境において特定反射率領域J11、J12、J13、J14を撮影したときの赤色のピクセル値(R11、R12、R13、R14)及び近赤外領域の波長の光のピクセル値(IR11、IR12、IR13、IR14)を基準値としてサーバ装置10aに記憶させておく。指標算出部103は、測定値と基準値とが異なっていれば、測定値を基準値に補正する補正式を決定する。
指標算出部103は、例えば、各測定値に特定の係数を乗じればいずれも基準値になる場合はその係数を乗じる補正式(例えば測定値×1.1=基準値)を決定する。また、指標算出部103は、4つの特定反射率領域について同じ係数では全てを基準値にすることができない場合は、特定反射率領域毎に係数を定めればよい(例えばr11×1.1=R11、r12×1.05=R12、r13×1.1=R13、r14×1.15=R14)。
この場合、ピクセル値がr11とr12の間であれば、それらの補正係数である1.1及び1.05の間の数を補正係数として用いる(例えばr11及びr12の真ん中のピクセル値であれば(1.1+1.05)÷2=1.075を用いる)。指標算出部103は、以上のとおりR及びIRについてそれぞれ補正式を決定すると、各画素のピクセル値を決定した補正式を用いて補正する。
指標算出部103は、こうして補正した各画素のR及びIRのピクセル値を用いて、実施例と同様にNDVI(本変形例では補正されたNDVIとなる)を算出する。このように指標を補正することで、補正をしない場合に比べて、周囲の環境及びレンズの状態の変化によるNDVIの変化を少なくすることができ、NDVIの精度を高めることができる。なお、ピクセル値の補正は指標算出部103以外の機能が行ってもよい。例えば、圃場画像生成部101が圃場全体画像を生成する際に各画素のピクセル値を補正してもよい。また、NDVIの補正方法は上述した方法に限らず、その他の周知の方法が用いられてもよい。
2-8 日向と日陰
上記の補正を行う際に、パネルJ1が日向にあるか日陰にあるかによって補正の対象を絞り込んでもよい。
図13は本変形例で実現される機能構成を表す。図13では、図11に表す各部に加えて日照条件特定部107を備えるサーバ装置10bが表されている。
日照条件特定部107は、指標補正用の画像の撮影条件が日向及び日陰のいずれであるかを特定する。日照条件特定部107は本発明の「条件特定部」の一例である。本変形例では、例えばユーザ端末30に撮影条件を入力する画面が表示される。
図14は撮影条件の入力画面の一例を表す。図14では、ユーザ端末30が、撮影日、圃場名、日照条件の入力欄を含む農業支援システム画面を表示している。
この例では、「2018/5/15」の「圃場A1」の「日陰」という撮影条件が入力されている。ユーザが送信ボタンH2を押す操作を行うと、ユーザ端末30は、撮影日時が「2018/5/15」で撮影場所が「圃場A1」で日照条件が「日陰」であることを示す撮影条件データをサーバ装置10bに送信する。日照条件特定部107は、送信されてきた撮影条件データが示す日照条件(図14の例では「日陰」)を、その撮影条件データが示す撮影日時及び圃場において撮影された指標補正用の画像の撮影条件として特定する。
日照条件特定部107は、特定した撮影条件を、撮影日時及び圃場と共に指標算出部103に通知する。指標算出部103は、日向の撮影条件が特定された場合には、圃場の画像のうち日向領域と判定された部分における指標として、補正画像取得部106により取得された指標補正用の画像に基づいて補正された指標を算出する(日陰領域と判定された部分の指標は補正しない)。
本変形例では、日向領域判定部102が、生成した日向情報及び日陰情報を圃場全体画像データと共に指標算出部103に供給する。指標算出部103は、圃場全体画像データが示す各画素のうち、供給された日向情報が示す日向領域の画素のピクセル値を図12の説明で述べたように補正する。指標算出部103は、こうして補正した日向領域を示す各画素のピクセル値を用いて、実施例と同様にNDVIを算出する。
また、指標算出部103は、日陰の撮影条件が特定された場合には、圃場の画像のうち日向領域と判定されなかった部分(日陰領域と判定された部分)における指標として、補正画像取得部106により取得された指標補正用の画像に基づいて補正された指標を算出する(日向領域と判定された部分の指標は補正しない)。この場合、指標算出部103は、圃場全体画像データが示す各画素のうち、供給された日陰情報が示す日陰領域の画素のピクセル値を上記同様に補正してNDVIを算出する。
以上のとおり、本変形例では、パネルJ1が日向にある場合は日向領域のNDVIが補正され、パネルJ1が日陰にある場合は日陰領域のNDVIが補正される。これにより、パネルJ1の日照条件を考慮せずに全ての画素について補正を行う場合に比べて、パネルJ1の画像(指標補正用の画像)を用いた補正の精度を向上させることができる。なお、本変形例では、特定されなかった日照条件と共通の領域のNDVIは補正されなかったが、その領域については別の補正が行われてもよい。別の補正については後ほど説明する。
2-9 日陰領域の撮影
日陰領域と判定された領域も、撮影する時間帯によっては日向領域になっている場合がある。そこで、時間帯を変えて日陰領域を撮影してもよい。
図15は本変形例で実現される機能構成を表す。図15では、図4に表す各部に加えて飛行指示部108を備えるサーバ装置10cが表されている。
飛行指示部108は、日向領域と判定されなかった位置、すなわち日陰領域と判定された位置についての撮影方法をドローン20に指示する。飛行指示部108は本発明の「指示部」の一例である。飛行指示部108は、例えば、撮影飛行が終わって撮影された圃場画像から日陰領域が判定された場合に、その日陰領域と判定された位置の再撮影をドローン20に指示する。
本変形例では、例えば、農作業の終了予定時刻がユーザ端末30によって入力され、サーバ装置10cがその終了予定時刻を記憶しているものとする。その場合に、飛行指示部108は、日陰領域の撮影飛行が終了予定時刻前に完了するタイミングで撮影を開始するように再撮影を指示する。飛行指示部108は、日陰領域の面積と撮影開始位置からの距離とに基づいて日陰領域の撮影に要する時間(撮影時間)を算出し、終了予定時刻から算出した撮影時間だけ遡った時刻よりも前の時刻に再撮影を開始するよう指示する。
これにより、再撮影時には日陰領域であった位置の中には日向領域になっている位置もあるので、再撮影の指示を行わない場合に比べて、日向領域の画素から算出されるNDVIを増やすことができる。なお、作業時間が短い場合又は撮影飛行を農作業の終盤に行った場合には、同じ日に再撮影を行う時間が取れないことがある。その場合に、飛行指示部108は、別の日において撮影時刻を変更しての撮影をドローン20に指示してもよい。
具体的には、飛行指示部108は、撮影飛行が終わって撮影された圃場画像から日陰領域が判定された場合に、その撮影時刻、圃場ID(圃場を識別する情報)及び装置ID(ドローン20を識別する情報)を記憶しておく。本変形例では、ユーザである農作業者は、圃場にドローン20を持って行くが、自分で撮影飛行開始の操作は行わず、例えば飛行待機の操作を行う。ドローン20は、飛行待機状態になったことと圃場ID(農作業者が予め記憶させておく)及び装置IDとを示す状態データをサーバ装置10cに送信する。
飛行指示部108は、状態データを受け取ると、その状態データが示す圃場ID及び装置IDに対応付けて記憶している撮影時刻とは異なる時刻を撮影開始時刻とするよう指示する指示データをドローン20に送信する。撮影開始時刻としては、例えば過去の撮影時刻から決められた時間(日陰領域が十分に変化する時間)だけ離れた時刻が用いられる。例えば過去の撮影時刻が午前10時で決められた時間が5時間であれば、飛行指示部108は、午後3時を撮影開始時刻として指示を行う。
また、過去の撮影時刻が午後4時で決められた時間が5時間であれば、飛行指示部108は、午前11時を撮影開始時刻として指示を行う。ドローン20の飛行制御部201は、受信した指示データが示す撮影開始時刻になったときに撮影飛行を開始する。この場合も、過去の再撮影時には日陰領域であった位置の一部を日向領域として撮影できるので、撮影時刻の変更指示を行わない場合に比べて、日向領域の画素から算出されるNDVIを増やすことができる。
2-10 固定画像による指標補正
指標算出部103は、日陰領域の画素から算出する指標(日陰領域の指標)を、その画素が日向領域だった場合に算出されることが見込まれる指標に補正してもよい。指標算出部103は、例えば同じ作物を日向領域のときに撮影した画像のピクセル値と日陰領域のときに撮影した画像のピクセル値とを比較することでこの補正を行う。
本変形例では、圃場の中に日向領域及び日陰領域のどちらにもなる領域がある場合に、その領域を撮影する撮影手段が設置される。
図16は本変形例で設置される撮影手段の撮影範囲の一例を表す。図16では、圃場A1の圃場全体画像E1が表されている。圃場全体画像E1は、図5に表す林R1の影(日陰領域G1)が北に延びる午後の早い時間に撮影された画像である。
この圃場A1を太陽が東にある朝の早い時間に撮影すると、図に示す日陰領域G2のように林R1の影が日陰領域G1に比べて短くなる。本変形例では、日陰領域G1では日陰になるが日陰領域G2をほとんど含まない撮影領域C41を撮影する位置に固定カメラK1が設置される。固定カメラK1は、朝の所定の時刻(撮影領域C41が日向領域になる時刻)と、日中の所定の時刻(撮影領域C41が日陰領域になる時刻)とに決められた間隔(毎日でもよいし毎週でもよい)で繰り返し撮影を行う。
このように、固定カメラK1は、圃場のうち日向領域及び日陰領域が切り替わる固定の領域を撮影する。固定カメラK1は本発明の「撮影手段」の一例である。
図17は本変形例で実現される機能構成を表す。図17では、図4に表す各部に加えて画像取得部109を備えるサーバ装置10dが表されている。固定カメラK1は通信機能を有しており、撮影した画像を示す画像データをサーバ装置10dに送信する。
画像取得部109は、送信されてきた画像データが示す画像、すなわち、固定カメラK1が撮影する固定領域(圃場のうち日向領域及び日陰領域が切り替わる固定の領域)の画像を取得する。画像取得部109は本発明の「第2画像取得部」の一例である。画像取得部109は、取得した固定領域の画像を指標算出部103に供給する。
指標算出部103は、画像取得部109により取得された固定領域の画像から得られる日向領域の指標と日陰領域の指標の相関関係に基づいて、圃場の画像のうち日向領域と判定されなかった部分(日陰領域と判定された部分)について補正された指標を算出する。指標算出部103は、例えば、圃場内の作物の特定の部分を撮影した画素について日向領域のときに算出したNDVIと、その画素について日陰領域のときに算出したNDVIとの割合(指標割合)を算出する。
NDVIは-1.0から+1.0の値で算出されるので、指標算出部103は、例えばこれを0.0から2.0の値に変換した上で指標割合(0から1.0の値になる)を算出する。指標算出部103は、例えば日陰領域でのピクセル値と指標割合との相関関係を表す式を求める。
図18は指標割合の相関関係の一例を表す。図18では、日陰領域でのピクセル値を横軸に示し、指標割合を縦軸に示すグラフが表されている。
この例では、ピクセル値が大きいほど指標割合が小さくなる相関関係が表されている。指標算出部103は、周知の方法を用いてこの相関関係を示す近似式を求める。なお、図18の例では相関関係が直線的に表されているが、2次曲線で表されてもいてもよいし、3次以上の曲線で表されていてもよい。指標算出部103は、こうして求めた相関関係を表す式を用いて、日陰領域の各画素について補正されたNDVIを算出する。
具体的には、指標算出部103は、各画素のピクセル値に対してこの式が示す指標割合でそのピクセル値を除算することで、その画素が日向領域だった場合に算出されることが見込まれる指標に補正する。以上のとおり日陰領域の補正された指標を算出することで、例えば図16に表す日陰領域G2のように1日を通してほとんど日向領域にならない領域があったとしても、その領域の作物の生育状況を、本変形例の補正を行わない場合に比べて高い精度で示すことができる。
2-11 境界画像による指標補正
指標算出部103は、上記変形例とは異なる方法で日陰領域の指標を補正してもよい。指標算出部103は、本変形例では、圃場画像生成部101により取得された圃場の画像から日向領域と判定された部分と日向領域と判定されなかった部分(日陰領域と判定された部分)の境界部分に着目して補正を行う。
指標算出部103は、この境界部分の所定の範囲内にある日向領域の指標と日陰領域の指標の相関関係に基づいて、圃場の画像のうち日向領域と判定されなかった部分(日陰領域と判定された部分)について補正された指標を算出する。具体的には、指標算出部103は、例えば、日向領域判定部102により判定された日向領域及び日陰領域の境界線となる画素を境界画素として特定し、その境界画素の日向領域側に隣接する日向画素(所定の範囲内にある日向領域の一例)と、境界画素の日陰領域側に隣接する日陰画素(所定の範囲内にある日陰領域の一例)とのNDVIを比較する。
図19は日向画素及び日陰画素の一例を表す。図19では、圃場A1の圃場全体画像E1において、日向領域F1側の日向画素Df11と、日陰領域G1側の日陰画素Dg11とが表されている。また、日向画素及び日陰画素は日向領域F1及び日陰領域G1の境界線に沿って複数表されている。なお、図では見やすいように全ての日向画素及び日陰画素を表してはいないが、これらの日向画素及び日陰画素の間にも日向画素及び日陰画素が含まれている。
指標算出部103は、これらの日向画素及び日陰画素についてそれぞれNDVIを算出し、図18の例と同様に指標割合と日陰画素のピクセル値についての相関関係を示す式を求める。指標算出部103は、あとは上記変形例と同様に日陰領域の補正されたNDVIを算出する。なお、図19の例では、境界画素に隣接する画素が境界画素の所定の範囲内の日向領域及び日陰領域(の画素)として用いられたが、これに限らない。境界画素から1以上の画素を挟む距離にある画素が日向領域及び日陰領域として用いられてもよい。要するに、圃場全体画像において生育状況が概ね一様になると思われる範囲が所定の範囲として用いられればよい。
上記のとおり日向領域及び日陰領域の境界線に隣接する画素であれば、作物の生育状況が似通った状況である可能性が高い。そのため、日向画素及び日陰画素がどちらも日向領域であった場合に算出されると見込まれるNDVIも近い値になりやすい。そのため、上記変形例と同様に、日陰領域の画素の指標をその画素が日向領域だった場合に算出されることが見込まれる指標に補正することができる。また、本変形例では、ドローン20が撮影する圃場の画像だけを用いるので、図16に表すような固定の撮影手段を設置しなくても上記補正を行うことができる。
2-12 撮影装置
ドローン20が備える撮影装置は上記のものに限らない。例えばズーム機能(解像度を上げてNDVIの精度を向上することができる)を有していてもよいし、赤及び赤外線に特化した感度を有していてもよい。その場合、例えば日向領域判定部102が日向領域を判定する際に、スペクトラムを補正することで他の波長の光(青、緑)のピクセル値を復元してもよい。
2-13 日向指標及び日陰指標の出力
生育情報記録部105は、実施例とは異なる方法で日向指標及び日陰指標を出力してもよい。生育情報記録部105は、例えば、日向指標用に用意されたフォルダ又はデータベース等に対して日向指標を出力し、日陰指標用に用意されたフォルダ又はデータベース等に対して日陰指標を出力してもよい。
また、生育情報記録部105は、生育情報をユーザ端末30に出力するだけでなく、例えば、日向指標及び日陰指標を蓄積する蓄積装置、日向指標及び日陰指標から生育状況の分析及び将来の予測等を行う解析装置及び生育状況の比較を容易にする可視化処理(グラフ及びマップの生成等)を行う可視化装置等に出力してもよい。生育情報記録部105は、要するに、圃場での作業を行う者を支援することに繋がるのであれば、どのような出力先に生育情報を出力してもよい。
2-14 各部を実現する装置
図4等に表す各機能を実現する装置がそれらの図とは異なっていてもよい。例えばサーバ装置が備える全ての機能又は一部の機能をドローンが備えていてもよい。その場合はドローンのプロセッサが本発明の「情報処理装置」の一例となる。また、サーバ装置の機能をユーザ端末30が実現してもよい。その場合はユーザ端末30が本発明の「情報処理装置」の一例となる。
また、各機能が行う動作を他の機能が行ってもよいし、新たな機能に行わせてもよい。例えば指標算出部103が行う動作(指標の算出動作)を生育情報生成部104が行ってもよい。また、生育情報記録部105が行う日向指標及び日陰指標の出力を新たに設けた出力部が行ってもよい。また、サーバ装置が備える各機能を2以上の装置がそれぞれ実現してもよい。要するに、農業支援システム全体としてこれらの機能が実現されていれば、農業支援システムが何台の装置を備えていてもよい。
2-15 発明のカテゴリ
本発明は、上述したサーバ装置及びユーザ端末のような情報処理装置と、ドローンのような飛行体(ドローンは情報処理装置を兼ねる場合もある)の他、それらの装置及び飛行体を備える農業支援システムのような情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
2-16 処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
2-17 入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
2-18 ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
2-19 情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
2-20 システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
2-21 「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
2-22 「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
2-23 態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…農業支援システム、10…サーバ装置、20…ドローン、30…ユーザ端末、101…圃場画像生成部、102…日向領域判定部、103…指標算出部、104…生育情報生成部、105…生育情報記録部、106…補正画像取得部、107…日照条件特定部、108…飛行指示部、109…画像取得部、201…飛行制御部、202…飛行部、203…センサ測定部、204…撮影部。

Claims (3)

  1. 撮影された圃場の画像に含まれる当該圃場の日向領域を判定する判定部と、
    判定された前記日向領域における作物の育成状況を示す指標を日向指標として取得する指標取得部と、
    取得された前記日向指標を前記日向領域の指標として出力する出力部と
    撮影手段を備える飛行体により撮影された圃場の画像を取得する第1画像取得部と、
    取得された前記圃場の前記画像から前記作物の前記育成状況を示す指標を算出する算出部と、
    前記飛行体により撮影された指標補正用の画像を取得する補正取得部と、
    前記指標補正用の画像の撮影条件が日向及び日陰のいずれであるかを特定する条件特定部とを備え、
    前記指標取得部は、前記圃場の前記画像の全体について算出された前記指標から前記日向領域について算出されたものを前記日向指標として取得し、又は、前記圃場の画像のうち前記日向領域についてのみ算出された前記指標を前記日向指標として取得し、
    前記算出部は、前記日向の前記撮影条件が特定された場合に、前記圃場の前記画像のうち前記日向領域と判定された部分における前記指標として、取得された前記指標補正用の前記画像に基づいて補正された前記指標を算出する情報処理装置。
  2. 記算出部は、前記日陰の前記撮影条件が特定された場合に、前記圃場の前記画像のうち前記日向領域と判定されなかった部分における前記指標として、取得された前記指標補正用の画像に基づいて補正された前記指標を算出する
    請求項に記載の情報処理装置。
  3. 撮影された圃場の画像に含まれる当該圃場の日向領域を判定する判定部と、
    判定された前記日向領域における作物の育成状況を示す指標を日向指標として取得する指標取得部と、
    取得された前記日向指標を前記日向領域の指標として出力する出力部と、
    撮影手段を備える飛行体により撮影された圃場の画像を取得する第1画像取得部と、
    取得された前記圃場の前記画像から前記作物の前記育成状況を示す指標を算出する算出部と、
    前記圃場のうち前記日向領域と日陰領域とが切り替わる固定領域を撮影する撮影手段が撮影した前記固定領域の画像を取得する第2画像取得部とを備え、
    前記指標取得部は、前記圃場の前記画像の全体について算出された前記指標から前記日向領域について算出されたものを前記日向指標として取得し、又は、前記圃場の画像のうち前記日向領域についてのみ算出された前記指標を前記日向指標として取得し、
    前記算出部は、取得された前記固定領域の画像から得られる前記日向領域の指標と前記日陰領域の指標の相関関係に基づいて、前記圃場の前記画像のうち前記日向領域と判定されなかった部分について補正された前記指標を算出する情報処理装置。
JP2020523619A 2018-06-06 2019-05-23 情報処理装置 Active JP7218365B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018108475 2018-06-06
JP2018108475 2018-06-06
PCT/JP2019/020508 WO2019235240A1 (ja) 2018-06-06 2019-05-23 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2019235240A1 JPWO2019235240A1 (ja) 2021-07-08
JP7218365B2 true JP7218365B2 (ja) 2023-02-06

Family

ID=68770226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523619A Active JP7218365B2 (ja) 2018-06-06 2019-05-23 情報処理装置

Country Status (2)

Country Link
JP (1) JP7218365B2 (ja)
WO (1) WO2019235240A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020054394A (ja) * 2020-01-15 2020-04-09 国立研究開発法人農業・食品産業技術総合研究機構 施肥量決定装置および施肥量決定方法
JP7044285B2 (ja) * 2020-04-20 2022-03-30 国立研究開発法人農業・食品産業技術総合研究機構 農作物関連値導出装置および農作物関連値導出方法
WO2024190391A1 (ja) * 2023-03-13 2024-09-19 コニカミノルタ株式会社 特定装置、特定方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129492A1 (ja) 2005-06-03 2006-12-07 Honda Motor Co., Ltd. 車両及び路面標示認識装置
WO2009116613A1 (ja) 2008-03-21 2009-09-24 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP2012183021A (ja) 2011-03-04 2012-09-27 Hitachi Ltd 植生制御装置、植物育成システム
WO2018034166A1 (ja) 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
WO2019082519A1 (ja) 2017-10-26 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129492A1 (ja) 2005-06-03 2006-12-07 Honda Motor Co., Ltd. 車両及び路面標示認識装置
WO2009116613A1 (ja) 2008-03-21 2009-09-24 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
JP2012183021A (ja) 2011-03-04 2012-09-27 Hitachi Ltd 植生制御装置、植物育成システム
WO2018034166A1 (ja) 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
WO2019082519A1 (ja) 2017-10-26 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mahyar Aboutalebi et al.,Behavior of vegetation/soil indices in shaded and sunlit pixels and evaluation of different shadow compensation methods using UAV high-resolution imagery over vineyards,PROCEEDINGS OF SPIE,SPIE,2018年05月21日,Vol. 10664,p.1066407-1~p.1066407-13,DOI: 10.1117/12.2305883

Also Published As

Publication number Publication date
JPWO2019235240A1 (ja) 2021-07-08
WO2019235240A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US11651478B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
JP7299213B2 (ja) 情報処理装置
AU2020101709A4 (en) Crop yield prediction method and system based on low-altitude remote sensing information from unmanned aerial vehicle
JP7218365B2 (ja) 情報処理装置
US10585210B2 (en) Apparatus for radiometric correction and orthorectification of aerial imagery
JP2018046787A (ja) 農業管理予測システム、農業管理予測方法、及びサーバ装置
KR20200065696A (ko) 드론을 이용한 농작물 모니터링 시스템
US12111251B2 (en) Information processing apparatus, information processing method, program, and sensing system
US11823447B2 (en) Information processing apparatus, information processing method, program, and information processing system
AU2016339031B2 (en) Forestry information management systems and methods streamlined by automatic biometric data prioritization
WO2021100430A1 (ja) 情報処理装置、情報処理方法、プログラム
JP7366887B2 (ja) 情報処理装置
JP6862299B2 (ja) 圃場の空撮システム
WO2021149355A1 (ja) 情報処理装置、情報処理方法、プログラム
Mihajlow et al. Study of the Vegetation of Spring Crops in the Region of South Dobrudja in 2020
CN114821371A (zh) 地膜残留量的预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R150 Certificate of patent or registration of utility model

Ref document number: 7218365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150