JP7225600B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、特に撮像画像に基づく評価指数の算出を行う装置・システムに適用できる技術に関する。

例えば小型の飛行体に撮像装置（カメラ）を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
特許文献１には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。

特許第５１６２８９０号公報

例えばこのように圃場を撮像した画像をマッピングし、マッピング画像により植生の様子を観察することが行われている。
圃場の植生の撮像画像からは植生指数を測定することができ、広い圃場を一部毎に撮像していき、撮像した多数の画像を合成することで、圃場全体の植生を観察できる画像を生成できる。例えば植生指数としてＮＤＳＩ（Normalized Difference Spectral Index）等を求め、多数の撮像画像からマッピング画像を生成することにより、広域でのＮＤＳＩ画像を確認できるようにする。

ところが時間帯による太陽位置、撮影角度、天候等、様々な要因で、センシング結果が大きく異なる。１回のフライト内でも、突然晴れから曇りに変わり、センシング結果に影響を及ぼす。但しこのような外的要因については、環境が異なるケースなどを排除、またはケース分けをすることで、比較できる対象を増やすことが可能である。
ところが、一般のイメージセンサのＳＮＲ (signal-noise ratio) は約４２ｄＢ程度しかなく、精度の高いセンシングは難しいのが現状である。特に上記の問題が解決され、精度の高いセンシング結果が得られると、イメージセンサの精度が大きな問題となる。
また、撮像結果のＳＮＲは撮像された画像の信号レベルに大きく依存する。自動露光制御によりその変化を小さくすることが望ましいが、突然の天候変化に確実に反応する難しさから、ある程度、信号レベルの変化は許容せざるを得ないのが実態である。
その点で、フライト中に晴れから曇りに突然天候が変わった場合、フライト内でのＳＮＲが大きく異なり、一定以上のセンシング精度の結果を得ることが難しいことになる。

そこで本技術では、撮像時の環境や環境変化、イメージセンサの精度などの事情があっても、測定結果の評価指標として十分な一定以上の精度が得られるようにすることを目的とする。

本技術に係る情報処理装置は、画像データの画素の平均値から算出されるＳＮＲと、画像データの画素のバラツキから算出されるＳＮＲとのうちの値の小さい方を用いて植生指数の画像データのＳＮＲを予測する処理と、予測されたＳＮＲに基づいて画像データの各画素のＳＮＲを調整するＳＮＲ調整処理と、前記ＳＮＲ調整処理後の画像データに基づき植生指数を算出する処理と、を行う評価演算部を備えている。
例えば観察対象を撮像した画像データから植生指数を求める場合に、画像データのＳＮＲによって精度が十分でない場合があるため、予め画像毎にＳＮＲを予測し、それに応じたＳＮＲ調整を行うようにする。

上記した本技術に係る情報処理装置においては、前記評価演算部は、評価指数の画像データのＳＮＲを予測し、評価指数を算出する各要素及び画像データの各画素のＳＮＲ調整処理を行った状態で評価指数を算出することが考えられる。
例えばＮＤＳＩ画像等の評価指数の画像データのＳＮＲを予測し、評価指数を算出する要素（例えば特定の波長の画像）や、その各画素のＳＮＲ調整を行う。

上記した本技術に係る情報処理装置においては、前記ＳＮＲ調整処理は、予測されたＳＮＲと目標ＳＮＲから求められる不足ＳＮＲに応じて画像データのＳＮＲの調整を行う処理であることが考えられる。
ＳＮＲを予測することで、目標のＳＮＲに対する不足分が推定されるため、その不足ＳＮＲに応じたＳＮＲ調整を行う。

上記した本技術に係る情報処理装置においては、前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素の平均化を行う処理であることが考えられる。
ＳＮＲ調整の手法として周辺画素の平均化を行う。不足ＳＮＲ分のＳＮＲ調整のために、平均化する周辺画素数を、不足ＳＮＲを用いて求められた数とする。

上記した本技術に係る情報処理装置においては、前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素を対象として空間ノイズリダクションを行う処理であることが考えられる。
ＳＮＲ調整の手法として空間ノイズリダクションを行う。対象の画素は不足ＳＮＲを用いて求められた数とする。

上記した本技術に係る情報処理装置においては、評価指数の提示の際に、前記ＳＮＲ調整処理が有効とならない領域を明示する処理が行われることが考えられる。
つまりＳＮＲ調整によっても十分に精度が確保できない領域については、ユーザに明確に提示されるようにする。

上記した本技術に係る情報処理装置においては、前記評価指数は、植生評価指数であることが考えられる。
つまり植生のリモートセンシングを行うシステムにおいて、撮像画像或いは撮像画像から生成された植生評価画像に対しＳＮＲ調整を行う。

上記した本技術に係る情報処理装置においては、前記評価演算部では、光源の分光特性を反映して植物の反射率の分光特性を算出し、算出された植物の反射率の分光特性から植生指数を算出することが考えられる。
ここでの光源とは例えば太陽光など、天候の影響などで変動する光源である。この光源をキャリブレーションした状態で植物の反射率の分光特性を算出する。

上記した本技術に係る情報処理装置においては、前記評価演算部は、画像データのフレーム毎に、フレームの平均信号レベル、光ショットノイズ、暗時ノイズ、量子化ノイズの値を用いて画像データのＳＮＲの予測値を求める処理を行うことが考えられる。
フレームの平均信号レベルはフレーム内画素の平均値である。光ショットノイズ、暗時ノイズ、量子化ノイズは撮像装置のイメージセンサのスペックから算出される。これらを用いた演算で画像データのＳＮＲの予測値を求める。

本技術に係る情報処理方法は、画像データのＳＮＲを予測する処理と、予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ調整処理と、前記ＳＮＲ調整処理後の画像データに基づき評価指数を算出する処理とを情報処理装置が実行する情報処理方法である。
つまり天候その他の影響によるＳＮＲ低下が生じないようにＳＮＲ調整を行う。
本技術に係るプログラムは、以上の各手順の処理を情報処理装置に実行させるプログラムである。これにより本技術に係る情報処理装置、情報処理方法を、コンピュータ装置を用いて実現させ、広く提供できる。

本技術によれば、精度の高い評価指数が安定して得られるようになるという効果がある。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の圃場の撮像の様子の説明図である。 実施の形態のリモートセンシング動作及び画像マッピングの説明図である。 実施の形態の撮像装置及びセンサボックスのブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の情報処理装置の機能構成及び処理の説明図である。 実施の形態のシステム動作と装置の対応例の説明図である。 実施の形態で挙げる動作と装置の対応例の説明図である。 第１の実施の形態の植物の分光の算出の説明図である。 実施の形態の植生指数算出のための処理例のフローチャートである。 実施の形態のＳＮＲ改善を含めた植生指数算出のための処理例のフローチャートである。 実施の形態の各画素のＳＮＲ改善の説明図である。 実施の形態の各画素のＳＮＲ改善の説明図である。 第２の実施の形態の植物の分光の算出の説明図である。 第３の実施の形態の植物の分光の算出の説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、実施の形態を次の順序で説明する。
＜１．リモートセンシングシステム概要＞
＜２．装置構成＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．移動体への応用例＞
＜８．まとめ及び変形例＞

＜１．リモートセンシングシステム概要＞
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
例えば図１に示すように飛行体２００に搭載された撮像装置２５０を用いて圃場２１０の植生に関するリモートセンシングを行う。そして、この撮像で得られた多数の画像データ（単に「画像」ともいう）を用いて植生データ（例えば植生指数のデータ）を示すマッピング画像を生成する場合とする。

図１は圃場２１０の様子を示している。
小型の飛行体２００は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場２１０の上空を移動することができる。
飛行体２００には撮像装置２５０が例えば下方を撮像するようにセットされている。飛行体２００が所定の経路で圃場２１０の上空を移動する際に、撮像装置２５０は例えば定期的に静止画撮像を行うことで、各時点において撮像視野の範囲ＡＷの画像を得ることができる。
例えば飛行体２００は圃場２１０の上空を、図２Ａに示すスタート位置ＳＴから折り返しながらエンド位置ＥＤまで飛行する。その飛行中に撮像装置２５０が各時点で、図２Ｂに示す範囲ＡＷを撮像していく。

撮像装置２５０がどのような種類の撮像装置であるかは各種考えられる。
例えば撮像装置２５０の撮像によって得られる画像ファイル（或る時点の撮像画像）には分光計測画像を含むことが考えられる。
例えば撮像装置２５０はマルチスペクトラムカメラやハイパースペクトルカメラとされ、撮像される画像としては、複数の波長領域の情報を有する測定画像を含むものが考えられる。
また撮像装置２５０としてＲ（赤波長領域、６２０ｎｍ～７５０ｎｍ）、Ｇ（緑波長領域、４９５ｎｍ～５７０ｎｍ）、Ｂ（青波長領域、４５０ｎｍ～４９５ｎｍ）の可視光画像を撮像するカメラが用いられてもよい。

また撮像装置２５０として、赤波長領域（ＲＥＤ、６２０ｎｍ～７５０ｎｍ）と近赤外領域（ＮＩＲ：Near Infra Red、７５０ｎｍ～２５００ｎｍ）の撮像画像を得るカメラであり、得られる画像からＮＤＶＩ（Normalized Difference Vegetation Index）が算出できるものが用いられてもよい。ＮＤＶＩとは植生の分布状況や活性度を示す指標である。なお植生指数の１つであるＮＤＶＩの値は、ＲＥＤ画像データ、ＮＩＲ画像データを用いて、
ＮＤＶＩ＝（１－ＲＥＤ／ＮＩＲ）／（１＋ＲＥＤ／ＮＩＲ）
として算出することができる。

また撮像装置２５０で撮像されて得られる画像には、各種の付加データが対応づけられている。
付加データとしては、各種センサで検出される情報（説明上「センサデータ」と総称する）や、撮像装置２５０の装置情報、撮像画像に関する撮像画像情報などがある。
具体的にはセンサデータとしては、撮像日時情報や、ＧＰＳ（Global Positioning System）データとしての位置情報（緯度／経度情報）、照度情報、高度情報、撮像姿勢情報（飛行体２００に搭載された状態での撮像方向の傾き）等のデータがある。
このため、飛行体２００には例えば照度センサ２６１を備えたセンサボックス２６０が搭載されたり、撮像装置２５０内には、例えば撮像日時情報、位置情報、高度情報、撮像姿勢情報等を検出するためのセンサが搭載されている。
撮像装置２５０の装置情報としては、撮像装置の個体識別情報、機種情報、カメラタイプ情報、シリアルナンバ、メーカー情報などがある。
撮像画像情報としては、画サイズ、コーデック方式、検出波長、撮像パラメータの情報などがある。

以上のように飛行体２００に搭載された撮像装置２５０により得られる画像データや各種センサによって得られるセンサデータを含む付加データは、情報処理装置（コンピュータ装置）１に送られる。情報処理装置１は画像データやセンサデータを用いて各種処理を行う。例えばＮＤＳＩ画像やＮＤＶＩ画像としてのマッピング画像の生成処理や、そのマッピング画像の表示処理を行う。
例えば図２Ｃは、撮像装置２５０で撮像した複数の画像の被写体の範囲ＡＷを示しているが、これらを撮像した位置情報に応じて配置し、スティッチしていくことで、例えば図２Ｄのようなマッピング画像ＭＰを生成する。これにより、圃場２１０の全体についての植生評価指数を表す画像が生成される。

情報処理装置１は、例えばＰＣ（personal computer）やＦＰＧＡ（field-programmable gate array）などとして実現される。
なお、図１では情報処理装置１は撮像装置２５０とは別体のものとしているが、撮像装置２５０を含むユニット内に情報処理装置１となる演算装置（マイクロコンピュータ等）を設けてもよい。

＜２．装置構成＞
図３に飛行体２００に搭載される撮像装置２５０及びセンサボックス２６０の構成例を示す。
本実施の形態では、飛行体２００には撮像装置２５０とともに、照度センサ２６１を備えたセンサボックス２６０が搭載されている。例えば図１の例では照度センサ２６１の受光面が飛行体２００の上面側となるように搭載されている。

照度センサ２６１により太陽４００からの太陽光のレベル（照度）を検知することができる。

センサボックス２６０にはセンサ制御部２６２が設けられ、撮像装置２５０のカメラ制御部３３と通信可能とされている。これによりカメラ制御部３３は、照度センサ２６１で検出される照度情報を取得することができる。

撮像装置２５０は、撮像部３１、撮像信号処理部３２、カメラ制御部３３、格納部３４、通信部３５、センサ部２５１を有する。

撮像部３１は、撮像レンズ系、露光部、フィルタ、及びイメージセンサ等を有し、被写体光を受光して電気信号としての撮像画像信号を出力する。
即ち撮像部３１において、被測定対象物等の被写体からの光（反射光）は、レンズ系とフィルタを介してイメージセンサに入射される。
レンズ系とは入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなど各種レンズを含む入射光学系のことをいう。
フィルタとは被測定対象物についての測定しようとする波長を取り出すためのフィルタである。これは一般にイメージセンサ上に構成されるカラーフィルタとその前に配置される波長フィルタなどをいう。
露光部とは、イメージセンサにおいて、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ系等の光学系やアイリス（絞り）による開口量などを調整することで、露光制御を行う部位をいう。
イメージセンサは、そのセンサ面に、複数の画素が繰り返しパターンで２次元配列されたセンシング素子を有して構成される。
イメージセンサは、フィルタを通過した光を、センシング素子により検出することで、光の光量に応じた撮像画像信号を撮像信号処理部３２に出力する。

撮像信号処理部３２は、撮像部３１のイメージセンサから出力される撮像画像信号に対しＡ／Ｄ変換処理等を施してデジタルデータに変換し、さらに必要な各種信号処理を行って、測定対象物の画像データとしてカメラ制御部３３に出力する。
例えば測定対象の画像データとして、複数の特定の波長の画像データをカメラ制御部３３に出力する。もちろんＲＧＢカラー画像としての画像データをカメラ制御部３３に出力する場合もある。或いは例えば赤波長領域（ＲＥＤ）と近赤外領域（ＮＩＲ）の撮像画像を得る場合はＲＥＤ画像データ、ＮＩＲ画像データを生成し、カメラ制御部３３に出力することになる。もちろん他の波長帯の画像データの場合もある。

カメラ制御部３３は例えばマイクロコンピュータにより構成され、撮像動作、画像データの格納動作、通信動作等、撮像装置２５０の全体の動作制御を行う。
カメラ制御部３３は、逐次、撮像信号処理部３２から供給される画像データを格納部３４に格納していく処理を行う。この際、センサ部２５１や照度センサ２６１で得られる各種のセンサデータを付加して画像ファイル化して格納部３４に格納する。或いはセンサデータを画像データに対応づけたファイルとして格納させてもよい。

格納部３４は、例えば撮像装置２５０の内部メモリとしてのフラッシュメモリや、可搬性のメモリカードなどとされる。もちろん他の種類の記憶媒体が用いられてもよい。
通信部３５は、有線又は無線の通信により外部機器との間でデータ送受信を行う。例えばＵＳＢ（Universal Serial Bus）等の規格による有線通信でもよいし、ブルートゥース（登録商標）、ＷＩ－ＦＩ（登録商標）等の無線通信規格の通信を行うものでもよい。
いずれにしても通信部３５により、格納部３４に格納された画像データ等は、例えば情報処理装置１等の外部機器に転送できるようにされている。
なお、格納部３４が可搬性のメモリカード等とされる場合、メモリカード等の記憶媒体の受け渡しによって、格納されたデータが情報処理装置１等に受け渡されるようにしてもよい。

センサ部２５１としては、位置検出部４１、時計部４２、姿勢検出部４３、高度検出部４４が設けられる。
位置検出部４１は例えばいわゆるＧＰＳ受信器とされ、現在位置としての緯度、経度の情報を取得することができる。
時計部４２は現在時刻を計時する。
姿勢検出部４３は例えば３軸のジャイロと３方向の加速度計を有するＩＭＵ（inertial measurement unit）を用いて所定のアルゴリズムで飛行体２００の飛行姿勢、例えば水平方向或いは直下方向に対する傾きを検出するセンサとされる。これは撮像装置２５０の撮像方向の傾きを検出するものともなる。
高度検出部４４は、飛行体２００による高度、つまり撮像場所としての高度を検出する。

例えばこれらのセンサを備えたセンサ部２５１を搭載することにより、カメラ制御部３３は、各時点の画像データに、位置検出部４１によって得られる位置情報や、時計部４２によって得られる日時情報、姿勢検出部４３によって得られる傾き情報、高度検出部４４によって得られる高度情報を対応づけてファイル化することができる。
情報処理装置１側では、画像データとともに、これらのセンサ部２５１の検出データや照度センサ２６１による照度情報を取得することで、各画像についての撮像時の位置、時刻、姿勢、高度、照度を確認できる。

なお図３では撮像装置２５０がセンサ部２５１を内蔵しているように示しているが、例えば位置検出部４１、時計部４２、姿勢検出部４３、高度検出部４４がセンサボックス２６０内に設けられ、撮像装置２５０に検出情報を送信可能とされてもよい。
また、センサの例は一例である。センサ部２５１には上記以外に、温度センサ、方位センサ、風速センサ等、他のセンサが設けられ、それらの検出値が画像データに対応づけられるようにしてもよい。また、上記したセンサが全て設けられる必要もない。

続いて図４、図５により情報処理装置１の構成を説明する。
図４はＰＣ等で実現される情報処理装置１のハードウエア構成例を示している。

図４に示すように情報処理装置１は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３を有して構成される。
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または記憶部５９からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インタフェース５５も接続されている。

入出力インタフェース５５には、表示部５６、入力部５７、音声出力部５８、記憶部５９、通信部６０、メディアドライブ６１などが接続可能である。

表示部５６は液晶ディスプレイパネル或いは有機ＥＬ（Electroluminescence）ディスプレイパネル、及びこれらのディスプレイパネルの駆動回路を備えた表示装置として構成される。この表示部５６は情報処理装置１と一体でも良いし別体の機器でもよい。
表示部５６では、例えば撮像画像や評価指標の画像の表示などが行われる。

入力部５７は、情報処理装置１を使用するユーザが用いる入力デバイスを意味する。入力デバイスとしては例えばキーボード、マウスが想定される。もちろんこれに限らず、例えば表示部５６と一体形成されたタッチパネル、タッチパッド、撮像装置により構成されユーザの挙動を検出して操作入力と認識するジェスチャー入力装置、ユーザの視線を検知する視線入力装置なども入力デバイスとなり得る。

音声出力部５８は、スピーカやスピーカを駆動するパワーアンプユニットなどより構成され、必要な音声出力を行う。

記憶部５９は例えばＨＤＤ（Hard Disk Drive）などより構成され、各種データやプログラムが記憶される。例えば図５で後述する機能を実現するためのプログラムが記憶部５９に記憶される。また撮像装置２５０で得られた画像データや各種付加データも記憶部５９に格納され、これにより画像データを用いた各種の画像表示のための処理が可能となる。

通信部６０は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。情報処理装置１は通信部６０によるネットワーク通信により各種プログラムをダウンロードしたり、画像データその他のデータを外部機器に転送できる。
また通信部６０は、撮像装置２５０の通信部３５との間で有線又は無線通信を行うものとしてもよい。これにより撮像装置２５０で撮像した画像データ等を取得できる。
なお通信部６０は例えば撮像装置２５０の撮像中に逐次無線通信を行い、画像データ等を受信取得していってもよいし、撮像終了後にまとめて各時点のデータを受信取得してもよい。

入出力インタフェース５５にはまた、必要に応じてメディアドライブ６１が接続され、メモリカード６２が装着され、メモリカード６２に対して情報の書込、読出ができるようにされている。
例えばメモリカード６２から読み出されたコンピュータプログラムが、必要に応じて記憶部５９にインストールされる。
また例えば撮像装置２５０で画像データ等が記録されたメモリカード６２がメディアドライブ６１に装着された場合、その画像データ等を読み出して記憶部５９に格納できる。
なおもちろんメディアドライブ６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。

実施の形態の情報処理装置１では、このようなハードウエア構成において、ＣＰＵ５１が図５Ａに示す機能を備える。
即ちＣＰＵ５１では、ソフトウエアにより実現される機能として、データ授受制御部７１、照度データ処理部７２、カメラデータ処理部７３、評価演算部７４、表示制御部７５が設けられる。

データ授受制御部７１は例えば記憶部５９、メディアドライブ６１等に対してデータの記憶や再生動作の制御を行って必要なデータを取得したり、出力するデータを記憶させたりする機能である。またデータ授受制御部７１は、通信部６０に対するデータの授受を行うことで、外部装置からのデータを取得したり、外部装置にデータ送信を行う機能でもある。
ここでは特に撮像装置２５０で撮像された画像データ及び各種検出データを含む付加データを用いた処理のための機能として示している。

照度データ処理部７２は照度センサ２６１によって検出される照度情報に関する処理を行う。特には光源（太陽光）の分光特性演算を行う機能である。
カメラデータ処理部７３は被写体、即ち圃場２１０の植物等についての反射分光特性演算を行う機能である。
評価演算部７４は各種の植生指数（例えばＮＤＳＩ等）の算出を行う機能である。
表示制御部７５は、撮像した画像やマッピング画像等を表示部５６において表示させる制御を行う機能である。

具体的な処理例は後述するが、例えば図４の構成の情報処理装置１が、ＣＰＵ５１において図５Ａの機能をハードウエア又はソフトウエアにより具備することで、本開示の情報処理装置の実施の形態としての処理が実行される。即ち図５Ｂ、図５Ｃに示す処理である。

図５Ａに示すように、ＣＰＵ５１はステップＳ１０１としてデータ取込を行う。これはデータ授受制御部７１により撮像画像データの１フレーム及び付加データを取得する処理である。
ステップＳ１０２でＣＰＵ５１は照度データ処理を行う。これは照度データ処理部７２が、当該フレームについての照度情報を用いて光源（太陽光）の分光特性演算を行う処理である。
ステップＳ１０３でＣＰＵ５１はカメラデータ処理を行う。これはカメラデータ処理部７３により被写体の反射分光特性演算を行う処理である。
ステップＳ１０４でＣＰＵ５１は評価指数算出を行う。これは評価演算部７４による植生指数の算出処理である。

このステップＳ１０４の処理は、図５Ｃにより詳細に示される。
まずＣＰＵ５１はステップＳ１４１で評価指数のＳＮＲの予測演算を行う。
続いてＣＰＵ５１はステップＳ１４２で、予測ＳＮＲと目標のＳＮＲから不足ＳＮＲを算出する。
続いてＣＰＵ５１はステップＳ１４３で、各要素のＳＮＲ改善処理を行う。各要素とは評価指数算出に用いる要素（例えば特定の波長の画像）であったり、画像データの各画素のことである。
そしてＣＰＵ５１はステップＳ１４４で、ＳＮＲ改善された各要素を用いて評価指数算出を行う。
なお以上の手順で算出された評価指数を示す画像は、その後表示制御部７５の機能によりユーザに対して表示される。

以上の図５Ａ、図５Ｂの処理を行う図５Ａの機能をソフトウエアにより実現する場合、そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図４の情報処理装置１にインストールされる。或いはそのプログラムが記憶部５９としてのＨＤＤ等に予め記憶されていてもよい。そしてＣＰＵ５１において当該プログラムが起動されることで、上記各部の機能が発現する。

なお、実施の形態の情報処理装置１は、図４のようなハードウエア構成のコンピュータ装置（情報処理装置）が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ（Local Area Network）等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図４の情報処理装置１は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置１としての機能を有する測定装置、撮像装置、テレビジョン装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置１としての機能を搭載することができる。
また機能構成の例は図５Ａに示したものに限られない。更に多様な構成例が考えられる。また情報処理装置１が飛行体２００の制御機能、撮像装置２５０との通信機能、他のインタフェース機能などをさらに備える例も考えられる。

ここで、本実施の形態のシステムの利用態様の例を説明しておく。
図６Ａに実施の形態のシステムで行われる動作を大まかに示している。
センシングＳＴ１は飛行体２００を用いた飛行時の撮像動作である。
後処理ＳＴ２は、撮像画像を用いて評価指数を算出する処理である。
ストレージＳＴ３は評価指数の保存処理である。
分析ＳＴ４は、保存された評価指数を用いてセンシング結果を分析する処理である。
アクションＳＴ５は、分析結果を実際のアクションに反映させることを示している。

例えば北米、ヨーロッパ、オーストラリアなど、農業大国における精密農業では、リモートセンシングの結果をＦＭＳ（Farm Management System）と言われる分析ツールにかけ、その結果をトラクターの制御信号として伝送することで、センシング結果に応じて異なるアクションが行われている。
この場合、本実施の形態としては、センシングＳＴ１、後処理ＳＴ２、ストレージＳＴ３をリモートセンシングシステムハードウエア（以下、「リモートセンシングＨＷ」と略記）、情報処理装置１、クラウド３のどこで行うかに応じて、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅのように分類することができる。
リモートセンシングＨＷは、飛行体２００、撮像装置２５０、センサボックス２６０を含むハードウエアである。
クラウド３は、情報処理装置１がネットワークを介して通信可能なコンピュータ装置や記憶装置を総称している。

図６Ｂは、センシングＳＴ１、後処理ＳＴ２をリモートセンシングＨＷで行い、ストレージＳＴ３を情報処理装置１で行う例である。即ちこの例の場合、例えば飛行体２００上の撮像装置２５０において評価指数算出までを行うものとし、情報処理装置１はその記憶（又は記憶以降）を行う。
図６Ｃは、センシングＳＴ１をリモートセンシングＨＷで行い、後処理ＳＴ２、ストレージＳＴ３を情報処理装置１で行う例である。この例の場合、飛行体２００上の撮像装置２５０で撮像した画像データを情報処理装置１が取得し、評価指数算出及び記憶を行う。
図６Ｄは、センシングＳＴ１をリモートセンシングＨＷで行い、後処理ＳＴ２を情報処理装置１で行い、ストレージＳＴ３をクラウド３で行う例である。この例の場合、飛行体２００上の撮像装置２５０で撮像した画像データを情報処理装置１が取得し、評価指数算出を行った後、その評価指数をクラウド３で記憶する。
図６Ｅは、センシングＳＴ１をリモートセンシングＨＷで行い、後処理ＳＴ２、ストレージＳＴ３をクラウド３で行う例である。この例の場合、飛行体２００上の撮像装置２５０で撮像した画像データをクラウド３に転送し、評価指数算出及び記憶を行う。
これらのいずれの場合でも、本実施の形態で説明する技術は適用可能である。換言すれば、情報処理装置１のみならず、クラウド３における情報処理装置１でも本開示の技術は適用できるものである。

以下、実施の形態の説明は図６Ｄのケースで行う。
この場合の各部の動作概要を図７に示す。
例えばリモートセンシングＨＷでセンシングＳＴ１が行われる。具体的には撮像部３１で撮像される画像データと、照度センサ２６１で得られる照度情報が、信号処理系３０の処理によりメモリカード６２に格納される。信号処理系３０とは撮像信号処理部３２、カメラ制御部３３、格納部３４、センサ制御部２６２の総称としている。
メモリカード６２は情報処理装置１に装填され、画像データとセンサデータは情報処理装置１に受け渡される。情報処理装置１は後処理ＳＴ２として評価指数の演算を行う。

評価指数の情報（例えばＮＤＳＩ画像等）は基地局４を介してクラウド３に送信され、記憶装置５に記憶（ストレージＳＴ３）が行われる。
この記憶装置５に格納された評価指数の情報は例えばサーバ６の分析ソフトウエアによる分析ＳＴ４に用いられる。
また分析結果に応じたアクションＳＴ５が、実行装置７に指示される。例えば分析結果に基づく制御データを実行装置７としてのトラクターなどに転送することで、作物の発育状況に応じた可変施肥、散水などが行われる。

＜３．第１の実施の形態＞
第１の実施の形態としての具体的な処理例を説明する。この場合、撮像装置２５０はハイパースペクトルカメラであるとする。
まず図８に植生のリモートセンシングの具体例を示す。ハイパースペクトルカメラでは、非常に細かく多くの波長の画像を取り出すことができる。そこで、太陽光についても細かい分光特性を検出することが必要であり、分光器による測定がよく行われる（照度センサ２６１として分光器を用いる）。

図８Ｂはハイパースペクトルカメラとしての撮像装置２５０により、被写体である植物を撮像した場合の出力を示す。
太陽光の分光特性をＬ（λ）、植物の反射率の分光特性をＰ（λ）、撮像装置２５０（ハイパースペクトルカメラ）の分光特性をＣ（λ）とする。太陽光が植物に反射して撮像装置２５０に届くことになるため、撮像装置２５０からの出力CameraOut（λ）は、
CameraOut（λ）＝Ｌ（λ）×Ｐ（λ）×Ｃ（λ）
で示すことができる。

一方、図８Ａは、照度センサ２６１として設けられた分光器の出力を示す。
照度センサ２６１（分光器）の分光特性をＳ（λ）とする。太陽光スペクトルは照度センサ２６１に直接降り注ぐため、この照度センサ２６１の出力SensorOut（λ）は、
SensorOut（λ）＝Ｌ（λ）×Ｓ（λ）
で示すことができる。

今、求めたいのは、被写体の反射率の分光特性Ｐ（λ）である。
図８Ｂの式を図８Ｃのように展開して、Ｐ（λ）を算出することができる。
ここで図８Ａに示すように、Ｌ（λ）＝SensorOut（λ）／Ｓ（λ）であるため、この値を図８Ｃの式のＬ（λ）に代入する。
つまり、図８Ｂでは太陽光の分光特性Ｌ（λ）と植物の反射率の分光特性をＰ（λ）の２つが未知であるのに対して、図８Ａでは太陽光の分光特性Ｌ（λ）以外は既知であるため、図８Ａの環境で太陽光の分光特性Ｌ（λ）が検出できる。この結果を図８Ｂに反映させることで、光源のキャリブレーションが可能となり、正しく植物の反射率の分光特性Ｐ（λ）が算出できる。換言すれば、太陽光の分光特性Ｌ（λ）が一定の状態とした状態で植物の反射率の分光特性Ｐ（λ）を算出できる。

図９に、情報処理装置１に取り込まれた後の光源キャリブレーションと植生指数算出までの処理を示す。
情報処理装置１のＣＰＵ５１は、ステップＳ２０１でデータ取込を行う。即ちハイパースペクトルカメラである撮像装置２５０による撮像画像データ及び照度センサ２６１の情報を含む付加データを取得する。

ステップＳ２０２でＣＰＵ５１は照度データ処理を行う。この場合ＣＰＵ５１は、取り込まれた付加データの中から照度センサ２６１の検出情報（分光器の出力SensorOut（λ））を取り出し、分光器の出力SensorOut（λ）と分光器の分光特性Ｓ（λ）から、太陽光の分光特性Ｌ（λ）を算出する。

ステップＳ２０３でＣＰＵ５１はカメラデータ処理を行う。この場合ＣＰＵ５１は、撮像装置２５０の出力CameraOut（λ）と、撮像装置２５０（ハイパースペクトルカメラ）の分光特性Ｃ（λ）と、太陽光の分光特性Ｌ（λ）とを用いて、植物の反射率の分光特性Ｐ（λ）を算出する。

ステップＳ２０４でＣＰＵ５１は評価指数算出を行う。
植物の反射率の分光特性Ｐ（λ）が算出できると、２つの波長の組み合わせにより、ＮＤＳＩと言われる様々な植生指数を算出することができる。
例えば、撮像された植物の反射光における波長ｉ，ｊの反射率の分光特性Ｐ（ｉ）、Ｐ（ｊ）を用いて、
ＮＤＳＩ（Ｐｉ，Ｐｊ）＝（Ｐｉ－Ｐｊ）／（Ｐｉ＋Ｐｊ）
として植生指数を求めることができる。

ここまでは基本的な処理の説明であるが、本実施の形態では、ステップＳ２０４の処理においてＳＮＲ改善を行うことで、より高精度な植生指数を算出する。
図１０は、図９の処理、特にステップＳ２０１、Ｓ２０４の処理をより詳細に示している。

ステップＳ２０１ではＣＰＵ５１は上記の通りデータ取込を行うが、情報処理装置１に取り込まれる画像データは一度のフライトで何百枚もある。ＣＰＵ５１は、それらの画像を読み込む際に、フレーム毎に次のような分析を行う。
即ちステップＳ２１０として示すように、
（１）フレーム内画素の平均値の算出
（２）エッジ部分検出
（３）無効領域検出
（４）各画素のバラツキ（σ）の算出
を行う。
ここで（１）のフレーム内画素の平均値は、（２）のエッジ部分、（３）の無効領域を除いた画素の平均値であり、（４）のバラツキもこの領域におけるバラツキを算出しておく。

次にＣＰＵ５１は、ステップＳ２０２，Ｓ２０３で上述のように照度データ処理、カメラデータ処理を行った後、ステップＳ２０４でＳＮＲ改善処理を含む植生指数算出を行う。
即ち図９に示したステップＳ２０４の植生指数算出の処理は、より具体的には図１０に示すステップＳ２４１のＳＮＲ改善処理、ステップＳ２４２のスティッチ処理、ステップＳ２４３の植生指数算出処理、ステップＳ２４４のＵＩ（ユーザインタフェース）処理として実行される。

またステップＳ２４１のＳＮＲ改善処理においては、より詳細には、ステップＳ２５０の植生指数ＳＮＲ予測、ステップＳ２５１の不足ＳＮＲ算出、ステップＳ２５２の各画素のＳＮＲ改善の各処理が実行される。

ステップＳ２５０の植生指数ＳＮＲ予測として、ＣＰＵ５１は、ステップＳ２１０でフレーム毎に分析した結果を用いて、各フレームのＳＮＲを算出する。
具体的には、上記（１）のフレーム内画素の平均値から、各フレームのＳＮＲ（ＳＮＲ１）を、次の（式１）で算出する。

但し“Ｓ”はフレームの平均信号レベル（＝上記（１）のフレーム内画素の平均値）、“Ｎｓ”は光ショットノイズ、“Ｎｄ”は暗時ノイズ、“Ｎｑ”は量子化ノイズである。
なお光ショットノイズＮｓ、暗時ノイズＮｄ、量子化ノイズＮｑは撮像装置２５０のイメージセンサのスペックから算出される値である。従ってこれら光ショットノイズＮｓ、暗時ノイズＮｄ、量子化ノイズＮｑはイメージセンサにより固有の値を持ち、例えばＣＰＵ５１がアクセスできるメモリに格納されているなどして既知の値となる。

また、フレーム毎に分析した結果（上記（４）の各画素のバラツキ（σ））から求められる各フレームのＳＮＲ（ＳＮＲ２）を次の（式２）で算出する。

ここで次の（式３）により、ＳＮＲ１，ＳＮＲ２のうちの小さい方を、そのフレームのＳＮＲと定義する。

これは、信号成分にもバラツキがあるため、安定的な成分を求めるためには、信号成分のバラツキもノイズの一部と捉える必要があり、ＳＮＲ１，ＳＮＲ２のうちの悪い方を基準に改善量を見積もるという意味がある。

次にＣＰＵ５１は植生指数（ＮＤＳＩ）のＳＮＲを算出する。
波長（λ）＝ｉの時の植生の反射率をＰｉ
波長（λ）＝ｊの時の植生の反射率をＰｊ
とすると、植生指数（ＮＤＳＩ）は次の（式４）のようになる。

ここで“α”は光源およびカメラの分光特性から決定されるキャリブレーション係数である。

ここで（式３）で決定されるＳＮＲから
波長（λ）＝ｉの時のシグナルとノイズをＳｉ、Ｎｉ、
波長（λ）＝ｊの時のシグナルとノイズをＳｊ、Ｎｊとすると、
植生指数（ＮＤＳＩ）のＳＮＲは次の（式５）のように算出される。

以上までが、ステップＳ２５０の植生指数ＳＮＲ予測の処理となる。
次にＣＰＵ５１はステップＳ２５１で不足ＳＮＲを算出する。
今、改善の目標とするＳＮＲ値であるターゲットＳＮＲを“ＳＮＲｔ”とすると、改善が必要なＳＮＲの量である“ＳＮＲｕｐ”（即ち不足ＳＮＲ）は、次の（式６）で算出される。

この不足ＳＮＲ分のＳＮＲ値の改善のためには様々な方法があるが、１つの簡単な例としては、周辺の画素を平均化することが挙げられる。
どの程度の画素平均が必要か（即ち積分画素数ＮＵＭＲ）は、次の（式７）で算出することができる。

この時√ＮＵＭＲが一辺の画素数になるため、√ＮＵＭＲ×√ＮＵＭＲの面積で平均化すると、所望のＳＮＲが得られることになる。
なお平方数でない場合、目標値以上の精度を確保する考え方と、目標値には達しない中でも精度を高くする考え方がある。例えば画素数が“１０”の場合でいえば４×４画素の平均をとることや、３×３画素の平均をとることが考えられる。

次にＣＰＵ５１はステップＳ２５２として各画素のＳＮＲ改善を行う。
各画素のＳＮＲ改善の具体的な様子を図１１に示す。図１１ＡのようにＣＰＵ５１はステップＳ２６０で積分画素数ＮＵＭＲの平均化を行い、ステップＳ２６１で精度確保が不十分な領域をインジケートする処理を行う。

ここでは必要なＳＮＲ改善量（ＳＮＲｕｐ）が約２８ｄＢで、積分画素数ＮＵＭＲが２５画素、５×５画素の平均化が必要な場合を示す。
図１１Ｂは、図１１ＡのステップＳ２６０、Ｓ２６１の処理をブロック図で示している。
メモリ８１は画像データが格納されたある記憶領域であるとする。ＣＰＵ５１はメモリ８１から対象画素を取り出す（処理ＯＰ１）。５×５画素が順次取り出されることになる。
ＣＰＵ５１は取り出した５×５画素の平均化を順次行い（処理ＯＰ２）、メモリ８２に書き込む。メモリ８２は平均化後の画像データを格納するある記憶領域であるとする。

なお処理ＯＰ１で取り出した５×５画素の画素であっても、無効領域の画素の場合は、ＣＰＵ５１はゼロにインジケートする処理を行い（処理ＯＰ３）、メモリ８２に書き込む。
例えば画像データは図１１Ｂの左図のように、圃場２１０としてのフィールドＦＤ、道ＲＤ（畑の周辺道路やあぜ道等）、その他ＡＮを含むことがある。この場合、フィールドＦＤが有効領域、道ＲＤやその他ＡＮが無効領域である。このように無効領域は、精度確保の対象外である。
また、フィールドＦＤ内であっても、画像のエッジに当たる領域（撮像画像の隅の領域）は、５×５画素の平均化ができない。例えばエッジにある画素ＥＧは、５×５画素の平均化には斜線部の画素が必要となり、この場合、画素データが存在しないため必要な平均化ができない。従ってこのような画素ＥＧについては、精度が十分とはならない。
そこで右図のようにエッジ部分の画素の領域ＮＦＤは、無効領域と同様に扱うようにする。

以上の処理で図１０のステップＳ２５０，Ｓ２５１，Ｓ２５２の処理が行われ、ステップＳ２４１としてのＳＮＲ改善処理が行われたことになる。
その後、各フレームの画像データのスティッチ処理が行われ（Ｓ２４２）、例えば圃場全体の画像が形成される。そして植生指数算出が行われ（Ｓ２４３）、ＵＩ処理として植生指数画像がユーザに提示される（Ｓ２４４）。
ＳＮＲ改善が行われた画像データを用いることで、算出され、提示される植生指数の精度は向上されることになる。
なお、植生指数の画像を表示部５６等で表示する際には、無効領域や精度不十分領域が明示されることで、ユーザは画像内で精度の高い部分を正しく認識できる。

なお、図１１で示した処理に代えて、図１２で示す処理で各画素のＳＮＲ改善が行われるようにしてもよい。
図１２ＡのようにＣＰＵ５１はステップＳ２７０で空間ノイズリダクションによるＳＮＲ改善を行い、ステップＳ２７１で精度確保が不十分な領域をインジケートする処理を行うものである。図１２Ｂにこの処理をブロック図で示している。

メモリ８１から対象画素を取り出す。つまり５×５画素が順次取り出される（処理ＯＰ１）。
取り出された５×５画素の画素については、空間ノイズリダクションが行われる（処理ＯＰ４）。まず５×５画素の画素データについて、２次元ハイパスフィルタ（２ＤＨＰＦ）９２で高周波成分を抽出する。そしてリミッタ９３で大きなエッジ部分をリミットし、乗算器９４で係数ｋをかけて、減算器９５に供給する。減算器９５には、元の画素の信号がタイミング合わせのための遅延回路９１を介して供給される。従って減算器９５では乗算器９４の出力を元の信号から引き算することになる。これによってＳＮＲ改善が行われる。この減算器９５の出力はメモリ８２に書き込まれる。
なお、これらの処理ＯＰ４の各部の処理は、ハードウエア演算により行うように図示したが、もちろんソフトウエア演算によっても可能である。

このように空間ノイズリダクションによりＳＮＲ改善を行うことができるが、この場合、必要なＳＮＲ量に応じて係数ｋを大きくすることで、所望のＳＮＲ改善が可能である。
また無効領域の画素については、図１１の例と同様にゼロにインジケートされ（処理ＯＰ３）、メモリ８２に書き込まれる。

＜４．第２の実施の形態＞
第２の実施の形態として、撮像装置２５０がハイパースペクトルカメラではなく、任意の波長がチューナブルに算出可能なマルチスペクトルカメラの場合の例を示す。

ハイパースペクトルカメラの場合と、マルチスペクトルカメラの場合との違いは、上述した（式１）で算出されるＳＮＲが、マルチスペクトルカメラの場合では次のように算出される点である。
まず（式８）～（式１２）を示す。

撮像装置２５０（マルチスペクトルカメラ）の出力CameraOut（λ）は、上記（式８）で示すことができる。図１３Ｂに乗算される分光特性を模式的に示している。なお図１３Ａ、図１３Ｃは図８Ａ、図８Ｃと同様である。
太陽光の分光特性Ｌ（λ）は後から光源情報を元に補正されるため、これを込みでＬ（λ）×Ｐ（λ）を算出する。必要な波長λを、λ＝ｉおよびλ＝ｊとすると、ｉおよびｊの波長に対して算出すればよい。ここではλ＝ｉの場合を示す。
Ｌ（λ）×Ｐ（λ）は上記の（式９）で示すことができる。
ここでは、マルチスペクトルカメラのフィルタが４種類でそれぞれの出力が“Ａ”“Ｂ”“Ｃ”“Ｄ”であり、λ＝ｉの時のＣ^-1（λ）が（式１０）に示す“Ｅ”～“Ｔ”までのマトリクスであるとする。

出力が“Ａ”“Ｂ”“Ｃ”“Ｄ”のそれぞれについての信号Ｓｉ（波長（λ）＝ｉの時のシグナル）は、信号取り込み時に、第１の実施の形態で説明した「（１）フレーム内画素の平均値の算出」で算出した値をそれぞれAave、Bave、Cave、Daveとして、上記（式１１）で算出される。

一方ノイズレベルとしては、光ショットノイズＮｓ、暗時ノイズＮｄ、量子化ノイズＮｑから決まるノイズをＮｉとすると、上記（式１２）のように算出される。

これから各波長毎（ここではλ＝ｉおよびｊ）のＳＮＲを算出することになる。
その他の処理は第１の実施の形態と同様に行うこととなる。

＜５．第３の実施の形態＞
撮像装置２５０として、「特定用途を想定した特定の波長帯域を検出するカメラ」を用いた場合を図１４に示す。
図１４Ａ、図１４Ｃは図８Ａ、図８Ｃと同様である。図１４Ａには、撮像装置２５０の分光特性Ｃ（λ）として、特定波長帯検出カメラの場合を模式的に示している。
例えば取り込み時の画像が、ＲＥＤ（赤波長域）、ＮＩＲ（近赤外波長域）となる場合、波長ｉ＝ＲＥＤ、ｊ＝ＮＩＲとして、第１の実施の形態と同様に、被写体の反射率の分光特性Ｐ（λ）を求めればよい。

＜６．第４の実施の形態＞
上述の第１の実施の形態では、図１０のステップＳ２５０の「植生指数ＳＮＲ予測」において、ＳＮＲの小さい方を、このフレームのＳＮＲと定義し信号成分のバラツキも含めてＳＮＲの悪い方を基準に改善量を見積もると述べた（（式１）（式２）（式３）参照）が、その限りではない。異なる例を第４の実施の形態として説明する。

画像の解像度を重視するケースにおいては、常に（式１）で得られた結果をそのフレームのＳＮＲと定義するのがよい。
そうすることで、信号のバラツキ（絵柄、解像度）に左右されず、常にノイズ信号に対するＳＮＲをベースとした改善が可能となる。

また、もう少し手を加えた方法としては、各フレームの対象となる有効領域を複数のブロックに分割し、ブロック毎に（式１）と（式２）を使ってＳＮＲ１とＳＮＲ２を算出する。この時、信号レベルＳは、各ブロックの平均信号レベルである。
次にブロック毎、ＳＮＲ１とＳＮＲ２を比較する。
ＳＮＲ１とＳＮＲ２の差が大きいブロックでは、信号のバラツキが大きく、解像度が大きいブロックであるため、ＳＮＲ予測には適さないと判断できる。
逆にＳＮＲ１とＳＮＲ２の差が小さいブロックでは、信号のバラツキも小さく、解像度が小さいブロックであるため、ＳＮＲ予測に適すると判断できる。
そこで、フレームを分割した複数の各ブロックから、ＳＮＲ予測に適するブロックだけを集め、それらのブロックの平均値をそのフレームのＳＮＲとして予測する。
或いは、平均値の代わりに、最大値または最小値をそのフレームのＳＮＲとして予測することも可能である。
このように、ＳＮＲ予測に関して各種の手法が考えられる。

＜７．移動体への応用例＞
本開示に係るＳＮＲ改善の技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１６は、撮像部１２０３１の設置位置の例を示す図である。

図１６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１ないし１２１０４で撮像された画像データについてのＳＮＲ改善に用いることができる。これにより、より精度の高いセンシング等が可能となる。

＜８．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の情報処理装置１は、画像データのＳＮＲを予測する処理と、予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ改善処理と、ＳＮＲ改善処理が反映された状態で評価指数を算出する処理と、を行う評価演算部７４を備えている。
イメージセンサをセンシング用途に利用する場合、画素単位のＳＮＲが厳しく、所望の精度を実現できないことが多い。例えば観察対象を撮像した画像データから評価指数を求める場合に、画像データのＳＮＲによって精度が十分でない場合がある。
そこで画像毎にＳＮＲを予測し、そのＳＮＲに応じたＳＮＲ調整（ＳＮＲ改善）を施す。これにより、ＳＮＲが変動しやすい環境において撮像された画像データから求める評価指数について、常に一定以上の精度が保たれるようにすることができる。
例えば土壌成分、植生指数などをリモートセンシングにより、その良し悪しを計測する場合に、天候や環境によらずに一定以上の評価指数画像を生成することができ、作物の育成状況の把握や、土壌調査などに適切な情報を提供できることになる。
また植生に限らず、例えば車載カメラにより車両の周囲状況を確認する画像、安全性の評価画像等を生成する場合に、ＳＮＲの低下による精度低下を防止できる。

実施の形態では、評価指数の画像データのＳＮＲを予測し、評価指数を算出する各要素及び画像データの各画素のＳＮＲ改善処理を行った状態で評価指数を算出するようにした（図１０参照）。
例えばＮＤＳＩ画像等の評価指数の画像データのＳＮＲを予測し、評価指数を算出する要素（例えば特定の波長の画像）や、その各画素のＳＮＲ改善を行う。
これにより評価指数の画像データについて適切なＳＮＲ調整ができ、評価指数の精度を向上させることができる。

実施の形態では、ＳＮＲ改善処理は、予測されたＳＮＲと目標ＳＮＲから求められる不足ＳＮＲに応じて画像データのＳＮＲの調整を行う処理であるとした（図１０、式１～式７参照）。
ＳＮＲを予測することで、目標のＳＮＲに対する不足分が推定されるため、その不足ＳＮＲに応じたＳＮＲ改善を行う。これにより適切な改善量のＳＮＲ調整ができる。

実施の形態では、ＳＮＲ改善処理では、画像データの各画素のＳＮＲの改善のために、不足ＳＮＲを用いて求められた数の周辺画素の平均化を行う例を挙げた（図１１参照）。
不足ＳＮＲ分のＳＮＲ改善のために周辺画素の平均化を行う際に、平均化する周辺画素数を、不足ＳＮＲを用いて求められた数とする。これにより目標のＳＮＲに対する適切なＳＮＲ調整ができる。

実施の形態では、ＳＮＲ改善処理では、画像データの各画素のＳＮＲの改善のために、不足ＳＮＲを用いて求められた数の周辺画素を対象として空間ノイズリダクションを行う例を挙げた（図１２参照）。
ＳＮＲ改善の手法として空間ノイズリダクションを行う場合も、対象の画素は不足ＳＮＲを用いて求められた数とする。これにより目標のＳＮＲに対する適切なＳＮＲ調整ができる。

実施の形態では、評価指数の提示の際に、前記ＳＮＲ改善処理が有効とならない領域を明示する処理が行われる例を挙げた（図１１Ｃ参照）。
つまりＳＮＲ改善によっても十分に精度が確保できない領域については、ユーザに明確に提示されるようにする。これによりユーザは、ＳＮＲ改善のよって精度が確保できた領域と、そうでない領域を明確に区別して、提示された評価指数を確認できる。

実施の形態では、評価指数として植生評価指数（例えばＮＤＳＩ）の例を挙げた。
即ち植生のリモートセンシングを行うシステムにおいて、撮像画像或いは撮像画像から生成された植生評価画像に対しＳＮＲ改善を行う。
これにより植物のセンシングにおいて評価精度を向上させることができる。
特に屋外の圃場２１０を対象とする場合、時間帯による太陽位置、撮影角度、天候等、様々な要因で、センシング結果が大きく異なる。１回のフライト内でも、突然晴れから曇りに変わり、センシング結果に影響を及ぼす。さらにイメージセンサの精度の事情もある。本実施の形態では、画像のＳＮＲを改善することで、このような外的要因の変動やシステム事情の影響を低減又は排除でき、常に良好なセンシング結果を得ることができる。
また例えば、今年の作物の育成状況を昨年の作付けの状態と正しく比較しようとする場合、精度の違いにより、一概に比較できないが、本実施の形態のようにＳＮＲ改善（ＳＮＲ調整）を行うようにすることで評価精度が安定し、それが可能となる。つまり異なる時点での比較評価という点でも好適となる。

実施の形態では、光源（太陽光）の分光特性Ｌ（λ）を反映して植物の反射率の分光特性Ｐ（λ）を算出し、算出された植物の反射率の分光特性Ｐ（λ）から植生指数を算出する例を挙げた。
天候の影響などで変動する光源である太陽光をキャリブレーションした状態で植物の反射率の分光特性を算出することで、太陽光の状態にかかわらない植物の反射率が算出でき、植生指数の精度を向上させることができる。

実施の形態では、画像データのフレーム毎に、フレームの平均信号レベル、光ショットノイズ、暗時ノイズ、量子化ノイズの値を用いて画像データのＳＮＲの予測値を求める処理を行う例を挙げた（図１０、式１～式５参照）。
フレームの平均信号レベルはフレーム内画素の平均値である。光ショットノイズ、暗時ノイズ、量子化ノイズは撮像装置のイメージセンサのスペックから算出される。これらを用いた演算で画像データのＳＮＲの予測値を求める。
この場合、各フレームについてフレームの平均信号レベルを求めることで、比較的容易に予測ＳＮＲを求めることができる。

実施の形態のプログラムは、画像データのＳＮＲを予測する処理と、予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ改善処理と、ＳＮＲ調整処理後の画像データに基づき評価指数を算出する処理とを情報処理装置に実行させるプログラムである。
即ち図１０の処理を情報処理装置１に実行させるプログラムである。

このようなプログラムにより本実施の形態の情報処理装置１の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、実施の形態ではＳＮＲ改善処理を行う例を述べているが、ＳＮＲを或るレートに安定化するということも、センシング精度を安定化したい場合には有効である。
そこで、ＳＮＲを必ずしも改善するだけでなく、場合によっては目標ＳＮＲ値に安定化するために、部分的にＳＮＲを下げる場合も有り得る。
そのため、ＳＮＲ改善だけでなく、ＳＮＲ一定化の場合も含めて本開示では、ＳＮＲ調整といっている。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
画像データのＳＮＲを予測する処理と、
予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ調整処理と、
前記ＳＮＲ調整処理後の画像データに基づき評価指数を算出する処理と、を行う評価演算部を備えた
情報処理装置。
（２）
前記評価演算部は、
評価指数の画像データのＳＮＲを予測し、
評価指数を算出する各要素及び画像データの各画素のＳＮＲ調整処理を行った状態で評価指数を算出する
上記（１）に記載の情報処理装置。
（３）
前記ＳＮＲ調整処理は、予測されたＳＮＲと目標ＳＮＲから求められる不足ＳＮＲに応じて画像データのＳＮＲの調整を行う処理である
上記（１）又は（２）に記載の情報処理装置。
（４）
前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素の平均化を行う処理である
上記（３）に記載の情報処理装置。
（５）
前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素を対象として空間ノイズリダクションを行う処理である
上記（３）に記載の情報処理装置。
（６）
評価指数の提示の際に、前記ＳＮＲ調整処理が有効とならない領域を明示する処理が行われる
上記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記評価指数は、植生評価指数である
上記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記評価演算部では、光源の分光特性を反映して植物の反射率の分光特性を算出し、算出された植物の反射率の分光特性から植生指数を算出する
上記（７）に記載の情報処理装置。
（９）
前記評価演算部は、
画像データのフレーム毎に、フレームの平均信号レベル、光ショットノイズ、暗時ノイズ、量子化ノイズの値を用いて画像データのＳＮＲの予測値を求める処理を行う
上記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
画像データのＳＮＲを予測する処理と、
予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ調整処理と、
前記ＳＮＲ調整処理後の画像データに基づき評価指数を算出する処理と、
を情報処理装置が実行する情報処理方法。
（１１）
画像データのＳＮＲを予測する処理と、
予測されたＳＮＲに基づいて画像データのＳＮＲを調整するＳＮＲ調整処理と、
前記ＳＮＲ調整処理後の画像データに基づき評価指数を算出する処理と、
を情報処理装置に実行させるプログラム。

１…情報処理装置、３１…撮像部、３２…撮像信号処理部、３３…カメラ制御部、３４…格納部、３５…通信部、４１…位置検出部、４２…時計部、４３…姿勢検出部、４４…高度検出部、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…バス、５５…入出力インタフェース、５６…表示部、５７…入力部、５８…音声出力部、５９…記憶部、６０…通信部、６１…メディアドライブ、６２…メモリカード、７１…データ授受制御部、７２…照度データ処理部、７３…カメラデータ処理部、７４…評価演算部、７５…表示制御部、２００…飛行体、２１０…圃場、２５０…撮像装置、２５１…センサ部、２６０…センサボックス、２６１…照度センサ、２６２…センサ制御部、

Claims (10)

1. 画像データの画素の平均値から算出されるＳＮＲと、画像データの画素のバラツキから算出されるＳＮＲとのうちの値の小さい方を用いて植生指数の画像データのＳＮＲを予測する処理と、
   予測されたＳＮＲに基づいて画像データの各画素のＳＮＲを調整するＳＮＲ調整処理と、
   前記ＳＮＲ調整処理後の画像データに基づき植生指数を算出する処理と、を行う評価演算部を備えた
   情報処理装置。
2. 前記評価演算部は、
   植生指数を算出する各要素のＳＮＲ調整処理を行った状態で植生指数を算出する
   請求項１に記載の情報処理装置。
3. 前記ＳＮＲ調整処理は、予測されたＳＮＲと目標ＳＮＲから求められる不足ＳＮＲに応じて画像データのＳＮＲの調整を行う処理である
   請求項１に記載の情報処理装置。
4. 前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素の平均化を行う処理である
   請求項３に記載の情報処理装置。
5. 前記ＳＮＲ調整処理は、前記不足ＳＮＲを用いて求められた数の周辺画素を対象として空間ノイズリダクションを行う処理である
   請求項３に記載の情報処理装置。
6. 植生指数の提示の際に、前記ＳＮＲ調整処理が有効とならない領域を明示する処理が行われる
   請求項１に記載の情報処理装置。
7. 前記評価演算部では、光源の分光特性を反映して植物の反射率の分光特性を算出し、算出された植物の反射率の分光特性から植生指数を算出する
   請求項１に記載の情報処理装置。
8. 前記評価演算部は、
   画像データのフレーム毎に、フレームの平均信号レベル、光ショットノイズ、暗時ノイズ、量子化ノイズの値を用いて植生指数の画像データのＳＮＲの予測値を求める処理を行う
   請求項１に記載の情報処理装置。
9. 画像データの画素の平均値から算出されるＳＮＲと、画像データの画素のバラツキから算出されるＳＮＲとのうちの値の小さい方を用いて植生指数の画像データのＳＮＲを予測する処理と、
   予測されたＳＮＲに基づいて画像データの各画素のＳＮＲを調整するＳＮＲ調整処理と、
   前記ＳＮＲ調整処理後の画像データに基づき植生指数を算出する処理と、
   を情報処理装置が実行する情報処理方法。
10. 画像データの画素の平均値から算出されるＳＮＲと、画像データの画素のバラツキから算出されるＳＮＲとのうちの値の小さい方を用いて植生指数の画像データのＳＮＲを予測する処理と、
    予測されたＳＮＲに基づいて画像データの各画素のＳＮＲを調整するＳＮＲ調整処理と、
    前記ＳＮＲ調整処理後の画像データに基づき植生指数を算出する処理と、
    を情報処理装置に実行させるプログラム。

Images