[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020024103A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2020024103A
JP2020024103A JP2018147568A JP2018147568A JP2020024103A JP 2020024103 A JP2020024103 A JP 2020024103A JP 2018147568 A JP2018147568 A JP 2018147568A JP 2018147568 A JP2018147568 A JP 2018147568A JP 2020024103 A JP2020024103 A JP 2020024103A
Authority
JP
Japan
Prior art keywords
information processing
color temperature
wavelength
light
ambient light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2018147568A
Other languages
English (en)
Inventor
高嶋 昌利
Masatoshi Takashima
昌利 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018147568A priority Critical patent/JP2020024103A/ja
Priority to PCT/JP2019/028752 priority patent/WO2020031681A1/en
Priority to EP19752278.2A priority patent/EP3833944A1/en
Priority to US17/264,137 priority patent/US11422026B2/en
Publication of JP2020024103A publication Critical patent/JP2020024103A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0474Diffusers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0219Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0422Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using light concentrators, collectors or condensers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0488Optical or mechanical part supplementary adjustable parts with spectral filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0488Optical or mechanical part supplementary adjustable parts with spectral filtering
    • G01J1/0492Optical or mechanical part supplementary adjustable parts with spectral filtering using at least two different filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Sustainable Development (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

【課題】容易かつ正確に環境光に対するキャリブレーションを行う。【解決手段】情報処理装置は、照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する色温度推定部を備える。本技術は、例えば、農地のリモートセンシングを行い、NDVI(Normalized Difference Vegetation Index)等の評価指標を算出するシステムに適用できる。【選択図】図5

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、環境光に対するキャリブレーションを行う場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
従来、植物等の検査対象物の検査指標の測定時に、基準反射板を用いて環境光に対するキャリブレーションを行うことが提案されている。例えば、検査対象物と同時にセンシング可能な位置に設置されている基準反射板により反射された反射光のスペクトルを分光器により検出し、検出した反射光のスペクトルに基づいて検査対象物の測定スペクトルの補正が行われる。これにより、検索対象物の測定スペクトルへの環境光の影響が低減される(例えば、特許文献1参照)。
国際公開第2017/10258号
しかしながら、例えばカメラをドローンに搭載して上空から農場等を撮影する場合、基準反射板を検査対象物と常に同時に撮影することは困難であるため、環境光に対するキャリブレーションの実施が困難になる。
本技術は、このような状況に鑑みてなされたものであり、容易かつ正確に環境光に対するキャリブレーションを行うことができるようにするものである。
本技術の一側面の情報処理装置は、照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する色温度推定部を備える。
本技術の一側面の情報処理方法は、情報処理装置が、照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する。
本技術の一側面のプログラムは、照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する処理をコンピュータに実行させる。
本技術の一側面においては、照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度が推定される。
本技術の一側面によれば、容易かつ正確に環境光の色温度を推定することができる。その結果、例えば、容易かつ正確に環境光に対するキャリブレーションを行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した情報処理システムの第1の実施の形態を示すブロック図である。 撮影部の構成例を示すブロック図である。 リモートセンシングHWの設置例を示す図である。 情報処理端末の構成例を示すブロック図である。 情報処理部の第1の実施の形態を示すブロック図である。 評価指標演算処理の第1の実施の形態を説明するためのフローチャートである。 センシング画像及び照度データの分光特性の算出式を示す図である。 図6の色温度推定処理の詳細を説明するためのフローチャートである。 D65光源及び黒体から発せられる各色温度の光の分光特性を示すグラフである。 各色温度の環境光の分光特性を示すグラフである。 入力テーブルの第1の実施の形態をグラフ化した図である。 出力テーブルの第1の実施の形態をグラフ化した図である。 環境光の分光特性を求める過程を説明するための図である。 環境光の分光分析の他の第1の方法を示す図である。 環境光の分光分析の他の第2の方法を示す図である。 環境光の分光分析の他の第3の方法を示す図である。 本技術を適用した情報処理システムの第2の実施の形態を示すブロック図である。 情報処理部の第2の実施の形態を示すブロック図である。 評価指標演算処理の第2の実施の形態を説明するためのフローチャートである。 センシング画像及び照度データの分光特性の算出式を示す図である。 図19の色温度推定処理の詳細を説明するためのフローチャートである。 入力テーブルの第2の実施の形態をグラフ化した図である。 出力テーブルの第2の実施の形態をグラフ化した図である。 本技術を適用した情報処理システムの第3の実施の形態を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
4.その他
<<1.第1の実施の形態>>
まず、図1乃至図16を参照して、本技術の第1の実施の形態について説明する。
<情報処理システム11の構成例>
図1は、本技術を適用した情報処理システム11の構成例を示している。
情報処理システム11は、例えば、農地等の分析対象となる領域(以下、センシングエリアと称する)のセンシングを行い、センシング結果の分析に用いる評価指標を算出するシステムである。情報処理システム11は、リモートセンシングHW(ハードウエア)21、及び、情報処理端末22を備える。
リモートセンシングHW21は、センサボックス31及びカメラ32を備える。
センサボックス31は、拡散板41、照度センサ42、及び、制御部43を備える。
拡散板41は、環境光を拡散することにより、照度センサ42に入射する環境光の明るさのムラを低減する。
ここで、環境光には、例えば太陽光が想定されるが、必ずしも太陽光には限定されない。また、例えば、環境光が、複数の光源からの光を含んでいてもよい。
なお、以下、環境光が太陽光である場合を主に例に挙げて説明する。
照度センサ42は、フォトダイオード等の受光素子を用いて、入射光(例えば、環境光)の照度を検出するセンサである。照度センサ42は、照度を検出する波長帯域を設定することが可能であり、複数の波長帯域を設定することも可能である。また、複数の波長帯域が互いに重なっていてもよい。ただし、検出可能な波長帯域の数は、ある程度(例えば、5以下に)限定される。例えば、可視光領域において1つ、及び、赤外光領域において1つの少なくとも2つの波長帯域が、照度を検出する波長帯域に設定される。また、図10を参照して後述するように、各色温度の環境光の分光特性は、450nm付近で大きく変化する。従って、照度を検出する波長帯域は、450nm付近の波長を含むことが望ましい。また、波長帯域の幅は特に限定されず、例えば、照度を検出する波長帯域が、ごく狭いピンポイントの波長(単波長)であってもよい。なお、以下、照度センサ42が、赤色光付近の波長帯域、緑色光付近の波長帯域、青色光付近の波長帯域、及び、近赤外光領域内の波長帯域の環境光の照度をそれぞれ検出する場合について説明する。
また、照度センサ42は、例えば、複数の画素を備え、被写体の輝度の空間方向の分布を検出可能なイメージセンサとは異なり、空間方向の照度の分布を検出する機能は有していない。
照度センサ42は、各波長帯域の照度の検出値を示すデータ(以下、照度データと称する)を制御部43に供給する。
制御部43は、カメラ32の制御部55と連携を取りながら、照度センサ42の検出タイミング等を制御する。また、制御部43は、照度データをカメラ32の制御部55に供給する。
カメラ32は、光学系51、撮影部52、信号処理部53、ドライブ54、及び、制御部55を備え、環境光の下で被写体の撮影を行う。
光学系51は、レンズ等を備え、被写体(センシングエリア)の像を撮影部52のイメージセンサ72(図2)の受光面に結像させる。
撮影部52は、制御部55の制御の下に、被写体の撮影を行い、得られたセンシング画像を信号処理部53に供給する。
信号処理部53は、制御部55の制御の下に、センシング画像に対して各種の信号処理を行い、信号処理後のセンシング画像を制御部55に供給する。
ドライブ54は、制御部55の制御の下に、リムーバブルメディア23を駆動する。例えば、ドライブ54は、センシング画像及び照度データを含むセンシングデータをリムーバブルメディア23に記憶させる。
リムーバブルメディア23は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のドライブ54に着脱可能な記憶媒体により構成される。
制御部55は、カメラ32の各部の制御(例えば、撮影部52の露光制御等)を行う。また、制御部55は、センサボックス31との間の同期制御等を行う。
<撮影部52の構成例>
図2は、カメラ32の撮影部52の構成例を示している。撮影部52は、フィルタ71及びイメージセンサ72を備える。
フィルタ71は、例えば、2以上の所定の狭い波長帯域(狭帯域)の波長を透過することが可能なマルチスペクトルフィルタ又はハイパースペクトルフィルタにより構成される。この場合、カメラ32は、マルチスペクトルカメラ又はハイパースペクトルカメラとなる。また、そのようなフィルタの具体例として、プラズモンフィルタ、ファブリペロー干渉計等が挙げられる。
なお、フィルタ71が透過する波長帯域(以下、透過帯域と称する)の数は、2以上の任意の数に設定することが可能である。また、フィルタ71の各透過帯域の範囲も任意に設定することが可能である。
なお、フィルタ71の各透過帯域は、少なくとも隣接する透過帯域と重なっているものとする。また、フィルタ71は、RGB(赤、緑、青)、CMYG(シアン、マゼンタ、黄、緑)等の従来のカラーフィルタにより構成することも可能である。
イメージセンサ72は、例えば、CMOSイメージセンサ、CCDイメージセンサ等により構成される。イメージセンサ72は、フィルタ71の透過帯域の成分を含むセンシング画像を撮影し、信号処理部53に供給する。
信号処理部53は、センシング画像に対して各種の信号処理を行う。例えば、信号処理部53は、センシング画像に対してデモザイク処理を行い、センシング画像の各画素について、フィルタ71の各透過帯域の成分の補間処理を行う。これにより、センシング画像の各画素が、フィルタ71の各透過帯域の成分を含むようになり、センシング画像は、フィルタ71の透過帯域毎の複数の画像を重畳した画像となる。信号処理部53は、信号処理後のセンシング画像を制御部55に供給する。
<リモートセンシングHW21の設置例>
図3は、リモートセンシングHW21の設置例を示している。
リモートセンシングHW21は、例えば、ドローン81の本体部の下面に設置される。そして、リモートセンシングHW21は、上空からセンシングエリアを見下ろしながら、センシングエリアのリモート撮影(リモートセンシング)を行う。
<情報処理端末22の構成例>
図4は、情報処理端末22がPC(パーソナルコンピュータ)からなる場合の構成例を示している。
情報処理端末22において、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及び、ドライブ110が接続されている。
入力部106は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。
出力部107は、ディスプレイ、スピーカなどよりなる。
記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。記憶部108は、例えば、環境光の色温度の推定に用いられる入力テーブル、及び、環境光の各波長の放射照度を求めるのに用いられる出力テーブルが記憶されている。
通信部109は、ネットワークインタフェース、通信装置などよりなる。
ドライブ110は、リムーバブルメディア23を駆動する。例えば、ドライブ110は、リモートセンシングHW21により書き込まれたセンシングデータをリムーバブルメディア23から読み出す。
なお、以下、情報処理端末22の説明を行う場合に、バス104及び入出力インタフェース105の記載を省略する。例えば、CPU101が、バス104及び入出力インタフェース105を介して、通信部109とデータの授受を行う場合、単に、CPU101が通信部109とデータの授受を行うと記載する。
<情報処理部151の構成例>
図5は、情報処理端末22のCPU101が所定の制御プログラムを実行することにより実現される情報処理部151の構成例を示している。
情報処理部151は、色温度推定部161、分光分析部162、及び、評価指標算出部163を備える。
色温度推定部161は、照度データ及び入力テーブルに基づいて、環境光の色温度を推定する。
分光分析部162は、環境光の色温度、出力テーブル、及び、センシング画像に基づいて、センシング画像内の被写体の反射率の分光特性の分析を行う。
評価指標算出部163は、被写体の反射率の分光特性に基づいて、被写体の分析に用いる評価指標を算出する。
<評価指標演算処理の第1の実施の形態>
次に、図6のフローチャートを参照して、情報処理端末22により実行される評価指標演算処理の第1の実施の形態について説明する。
ステップS1において、情報処理端末22は、センシングデータを取得する。例えば、センシングデータが記憶されているリムーバブルメディア23が情報処理端末22のドライブ110に装着される。センシングデータは、リモートセンシングHW21がセンシングエリアを撮影したセンシング画像、及び、撮影時の環境光の照度の検出値を示す照度データを含む。ドライブ110は、センシングデータをリムーバブルメディア23から読み出し、CPU101に供給する。
ここで、センシングデータに含まれるセンシング画像の分光特性CO(λ)は、図7のAに示されるように、次式(1)で表される。また、センシングデータに含まれる照度データの分光特性SO(λ)は、図7のBに示されるように、次式(2)で表される。
CO(λ)=L(λ)×P(λ)×C(λ)・・・(1)
SO(λ)=L(λ)×T(λ)×S(λ)・・・(2)
L(λ)は環境光(の光源)の分光特性を示し、P(λ)はセンシング画像内の被写体の反射率の分光特性を示し、C(λ)はカメラ32(撮影部52)の分光特性を示している。T(λ)は、拡散板41の分光特性を示し、S(λ)は、照度センサ42の分光特性を示している。
ステップS2において、色温度推定部161は、色温度推定処理を行う。
ここで、図8のフローチャートを参照して、色温度推定処理の詳細について説明する。
ステップS31において、色温度推定部161は、環境光の可視光領域の放射照度を検出する。
上述した式(2)より、環境光の分光特性L(λ)は、次式(3)により表される。
L(λ)=SO(λ)/{T(λ)×S(λ)}・・・(3)
そこで、例えば、色温度推定部161は、次式(4)を用いて、可視光領域内の所定の複数の波長λvisにおける環境光の放射照度L(λvis)を算出する。なお、複数の波長λvisの組合せは、例えば、後述する入力テーブルに可視光領域の放射照度の定義値が登録されている波長の組合せと同じとされる。
Figure 2020024103
R、G、Bは、照度センサ42により検出された環境光の赤、緑、青の波長帯域の照度を示している。S−1(λvis)は、照度センサ42の分光特性の逆行列を示している。T−1(λvis)は、拡散板41の分光特性の逆行例を示している。なお、S−1(λvis)×T−1(λvis)は、波長λvis毎に異なる3×3の行列となる。Kは、演算結果を放射照度(W/m)に変換するための変換係数を示している。
なお、照度センサ42の検出対象となる赤、緑、青の波長帯域は互いに重なっている。従って、式(4)により、可視光領域内の任意の波長λvisの放射照度L(λvis)を算出することが可能である。
ステップS32において、色温度推定部161は、環境光の近赤外光領域の放射照度を検出する。
例えば、色温度推定部161は、次式(5)を用いて、近赤外光領域内の所定の波長λnirにおける環境光の放射照度L(λnir)を算出する。なお、波長λnirは、例えば、後述する入力テーブルに近赤外光領域の放射照度の定義値が登録されている波長と同じとされる。
L(λnir)=Knir×NIR ・・・(5)
NIRは、照度センサ42により検出された環境光の近赤外光領域内の波長帯域の照度である。Knirは、S−1(λnir)×T−1(λnir)と、演算結果を放射照度(W/m)に変換するための変換係数とを含む係数を示している。
ステップS33において、色温度推定部161は、環境光の色温度を推定する。
図9は、D65光源から発せられる光(≒昼間の太陽光)、及び、黒体から発せられる光の色温度毎の分光特性を示すグラフである。各グラフの横軸は波長(単位はnm)を示し、縦軸は放射照度を示している。図9のA乃至Cは、それぞれ色温度が6500K、7000K、及び、7500Kの場合の分光特性を示している。実線のグラフは、D65光源から発せられる光の分光特性を示し、点線のグラフは、黒体から発せられる光の分光特性を示している。なお、各分光特性は、560nmのときの放射照度の値が100になるように正規化されている。
この例に示されるように、一般的に、各色温度の光の分光分布は、可視光領域における放射照度の分布により表される。
一方、本技術では、図10に示されるように、各色温度の環境光の分光分布が近赤外光領域まで拡張される。
具体的には、図10は、色温度が6500K、7000K、7500Kの環境光の分光特性を示している。図10の横軸は波長(単位はnm)を示し、縦軸は放射照度(単位はW/m)を示している。
この分光特性は、図内の四角で囲まれた部分に示されるように、波長が800nm以上の近赤外光領域まで範囲が拡張されている。そして、色温度推定部161は、可視光領域だけでなく近赤外光領域の環境光の分光特性も用いて、環境光の色温度を推定する。
具体的には、色温度推定部161は、入力テーブルを記憶部108から読み出す。
図11は、入力テーブルをグラフ化した例を示している。図11の横軸は波長(単位はnm)を示し、縦軸は放射照度(単位はW/m)を示している。
例えば、入力テーブルは、各色温度の環境光の所定の複数の波長における放射照度の定義値を含んでいる。各放射照度の定義値は、例えば事前の実測結果に基づいて設定される。また、入力テーブルは、各色温度の環境光の可視光領域の放射照度の定義値だけでなく、近赤外光領域の放射照度の定義値も含んでいる。すなわち、入力テーブルは、各色温度の環境光毎に、可視光領域において1つ、及び、赤外光領域において1つの少なくとも2つの波長における放射照度の定義値をそれぞれ含む。これに対して、色温度推定部161は、上述したステップS31及びステップS32の処理において、可視光領域において1つ、及び、赤外光領域において1つの少なくとも2つの波長における環境光の放射照度を検出する。
なお、上述した図10に示されるように、各色温度の環境光の分光特性は、450nm付近で大きく変化する。従って、入力テーブルは、各色温度の環境光の少なくとも450nm付近の波長における放射照度の定義値を含むことが望ましい。また、入力テーブルにおいて、450nm付近の放射照度の定義値を密に設定することが望ましい。
色温度推定部161は、算出した放射照度L(λvis)及び放射照度L(λnir)のデータセットと、入力テーブルの色温度毎の環境光の放射照度のデータセットとの類似度をそれぞれ算出する。この類似度には、例えば、差分絶対値和が用いられる。そして、色温度推定部161は、最も類似度が高くなる色温度を現在の環境光の色温度であると推定する。
このように、可視光領域の放射照度だけでなく、近赤外光領域の放射照度まで含めて比較することにより、色温度の推定精度が向上する。
その後、色温度推定処理は終了する。
図6に戻り、ステップS3において、分光分析部162は、環境光の分光特性を求める。
具体的には、分光分析部162は、出力テーブルを記憶部108から読み出す。
図12は、出力テーブルをグラフ化した例を示している。図12の横軸は波長(単位はnm)を示し、縦軸は放射照度(単位はW/m)を示している。
例えば、出力テーブルは、各色温度の環境光の各波長における放射照度の定義値を含む。各放射照度の定義値は、例えば、事前に測定したり、計算したりすることにより設定される。
図12には、6500Kから7500Kまでの100K間隔の各色温度の環境光の分光特性が示されている。出力テーブルは、各色温度の環境光の分光特性をデータ化したもの、すなわち、各色温度の環境光の波長毎の放射照度を示すデータを含む。なお、出力テーブルの波長の範囲は、例えば、可視光領域及び近赤外光領域を含み、例えば、380nmから1000nmまでの範囲とされる。また、出力テーブルは、各色温度の環境光の所定の間隔(例えば、1nm)毎の波長の放射照度の定義値を含んでいる。
そして、分光分析部162は、出力テーブルに含まれる各色温度の環境光の分光特性のうち、色温度推定部161により推定された色温度の環境光の分光特性に基づいて、評価指標に用いる2つの波長λi及び波長λjの環境光の放射照度L(λi)及び放射照度L(λj)を求める。
図13は、これまでの環境光の分光特性を求める過程を簡単に示している。
まず、図13のAは、照度センサ42及び環境光の分光特性を示している。図13のAの横軸は、波長(単位はnm)を示し、縦軸は放射照度(単位はW/m)を示している。
図13のAに示されるように、照度センサ42は、赤(R)の波長帯域、緑(G)の波長帯域、青(B)の波長帯域、及び、近赤外光(NIR)の波長帯域に対して感度を有している。そして、照度センサ42が感度を有する波長帯域における環境光の照度がそれぞれ検出される。
次に、図13のBに示されるように、環境光の照度の検出値に基づいて、環境光の所定の複数の波長における放射照度が算出される。そして、環境光の放射照度の算出値と、入力テーブルの各色温度の環境光の放射照度の定義値とが比較され、環境光の色温度が推定される。
そして、図13のCに示されるように、出力テーブルに登録されている各色温度の環境光の分光特性のうち、推定された色温度の環境光の分光特性に基づいて、評価指標に用いる波長の環境光の放射照度が求められる。
図6に戻り、ステップS4において、分光分析部162は、被写体の反射率の分光特性を求める。
例えば、分光分析部162は、センシング画像の各画素について以下の演算を行う。
具体的には、分光分析部162は、各画素の波長λiの輝度(成分)CO(λi)及び波長λjの輝度(成分)CO(λj)を算出する。
なお、例えば、フィルタ71の各透過帯域は互いに重なっている。従って、フィルタ71の透過帯域の最小値と最大値の間の波長帯域において、センシング画像に基づいて、任意の波長の輝度CO(λ)を算出することが可能である。
次に、分光分析部162は、次の式(6)及び式(7)により、波長λi及び波長λjの光に対する被写体の反射率P(λi)及び反射率P(λj)を算出する。
P(λi)=CO(λi)/{C(λi)×L(λi)}・・・(6)
P(λj)=CO(λj)/{C(λj)×L(λj)}・・・(7)
これにより、環境光の分光特性L(λ)及びカメラ32の分光特性C(λ)に対するキャリブレーションが行われる。すなわち、被写体の反射率(λ)から環境光の分光特性L(λ)及びカメラ32の分光特性C(λ)の影響が除去され、被写体の反射率(λ)がより高精度に検出される。
ステップS5において、評価指標算出部163は、評価指標を算出する。例えば、評価指標算出部163は、次式(8)を用いて、評価指標としてNDSI(Normalized Difference Spectral Index)を算出する。
NDSI(λi,λj)
={P(λi)−P(λj)}/{P(λi)+P(λj)}
・・・(8)
その後、評価指標演算処理は終了する。
以上のようにして、安価な照度センサ42のみを用いて、環境光の色温度を容易かつ正確に推定することができる。その結果、容易かつ正確に環境光の分光特性を検出し、環境光に対するキャリブレーションを行うことができる。また、環境光の分光特性の検出精度が向上し、被写体の反射率の分光特性の環境光に対するキャリブレーションの精度が向上し、評価指標の精度が向上する。
ここで、図14乃至図16を参照して、本技術との比較対象として、環境光の分光特性の他の検出方法について簡単に説明する。
まず、図14を参照して、環境光のスペクトルを直接検出可能な分光器を用いて環境光の分光特性を検出する方法について説明する。
図14のAに示されるように、センシング画像の分光特性CO(λ)は、上述した式(1)と同様の式(9)により表される。
CO(λ)=L(λ)×P(λ)×C(λ)・・・(9)
一方、図14のBに示されるように、分光器から出力されるデータの分光特性SO(λ)は、次式(10)により表される。
SO(λ)=L(λ)×S(λ)・・・(10)
ここで、S(λ)は、分光器の分光特性を示している。
従って、環境光の分光特性L(λ)は、次式(11)により求められる。
L(λ)=SO(λ)/S(λ)・・・(11)
この方法は、分光器を用いることにより、環境光の分光特性L(λ)を高精度に検出できる。しかし、分光器は、回折格子等を備えているため高価であり、その結果、システム全体が高価になる。
次に、図15を参照して、カメラ32によりセンシングエリアとともに反射板を撮影し、反射板を撮影した画像に基づいて、環境光の分光特性を検出する方法について説明する。これは、上述した特許文献1と同様の方法である。
図15のAに示されるように、センシング画像内のセンシングエリアの画像の分光特性CO1(λ)は、上述した式(1)と同様の式(12)により表される。
CO1(λ)=L(λ)×P(λ)×C(λ)・・・(12)
一方、図15のBに示されるように、センシング画像内の反射板の画像の分光特性CO2(λ)は、次式(13)により表される。
CO2(λ)=L(λ)×R(λ)×C(λ)・・・(13)
ここで、R(λ)は、反射板の分光特性である。
従って、環境光の分光特性L(λ)は、次式(14)により求められる。
L(λ)=CO2(λ)/{R(λ)×C(λ)}・・・(14)
この方法では、カメラ32を1台だけ設ければよく、他に分光器や照度センサを設ける必要がない。しかし、上述したように、センシングエリアと反射板を常に同時に撮影するのは困難である。例えば、カメラ32をドローンに搭載して、上空からセンシングエリアを撮影する場合、センシングエリアとともに常に反射板が撮影されるように反射板を設置することは困難である。
次に、図16を参照して、2台のカメラ32を用いて、1台はセンシングエリアを撮影し、他の1台は拡散板を介して上空を撮影し、上空を撮影した画像(以下、環境光画像と称する)に基づいて、環境光の分光特性を検出する方法について説明する。
図16のAに示されるように、センシング画像の分光特性CO1(λ)は、上述した式(1)と同様の式(15)により表される。
CO1(λ)=L(λ)×P(λ)×C(λ)・・・(15)
一方、図16のBに示されるように、環境光画像の分光特性CO2(λ)は、次式(16)により表される。
CO2(λ)=L(λ)×T(λ)×C(λ)・・・(16)
ここで、T(λ)は、拡散板の分光特性を示している。
従って、環境光の分光特性L(λ)は、次式(17)により求められる。
L(λ)=CO2(λ)/{T(λ)×C(λ)}・・・(17)
この方法では、環境光の分光特性の検出精度が向上する。しかし、カメラ32を2台用いる必要があり、システム全体が大型化し、高価になる。
これに対して、本技術では、安価なシステムで容易に環境光の分光特性を一定の精度で検出することが可能になる。その結果、被写体の反射率の分光特性の検出精度が向上する。また、被写体の反射率の分光特性を用いた評価指標の精度が向上する。
<<2.第2の実施の形態>
次に、図17乃至図23を参照して、本技術の第2の実施の形態について説明する。
<情報処理システム301の構成例>
図17は、本技術を適用した情報処理システム301の構成例を示している。なお、図中、図1の情報処理システム11と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
情報処理システム301は、情報処理システム11と比較して、リモートセンシングHW21の代わりにリモートセンシングHW321を備える点が異なる。リモートセンシングHW321は、リモートセンシングHW21と比較して、カメラ32の代わりにカメラ331を備える点が異なる。
カメラ331は、特定の波長帯域を検出するカメラであり、特定の用途に用いられる。カメラ331は、光学系351a、光学系351b、撮影部352a、撮影部352b、信号処理部353、ドライブ354、及び、制御部355を備える。
光学系351aは、レンズ等を備え、被写体(センシングエリア)の像を撮影部352aのイメージセンサ(不図示)の受光面に結像させる。
光学系351bは、レンズ等を備え、被写体(センシングエリア)の像を撮影部352bのイメージセンサ(不図示)の受光面に結像させる。
撮影部352aは、赤色の波長帯域を透過するバンドパスフィルタ、及び、イメージセンサを備えている。撮影部352aは、制御部355の制御の下に、被写体の撮影を行い、被写体の赤色成分からなる画像(以下、赤色センシング画像と称する)を信号処理部353に供給する。
撮影部352bは、近赤外光の所定の波長帯域を透過するバンドパスフィルタ、及び、イメージセンサを備えている。撮影部352bは、制御部355の制御の下に、被写体の撮影を行い、被写体の近赤外光成分からなるセンシング画像(以下、近赤外センシング画像と称する)を信号処理部353に供給する。
信号処理部353は、制御部355の制御の下に、赤色センシング画像及び近赤外センシング画像に対して各種の信号処理を行い、信号処理後のセンシング画像を制御部355に供給する。例えば、信号処理部353は、赤色センシング画像と近赤外センシング画像を合成することにより、合成センシング画像を生成する。
ドライブ354は、制御部355の制御の下に、リムーバブルメディア23を駆動する。例えば、ドライブ354は、合成センシング画像、及び、照度データを含むセンシングデータをリムーバブルメディア23に記憶させる。
制御部355は、カメラ331の各部の制御(例えば、撮影部52の露光制御等)を行う。また、制御部355は、センサボックス31との間の同期制御等を行う。
<情報処理部401の構成例>
図18は、情報処理端末22のCPU101が所定の制御プログラムを実行することにより実現される情報処理部401の構成例を示している。
情報処理部401は、色温度推定部411、係数算出部412、及び、評価指標算出部413を備える。
色温度推定部411は、照度データ、及び、後述する入力テーブルに基づいて、環境光の色温度を推定する。
係数算出部412は、環境光の色温度、及び、後述する出力テーブルに基づいて、評価指標の算出に用いる分光係数を算出する。
評価指標算出部413は、センシング画像及び分光係数に基づいて、被写体の分析に用いる評価指標を算出する。
<評価指標演算処理の第2の実施の形態>
次に、図19のフローチャートを参照して、情報処理端末22により実行される評価演算処理の第2の実施の形態について説明する。
ステップS101において、図6のステップS1の処理と同様に、センシングデータが取得される。
ここで、センシングデータに含まれる合成センシング画像の分光特性CO(λ)は、図20のAに示されるように、次式(18)で表される。また、センシングデータに含まれる照度データの分光特性SO(λ)は、図20のBに示されるように、次式(19)で表される。
CO(λ)=L(λ)×P(λ)×C(λ)・・・(18)
SO(λ)=L(λ)×T(λ)×S(λ)・・・(19)
C(λ)は、カメラ331の分光特性を示しており、他は、上述した式(1)及び式(2)と同様である。
ステップS102において、色温度推定部161は、色温度推定処理を行う。
ここで、図21のフローチャートを参照して、色温度推定処理の詳細を説明する。
ステップS131において、色温度推定部411は、環境光の可視光領域の放射照度を検出する。具体的には、色温度推定部411は、次の式(20)乃至式(22)を用いて、赤色の波長λr、緑色の波長λg、及び、青色の波長λbの環境光の放射照度L(λr)、放射照度L(λg)、及び、放射照度L(λb)を算出する。
L(λr)=Kr×R・・・(20)
L(λg)=Kg×G・・・(21)
L(λb)=Kb×B・・・(22)
Krは、S−1(λr)×T−1(λr)と、演算結果を放射照度(W/m)に変換するための変換係数とを含む係数である。Kgは、S−1(λg)×T−1(λg)と、演算結果を放射照度(W/m)に変換するための変換係数とを含む係数である。Kbは、S−1(λb)×T−1(λb)と、演算結果を放射照度(W/m)に変換するための変換係数とを含む係数である。R、G、Bは、照度センサ42により検出された環境光の赤、緑、青の波長帯域の照度を示している。
ステップS132において、図8のステップS32の処理と同様に、環境光の近赤外光領域の放射照度が検出される。
ステップS133において、色温度推定部411は、環境光の色温度を推定する。
例えば、色温度推定部411は、入力テーブルを記憶部108から読み出す。
図22は、このとき記憶部108から読み出される入力テーブルをグラフ化した例を示している。図22の入力テーブルは、上述した図11の入力テーブルと比較して、可視光領域のデータが少なく、赤、緑、青の波長に対する放射照度のみが含まれる。従って、図22の入力テーブルは、図11の入力テーブルと比較して、データ量を削減することができる。
色温度推定部411は、算出した放射照度L(λr)、放射照度L(λg)、放射照度L(λb)、及び、放射照度L(λnir)のデータセットと、入力テーブルの色温度毎の環境光の放射照度のデータセットとの類似度をそれぞれ算出する。この類似度には、例えば、差分絶対値和が用いられる。そして、色温度推定部411は、最も類似度が高くなる色温度を現在の環境光の色温度であると推定する。このとき、図22の入力テーブルは、図11の入力テーブルと比較してデータ量が少ないため、演算量を削減することができる。
その後、色温度推定処理は終了する。
図19に戻り、ステップS103において、係数算出部412は、分光係数を求める。
例えば、係数算出部412は、各色温度に対する分光係数αが登録されている出力テーブルを記憶部108から読み出す。
ここで、分光係数αは、次式(23)により表される。
α=C(λr)×L(λr)/{C(λnir)×L(λnir)}
・・・(23)
分光係数αは、波長λrにおけるカメラ331の分光特性C(λr)と環境光の分光特性L(λr)の積と、波長λnirにおけるカメラ331の分光特性C(λnir)と環境光の分光特性L(λnir)の積との比を示している。
図23は、出力テーブルをグラフ化した例を示している。図23の横軸は、色温度(単位はK)を示し、縦軸は、分光係数αを示している。
係数算出部412は、出力テーブルにおいて色温度推定部411により推定された色温度に対応する分光係数αを求める。
ステップS104において、評価指標算出部413は、評価指標を算出する。
例えば、評価指標算出部163は、次式(24)で定義されるNDVI(Normalized Difference Vegetation Index)を評価指標として算出する。
Figure 2020024103
ここで、式(24)のP(λr)/P(λnir)は、上述した式(18)及び式(23)に基づいて、次式(25)により表される。
Figure 2020024103
そして、式(25)のP(λr)/P(λnir)を式(24)に代入することにより、式(26)が得られる。
Figure 2020024103
そこで、評価指標算出部163は、合成センシング画像の各画素について以下の演算を行う。
具体的には、評価指標算出部163は、各画素の波長λrの輝度CO(λr)及び波長λnirの輝度CO(λnir)を算出する。そして、評価指標算出部163は、輝度CO(λr)、輝度CO(λnir)、及び、分光係数αを式(26)に代入することにより、NDVIを算出する。
その後、評価指標演算処理は終了する。
このように、第2の実施の形態では、環境光の分光特性及び被写体の反射率の分光特性を求めることなく、より簡単に評価指標を求めることができる。
<<3.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
<システム構成に関する変形例>
上述した情報処理システム11及び情報処理システム301の構成例は、その一例であり、必要に応じて変更することが可能である。例えば、情報処理システム11及び情報処理システム301の各部の機能の分担を変更することが可能である。例えば、図5の情報処理部151の全部又は一部の機能をリモートセンシングHW21が備えるようにしてもよい。例えば、図18の情報処理部401の全部又は一部の機能をリモートセンシングHW321が備えるようにしてもよい。
また、例えば、情報処理部151又は情報処理部401の全部又は一部の機能をサーバ等で行うようにしてもよい。
図24は、情報処理部151の全部又は一部の機能をサーバ522で行うようにした情報処理システム501の構成例を示している。
情報処理システム501は、リモートセンシングHW21及び情報処理端末22の他に、基地局511及びクラウドコンピューティング(以下、単にクラウドと称する)512を備える。クラウド512は、ネットワーク521、サーバ522、及び、ストレージ523を備える。
基地局511は、情報処理端末22をネットワーク521に接続し、情報処理端末22とネットワーク521との間のデータの中継等を行う。
ネットワーク521は、例えばインターネット等から構成される通信ネットワークである。なお、ネットワーク521は、複数の通信ネットワークにより構成されてもよい。
サーバ522は、情報処理部151の全部又は一部の機能を実現する。
例えば、情報処理端末22は、リモートセンシングHW21が取得したセンシングデータを、基地局511及びネットワーク521を介して、サーバ522に送信する。
サーバ522は、受信したセンシングデータをストレージ523に記憶させる。ストレージ523には、上述した入力テーブル及び出力テーブルも記憶されている。そして、サーバ522は、センシングデータ、入力テーブル、及び、出力テーブルに基づいて、上述した処理を行い、評価指標を算出する。
同様にして、サーバ522が、情報処理部401の全部又は一部の機能を実現することも可能である。
また、例えば、情報処理端末22の処理を、FPGA(field-programmable gate array)等を用いて、より高速に実行するようにしてもよい。
さらに、図17のカメラ331は、撮影部352a及び撮影部352bの2つの撮影部を備える構成としたが、撮影部を1つにしてもよい。例えば、撮影部に、赤色の波長帯域及び近赤外光の所定の波長帯域を透過するデュアルバンドパスフィルタを設けて、被写体の赤色成分及び近赤外光成分からなるセンシング画像を撮影するようにしてもよい。
また、例えば、リモートセンシングHW21のセンサボックス31の制御部43とカメラ32の制御部55とを共通化するようにしてもよい。同様に、例えば、リモートセンシングHW321のセンサボックス31の制御部43とカメラ331の制御部355とを共通化するようにしてもよい。
さらに、例えば、照度センサ42が、拡散板41を介さずに、直接環境光の照度を検出するようにすることも可能である。この場合、例えば、上述した式(3)において、拡散板41の分光特性T(λ)を用いずに、環境光の分光特性(放射照度)L(λ)が算出される。
<評価指標に関する変形例>
本技術に適用可能な評価指標は、上述した例に限定されるものではなく、他の評価指標を用いることも可能である。
また、評価指標の算出に用いる波長の数も2波長に限定されるものではなく、1波長、又は、3波長以上とすることも可能である。
さらに、本技術の第2の実施の形態では、撮影する波長帯域を変更することにより、NDVI以外の評価指標を算出するようにすることも可能である。
<その他の変形例>
以上の説明では、近赤外光領域の分光特性まで用いて色温度を推定する例を示したが、例えば、近赤外光領域の分光特性を用いずに、可視光領域の分光特性のみを用いて色温度を推定するようにしてもよい。
また、色温度の推定結果を上述した以外の目的に使用することも可能である。
<<4.その他>>
<プログラムの提供方法等>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータ(例えば、情報処理端末22のCPU101)にインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
例えば、情報処理端末22では、CPU101が、例えば、記憶部108に記録されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、一連の処理が行われる。
なお、情報処理端末22(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア23に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
情報処理端末22では、プログラムは、リムーバブルメディア23をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する色温度推定部を
備える情報処理装置。
(2)
前記色温度推定部は、前記環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の複数の波長の放射照度を算出し、前記環境光の複数の波長の放射照度の算出値に基づいて、前記環境光の色温度を推定する
前記(1)に記載の情報処理装置。
(3)
前記色温度推定部は、前記環境光の複数の波長の放射照度の算出値と、各色温度の前記環境光の複数の波長の放射照度の定義値とを比較することにより、前記環境光の色温度を推定する
前記(2)に記載の情報処理装置。
(4)
前記環境光の複数の波長帯域は、可視光領域の波長帯域及び近赤外光領域の波長帯域を含み、
前記環境光の複数の波長は、可視光領域の波長及び近赤外光領域の波長を含む
前記(2)又は(3)に記載の情報処理装置。
(5)
前記色温度推定部は、前記環境光の複数の波長帯域の照度の検出値、及び、前記照度センサの分光特性に基づいて、前記環境光の複数の波長の放射照度を算出する
前記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記照度センサは、拡散板を介して前記環境光の照度を検出し、
前記色温度推定部は、前記拡散板の分光特性にさらに基づいて、前記環境光の複数の波長の放射照度を算出する
前記(5)に記載の情報処理装置。
(7)
推定された色温度の前記環境光の分光特性に基づいて、前記環境光の下で撮影された被写体の反射率の分光特性を分析する分光分析部を
さらに備える前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記分光分析部は、前記被写体を撮影した撮影装置の分光特性にさらに基づいて、前記被写体の反射率の分光特性を分析する
前記(7)に記載の情報処理装置。
(9)
複数の波長の光に対する前記被写体の反射率に基づいて、前記被写体の評価に用いる評価指標を算出する評価指標算出部を
さらに備える前記(7)又は(8)に記載の情報処理装置。
(10)
前記評価指標は、NDSI(Normalized Difference Spectral Index)である
前記(9)に記載の情報処理装置。
(11)
第1の波長に対する撮影装置の分光特性と前記環境光の分光特性との積と、第2の波長に対する前記撮影装置の分光特性と前記環境光の分光特性との積との比を表す係数を算出する係数算出部と、
前記撮影装置により撮影された画像の前記第1の波長の成分及び前記第2の波長の成分、並びに、前記係数に基づいて、前記画像内の被写体の評価に用いる評価指標を算出する評価指標算出部と
をさらに備える前記(1)乃至(8)のいずれかに記載の情報処理装置。
(12)
前記第1の波長は、赤色光の波長であり、
前記第2の波長は、近赤外光の波長であり、
前記評価指標は、NDVI(Normalized Difference Vegetation Index)である
前記(11)に記載の情報処理装置。
(13)
情報処理装置が、
照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する
情報処理方法。
(14)
照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する
処理をコンピュータに実行させるためのプログラム。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
11 情報処理システム, 21 リモートセンシングHW, 22 情報処理端末, 23 リムーバブルメディア, 31 センサボックス, 32 カメラ, 41 拡散板, 42 照度センサ, 43 制御部, 52 撮影部, 53 信号処理部, 55 制御部, 71 フィルタ, 72 イメージセンサ, 81 ドローン, 101 CPU, 151 情報処理部, 161 色温度推定部, 162 分光分析部, 163 評価指標算出部, 301 情報処理システム, 321 リモートセンシングHW, 331 カメラ, 352a,352b 撮影部, 353 信号処理部, 355 制御部, 401 情報処理部, 411 色温度推定部, 412 係数算出部, 413 評価指標算出部, 501 情報処理システム, 512 クラウドコンピューティング, 522 サーバ

Claims (14)

  1. 照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する色温度推定部を
    備える情報処理装置。
  2. 前記色温度推定部は、前記環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の複数の波長の放射照度を算出し、前記環境光の複数の波長の放射照度の算出値に基づいて、前記環境光の色温度を推定する
    請求項1に記載の情報処理装置。
  3. 前記色温度推定部は、前記環境光の複数の波長の放射照度の算出値と、各色温度の前記環境光の複数の波長の放射照度の定義値とを比較することにより、前記環境光の色温度を推定する
    請求項2に記載の情報処理装置。
  4. 前記環境光の複数の波長帯域は、可視光領域の波長帯域及び近赤外光領域の波長帯域を含み、
    前記環境光の複数の波長は、可視光領域の波長及び近赤外光領域の波長を含む
    請求項2に記載の情報処理装置。
  5. 前記色温度推定部は、前記環境光の複数の波長帯域の照度の検出値、及び、前記照度センサの分光特性に基づいて、前記環境光の複数の波長の放射照度を算出する
    請求項2に記載の情報処理装置。
  6. 前記照度センサは、拡散板を介して前記環境光の照度を検出し、
    前記色温度推定部は、前記拡散板の分光特性にさらに基づいて、前記環境光の複数の波長の放射照度を算出する
    請求項5に記載の情報処理装置。
  7. 推定された色温度の前記環境光の分光特性に基づいて、前記環境光の下で撮影された被写体の反射率の分光特性を検出する分光分析部を
    さらに備える請求項1に記載の情報処理装置。
  8. 前記分光分析部は、前記被写体を撮影した撮影装置の分光特性にさらに基づいて、前記被写体の反射率の分光特性を検出する
    請求項7に記載の情報処理装置。
  9. 前記被写体の反射率に基づいて、前記被写体の評価に用いる評価指標を算出する評価指標算出部を
    さらに備える請求項7に記載の情報処理装置。
  10. 前記評価指標は、NDSI(Normalized Difference Spectral Index)である
    請求項9に記載の情報処理装置。
  11. 第1の波長に対する撮影装置の分光特性と前記環境光の分光特性との積と、第2の波長に対する前記撮影装置の分光特性と前記環境光の分光特性との積との比を表す係数を算出する係数算出部と、
    前記撮影装置により撮影された画像の前記第1の波長の成分及び前記第2の波長の成分、並びに、前記係数に基づいて、前記画像内の被写体の評価に用いる評価指標を算出する評価指標算出部と
    をさらに備える請求項1に記載の情報処理装置。
  12. 前記第1の波長は、赤色光の波長であり、
    前記第2の波長は、近赤外光の波長であり、
    前記評価指標は、NDVI(Normalized Difference Vegetation Index)である
    請求項11に記載の情報処理装置。
  13. 情報処理装置が、
    照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する
    情報処理方法。
  14. 照度センサにより検出した環境光の複数の波長帯域の照度の検出値に基づいて、前記環境光の色温度を推定する
    処理をコンピュータに実行させるためのプログラム。
JP2018147568A 2018-08-06 2018-08-06 情報処理装置、情報処理方法、及び、プログラム Abandoned JP2020024103A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018147568A JP2020024103A (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理方法、及び、プログラム
PCT/JP2019/028752 WO2020031681A1 (en) 2018-08-06 2019-07-23 Color temperature sensor for ambient light correction
EP19752278.2A EP3833944A1 (en) 2018-08-06 2019-07-23 Color temperature sensor for ambient light correction
US17/264,137 US11422026B2 (en) 2018-08-06 2019-07-23 Information processing device, information processing method, and program to perform calibration with respect to environment light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018147568A JP2020024103A (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2020024103A true JP2020024103A (ja) 2020-02-13

Family

ID=67551666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018147568A Abandoned JP2020024103A (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US11422026B2 (ja)
EP (1) EP3833944A1 (ja)
JP (1) JP2020024103A (ja)
WO (1) WO2020031681A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232230A (zh) * 2020-10-20 2021-01-15 中国气象科学研究院 退耕地信息遥感识别方法及装置
CN114689171A (zh) * 2022-05-31 2022-07-01 世纳微电子科技(成都)有限公司 数字光学传感器及环境光监测装置
WO2022163327A1 (ja) * 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像システム、情報処理方法及びプログラム
WO2022220145A1 (ja) * 2021-04-13 2022-10-20 国立大学法人香川大学 分光測定装置及び分光測定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118050328B (zh) * 2024-03-26 2024-07-30 华南农业大学 一种单目高分多光谱的成像系统及控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088016B2 (ja) * 2000-03-31 2008-05-21 株式会社資生堂 カラーマネジメントシステム
JP5196840B2 (ja) * 2007-04-26 2013-05-15 キヤノン株式会社 情報処理装置および方法
US10580341B2 (en) * 2015-02-11 2020-03-03 Apple Inc. Electronic device with color sensing ambient light sensor
EP3321660A4 (en) * 2015-07-10 2019-02-27 Sony Corporation INSPECTION DEVICE, INSPECTION PROCEDURE AND PROGRAM
JP6796789B2 (ja) * 2016-05-30 2020-12-09 パナソニックIpマネジメント株式会社 映像撮影装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232230A (zh) * 2020-10-20 2021-01-15 中国气象科学研究院 退耕地信息遥感识别方法及装置
CN112232230B (zh) * 2020-10-20 2021-04-16 中国气象科学研究院 退耕地信息遥感识别方法及装置
WO2022163327A1 (ja) * 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像システム、情報処理方法及びプログラム
WO2022220145A1 (ja) * 2021-04-13 2022-10-20 国立大学法人香川大学 分光測定装置及び分光測定方法
CN117280196A (zh) * 2021-04-13 2023-12-22 国立大学法人香川大学 分光测定装置和分光测定方法
US12102430B2 (en) 2021-04-13 2024-10-01 National University Corporation Kagawa University Spectral measurement device and spectral measurement method
CN114689171A (zh) * 2022-05-31 2022-07-01 世纳微电子科技(成都)有限公司 数字光学传感器及环境光监测装置

Also Published As

Publication number Publication date
EP3833944A1 (en) 2021-06-16
WO2020031681A1 (en) 2020-02-13
US20210310860A1 (en) 2021-10-07
US11422026B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
JP2020024103A (ja) 情報処理装置、情報処理方法、及び、プログラム
US11193830B2 (en) Spectrocolorimeter imaging system
CN110017904B (zh) 一种基于ccd相机的多光谱辐射测温方法
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
US9638575B2 (en) Measuring apparatus, measuring system, and measuring method
US20190310184A1 (en) Signal processing apparatus, signal processing method, and progress
Bongiorno et al. Spectral characterization of COTS RGB cameras using a linear variable edge filter
WO2020013024A1 (en) Information processing apparatus, information processing method, and program
JP2009141684A (ja) 色変換係数算出装置、色変換係数算出プログラム、色変換係数算出方法
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
JPWO2017222021A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP4904377B2 (ja) ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
Vunckx et al. Accurate video-rate multi-spectral imaging using imec snapshot sensors
JP7313906B2 (ja) 画像処理方法、画像処理装置、撮像システム、および、プログラム
US8866972B1 (en) Method for transmitting spectrum information
JP4403224B2 (ja) 色変換システム、色変換方法及び色変換プログラム
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
WO2022163327A1 (ja) 情報処理装置、撮像システム、情報処理方法及びプログラム
US20170206631A1 (en) Image processing unit, imaging device, computer-readable medium, and image processing method
WO2016203760A1 (ja) 映像撮影装置および映像撮影方法
JP6317703B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5187225B2 (ja) 撮影画像のバイアス成分推定方法、バイアス成分推定装置およびバイアス成分推定プログラム
Ugawa et al. Performance evaluation of high sensitive DRE camera for cultural heritage in subdued light conditions
JP2014230247A (ja) 画像作成装置及び画像作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20220622