JP2013024761A - 撮像方法および撮像装置 - Google Patents

Abstract

【課題】人物の表面温度と背景物体の表面温度との温度差が少ない状態でも、人物を判別する。
【解決手段】遠赤外線撮像素子を有する撮像装置において、人物の表面温度が第一の所定温度以上かつ第二の所定温度以下の場合、第一の所定温度を温度画像信号の下限値とし、第二の所定温度を温度画像信号の上限値となるように温度画像信号を出力画像信号に変換し、人物の表面温度が第一の所定温度以下の場合、人物の表面温度を温度画像信号の下限値とし、第二の所定温度を温度画像信号の上限値となるように温度画像信号を出力画像信号に変換し、人物の表面温度が第二の所定温度以上の場合、第一の所定温度を温度画像信号の下限値とし、人物の表面温度を温度画像信号の上限値となるように温度画像信号を出力画像信号に変換する。
【選択図】図４

Description

本発明は、遠赤外線画像を撮像して出力する撮像装置に関するものである。

遠赤外線撮像装置に用いる赤外線を検出する素子の１つとして、例えば赤外線ボロメータ素子がある。赤外線ボロメータ素子は、半導体素子では検出困難な遠赤外線領域の光を検出することができるため、特に、室温で動作する遠赤外撮像素子として利用される。

赤外線ボロメータ素子は、例えば、２次元配列された画素で構成される。赤外線ボロメータ素子を用いた遠赤外線撮像装置は、被写体から放射される遠赤外線の入射量（遠赤外線エネルギー）に応じて、構成されたそれぞれの画素の温度が変化する。この遠赤外線撮像装置は、それぞれの画素の温度を抵抗変化として検出して、被写体像の映像信号として出力するものである。

一般的に、遠赤外線は水分による散乱が少ないため、悪天候時（雨、霧等）において、被写体となる対象物の温度画像信号を画像モニタ上で視認したり画像処理装置により判別することが可能であり、可視光撮像装置や近赤外線撮像装置と異なり、太陽光等の外乱光の影響を受けにくいといった利点がある。

しかし、遠赤外線は近赤外線よりも波長が長いため、遠赤外線撮像装置は可視光撮像装置や近赤外線撮像装置よりも霧中の撮影可能距離は長いが、分解能や変調度は低下する。そのため、低い周波数からの変調度の低下を補正する技術も考案されている（特許文献１参照）。

また、近年は夏の最高気温が体温以上に上昇することや夜間の気温が体温程度までしか低下しないことも、線路脇の変圧器の温度が体温以上に上昇するもある。また、昼間の直射日光下の建物や道路または線路のレールやフェンスの温度が体温以上に上昇するもある。そのため、人物と建物や道路や線路のレールやフェンスまたは線路脇の変圧器等の背景物体と人物の表面の温度との温度差を検出しにくくなるといった欠点がある。

そのため、従来の遠赤外線による監視システムの温度画像信号では、人物の表面温度と背景物体の表面温度との温度差が少ない場合は、モニタ目視や画像処理装置による人物の判別が困難だった。

特開２００９−３０３２０６号公報

以上の様な問題を鑑み、本発明では、人物の表面温度と背景物体の表面温度との温度差が少ない状態でも、人物を判別することができる撮像装置の提供を目的とする。

本発明は、前記問題を解決するために、遠赤外線撮像素子と、該遠赤外線撮像素子が出力する画像信号を温度画像信号に変換する手段とを有する撮像装置において、被写体となる人物の表面温度が第一の所定温度以上かつ第二の所定温度以下の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、前記被写体となる人物の表面温度が前記第一の所定温度以下の場合、前記人物の表面温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、前記被写体となる人物の表面温度が前記第二の所定温度以上の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記人物の表面温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、前記被写体となる人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、人物温度の近傍の第三の所定温度の信号レベルを前記温度画像信号の下限値とし、人物温度の近傍の第四の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度設定し、該第五の所定温度の信号レベルを前記温度画像信号の下限値とし、該第六の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、画像信号から人物と衣服とを判別し該判別した人物と衣服との表面温度と背景の温度との高低両側の閾値の余裕を持った外側の第七の所定温度と第八の所定温度と判別し、前記第七の所定温度を温度画像信号の下限値とし、前記第八の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、の少なくとも一方の動作を行うことを特徴とする撮像方法である。

また、遠赤外線撮像素子と、該遠赤外線撮像素子が出力する画像信号を温度画像信号に変換する手段とを有する撮像装置において、気温を測定する温度センサと、前記遠赤外線検出素子が出力する画像信号を補正して温度画像信号に変換する手段と、該温度画像信号の該量子化ステップごとの画素の頻度分布（ヒストグラム）データを生成する手段と、第一の所定温度以上に第一の所定数以上の画素が存在する第一の所定温度を検出する手段と、第二の所定温度以下に第二の所定数以上の画素が存在する第二の所定温度を検出する手段と、被写体となる人物の表面温度と前記第一の所定温度と前記第二の所定温度との高低を判断する手段と、前記第一の所定温度を前記温度画像信号の下限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記第二の所定温度を前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記人物の表面温度を前記温度画像信号の下限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記人物の表面温度を前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換する手段とを有し、前記人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、前記人物の表面温度が前記第一の所定温度以下の場合、前記人物の表面温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、前記人物の表面温度が前記第二の所定温度以上の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記人物の表面温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、被写体となる人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、人物温度の近傍の第三の所定温度の信号レベルを前記温度画像信号の下限値とし、人物温度の近傍の第四の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度設定し、該第五の所定温度の信号レベルを前記温度画像信号の下限値とし、該第六の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、の少なくとも一方を行うことと、画像信号から人物と衣服とを判別する手段を有し、画像信号から人物と衣服とを判別し該判別した人物と衣服との表面温度と背景の温度との高低両側の閾値の余裕を持った外側の第七の所定温度と第八の所定温度とを設定し、前記第七の所定温度を温度画像信号の下限値とし、前記第八の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、の少なくとも一方であることを特徴とする撮像装置である。

本発明によると、人物の表面温度と背景物体の表面温度との温度差が少ない状態でも、人物を判別することができる

温度画像のヒストグラムの一例の様子を表す模式図。 本発明の一実施例の画面内最低温度（第一の所定温度）と最高温度（第二の所定温度）の検出様子を表す模式図。 本発明の一実施例の気温と人物温度（人物の表面温度）の推定の様子を表す模式図。 本発明の一実施例の最低温度（第一の所定温度）≦人物温度（人物の表面温度）≦最高温度（第二の所定温度）の場合の処理の様子を表す模式図。 本発明の一実施例の人物温度（人物の表面温度）＜最低温度（第一の所定温度）の場合の処理様子を表す模式図。 本発明の一実施例の人物温度（人物の表面温度）＞最高温度（第二の所定温度）の場合の処理様子を表す模式図。 本発明の実施の形態の撮像装置の構成を示すブロック図。 本発明の一実施例の（背景の）最低温度≦人物（と衣服）の表面温度≦（背景の）最高温度の場合の処理の様子を表す模式図。 本発明の一実施例の（背景の）最低温度≦人物（と衣服）の表面温度≦（背景の）最高温度の場合の処理の様子を表す模式図。

以下に、本発明の実施の形態の撮像装置について、本発明の実施の形態の撮像装置の構成を示すブロック図の図７を用いて説明する。

図７は、本発明の実施の形態の撮像装置の構成を示すブロック図である。図７において、１は被写体（人物）、２は遠赤外線の透過率の良いシリコン（Ｓｉ）、ゲルマニウム（Ｇｅ）、フッ化カルシウム（ＣａＦ２）、セレン化亜鉛（ＺｎＳｅ）等の遠赤外線用レンズ、３は遠赤外線用レンズ２を通して入射した遠赤外線を画像信号に変換して出力する遠赤外線撮像部、７は画像処理部、９は温度センサであり、５は画像処理装置、６は監視画像の表示を行う画像モニタ、７は同じく監視画像の表示を行うＰＣ（パーソナルコンピュータ）である。
図７に示す本発明の実施の形態の撮像装置は、被写体１等の対象物検出の際、遠赤外線用レンズ２と遠赤外線撮像部３とで遠赤外線を撮像した遠赤外線画像（温度画像）を画像処理部７で温度キャリブレーション等の画像処理を行い出力画像信号とする。出力画像信号を画像認識装置５またはＰＣ（パーソナルコンピュータ）７に入力し、人物検知や判別等を行う。また、温度センサ９により気温を測定する。

次に、図１から図６を用いて第１の実施例について説明する。

熱画像のヒストグラムの一例の様子を表す模式図の図１において、遠赤外線撮像部３から出力される温度画像データを以下の処理プロセスで温度画像信号データに変換する。

遠赤外線撮像部３から出力される温度画像データ（RAWデータ）を一定の温度ステップで量子化し、画面内の各量子化温度値（以下単に「温度」と称する）をもつ画素の数（頻度）を積算し、温度ごとの画素の頻度分布（ヒストグラム）データを生成する。

本発明の一実施例の画面内最低温度（第一の所定温度）と最高温度（第二の所定温度）の検出の様子を図２に表す。

監視対象とする温度範囲を定め、上記ヒストグラムデータより上記温度範囲内で１もしくは定めた閾値以上の数の画素が存在する温度の最低値（以下「最低温度」と称する）および最高値（以下「最高温度」と称する）を検出する。

本発明の一実施例の気温と人物温度（人物の表面温度）の推定の様子を表す模式図の図３において、図７の温度センサ９により測定した気温から人物温度を推定する。

気温と人体表面温度の相関データを保持し、上記ヒストグラムデータより、最低温度を被写体の環境温度（気温）とみなし、上記相関データより人物の温度（以下「人物温度」と称する）を算出する。

本発明の一実施例の最低温度（第一の所定温度）≦人物温度（人物の表面温度）≦最高温度（第二の所定温度）の場合の処理の様子を図４に表す。

上記人物温度と上記最低温度および最高温度を比較し、人物温度が最低温度以上最高温度以下の場合、最低温度に等しい画素の信号レベルが、生成する画像信号において定めた表示レベル範囲（以下「ダイナミックレンジ」と称する）の下限値となり、かつ、上記最高温度に等しい画素の信号レベルが上記ダイナミックレンジの上限値となるように上記熱画像データを画像信号に変換する。

本発明の一実施例の人物温度（人物の表面温度）＜最低温度（第一の所定温度）の場合の処理の様子を図５に表す。

上記人物温度が上記最低温度以下の場合、上記人物温度に等しい画素（当該画素が存在しない場合は存在するものとみなす）の信号レベルが、上記ダイナミックレンジの下限値となり、かつ、上記最高温度に等しい画素の信号レベルが上記ダイナミックレンジの上限値となるように上記熱画像データを画像信号に変換する。

本発明の一実施例の人物温度（人物の表面温度）＞最高温度（第二の所定温度）の場合の処理の様子を図６に表す。

上記人物温度が上記最高温度以上の場合、上記人物温度に等しい画素（当該画素が存在しない場合は存在するものとみなす）の信号レベルが上記ダイナミックレンジの上限値となり、かつ、上記最低温度に等しい画素の信号レベルが上記ダイナミックレンジの下限値となるように上記熱画像データを画像信号に変換する。

次に、図７と図８を用いて第２の実施例について説明する。
実施例１と同一部分の説明は省略し、異なる部分のみ説明する。
実施例１では気温からの人物（と衣服）の表面温度を推定したが、実施例２では、人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度とを設定することで、実施例１より少ない構成と少ない制御とで、実施例１と同様に人物を判別することができる。

本発明の一実施例の（背景の）最低温度≦人物（と衣服）の表面温度≦（背景の）最高温度の場合の処理の様子を図８に表す。図８において、人物と衣服との表面温度の近傍として予め、人物と衣服との表面温度と背景の温度との閾値として第五の所定温度と第六の所定温度とを設定し、該第五の所定温度の信号レベルを生成する温度画像信号の下限値とし、該第六の所定温度の信号レベルを生成する温度画像信号の上限値となるように、温度画像信号を出力温度画像信号に変換する。

上記人物温度と上記最低温度および最高温度を比較し、人物温度が最低温度以上最高温度以下の場合、人物温度の近傍の第三の所定温度の信号レベルが、生成する温度画像信号において定めた表示レベル範囲（以下「ダイナミックレンジ」と称する）の下限値となり、かつ、人物温度の近傍の第四の所定温度の信号レベルが上記ダイナミックレンジの上限値となるように生成する温度画像信号を出力温度画像信号に変換する。

気温が体温程度の夏の夜間や曇天等において人物背景が体温程度で、人物の表面温度と背景物体の表面温度との温度差が非常に少ない状態でも、実施例２では、生成する温度画像信号を用いて、人物を判別することができる。
夏の最高気温が体温以上に上昇したり、線路脇の変圧器の温度が体温以上に上昇したり、昼間の直射日光下の建物や道路または線路のレールやフェンスの温度が体温以上に上昇したりして、温度画像信号の該量子化ステップごとの画素の頻度分布の多くが体温と異なる高温に分布しても、実施例２では、生成する温度画像信号において定めた表示レベル範囲が、体温の周辺に安定し、生成する温度画像信号を用いて、人物を判別することができる。

次に、図７と図９を用いて第３の実施例について説明する。
実施例１と実施例２と同一部分の説明は省略し、異なる部分のみ説明する。
実施例１では気温からの人物（と衣服）の表面温度を推定し、実施例２では人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度とを設定した。それに対し、実施例３では画像処理からの人物（と衣服）の表面温度の推定を行うことで、実施例１より少ない構成で、実施例１より広範囲な条件で、人物を判別することができる。
図９は、本発明の一実施例の（背景の）最低温度≦人物（と衣服）の表面温度≦（背景の）最高温度の場合の処理の様子を表す模式図である。

本発明の一実施例である撮像装置の構成を示すブロック図の図７の画像認識装置５またはＰＣ（パーソナルコンピュータ）７で判別した人物と衣服の信号レベルに対応した温度として、人物と衣服との表面温度と背景の温度との高低両側の閾値の余裕を持った外側の第七の所定温度と第八の所定温度とを、画像認識装置５またはＰＣ（パーソナルコンピュータ）７から画像処理部８に連絡し、第七の所定温度の信号レベルが、生成する画像信号において定めた表示レベル範囲（以下「ダイナミックレンジ」と称する）の下限値となり、かつ、第八の所定温度の信号レベルが上記ダイナミックレンジの上限値となるように生成する温度画像データを画像信号に変換する。
第七の所定温度と第七の所定温度とを画像認識装置５またはＰＣ（パーソナルコンピュータ）７から画像処理部８に連絡しても良い。

気温が体温程度の夏の夜間や曇天等において人物背景が体温程度で、人物の表面温度と背景物体の表面温度との温度差が非常に少ない状態でも、実施例１や実施例２と異なり実施例３では、温度画像信号を用いて、人物を判別することができる。また、夕立等のにわか雨や風速の急変で人物の表面温度が変動しても、実施例１や実施例２と異なり実施例３では、生成する温度画像信号を用いて、人物を判別することができる。
また、実施例１と異なり実施例３では、図７の温度センサ９は不要であり、画像処理部８の温度キャリブレーションも不要であり、実施例１より撮像装置の小型低価格化と低消費電力化とになる。また、実施例１や実施例２と異なり実施例３では、温度キャリブレーションも不要なので、常時監視が容易となる。
夏の最高気温が体温以上に上昇したり、線路脇の変圧器の温度が体温以上に上昇したり、昼間の直射日光下の建物や道路または線路のレールやフェンスの温度が体温以上に上昇したりして、温度画像信号の該量子化ステップごとの画素の頻度分布の多くが体温と異なる高温に分布しても、実施例２と同様に実施例３では、生成する温度画像信号において定めた表示レベル範囲が、体温の周辺に安定し、生成する温度画像信号を用いて、人物を判別することができる。

１：被写体、２：遠赤外線用レンズ、３：遠赤外線撮像部、４：遠赤外線撮像装置、
５：画像認識装置、６：画像モニタ、７：ＰＣ（パーソナルコンピュータ）、８：画像処理部、９：温度センサ、

Claims (2)

1. 遠赤外線撮像素子と、該遠赤外線撮像素子が出力する画像信号を温度画像信号に変換する手段とを有する撮像装置において、
   被写体となる人物の表面温度が第一の所定温度以上かつ第二の所定温度以下の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   前記被写体となる人物の表面温度が前記第一の所定温度以下の場合、前記人物の表面温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   前記被写体となる人物の表面温度が前記第二の所定温度以上の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記人物の表面温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   前記被写体となる人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、人物温度の近傍の第三の所定温度の信号レベルを前記温度画像信号の下限値とし、人物温度の近傍の第四の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度設定し、該第五の所定温度の信号レベルを前記温度画像信号の下限値とし、該第六の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   画像信号から人物と衣服とを判別し該判別した人物と衣服との表面温度と背景の温度との高低両側の閾値の余裕を持った外側の第七の所定温度と第八の所定温度と判別し、前記第七の所定温度を温度画像信号の下限値とし、前記第八の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   の少なくとも一方の動作を行うことを特徴とする撮像方法。
2. 遠赤外線撮像素子と、該遠赤外線撮像素子が出力する画像信号を温度画像信号に変換する手段とを有する撮像装置において、
   気温を測定する温度センサと、前記遠赤外線検出素子が出力する画像信号を補正して温度画像信号に変換する手段と、該温度画像信号の該量子化ステップごとの画素の頻度分布（ヒストグラム）データを生成する手段と、第一の所定温度以上に第一の所定数以上の画素が存在する第一の所定温度を検出する手段と、第二の所定温度以下に第二の所定数以上の画素が存在する第二の所定温度を検出する手段と、被写体となる人物の表面温度と前記第一の所定温度と前記第二の所定温度との高低を判断する手段と、前記第一の所定温度を前記温度画像信号の下限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記第二の所定温度を前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記人物の表面温度を前記温度画像信号の下限値となるように前記温度画像信号を出力画像信号に変換する手段と、前記人物の表面温度を前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換する手段とを有し、
   前記人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   前記人物の表面温度が前記第一の所定温度以下の場合、前記人物の表面温度の信号レベルを前記温度画像信号の下限値とし、前記第二の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   前記人物の表面温度が前記第二の所定温度以上の場合、前記第一の所定温度の信号レベルを前記温度画像信号の下限値とし、前記人物の表面温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   被写体となる人物の表面温度が前記第一の所定温度以上かつ前記第二の所定温度以下の場合、人物温度の近傍の第三の所定温度の信号レベルを前記温度画像信号の下限値とし、人物温度の近傍の第四の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、 人物と衣服との表面温度の近傍として予め第五の所定温度と第六の所定温度設定し、該第五の所定温度の信号レベルを前記温度画像信号の下限値とし、該第六の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、の少なくとも一方を行うことと、
   画像信号から人物と衣服とを判別する手段を有し、画像信号から人物と衣服とを判別し該判別した人物と衣服との表面温度と背景の温度との高低両側の閾値の余裕を持った外側の第七の所定温度と第八の所定温度とを設定し、前記第七の所定温度を温度画像信号の下限値とし、前記第八の所定温度の信号レベルを前記温度画像信号の上限値となるように前記温度画像信号を出力画像信号に変換することと、
   の少なくとも一方であることを特徴とする撮像装置。