JP5339476B2 - 画像処理システム、発熱者追跡方法、画像処理装置およびその制御方法と制御プログラム - Google Patents

Description

本発明は、多数の通行人から発熱者を特定する技術に関する。

上記技術分野において、特許文献１に示されているように、人物が含まれた入力画像の中から人物の顔画像を抽出するために入力画像と比較するテンプレートを作成する技術が知られている。また、特許文献２には、赤外線センサを画素単位に並べて人の体温を感知して正確な人の動きを検知する赤外線カメラが記載されている。

特開平６−３３３０５２号公報 特開２００３−２５９２１７号公報

ところで、現在、感染症などの対策として、できるだけ速やかに感染の疑いが有る人物を特定して、必要であれば隔離するなどの処置が重要になっている。しかしながら、多くの人物が往来する場所である、例えば飛行場や学校の校門などで、感染の疑いが有る人物を速やかに精度良く特定するための技術やそのシステムはなかった。そして、上記従来技術を単に寄せ集めるだけでは、多くの人物を含む映像から感染の疑いが有る人物を速やかに特定することはできない。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る画像処理システムは、
顔画像を含む人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影した画像内から顔画像を抽出する顔画像抽出手段と、
熱画像撮影手段により撮影した、前記顔画像に対応する熱画像から熱を測定する熱画像検出手段と、
前記抽出された顔画像の特徴と前記人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記熱が所定閾値を超える顔画像を選別する選別手段と、
前記選別手段が選別した顔画像と、前記顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
前記人物特定手段による前記顔画像の人物特定前に、前記選別手段が選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として通知する通知手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る発熱者追跡方法は、
撮影手段により撮影した画像内から顔画像を抽出する顔画像抽出ステップと、
熱画像撮影手段により撮影した、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記熱が所定閾値を超える顔画像を選別する選別ステップと、
前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として通知する通知ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係る画像処理装置は、
顔画像を含む人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出手段と、
熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出手段と、
前記抽出された顔画像の特徴と前記人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記熱が所定閾値を超える顔画像を選別する選別手段と、
前記選別手段が選別した顔画像と、前記顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
前記人物特定手段による前記顔画像の人物特定前に、前記選別手段が選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る画像処理装置の制御方法は、
撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出ステップと、
熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記熱が所定閾値を超える顔画像を選別する選別ステップと、
前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係る画像処理装置の制御プログラムは、
撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出ステップと、
熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記熱が所定閾値を超える顔画像を選別する選別ステップと、
前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信ステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。

本発明の第１実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る画像処理システムの概念を示す図である。 本発明の第２実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る表示部の表示画面を示す図である。 本発明の第２実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。 本発明の第２実施形態に係る人物画像ＤＢの構成を示す図である。 本発明の第２実施形態に係る発熱者登録部の構成を示す図である。 本発明の第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る熱画像からの体温測定の処理手順を示すフローチャートである。 本発明の第２実施形態に係る顔画像の特徴抽出の処理手順を示すフローチャートである。 本発明の第３実施形態に係る画像処理システムの概念を示す図である。 本発明の第３実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第３実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。 本発明の第３実施形態に係る顔画像ＤＢの構成を示す図である。 本発明の第３実施形態に係る体温履歴ＤＢの構成を示す図である。 本発明の第３実施形態に係る画像処理装置の処理手順を示すフローチャートである。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての画像処理システム１００について、図１を用いて説明する。画像処理システム１００は、撮影した画像内の人物画像から人物を特定するシステムである。

図１に示すように、画像処理システム１００は、人物画像蓄積部１１１と、人物画像抽出部１１２と、熱画像検出部１１３と、人物特定部１１４と、登録部１１５と、を含む。人物画像蓄積部１１１は、人物画像を蓄積する。人物画像抽出部１１２は、撮影部１２０により撮影した画像内から人物画像を抽出する。熱画像検出部１１３は、熱画像撮影部１３０により撮影した顔画像から熱を測定する。人物特定部１１４は、抽出された人物画像の特徴と人物画像蓄積部１１１に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する。登録部１１５は、人物特定部１１４が特定した人物の顔画像と、人物の顔画像に対して熱画像検出部１１３が測定した熱とを対応付けて登録する。

本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。

［第２実施形態］
次に、本発明の第２実施形態に係る画像処理システムについて説明する。本実施形態では、人物往来が多い場所である飛行場における防疫システムを説明する。本実施形態においては、まず、出入国を管理する飛行場の税関などの各所で発熱者の検出を行なうと同時に、パスポートの写真などに基づいて発熱者特定を行なう。次に、特定した発熱者の情報を、ネットワークを介して、空港の各カウンタや防疫に関連する各機関、あるいは当該発熱者の行き先や人物往来が多い駅やコンビニエンス・ストア（以下、コンビニ）などに送信する。

本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できると共に、その人物を迅速に見付けることができる。

《本実施形態の画像処理システムの概念》
図２は、本実施形態に係る画像処理システム２００の概念を示す図である。

図２において２１０は、飛行場の税関や搭乗出入口、通路、ロビー、カウンタなど人の往来の多い地点において、ビデオカメラによる映像から人物を特定すると共に、熱画像カメラで当該人物の体温を測定し、所定閾値を超える体温の人物を選別して発熱者と推定する。本例では、発熱者の顔画像に対応付けて、パスポート番号や氏名、国籍、年齢などを登録する。なお、発熱者の顔画像は、パスポート写真ではなく、映像から抽出した顔画像の中で人物を特徴付ける情報量が最も多いフレーム選別を行なったショット（以下、ベストショットと言う）を使用するのが望ましい。ベストショットは、例えば、目の間の距離である目間距離や顔の向きの正面の度合いを表わす正面率などを参照して決定される。

登録された、発熱者の顔画像、パスポート番号や氏名、国籍、年齢などの情報は、ネットワーク２８０を介して全部やその一部が次の各部署に送られて、発熱者の追跡を可能とする。各部署としては、空港カウンタのコンピュータ２２０、警察関係のコンピュータ２３０、保健所や病院のコンピュータ２４０、コンビニ／スーパー／デパートなどのコンピュータ２５０、交通機関の駅にあるコンピュータ２６０、感染症対策本部２７０が含まれる。

《画像処理システムの構成》
図３は、本実施形態に係る画像処理システム２００の構成を示すブロック図である。図３の画像処理システム２００においては、空港の画像処理装置２１０が発熱者を検出して、顔画像と熱とを対応付けて登録し、ネットワーク２８０を介して通知する。

画像処理装置２１０は、以下の機能構成部を備える。顔画像抽出部３０１は、空港各所に設置されたビデオカメラ３２０から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部３０２は、ビデオカメラ３２０の近傍に配置された熱画像カメラ３３０から送られる熱画像から温度（本例では、体温に相当）を検出する。人物特定部３０４は、顔画像抽出部３０１が抽出した顔画像の特徴と、人物ＩＤに対応付けて人物画像またはその特徴を蓄積する人物画像ＤＢ３０３（図７参照）からの顔画像の特徴とを比較して、映像中の人物を特定する。

通信制御部３０５は、ネットワーク２８０を介して、図２に示した各部署のコンピュータ２２０〜２７０と通信する。メッセージ解析部３０６は、通信制御部３０５で受信したメッセージを解析して、当該画像処理装置２１０が検出すべき情報の指示や送信すべき情報の内容を、情報選択部３０７または送信画面生成部３０９に送る。例えば、受信するメッセージとしては警察からの指名手配などもあるが、本実施形態では、感染症の防疫指示を受信した場合とする。メッセージ解析部３０６は、感染症の防疫指示に従って、情報選択部３０７に対して、所定体温Ｔｈ以上の発熱者を検出するように指示を送る。また、防疫指示に対応する送信画面が送信画面生成部３０９で準備される。

本実施形態の場合には、情報選択部３０７は、人物特定部３０４が特定した人物の顔画像に対応して熱画像検出部３０２が検出した温度が所定体温Ｔｈ以上の場合に、顔画像と熱（体温）とを関連付けて発熱者登録部３０８に登録する。なお、図示はしないが、発熱者の情報も同時に登録する(図７参照）。また、情報選択部３０７は、各人物のベストショットの顔画像を人物特定にために有効な情報として人物画像ＤＢ３０３に記憶する。

送信画面生成部３０９は、メッセージ解析部３０６の解析結果に従ったフォーマットで送信画面を生成する。表示画面生成部３１０は、ビデオカメラ３２０からの映像および熱画像カメラ３３０からの熱画像、顔画像抽出部３０１が抽出した顔画像、熱画像検出部３０２が検出した体温、人物画像ＤＢ３０３に蓄積された人物画像、から表示画面を生成して、表示部３４０に表示する（図４参照）。なお、図３には、画像処理装置２１０への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。

（表示部の表示画面）
図４は、本実施形態に係る表示部３４０の表示画面を示す図である。この図面のフォーマットや表示内容は一例であって、これに限定はされない。

表示部３４０には、熱画像カメラ３３０が検知した熱画像４０１が一連のフレームで表示される。また、ビデオカメラ３２０で撮影された映像４２０が一連のフレームで表示される。熱画像４０１と映像４２０の各フレームは時間的に対応しており、ほぼ同じ角度から同じ場面を取得している。４０３には、一連の映像４２０の中から対象とする人物が、最もその人物を特徴付ける情報の多いベストショットの静止画が表示される。４０７は、かかるベストショット４０３を選択するための検索条件が設定である。特に、顔の正面度と目間とが、ベストショット４０３の選択の条件となる。

４０４は、人物画像ＤＢ３０３に蓄積されたパスポート画像の一覧であり、図４では、人物特定部３０４における判断結果の確かさである得点（スコア）の高い順に顔画像が表示されている。４０５は、ベストショット４０３で捕らえられた人物の顔画像４０３ａの拡大画像である。一方、４０６は、パスポート画像一覧４０４から選択された顔画像の拡大画像である。オペラータは、映像中の拡大画像４０５とパスポート画像一覧から選択された画像４０６とを比較して、目視により候補顔画像から最も近い顔画像を選択する。４０８は、音声を発生するスピーカである。スピーカ４０８は、通常の音声と共に、発熱者が見付かった場合の警告音を発生する。

《画像処理装置のハードウエア構成》
図５は、本実施形態に係る画像処理装置２１０のハードウエア構成を示すブロック図である。

図５で、ＣＰＵ５１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部３０５は、ネットワークを介して各部署のコンピュータと通信する。通信は無線でも有線でもよい。

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。５４１は、ビデオカメラ３２０から入力されてきた撮影人物画像データである。５４２は、撮影人物画像データ５４１と人物画像ＤＢ３０３の画像データとから特定された特定人物ＩＤである。５４３は、ベストショットを判別しようとしている顔を有する人物を識別する人物ＩＤである。５４４は、熱画像カメラ３３０から入力されてきた熱画像データである。５４５は、各部署のコンピュータから送信され通信制御部３０５により受信された受信メッセージである。５４６は、各部署のコンピュータに送信する送信画面データである。５４７は、表示部３４０に表示する表示画面データである。

ストレージ５５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。３０３は、図２に前出の人物ＩＤに対応付けて顔画像ほかの情報を蓄積する人物画像ＤＢである（図６参照）。３０８は、図２に前出の発熱者の情報を登録する発熱者登録部である（図７参照）。ストレージ３５０には、以下のプログラムが格納される。５５１は、全体の処理を実行させる画像処理プログラムである。５５２は、画像処理プログラム５５１において、ビデオカメラ３２０の映像から顔画像を抽出する顔画像抽出モジュールである。５５３は、画像処理プログラム５５１において、映像から抽出された顔画像の人物を人物画像ＤＢ３０３の顔画像と比較して、人物を特定する人物特定モジュールである。５５４は、画像処理プログラム５５１において、熱画像カメラ３３０の熱画像から熱を測定する熱画像分析モジュールである。５５５は、画像処理プログラム５５１において、人物が特定された顔画像と当該人物の熱とを対応付けて送信する送信画面、あるいは表示部３４０に表示する表示画面を生成する出力画面生成モジュールである。

画像処理装置２１０には、入力インタフェース５６０を介して、ビデオカメラ３２０、熱画像カメラ３３０、入力操作用のキーボード５６１やポインティングデバイスなどの操作部５６２が接続される。また、出力インタフェース５７０を介して表示部３４０やスピーカ４０８が接続される。

なお、図５には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。

（人物画像ＤＢの構成）
図６は、本実施形態に係る人物画像ＤＢ３０３の構成を示す図である。

本実施形態では、人物ＩＤ６０１に対応付けて、パスポート番号６０２、氏名６０３、国籍６０４、性別６０５、生年月日６０６、年齢６０７などの人物に関する情報が記憶される。そして、パスポート顔画像６０８と最新のベストショット顔画像６０９、および顔画像の特徴値６１０が記憶される。なお、特徴値６１０は、パスポート顔画像６０８と最新のベストショット顔画像６０９の両方、あるいは一方の特徴値が記憶される。なお、特徴値６１０は、人物特定における顔認識において高速に認識するために記憶されており、種々の顔認識に汎用とする場合は、特に記憶する必要はない。また、人物に関する情報は図６に限定されず、人物画像ＤＢ３０３の用途に対応して増減されてよい。

（発熱者登録部の構成）
図７は、本実施形態に係る発熱者登録部３０８の構成を示す図である。

本実施形態では、人物ＩＤ７０１、パスポート番号７０２、氏名７０３、国籍７０４などの人物に関する情報に対応付けて、最新のベストショット顔画像７０９と体温７１０とが記憶されている。さらに、入管処理の情報である、入国の目的７１１、滞在先７１２、滞在日数７１３などが記憶される。かかる入管処理の情報は、発熱者を追跡する場合の参考情報として有用である。

なお、空港には入出国する人物以外の人物もいるので、人物に関する情報が無い場合もある。図７においては、特定可能な人物７２０と特定不能な人物７３０とが記憶されている。特定不能な人物７３０の人物ＩＤ７１０１がシリアル番号のような一意の人物を特定する番号であればよい。

《画像処理装置の処理手順》
図８Ａは、本実施形態に係る画像処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用しながら実行し、図３の各機能構成部を実現する。

まず、ステップＳ８０１において、ビデオカメラ３２０から映像を入力する。ステップＳ８０３において、入力された映像から顔画像を抽出する。かかる顔画像の抽出は、例えば肌色領域として抽出するものや、まず２つの目をその特徴から抽出して、次に２つの目から顔画像を抽出する方法がある。また、顔データや顔でないデータの典型的なサンプルをたくさん集めて、そのサンプルとの比較から顔らしい画像を抽出する方法もある。かかる抽出方法から、本実施形態では、サンプルとの比較による抽出方法を採用している。かかる抽出方法によれば、特殊な特徴量算出を省きサンブルとの比較処理のみで顔画像を抽出でき、ビデオカメラから入力される実時間の映像から高速に複数の顔画像を抽出可能なので、本実施形態の処理にとって望ましい。ステップＳ８０５においては、熱画像カメラ３３０から入力された熱画像から、ステップＳ８０３において抽出した顔画像の人物の体温を測定する（図８Ｂ参照）。ステップＳ８０７において、測定した体温が閾値Ｔｈを越えるかを判断する。越えない場合はステップＳ８０３に戻って、同じ映像に映っている他の人物について同様の処理を繰り返す。

測定した体温が閾値Ｔｈを越えた場合にはステップＳ８０９に進んで、発熱者を仮の人物ＩＤを付して発熱者登録部３０８に登録する。さらに、顔画像のみの送信画面を生成して各部署に通知する。このように、人物の特定前に通知するのは、一刻も早い捜索が必要なためである。

続いて、ステップＳ８１１において、顔画像の特徴が抽出される（図８Ｃ参照）。顔画像の特徴抽出としては、従来から各種のものが提案されているが、本実施形態においては、顔画像の抽出時に使用したような、目間距離や、顔画像中の他の部位などの配置や関連性を特徴とする。次に、ステップＳ８１３において、ステップＳ８１１で抽出した特徴と、人物画像ＤＢ３０３に蓄積された顔画像あるいはその特徴とを比較して、一致する人物の顔画像があるかを分析する。この場合に、本実施形態では、誰か１人を特定するのではなく、図４のパスポート画像一覧４０４に示したように、特徴の類似点ごとにスコアを付けて、その合計が大きい順に人物候補として表示する。一番大きいスコアの人物が映像中の人物であればそのまま、別の人物が映像中の人物であればオペレータが選択することで、人物の特定がされる。

ステップＳ８１５においては、一致する人物がいるか否かが判定される。一致する人物が居なければ発熱者登録部３０８の情報はそのままである（図７の７３０参照）。一致する人物が見付かればステップＳ８１７に進んで、ステップＳ８０９で仮の人物ＩＤで発熱者登録部３０８に登録した情報を、特定された人物ＩＤに置き換えて、人物に関する情報を追加する（図７の７２０参照）。また、人物に関する情報を追加した送信情報を生成して、各部署に送信する。

なお、図８Ａでは、ベストショットの人物画像ＤＢ３０３への登録あるいは更新についての説明は省略した。また、図８Ａの処理手順は一例であり、例えば、すべての顔画像を抽出して登録する処理を行ないながら、熱画像から閾値以上の体温を検出した場合に、登録した顔画像から対応する人物を見つけ出すように処理してもよい。

（熱画像からの体温測定の処理手順）
図８Ｂは、本実施形態に係る熱画像からの体温測定の処理手順（Ｓ８０５）を示すフローチャートである。

まず、ステップＳ８２１において、抽出された顔画像から熱測定に適する優先順位の高い額の中央位置を算出して測定位置選択を行なう。ステップＳ８２３においては、額の中央位置での体温測定が可能か否かを判断する。例えば、額に熱画像カメラと皮膚間の妨害物である髪が垂れていた場合や帽子を目深に被っている場合、メガネのフレームで妨害されている場合の有無などが考えられる。額での体温測定が可能ならばステップＳ８３１に進んで、体温検出を行なう。体温測定不可と判断されればステップＳ８２５に進んで、額の次に体温測定に適している頬の中心位置を算出する。次に、ステップＳ８２７において、頬における対応測定が可能であるか否かを判断する。例えば、マスクをしている場合や冬期にマフラーをしている場合などが考えられる。頬での体温測定が可能ならばステップＳ８３１に進んで、体温検出を行なう。体温測定不可と判断されればステップＳ８２９に進んで、額の次に体温測定に適している他の領域（例えば、口や首すじ）を設定する。ステップＳ８３１において、熱画像より対象人物の顔画像の設定部位に対応して体温を検出する。なお、一般に口の中が最も体温測定に適していると認識されており、確実な測定が必要な場合は税関のカウンタなどで強制的に口中から体温測定をすることも可能である。

なお、熱画像を取得する熱画像カメラ３３０や熱画像から熱を検出する技術は良く知られており、本実施形態はその技術を使って熱を測定し、特殊な熱測定技術そのものを開示するものではない。

（顔画像の特徴抽出の処理手順）
図８Ｃは、本実施形態に係る顔画像の特徴抽出の処理手順（Ｓ８１１）を示すフローチャートである。

まず、ステップＳ８４１において、ビデオカメラ３２０で撮影された映像中の人物の顔画像からメガネを抽出する。ステップＳ８４３において、抽出されたメガネを顔画像から消去する。次に、ステップＳ８４５において、撮影された映像中の顔画像からマスクを抽出する。ステップＳ８４７において、抽出されたマスクを顔画像から消去する。さらに他の顔画像を変形・変更する装飾品などの装飾品抽出を行なって消去する。そして、ステップＳ８４９において、残りの顔画像から特徴を抽出する。

［第３実施形態］
次に、本発明の第３実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、上記第２実施形態と比べると、発熱者を追跡するのではなく、閉じられた人物集団内における発熱者の過去の体温履歴を監視する点で異なる。具体的には、学校の登下校時に校門付近で生徒の顔画像を取得して、当該生徒の体温を測定する。毎日の体温を生徒に対応付けて蓄積し、今日の体温がどのような体調によるものなのかを監視し、その結果を表示する。本実施形態においても、ビデオカメラと熱画像カメラとにより、特定された生徒の体温を関連付けて登録する。本実施形態によれば、生徒の健康監視を正確に行なえると共に、インフルエンザなどの感染症の広がりを事前に防止することが可能となる。

《本実施形態の画像処理システムの概念》
図９は、本実施形態に係る画像処理システム９００の概念を示す図である。

図９において９１０は、学校の校門において、ビデオカメラによる映像から生徒を特定すると共に、熱画像カメラで当該生徒の体温を測定し、所定閾値を超える体温の生徒を発熱者と推定する。なお、本実施形態では、第２実施例と異なり各生徒の体温履歴が蓄積されているので、平均体温や基礎体温などが明瞭であり、一律の閾値でなく生徒に対応して閾値を変化させてもよい。本例では、発熱者の顔画像に対応付けて、体温履歴を登録する。なお、発熱者の顔画像は、生徒手帳などの写真ではなく、映像から抽出した顔画像の中で生徒を特徴付ける情報が最も多いショット（以下、ベストショットと言う）を使用するのが望ましい。

画像処理システム９００は、生徒名簿９３０の生徒ＩＤに対応付けて顔画像を登録する顔画像ＤＢ９４０と、体温履歴を蓄積する体温履歴ＤＢ９５０とを有する。校門から送られた発熱者の顔画像と、顔画像ＤＢ９４０に登録された顔画像とは、発熱生徒特定部９２０で比較して生徒が特定され画像処理装置、は生徒ＩＤに基づいて体温履歴ＤＢ９５０から体温履歴を検索して、読出す。画像処理装置は表示部９６０に、生徒情報９６１、対応履歴データ９６２、体温履歴データに基づく体温の経時変化を表わす体温変化グラフ９６３、を表示する。なお、画像処理装置は学校内のコンピュータであっても、学外の担当医のコンピュータであってもよいが、担当医のコンピュータであることが望ましい。発熱生徒が感染症（インフルエンザ）であるか否かが早急に判断されて、感染症の場合は速やかに病院に連れて行く、あるいは自宅に送るなどの迅速な対応が可能になる。また、体温履歴から長期的な病気の発見という生徒の健康管理にも役に立つ。

《画像処理システムの構成》
図１０は、本実施形態に係る画像処理システム９００の構成を示すブロック図である。図１０の画像処理システム９００においては、学校の画像処理装置１０１０が発熱者を検出して、顔画像と熱とを対応付けて蓄積し、体温履歴を表示する。

画像処理装置１０１０は、以下の機能構成部を備える。顔画像抽出部１０１１は、校門に設置されたビデオカメラ１０２０から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部１０１２は、ビデオカメラ１０２０の近傍に配置された熱画像カメラ１０３０から送られる熱画像から温度（本例では、体温に相当）を検出する。生徒特定部１０１３は、顔画像抽出部１０１１が抽出した顔画像の特徴と、生徒ＩＤに対応付けて生徒の顔画像またはその特徴を蓄積する顔画像ＤＢ９４０（図１２参照）からの顔画像の特徴とを比較して、映像中の生徒を特定する。生徒特定部１０１３で特定された生徒ＩＤに対応付けて熱画像検出部１０１２で検出した体温が体温履歴ＤＢ９５０に蓄積される。

体温履歴読出部１０１５は、異常体温検知部１０１４が所定閾値Ｔｈを越える体温を検知した場合に、生徒特定部１０１３が現在特定している生徒ＩＤに対応する体温履歴を体温履歴ＤＢ９５０から読出す。表示画面生成部１０１６は、体温履歴読出部１０１５が読出した体温履歴に基づいて、図９の表示部９６０に図示したような表示画面を生成して、表示部９６０に表示する。なお、表示部９６０は、前述のように、学校内に有ってもよいし、ネットワークを介して担当医の場所に合ってもよい。また、図１０には、画像処理装置１０１０への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。

また、完全には一致しないが、その機能から、図１０の熱画像検出部１０１２、生徒特定部１０１３、異常体温検知部１０１４、体温履歴読出部１０１５、が図９の発熱生徒特定部９２０に相当するものである。

《画像処理装置のハードウエア構成》
図１１は、本実施形態に係る画像処理装置１０１０のハードウエア構成を示すブロック図である。

図１１で、ＣＰＵ１１１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。

ＲＡＭ１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。１１４１は、ビデオカメラ１０２０から入力されてきた入力画像データである。１１４２は、入力画像データ１１４１から抽出された顔画像データである。１１４３は、顔画像データ１１４２と顔画像ＤＢ９４０の画像データとから特定された特定生徒ＩＤである。１１４４は、熱画像カメラ１０３０から入力されてきた熱画像データである。１１４５は、特定生徒ＩＤ１１４３で特定される特定生徒の検出熱である。１１４６は、体温を判定するための体温の閾値である。１１４７は、測定した熱が体温の閾値１１４６を越える場合にセットされる異常フラグである。１１４８は、表示部９６０に表示される表示画面データである。

ストレージ１１５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。９３０は、生徒名と生徒ＩＤとを対応付けて記憶する生徒名簿である。９４０は、生徒ＩＤに対応付けて顔画像ほかの情報を蓄積する顔画像ＤＢである（図１２参照）。９５０は、生徒ＩＤに対応付けて体温履歴を蓄積する体温履歴ＤＢである（図１３参照）。ストレージ１１５０には、以下のプログラムが格納される。１１５１は、全体の処理を実行させる画像処理プログラムである。１１５２は、画像処理プログラム１１５１において、ビデオカメラ１０２０の映像から顔画像を抽出する顔画像抽出モジュールである。１１５３は、画像処理プログラム１１５１において、映像から抽出された顔画像の人物を顔画像ＤＢ９４０の顔画像と比較して、生徒を特定する生徒特定モジュールである。１１５４は、画像処理プログラム１１５１において、熱画像カメラ１０３０の熱画像から熱を測定する熱画像分析モジュールである。１１５５は、画像処理プログラム１１５１において、特定された生徒の対応に関する履歴情報を表示部３４０に表示する表示画面を生成する表示画面生成モジュールである。

画像処理装置２１０には、入力インタフェース１１６０を介して、ビデオカメラ１０２０、熱画像カメラ１０３０、が接続される。また、出力インタフェース１１７０を介して表示部９６０が接続される。

なお、図１１には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。

（顔画像ＤＢの構成）
図１２は、本実施形態に係る顔画像ＤＢ９４０の構成を示す図である。

本実施形態では、生徒ＩＤ１２０１に対応付けて、登録顔画像１２０２と最新のベストショットの顔画像１２０３が記憶される。なお、生徒に関する情報は図１２に限定されず、顔画像ＤＢ９４０の用途に対応して増減されてよい。

（体温履歴ＤＢの構成）
図１３は、本実施形態に係る体温履歴ＤＢ９５０の構成を示す図である。

本実施形態では、生徒ＩＤ１３０１に対応付けて、基礎体温１３０２、平均体温１３０３、対応履歴１３０４が記憶されている。さらに、体温履歴の日時に対応して、学校の行事などのイベントが記憶されていてもよい。

《画像処理装置の処理手順》
図１４は、本実施形態に係る画像処理装置１０１０の処理手順を示すフローチャートである。このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用しながら実行し、図９および図１０の各機能構成部を実現する。

まず、ステップＳ１４０１において、ビデオカメラ１０２０からの映像を入力する。次に、ステップＳ１４０３において、入力映像から顔画像を抽出する。次に、ステップＳ１４０５において、顔画像から特徴を抽出する。なお、ステップＳ１４０５は第２実施形態の図８Ｃで示した手順と同様であるので、図示および説明は省略する。ステップＳ１４０７においては、ステップＳ１４０５で抽出した顔画像の特徴と、顔画像ＤＢ９４０に登録された顔画像から生徒を特定する。

ステップＳ１４０９において、特定された生徒の体温を対応する顔画像から測定する。なお、ステップＳ１４０９の処理は、第２実施形態の図８Ｂの処理と同様であるので、図示および説明は省略する。ステップＳ１４１１において、生徒ＩＤに対応付けて測定した体温を体温履歴ＤＢ９５０に蓄積する。ステップＳ１４１３においては、ステップＳ１４０９で測定した体温が閾値Ｔｈを越えるか否かが判定される。越えていなければステップＳ１４０３に戻って、生徒ＩＤの特定とその生徒の体温の体温履歴ＤＢ９５０への蓄積を繰り返す。

測定した体温が閾値Ｔｈを越える場合はステップＳ１４１５に進んで、体温履歴ＤＢ９５０から生徒ＩＤに基づいて体温履歴を検索して読出す。ステップＳ１４１７において、読出した体温履歴に基づいて表示画面を生成する。そして、ステップＳ１４１９において、表示部９６０に表示する。

［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

Claims (13)

1. 顔画像を含む人物画像を蓄積する人物画像蓄積手段と、
   撮影手段により撮影した画像内から顔画像を抽出する顔画像抽出手段と、
   熱画像撮影手段により撮影した、前記顔画像に対応する熱画像から熱を測定する熱画像検出手段と、
   前記抽出された顔画像の特徴と前記人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
   前記熱が所定閾値を超える顔画像を選別する選別手段と、
   前記選別手段が選別した顔画像と、前記顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
   前記人物特定手段による前記顔画像の人物特定前に、前記選別手段が選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として通知する通知手段と、
   を備えることを特徴とする画像処理システム。
2. 前記登録手段は、前記人物特定手段による前記顔画像の人物特定後に、前記選別手段が選別した顔画像と、前記顔画像に対して前記熱画像検出手段が測定した熱と、さらに前記人物特定手段が特定した人物の識別子および該人物に関する情報と、を対応付けて登録し、
   前記通知手段は、前記人物特定手段による前記顔画像の人物特定後に、前記選別手段が選別した顔画像と、前記人物特定手段が特定した人物の識別子および該人物に関する情報とを、前記熱が所定閾値を超える人物を追跡するための情報として通知する、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記人物画像蓄積手段は、パスポートの人物画像を蓄積し、
   前記撮影手段および前記熱画像撮影手段は、出入国を管理する場所に配置されることを特徴とする請求項２に記載の画像処理システム。
4. 前記通知手段が通知した、前記熱が所定閾値を超える顔画像を、ネットワークを介して受信し、前記熱が所定閾値を超える人物を追跡するための顔画像として使用する装置、
   をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記人物特定手段は、前記撮影手段が撮影した一連の複数のフレームから、対象の顔画像が特徴を表わす情報量をより多く有するフレームを、特徴を比較するベストショットとして選択する選択手段を有することを特徴とする請求項２または３に記載の画像処理システム。
6. 前記選択手段は、少なくとも、目の間の距離である目間距離と顔の向きの正面の度合いを表わす正面率とを参照して、対象の顔画像が特徴を表わす情報量をより多く有するフレームを選択することを特徴とする請求項５に記載の画像処理システム。
7. 前記人物特定手段は、対象の顔画像からメガネやマスクを含む装飾品を抽出する装飾品抽出手段を有し、
   前記装飾品を消去した顔画像の特徴から人物を特定することを特徴とする請求項２、３、５または６に記載の画像処理システム。
8. 前記撮影手段は、一連のフレームを撮影する手段であって、
   前記顔画像抽出手段は、
   前記一連のフレームの各フレームから顔データや顔でないデータの典型的なサンプルとの比較に基づいて顔画像を抽出する手段と、
   前記一連のフレームから、２つの目の間の距離が長く、かつ、前記顔画像の正面度が高い顔画像を含むフレームを選別するフレーム選別手段と、
   を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 前記熱画像検出手段は、あらかじめ決められた優先順位と前記熱画像撮影手段と皮膚間にある妨害物の有無とに基づいて、顔画像から熱を測定する部位を選択する測定位置選択手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 撮影手段により撮影した画像内から顔画像を抽出する顔画像抽出ステップと、
    熱画像撮影手段により撮影した、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
    前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
    前記熱が所定閾値を超える顔画像を選別する選別ステップと、
    前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
    前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として通知する通知ステップと、
    を含むことを特徴とする発熱者追跡方法。
11. 顔画像を含む人物画像を蓄積する人物画像蓄積手段と、
    撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出手段と、
    熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出手段と、
    前記抽出された顔画像の特徴と前記人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
    前記熱が所定閾値を超える顔画像を選別する選別手段と、
    前記選別手段が選別した顔画像と、前記顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
    前記人物特定手段による前記顔画像の人物特定前に、前記選別手段が選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信手段と、
    を備えることを特徴とする画像処理装置。
12. 撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出ステップと、
    熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
    前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
    前記熱が所定閾値を超える顔画像を選別する選別ステップと、
    前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
    前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信ステップと、
    を含むことを特徴とする画像処理装置の制御方法。
13. 撮影手段により撮影された画像を受信して、前記受信した画像内から顔画像を抽出する顔画像抽出ステップと、
    熱画像撮影手段により撮影された熱画像を受信して、前記顔画像に対応する熱画像から熱を測定する熱画像検出ステップと、
    前記抽出された顔画像の特徴と、顔画像を含む人物画像を蓄積する人物画像蓄積手段に蓄積された顔画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
    前記熱が所定閾値を超える顔画像を選別する選別ステップと、
    前記選別ステップにおいて選別した顔画像と、前記顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
    前記人物特定ステップにおける前記顔画像の人物特定前に、前記選別ステップにおいて選別した顔画像を、前記熱が所定閾値を超える人物を追跡するための顔画像として送信する送信ステップと、
    をコンピュータに実行させることを特徴とする画像処理装置の制御プログラム。

Images