JP7497853B2 - 顔検知システム - Google Patents

Description

本開示は、顔検知システムに関する。

特許文献１には、映像データファイルの映像中の人物のうち出現頻度が高い人物の顔画像を複数含む顔画像群を映像データファイル毎に抽出し、複数の映像データファイルから１以上の映像データファイルを選択可能な選択画面上に、選択された１以上の映像データファイル毎に抽出された顔画像群を並べて表示する電子機器が開示されている。

特開２０１０－１０３７６５号公報

上述した特許文献１によれば、映像中で出現頻度が高い人物の顔画像群を表示することで映像データファイルごとに撮像された主要な人物と、映像データファイル間の関連とをユーザに提示できる。しかし、特許文献１の構成では、顔画像群に含まれる人物がカメラ等によって撮像された撮像時刻を確認する場合、ユーザは、映像データファイルを逐一再生して確認しなければならず、相当に煩雑な作業を強いられるため効率的ではなかった。また、特許文献１の構成において、出現頻度が低い人物をユーザに提示することは想定されていない。

本開示は、上述した従来の事情に鑑みて案出され、少なくとも１つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援する顔検知システムを提供することを目的とする。

本開示は、少なくとも１つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、前記端末装置は、ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、前記サーバは、受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、前記１以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、抽出された前記複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、前記端末装置に送信し、前記端末装置は、受信された前記類似顔画像群のうち同一の場所で所定時間の間で最初に撮像された顔切出し画像のサムネイル画像と、最後に撮像された顔切出し画像のサムネイル画像と、前記顔切出し画像のそれぞれに対応する撮像時刻の情報とを時系列に並べてモニタに表示する、顔検知システムを提供する。
また、本開示は、少なくとも１つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、前記端末装置は、ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、前記サーバは、受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、１以上の人物の顔を検知し、検知された前記顔の領域を切り出した１以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報と前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、前記端末装置は、前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、前記顔切出し画像のサムネイル画像と前記撮像時刻の情報とを時系列に、前記位置情報ごとに並べてモニタに表示する顔検知システムを提供する。

本開示によれば、少なくとも１つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援できる。

実施の形態に係る顔検知システムの全体構成例を説明する図 実施の形態に係る顔検知システムにおける端末装置およびサーバの内部構成例を示す図 実施の形態に係る顔検知システムの動作手順例を示すシーケンス図 実施の形態に係る顔検知システムの検索手順例を示すシーケンス図 検知結果を示す画面の一例 実施の形態に係る顔検知システムの複数の録画映像データの読み込み手順例を示すシーケンス図 撮像時刻が所定時間以上異なる複数の録画映像データに基づく検知結果を示す画面の一例 録画映像データファイルとライブ映像のデータとに基づく検知結果を示す画面の一例 ユーザにより入力された顔画像に基づく検索結果を示す画面の一例 ユーザにより指定された起点位置に基づく検索結果を示す画面の一例 検索結果をマージ表示した画面の一例 アラート通知画面の一例

以下、適宜図面を参照しながら、本開示に係る顔検知システムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態に係る顔検知システム１００の全体構成例を示す図である。実施の形態に係る顔検知システム１００は、様々なカメラにより撮像された１以上の録画映像あるいはライブ映像に映る人物を検知し、検知された人物を少なくとも顔を含む領域で切り出して生成された顔切出し画像と、この顔切出し画像が撮像された撮像時刻の情報とをユーザ（例えば、警察署の職員、警察官、警備会社の職員、あるいは管理者等）に提示するシステムである。顔検知システム１００は、録画映像記録装置ＲＦと、端末装置Ｐ１と、サーバＳ１と、を少なくとも含んで構成される。

なお、ここでいうカメラは、例えばスマートフォンに備えられたカメラＣＭ１、ウェアラブルカメラＣＭ２、ドローンＣＭ３、ドライブレコーダＣＭ４等のように人、車両あるいは飛行体等の移動により撮像する位置情報が変化するカメラと、例えば監視カメラＣ１，…のように画角固定に設置された（つまり、撮像する位置情報が変化しない）カメラとを含み、撮像時刻の情報および撮像された位置情報とを含む撮像映像を記録する。

録画映像記録装置ＲＦは、例えばメモリ、ＳＤ（登録商標）カード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、レコーダ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であって、上述したカメラによって撮像された録画映像データファイルを記録する。録画映像記録装置ＲＦは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線ケーブル、あるいはＵＳＢコネクタ等のコネクタを介して端末装置Ｐ１との間で通信可能に接続され、録画映像データファイルを端末装置Ｐ１に送信する。なお、図１に示す例において録画映像記録装置ＲＦは１つであるが、複数あってよい。

端末装置Ｐ１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末等であって、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線ケーブル、あるいはＵＳＢコネクタ等のコネクタを介して録画映像を記録した録画映像記録装置ＲＦとの間でデータ通信可能に接続される。また、端末装置Ｐ１は、ネットワークＮＷ１を介してサーバＳ１との間で有線あるいは無線通信可能に接続される。なお、ここでいう無線通信は、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。

端末装置Ｐ１は、ユーザ操作を受け付けるユーザインターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、ユーザにより選択された複数の録画映像データファイルのそれぞれを録画映像記録装置ＲＦから読み取る。端末装置Ｐ１は、読み取った複数の録画映像データファイルのそれぞれをサーバＳ１に送信する。また、端末装置Ｐ１は、複数の録画映像のそれぞれから検索する人物に関する検索条件（例えば検索対象となる人物の顔画像）について、ユーザからの入力操作を受け付け、受け付けた検索条件をサーバＳ１に送信する。

端末装置Ｐ１は、サーバＳ１から送信された検知結果を取得して、検知結果に含まれる１以上の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータをモニタに表示する。なお、端末装置Ｐ１は、ユーザ操作に基づいて、サムネイル画像のそれぞれを時系列に、あるいはユーザにより指定された基準位置と顔切出し画像が撮像された位置との間の距離が近い順に並び替えて表示する。また、端末装置Ｐ１は、サーバＳ１から事前に登録されたターゲットと類似または同一の人物が検知された旨を示すアラート通知画面を受信すると、このアラート通知画面をモニタに表示する。

さらに、端末装置Ｐ１は、サーバＳ１から送信された検知結果の表示条件について、ユーザからの入力操作を受け付ける。なお、ここでいう表示条件は、検知結果に含まれる複数の顔切出し画像のそれぞれをモニタに表示するための条件であって、例えば検知結果に含まれる複数の顔切出し画像のそれぞれのうち特定の顔切出し画像を抽出するための条件、複数の顔切出し画像のそれぞれを所定の条件で並び替えるための条件等である。端末装置Ｐ１は、受け付けた表示条件に基づいて、表示条件の対象となる顔切出し画像を抽出したり、表示条件に基づいて複数の顔切出し画像のそれぞれを並び替えてモニタに表示させたりする。

サーバＳ１は、ネットワークＮＷ１を介して端末装置Ｐ１との間、および監視カメラＣ１，…との間でデータ通信可能に接続される。なお、図１では、サーバＳ１は、複数の監視カメラＣ１，…のそれぞれと接続される例を示しているが、監視カメラの台数は１台であってもよい。また、監視カメラＣ１，…のそれぞれは必須の構成でなく、接続されていなくてもよい。

サーバＳ１は、録画映像データファイルあるいはライブ映像から人物を検知し、検知された人物の少なくとも顔領域を含んで切り出した顔切出し画像を生成し、生成された顔切出し画像に撮像時刻の情報、位置情報、および検知元である録画映像データファイルまたは監視カメラの情報を対応付けて、検知結果として端末装置Ｐ１に送信する。

なお、サーバＳ１が生成する顔切出し画像は、顔画像に限定されない。顔切出し画像は、人物の少なくとも顔領域を含んで生成されていればよく、例えば上半身画像、全身画像であってよい。

複数の監視カメラＣ１，…のそれぞれは、画角が固定に設置されたカメラであって、サーバＳ１との間でデータ通信可能に接続される。複数の監視カメラＣ１，…のそれぞれは、撮像しているライブ映像をサーバＳ１に送信する。なお、上述の通り、複数の監視カメラＣ１，…の台数は、０台でも１台であってもよい。複数の監視カメラＣ１，…のそれぞれが設置されている位置情報は、複数の監視カメラＣ１，…のそれぞれの識別情報（例えば、製造番号、管理番号、識別番号、名称等）と対応付けられて、サーバＳ１に記憶される。

ブラックリストデータベースＤＢは、予め端末装置Ｐ１によって生成されて送信され、警察官、管理者または警備員等による事件等の捜索または捜査対象となるターゲット（つまり人物）ごとに生成された事件等に関する関連情報とターゲットの登録顔画像とを対応付けて登録（格納）する。なお、登録顔画像は、人物の顔の領域を含む画像であればよく、例えば上半身画像、全身画像等であってよい。

ブラックリストデータベースＤＢは、端末装置Ｐ１から録画映像データあるいは監視カメラＣ１，…のそれぞれからライブ映像が読み込まれ、これらの映像データに映る人物の顔切出し画像を生成した際にサーバＳ１により参照される。サーバＳ１は、ブラックリストデータベースＤＢを参照し、顔切出し画像の人物と類似あるいは合致する人物が登録されているか否かの照合判定を実行する。

なお、図１ではブラックリストデータベースＤＢは、サーバＳ１との間でデータ通信可能に接続される例を示すが、サーバＳ１の構成に含まれてもよい。

図２は、実施の形態に係る顔検知システム１００における端末装置Ｐ１およびサーバＳ１の内部構成例を示す図である。

端末装置Ｐ１は、通信部１０と、プロセッサ１１と、メモリ１２と、モニタ１３と、操作部１４と、を含んで構成される。

通信部１０は、録画映像記録装置ＲＦおよびサーバＳ１における通信部２０との間でデータ通信可能に接続される。通信部１０は、操作部１４により受け付けられたユーザにより指定された録画映像データファイル、または入力された検索条件を含む検索要求（制御信号）をサーバＳ１に送信する。また、通信部１０は、サーバＳ１から検知結果を受信し、プロセッサ１１に入力する。

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１はメモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。

プロセッサ１１は、操作部１４により受け付けられたユーザ操作に基づく制御信号を生成する。また、プロセッサ１１は、サーバＳ１から送信された検知結果に含まれる顔切出し画像をサムネイル画像（例えば、図４のサムネイル画像Ｓｍｎ１）と撮像時刻の情報（例えば、図４の撮像時刻情報Ｓｍｔ１）とをペアにしたサムネイルデータ（例えば、図４のサムネイルデータＳｍ１）をモニタ１３に出力して、表示させる。なお、プロセッサ１１は、ユーザにより表示条件が入力された場合、この表示条件に基づいて、表示対象に含まれる複数の顔切出し画像のそれぞれを抽出あるいは並び替えを実行し、モニタ１３に出力して表示させる。

メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。

モニタ１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイを用いて構成される。モニタ１３は、サーバＳ１から送信された検知結果、検索結果あるいはアラート通知を表示する。

操作部１４は、ユーザ操作を受け付けるユーザインターフェースであって、例えばマウス、キーボード、タッチパネル、タッチパッド、ポインティングデバイス等を用いて構成される。操作部１４は、ユーザ操作に基づく信号をプロセッサ１１に出力する。操作部１４は、例えば読み込む録画映像データファイルに関するユーザの選択操作、所定の検索条件に関するユーザの入力操作等を受け付ける。

次に、サーバＳ１の内部構成について説明する。サーバＳ１は、通信部２０と、プロセッサ２１と、メモリ２２と、を含んで構成される。

通信部２０は、端末装置Ｐ１における通信部１０、ブラックリストデータベースＤＢおよび複数の監視カメラＣ１，…のそれぞれとの間でデータ通信可能に接続される。通信部２０は、端末装置Ｐ１から送信された録画映像データファイル、または検索条件を含む検索要求（制御信号）をプロセッサ２１に出力する。通信部２０は、複数の監視カメラＣ１，…のそれぞれから送信されたライブ映像のデータをプロセッサ２１に出力する。また、通信部２０は、プロセッサ２１により生成された検知結果あるいはアラート通知を端末装置Ｐ１における通信部１０に送信する。

プロセッサ２１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。

プロセッサ２１は、端末装置Ｐ１から送信された録画映像データファイルまたは複数の監視カメラＣ１，…のそれぞれから送信されたライブ映像のデータを受け取ると、所定のフォーマットを有する録画映像データに変換する。具体的に、プロセッサ２１は、録画映像データファイルまたはライブ映像のデータをデコード処理して、録画映像データファイルまたはライブ映像のデータから複数の画像データに展開する。

プロセッサ２１は、変換後の録画映像データ（つまり、複数の画像データ）を用いて、人物の顔を検知する顔検知を実行し、検知結果に基づいて、少なくとも人物の顔の領域を含む領域を切り出した顔切出し画像を生成する。また、プロセッサ２１は、検知された人物が映る画像データに対応付けられて記憶されたメタデータ等を参照し、この画像データが撮像された撮像時刻の情報と画像データが撮像された位置情報と検知元である録画映像データファイルまたは監視カメラの情報とを抽出し、生成された顔切出し画像に対応付けて記憶する。なお、ここで、位置情報は、複数の監視カメラＣ１，…のそれぞれのように所定の位置に設置されたカメラによって撮像されている場合には、カメラの設置された位置情報となる。

プロセッサ２１は、生成された複数の顔切出し画像のそれぞれに映る人物が同一人物または類似する人物であるか否かを判定し、同一人物または類似する人物と判定した複数の顔切出し画像のそれぞれを含む類似顔画像群を生成する。生成された類似顔画像群は、サーバＳ１からネットワークＮＷ１を介して端末装置Ｐ１に送信され、同一人物と判定した人物であることを示す枠線で囲われてモニタ１３に表示される。

なお、枠線は、類似顔画像群に含まれるすべての顔切出し画像を囲む１つの枠線（図４参照）であってもよいし、検知されたすべての人物の顔切出し画像のうち類似顔画像群に含まれる複数の顔切出し画像のみを識別可能な枠線（例えば同じ線色、同じ線種等）であってもよい。

また、プロセッサ２１は、類似顔画像群に含まれる複数の顔切出し画像のそれぞれが、所定時間以上連続して撮像されているか否かを判定する。プロセッサ２１は、所定時間以上連続して撮像されていると判定した場合、顔切出し画像の人物が滞在していると判定し、この所定時間の間に撮像された複数の顔切出し画像のそれぞれを含む滞在顔画像群を生成して、端末装置に送信する。生成された滞在顔画像群は、サーバＳ１からネットワークＮＷ１を介して端末装置Ｐ１に送信され、端末装置Ｐ１におけるモニタ１３上に表示される。

なお、端末装置Ｐ１は、ユーザ操作によりこの滞在顔画像群が選択されると、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれのうち、最初に撮像された（つまり、撮像時刻が最も古い）顔切出し画像と、最後に撮像された（つまり、撮像時刻が最も新しい）顔切出し画像とがモニタ１３上にサムネイル表示される。

さらに、プロセッサ２１は、ブラックリストデータベースＤＢを参照し、登録されているターゲットの登録顔画像と、生成されたすべての顔切出し画像のそれぞれとの照合判定を実行する。プロセッサ２１は、照合判定の結果、照合する顔画像がある場合、登録されたターゲットの登録顔画像と、照合された顔切出し画像とを含むアラート通知を生成して、端末装置Ｐ１に送信する。生成されたアラート通知は、端末装置Ｐ１におけるモニタ１３上に表示される。

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。メモリ２２は、複数の監視カメラＣ１，…のそれぞれが設置されている設置位置の情報と複数の監視カメラＣ１，…のそれぞれの識別情報とを対応付けて記憶する。

図３Ａおよび図３Ｂを参照して、実施の形態に係る顔検知システム１００の動作手順例を説明する。図３Ａは、実施の形態に係る顔検知システム１００の動作手順例を示すシーケンス図である。図３Ｂは、実施の形態に係る顔検知システム１００の検索手順例を示すシーケンス図である。なお、図３Ａでは、録画映像記録装置ＲＦから録画映像データファイルを読み込み、さらに複数の監視カメラＣ１，…のそれぞれからライブ映像のデータを読み込み、顔検知を実行する例について説明するが、顔検知システム１００の動作手順は、これに限定されないことは言うまでもない。顔検知システム１００は、少なくとも１つの録画映像データファイルを読み込み、読み込まれたこの録画映像データファイルを用いて録画映像データに映る人物の顔検知を実行できればよい。

端末装置Ｐ１は、データ通信可能に接続された録画映像記録装置ＲＦから１以上の録画映像データファイルを読み込む（Ｓｔ１Ａ）。なお、読み込まれる録画映像データファイルは、ユーザ操作により選択（指定）された録画映像データファイルのみを読み込んでもよい。

サーバＳ１は、通信可能に接続された複数の監視カメラＣ１，…のそれぞれから１以上のライブ映像のデータを読み込む（Ｓｔ１Ｂ）。

端末装置Ｐ１は、読み込まれた録画映像データファイルのうち、サーバＳ１に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける（Ｓｔ２）。端末装置Ｐ１は、ユーザにより選択（指定）操作された１以上の録画映像データファイルを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ３）。

サーバＳ１は、端末装置Ｐ１から送信された１以上の録画映像データファイルを受け取る。サーバＳ１は、１以上の録画映像データファイルとライブ映像のデータとを所定のフォーマットを有する録画映像データに変換する（Ｓｔ４）。

サーバＳ１は、変換後の録画映像データを再生処理し（Ｓｔ５）、録画映像データから人物を検出する。サーバＳ１は、検出された人物の顔の領域を含む範囲を切り出した顔切出し画像を生成する（Ｓｔ６）。なお、ここで切り出される範囲は、例えば人物の上半身または全身であってよい。つまり、顔切出し画像は、検知された人物の上半身の領域を含んで切り出した上半身切出し画像であってもよいし、検知された人物の全身の領域を含んで切り出した全身切出し画像であってもよい。

サーバＳ１は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された撮像時刻の情報を取得する（Ｓｔ７）。また、サーバＳ１は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された位置情報を取得する（Ｓｔ８）。サーバＳ１は、取得された撮像時刻の情報および位置情報を顔切出し画像に対応付けて記録する（Ｓｔ９）。

サーバＳ１は、生成された複数の顔切出し画像のそれぞれに映る人物が同一人物または類似する人物であるか否かの同一人物判定を実行する（Ｓｔ１０）。サーバＳ１は、同一人物または類似する人物と判定した複数の顔切出し画像のそれぞれを抽出し、これらの複数の顔切出し画像のそれぞれを含む類似顔画像群を生成する。

また、サーバＳ１は、類似顔画像群に含まれる複数の顔切出し画像のそれぞれが、所定時間以上連続して撮像されているか否かの滞在判定を実行する（Ｓｔ１０）。サーバＳ１は、類似顔画像群として抽出された複数の顔切出し画像に対応する人物が、所定時間以上連続して撮像されていると判定した場合、顔切出し画像の人物が滞在していると判定する。サーバＳ１は、この所定時間の間に撮像された複数の顔切出し画像のそれぞれを抽出し、これらの複数の顔切出し画像のそれぞれを含む滞在顔画像群を生成する。

サーバＳ１は、取得された撮像時刻の情報および位置情報を対応付けた複数の顔切出し画像のそれぞれを含む検知結果を端末装置Ｐ１に送信する（Ｓｔ１０）。なお、サーバＳ１は、ステップＳｔ９における同一人物判定、または滞在判定の結果、類似顔画像群あるいは滞在顔画像群の少なくともいずれかを生成した場合、生成された１以上の類似顔画像群または滞在顔画像群を含む検知結果を生成する（Ｓｔ１１）。サーバＳ１は、生成された検知結果を端末装置Ｐ１に送信する（Ｓｔ１２）。

端末装置Ｐ１は、サーバＳ１から送信された検知結果に含まれる複数の顔切出し画像のそれぞれのサムネイル画像と対応する人物が撮像された撮像時刻の情報とをペアにしたサムネイルデータを生成して、モニタ１３上に表示する（Ｓｔ１３）。

また、サーバＳ１は、データ通信可能に接続されたブラックリストデータベースＤＢを参照し、ブラックリストデータベースＤＢに登録されたターゲットの登録顔画像のそれぞれと、生成された複数の顔切出し画像のそれぞれとを照合する照合判定を実行する（Ｓｔ１４）。

サーバＳ１は、ステップＳｔ１４における照合判定処理において、複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合、このターゲットの登録顔画像と照合された顔切出し画像とを含むアラート通知画面を生成する（Ｓｔ１５）。サーバＳ１は、生成されたアラート通知画面を端末装置Ｐ１に送信する（Ｓｔ１６）。

端末装置Ｐ１は、サーバＳ１から送信されたアラート通知画面をモニタ１３に表示する（Ｓｔ１７）。

また、端末装置Ｐ１は、ユーザ操作により検知したい人物の顔画像についての指定を受け付けた場合（Ｓｔ１８）、この顔画像に対応する人物を検索する検索要求を生成して、サーバＳ１に送信する（Ｓｔ１９）。

サーバＳ１は、端末装置Ｐ１から送信された顔画像に対応する人物と類似または同一の人物を録画映像データから検知すると、検知された人物の顔の領域を切り出した顔切出し画像を生成する（Ｓｔ２０）。サーバＳ１は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された撮像時刻の情報を取得する（Ｓｔ２１）。また、サーバＳ１は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された位置情報を取得する（Ｓｔ２２）。サーバＳ１は、取得された撮像時刻の情報および位置情報を顔切出し画像に対応付けて記録する（Ｓｔ２３）。

なお、検知結果を端末装置Ｐ１に送信した後もサーバＳ１がステップＳｔ６～ステップＳｔ９の処理において生成された複数の顔切出し画像のそれぞれを記憶している場合、サーバＳ１は、端末装置Ｐ１から送信された顔画像に基づいて、複数の顔切出し画像のそれぞれに同一人物判定を実行してもよい。つまり、このような場合、ステップＳｔ２１～ステップＳｔ２３の処理は省略される。

サーバＳ１は、検知結果として、端末装置Ｐ１から送信された顔画像に対応する人物と類似または同一の人物と判定された１以上の顔画像を含む類似顔画像群を生成する（Ｓｔ２４）。サーバＳ１は、生成された検知結果（類似顔画像群）を端末装置Ｐ１に送信する（Ｓｔ２５）。

端末装置Ｐ１は、サーバＳ１から送信された検知結果（類似顔画像群）に含まれるサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータをモニタ１３に表示する（Ｓｔ２６）。

図４を参照して、複数の録画映像データファイルのそれぞれを用いて生成された検知結果について説明する。図４は、検知結果を示す画面Ｍｎ１の一例である。なお、顔切出し画像のサムネイル画像Ｓｍｎ１、および顔切出し画像に対応する人物が撮像された撮像時刻情報Ｓｍｔ１の符号は、図４におけるサムネイルデータＳｍ１のみ図示し、他のサムネイルデータおよび他の画面例を示す図６～図１０では省略している。

図４に示す例において、複数のサムネイルデータＳｍ１１，Ｓｍ１２，Ｓｍ１３，Ｓｍ１４のそれぞれは、「録画映像データ１」で示される録画映像データを用いて生成された複数の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたデータであって、サーバＳ１により実行された同一人物判定により同一人物と判定された類似顔画像群である。また、複数のサムネイルデータＳｍ１５，Ｓｍ１６，Ｓｍ１７のそれぞれは、「録画映像データ２」で示される録画映像データを用いて生成された複数の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたデータである。

端末装置Ｐ１における端末装置Ｐ１は、サーバＳ１から送信された検知結果に基づいて、ユーザに検知結果を提示するための画面を生成し、モニタ１３に出力して表示させる。なお、端末装置Ｐ１は、サーバＳ１からアラート通知画面ＡＲを受信した場合、モニタ１３にアラート通知画面ＡＲを出力して表示させる（図１１参照）。

図４に示すように、端末装置Ｐ１によって生成される画面は、検索条件または表示条件が入力される入力欄ＳＣＣと、検知結果としての複数の顔切出し画像のそれぞれを表示するための表示欄ＳＲＲと、を少なくとも含む。

入力欄ＳＣＣは、例えば日時入力欄ＤＴ、人物条件入力欄ＦＳ、データ選択欄ＣＳ、場所選択欄ＰＳ（図９～図１１参照）のうちいずれかと、実行ボタンＢｔとを含み、ユーザによる検索条件または表示条件に関する入力操作を受け付ける。

日時入力欄ＤＴは、顔切出し画像に対応する人物が撮像された撮像時刻の情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄ＳＲＲに表示する顔切出し画像を限定（選択）するための表示条件について、ユーザによる入力操作を受け付ける。日時入力欄ＤＴは、開始日時に関する入力欄と終了時刻に関する入力欄とを含む。端末装置Ｐ１は、開始日時に関する入力欄に入力された日時から終了時刻に関する入力欄に入力された日時までの間の撮像時刻の情報を有する顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とのペアを表示欄ＳＲＲに表示させる。

なお、端末装置Ｐ１は、開始日時に関する入力欄にのみ日時が入力された場合には、検知結果に含まれる複数の顔切出し画像のそれぞれのうち入力された日時から現在の日時までの撮像時刻の情報が対応付けられた顔切出し画像を検索して、抽出する。また、端末装置Ｐ１は、終了日時に関する入力欄にのみ日時が入力された場合には、検知結果に含まれる複数の顔切出し画像のそれぞれのうち最古の日時から入力された日時までの撮像時刻の情報が対応付けられた顔切出し画像を検索して、抽出する。

人物条件入力欄ＦＳは、ユーザが検索したい人物の顔画像の入力（アップロード）操作を受け付ける。端末装置Ｐ１は、人物条件入力欄ＦＳに人物の顔画像が入力されると、サーバＳ１に顔画像に対応する人物と類似または同一の人物を検索する検索要求（つまり制御信号）を生成する。端末装置Ｐ１は、入力された顔画像と検索要求とをサーバＳ１に送信する。

サーバＳ１は、検索要求に基づいて、顔画像に対応する人物と類似または同一の人物が映っているか否か、あるいはこの人物の顔画像があるか否かを判定（同一人物判定）し、類似または同一の人物と判定された人物の顔画像を抽出する。サーバＳ１は、検知結果として抽出された人物の顔画像を含む類似顔画像群を生成して、端末装置Ｐ１に送信する。

端末装置Ｐ１は、サーバＳ１から送信された類似顔画像群に含まれる複数の顔切出し画像のそれぞれのサムネイル画像を表示欄ＳＲＲに表示する。図４に示す例において、端末装置Ｐ１は、人物条件入力欄ＦＳに人物の顔画像が入力されていない。人物条件入力欄ＦＳに人物の顔画像が入力された場合の画面例は、図８で詳細に説明する。

なお、端末装置Ｐ１は、人物条件入力欄ＦＳに顔画像が入力された場合、表示欄ＳＲＲには類似顔画像群に含まれる顔切出し画像のサムネイル画像のみを表示する。よって、端末装置Ｐ１は、人物条件入力欄ＦＳに顔画像が入力された場合には、サムネイル画像を枠線で囲って表示しなくてもよい。

データ選択欄ＣＳには、検知結果の生成に用いられた録画映像データのそれぞれを識別可能な名称がリスト形式に並べられる。データ選択欄ＣＳは、顔切出し画像に対応する人物が撮像された録画映像データの情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄ＳＲＲに表示する顔切出し画像を限定（選択）するための表示条件について、ユーザによる選択操作を受け付ける。

端末装置Ｐ１は、検知結果に含まれる複数の顔切出し画像のそれぞれのうちデータ選択欄ＣＳで選択された録画映像データを用いて生成された顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とのペアを表示欄ＳＲＲに表示する。なお、データ選択欄ＣＳに並べられる録画映像データの名称は、サーバＳ１へ送信する際にユーザ操作により設定されてもよいし、データ選択欄ＣＳ上で任意の名称に設定されてもよい。

場所選択欄ＰＳには、顔切出し画像に対応する人物が撮像された場所の情報（例えば、駅名、建物名、施設名、地名等）がリスト形式に並べられる。場所選択欄ＰＳに並べられる場所の情報は、検知結果に含まれる複数の顔切出し画像のそれぞれに対応づけられた位置情報（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により取得された測位情報、緯度・経度により示される位置情報）に基づいて、ネットワークＮＷ１を介して取得された地図データ等を用いてサーバＳ１により作成される。場所選択欄ＰＳは、顔切出し画像に対応する人物が撮像された位置情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄ＳＲＲに表示する顔切出し画像を限定（選択）するための表示条件について、ユーザによる選択操作を受け付ける。

端末装置Ｐ１は、検知結果に含まれる複数の顔切出し画像のそれぞれのうち場所選択欄ＰＳで選択された場所で撮像された顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータを表示欄ＳＲＲに表示する。

なお、場所選択欄ＰＳに並べられる場所の情報は、端末装置Ｐ１の操作部１４を介して受け付けられるユーザ操作により編集可能である。例えば、録画映像データファイルが同一の施設内で撮像された場合、あるいは録画映像データファイルが予め決まった場所で撮像された場合には、ユーザは、顔切出し画像に対応付けられた位置情報に基づいて、さらに詳細な場所の情報を設定してもよい。具体的に、ユーザは、後述する図１０に示す「エントランス」、「ロビー」、「ホール」および「地下駐車場」等のように、場所選択欄ＰＳに並べられる場所の情報をより詳細に設定してもよい。

また、場所選択欄ＰＳは、起点位置入力欄ＰＳ１を含んでよい。起点位置入力欄ＰＳ１は、ユーザによる起点位置の入力を受け付ける。端末装置Ｐ１は、起点位置入力欄ＰＳ１に起点位置が入力されると、この起点位置と場所選択欄ＰＳにリスト形式で示された各場所との間の距離を算出する。端末装置Ｐ１は、算出された距離に基づいて、場所ごとの複数のサムネイルデータのそれぞれを起点位置から近い順、かつ時系列に並び替えて表示欄ＳＲＲに表示する。なお、起点位置入力欄ＰＳ１には、場所選択欄ＰＳに示される場所（例えば、図９の例では「東京駅」、「品川駅」、「横浜駅」または「鎌倉駅」等）が入力されてもよいし、他の場所、施設名、土地名、緯度経度情報等が入力されてもよい。

実行ボタンＢｔは、入力欄ＳＣＣに入力された各表示条件による表示、あるいは検索条件による検索を実行するためのボタンである。端末装置Ｐ１は、ユーザ操作により実行ボタンＢｔが選択（押下）されると、入力欄ＳＣＣに入力された各表示条件あるいは検索条件に基づく処理を実行する。

スクロールバーＳＢは、時系列に並べられて表示欄ＳＲＲに表示された複数のサムネイルデータのそれぞれを閲覧するためのウィジットである。スクロールバーＳＢは、ユーザ操作によるつまみＳＬの左右方向の操作に基づいて、異なる撮像時間の情報を有するサムネイルデータのそれぞれを表示欄ＳＲＲに表示させる。なお、データ選択欄ＣＳの録画映像データ数が多い場合、あるいは場所選択欄ＰＳの情報数が多い場合には、スクロールバーＳＢは、縦方向にも生成されてよい。

図４に示す例において、入力欄ＳＣＣは、日時入力欄ＤＴおよびデータ選択欄ＣＳにおいてユーザによる入力操作を受け付ける。端末装置Ｐ１は、ユーザ操作により実行ボタンＢｔが選択（押下）されると、日時入力欄ＤＴにおける開始日時に関する入力欄に入力された「２０１９／０１／０５ １３：０９：００」に基づいて、検知結果から２０１９年１月５日の１３時９分以降の撮像時刻の情報が対応付けられた顔切出し画像のそれぞれを抽出する。

さらに端末装置Ｐ１は、データ選択欄ＣＳで選択された「録画映像データ１」および「録画映像データ２」に基づいて、抽出された顔切出し画像のそれぞれのうち「録画映像データ１」および「録画映像データ２」を用いて生成された顔切出し画像のそれぞれを抽出する。端末装置Ｐ１は、抽出された複数の顔切出し画像のそれぞれのサムネイル画像と撮像時刻の情報とをペアにした複数のサムネイルデータＳｍ１１～Ｓｍ１７のそれぞれを、録画映像データごとかつ時系列に並び替えるとともに、類似顔画像群に含まれる複数のサムネイルデータＳｍ１１～Ｓｍ１４のそれぞれを枠線Ｍｋ１で囲って表示欄ＳＲＲに表示する。図４の例において、表示欄ＳＲＲは、録画映像データごとに「２０１９／０１／０５ １３：０９：００」、「２０１９／０１／０５ １３：１０：００」、「２０１９／０１／０５ １３：１１：００」という時系列に複数のサムネイルデータＳｍ１１～Ｓｍ１７のそれぞれを並び替えて表示する。

また、端末装置Ｐ１は、データ選択欄ＣＳで選択された複数のデータのそれぞれの検知結果で、同じ時間帯の撮像時刻の情報を含む複数のサムネイルデータがある場合には、同じ時間帯のうちもっとも撮像時間が早いものから時系列に並び替えるとともに、紙面縦方向に隣接して並ばないように並び替えて表示する。なお、同じ撮像時刻の情報を含む複数のサムネイルデータがある場合には、紙面縦方向に隣接して並べて表示してもよい。これにより、ユーザは、同じ時間帯に人物が複数回検知された場合であっても、これら複数回検知された検知結果としてのサムネイルデータのそれぞれの撮像時刻の関係性を直感的に把握することができる。

具体的に、図４に示す例において、ユーザは、データ選択欄ＣＳで選択された複数のデータ「録画映像データ１」，「録画映像データ２」のそれぞれの撮像時刻「１３：０９：００」から撮像時刻「１３：１０：００」までの同じ時間帯に検知された検知結果としてのサムネイルデータＳｍ１１，Ｓｍ１２，Ｓｍ１５のそれぞれが、サムネイルデータＳｍ１１、サムネイルデータＳｍ１５、サムネイルデータＳｍ１２の順に検知されたことを直感的に把握できる。

以上により、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルを用いて検知され、生成された複数の顔切出し画像のそれぞれのサムネイル画像と、撮像時刻の情報とを並べて表示できる。これにより、ユーザは、各サムネイル画像（顔切出し画像）の撮像時刻の確認に要する時間を短縮でき、監視業務または捜査業務をより効率的に遂行できる。

次に、図５および図６を参照して、所定時間以上異なる撮像時刻に撮像された複数の録画映像データファイルを用いた検知結果を示す画面Ｍｎ２の例について説明する。図５は、実施の形態に係る顔検知システム１００の複数の録画映像データの読み込み手順例を示すシーケンス図である。図６は、撮像時刻が所定時間以上異なる複数の録画映像データに基づく検知結果を示す画面Ｍｎ２の一例である。なお、ここでいう所定時間は、例えば５日以上、１週間以上、１０日以上等である。

まず、図５および図６に示す例において端末装置Ｐ１およびサーバＳ１で実行される処理について説明する。なお、図５に示す例において、録画映像データファイルを読み込んでサーバＳ１に送信する回数は２回であるが、回数は限定されず、例えば３回、４回、７回であってもよい。

端末装置Ｐ１は、録画映像記録装置ＲＦ１から１以上の録画映像データファイルを読み込む（Ｓｔ１ＡＡ）。なお、読み込まれる録画映像データファイルは、ユーザ操作により選択（指定）された録画映像データファイルのみを読み込んでもよい。

サーバＳ１は、通信可能に接続された複数の監視カメラＣ１，…のそれぞれから１以上のライブ映像のデータを読み込む（Ｓｔ１Ｂ）。

端末装置Ｐ１は、読み込まれた録画映像データファイルのうち、サーバＳ１に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける（Ｓｔ２Ａ）。端末装置Ｐ１は、ユーザにより選択（指定）操作された１以上の録画映像データファイルを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ３Ａ）。

顔検知システム１００は、ステップＳｔ３Ａの処理の後、図３Ａおよび図３Ｂで説明したステップＳｔ４～ステップＳｔ１７と同一の処理を実行し、検知結果またはアラート通知画面をモニタ１３に表示する。

また、端末装置Ｐ１は、録画映像記録装置ＲＦ２から１以上の録画映像データファイルを読み込む（Ｓｔ１Ｃ）。なお、録画映像記録装置ＲＦ２は、録画映像記録装置ＲＦ１と同一の録画映像記録装置であってもよい。

サーバＳ１は、通信可能に接続された複数の監視カメラＣ１，…のそれぞれから１以上のライブ映像のデータを読み込む（Ｓｔ１ＢＢ）。

端末装置Ｐ１は、読み込まれた録画映像データファイルのうち、サーバＳ１に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける（Ｓｔ２Ｃ）。端末装置Ｐ１は、ユーザにより選択（指定）操作された１以上の録画映像データファイルを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ３Ｃ）。

顔検知システム１００は、ステップＳｔ３Ｃの処理の後、図３Ａおよび図３Ｂで説明したステップＳｔ４～ステップＳｔ１７と同一の処理を実行し、検知結果（検索結果）またはアラート通知画面をモニタ１３に表示する。なお、ステップＳｔ３Ｃの処理の後に生成される検知結果（検索結果）には、録画映像記録装置ＲＦ１から読み込まれた録画映像データファイルを用いて生成された検知結果（検索結果）と、録画映像記録装置ＲＦ２から読み込まれた録画映像データファイルを用いて生成された検知結果（検索結果）とを含む。

端末装置Ｐ１は、複数の録画映像記録装置ＲＦ１，ＲＦ２のそれぞれから読み込まれた録画映像データファイルを用いて生成された検知結果（検索結果）を示す画面Ｍｎ２をモニタ１３に表示する。

図６に示す例において、「録画映像データ１」および「録画映像データ２」のそれぞれは、録画映像記録装置ＲＦ１に記録された録画映像データファイルである。また、「録画映像データ３」および「録画映像データ４」のそれぞれは、録画映像記録装置ＲＦ２に記録され、「録画映像データ１」および「録画映像データ２」のそれぞれに記録された最新の撮像時刻（つまり、録画終了時の撮像時刻）から１０日以上後の撮像時刻を撮像した録画映像データファイルである。

また、入力欄ＳＣＣは、データ選択欄ＣＳにおいて「録画映像データ１」、「録画映像データ２」、「録画映像データ３」、「録画映像データ４」のそれぞれの選択を受け付ける。端末装置Ｐ１は、「録画映像データ１」、「録画映像データ２」、「録画映像データ３」および「録画映像データ４」のそれぞれに映る人物の検知結果を表示する表示条件に基づいて、顔切出し画像のそれぞれのサムネイルデータＳｍ３１，Ｓｍ３２，Ｓｍ３３，Ｓｍ３４，Ｓｍ３５，Ｓｍ３６，Ｓｍ３７のそれぞれを生成し、録画映像データごとに、かつ表示欄ＳＲＲに時系列に並べて表示する。

以上により、顔検知システム１００は、撮像時刻が所定時間（例えば１０日）以上異なる複数の録画映像データに基づく検知結果およびアラート通知画面を生成できる。これによりユーザは、例えば人物を対象とした監視業務または捜査業務において、撮像時刻が異なる録画映像データファイルから人物を検知したり、所定の人物を検索したりする場合であっても、所定時間以上異なる撮像時刻の録画映像データのそれぞれを用いて検知結果（検索結果）またはアラート通知画面を生成できるため、監視業務または捜査業務をより効率的に遂行できる。

図７を参照して、録画映像記録装置ＲＦに記録された録画映像データファイルと監視カメラによって撮像されたライブ映像のデータとを用いて生成された検知結果を示す画面Ｍｎ３の例について説明する。図７は、録画映像データファイルとライブ映像のデータとに基づく検知結果を示す画面Ｍｎ３の一例である。

図７に示す例では、サーバＳ１は、端末装置Ｐ１から送信された少なくとも１つの録画映像データファイルと、通信可能に接続された監視カメラＣ１から送信されたライブ映像のデータとを用いて、映像中の人物を検知する。入力欄ＳＣＣは、データ選択欄ＣＳにおいて「録画映像データ１」および「カメラ１」のそれぞれの選択を受け付ける。

端末装置Ｐ１は、「録画映像データ１」および「カメラ１」のそれぞれに映る人物の検知結果を表示する表示条件に基づいて、複数の顔切出し画像のそれぞれに対応するサムネイルデータＳｍ４１，Ｓｍ４２，Ｓｍ４３，Ｓｍ４４，Ｓｍ４５，Ｓｍ４６，Ｓｍ４７のそれぞれを生成し、録画映像データごとに、かつ表示欄ＳＲＲに時系列に並べて表示する。

これにより、実施の形態に係る顔検知システム１００は、録画映像データファイルとライブ映像のデータとを用いて同時に検知処理を実行可能となるとともに、録画映像データファイルおよびライブ映像のデータのそれぞれから検知された検知結果を同一の画面Ｍｎ３上に比較可能に表示できる。

なお、図７では、「録画映像データ１」および「カメラ１」のそれぞれが、同じ時間帯（「２０１９／０１／０５ １３：０９：００」～「１３：２１：００」）の撮像時刻を撮像したデータである例を示すが、例えば図５および図６の説明のように所定時間以上異なる時間帯を撮像したデータであってよい。

図８を参照して、人物条件入力欄ＦＳに入力された検索用顔画像Ｆ１の人物と類似または同一の人物を検索した検索結果を、人物が撮像された場所ごとに示す画面Ｍｎ４の例について説明する。図８は、ユーザにより入力された検索用顔画像Ｆ１に基づく検索結果を示す画面Ｍｎ４の一例である。

図８に示す例では、端末装置Ｐ１は、入力欄ＳＣＣにおける人物条件入力欄ＦＳでユーザによる検索用顔画像Ｆ１の入力操作を受け付ける。端末装置Ｐ１は、入力された検索用顔画像Ｆ１に基づいて、検索要求（制御信号）を生成し、検索要求および検索用顔画像Ｆ１をサーバＳ１に送信する。

サーバＳ１は、端末装置Ｐ１から送信された検索要求および検索用顔画像Ｆ１に基づいて、録画映像データから検索用顔画像Ｆ１に対応する人物と類似または同一の人物がいるか否かの判定（同一人物判定）を実行する。サーバＳ１は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成し、検索用顔画像Ｆ１に基づく検索結果として生成された類似顔画像群を端末装置Ｐ１に送信する。

また、入力欄ＳＣＣは、人物条件入力欄ＦＳで検索用顔画像Ｆ１の入力を受け付けるとともに、日時入力欄ＤＴにおける開始日時に関する入力欄で「２０１９／０９／２７ １４：４０：００」の入力を、場所選択欄ＰＳで「東京駅」、「品川駅」および「横浜駅」の選択を受け付ける。

端末装置Ｐ１は、入力欄ＳＣＣに入力された表示条件に基づいて、サーバＳ１から送信された検索結果（類似顔画像群）に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータＳｍ６１，Ｓｍ６２，Ｓｍ６３，Ｓｍ６４，Ｓｍ６５，Ｓｍ６６，Ｓｍ６７，Ｓｍ６８のそれぞれを生成する。端末装置Ｐ１は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、場所選択欄ＰＳで選択された「東京駅」、「品川駅」および「横浜駅」ごとに、かつ時系列に複数のサムネイルデータＳｍ６１～Ｓｍ６８のそれぞれを並び替えて表示欄ＳＲＲに表示する。

なお、端末装置Ｐ１は、図８に示す例において検索用顔画像Ｆ１と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータＳｍ６１～Ｓｍ６８のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。

以上により、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルを用いて、ユーザにより入力された顔画像の人物と類似または同一の人物を検索できる。また、顔検知システム１００は、顔切出し画像に対応付けられた位置情報および撮像時刻の情報に基づいて、サムネイルデータを並び替えて表示できるため、ユーザによる監視業務または捜査業務をより効率的に遂行できる。

これにより、ユーザは、検索結果として表示されたサムネイルデータのそれぞれが示す人物が撮像された位置情報（場所）と撮像時刻の情報とを確認できるとともに、検索用顔画像Ｆ１と類似または同一の人物の足取り、移動経路、時刻等を知ることができる。例えば、図８に示す例においてユーザは、検索用顔画像Ｆ１と同一の人物と思われる人物が、時刻「１４：４０：５０」に場所「横浜駅」にいたことが分かる。また、ユーザは、この人物が場所「東京駅」に移動して、時刻「１４：４９：５１」から時刻「１５：３０：０２」まで滞在し、その後時刻「１６：４０：２４」には場所「品川駅」に移動したことが分かる。

図９を参照して、人物条件入力欄ＦＳに入力された検索用顔画像Ｆ２に対応する人物を検索した検索結果を、ユーザにより指定された起点位置「東京駅」からの距離に基づいて並び替えた画面Ｍｎ５の例について説明する。図９は、ユーザにより指定された起点位置に基づく検索結果を示す画面Ｍｎ５の一例である。

図９に示す例では、端末装置Ｐ１は、入力欄ＳＣＣにおける人物条件入力欄ＦＳでユーザによる検索用顔画像Ｆ２の入力操作を受け付ける。端末装置Ｐ１は、入力された検索用顔画像Ｆ２に基づいて、検索要求（制御信号）を生成し、検索要求および検索用顔画像Ｆ２をサーバＳ１に送信する。

サーバＳ１は、端末装置Ｐ１から送信された検索要求および検索用顔画像Ｆ２に基づいて、録画映像データから検索用顔画像Ｆ２に対応する人物と類似または同一の人物がいるか否かの判定（同一人物判定）を実行する。サーバＳ１は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成し、検索用顔画像Ｆ２に基づく検索結果として生成された類似顔画像群を端末装置Ｐ１に送信する。

また、入力欄ＳＣＣは、人物条件入力欄ＦＳで検索用顔画像Ｆ２の入力を受け付けるとともに、場所選択欄ＰＳで「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」の選択と、起点位置入力欄ＰＳ１で「東京駅」の入力とを受け付ける。

端末装置Ｐ１は、入力欄ＳＣＣに入力された表示条件に基づいて、サーバＳ１から送信された検索結果（類似顔画像群）に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータＳｍ７１，Ｓｍ７２，Ｓｍ７３，Ｓｍ７４，Ｓｍ７５，Ｓｍ７６，Ｓｍ７７，Ｓｍ７８のそれぞれを生成する。端末装置Ｐ１は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、起点位置入力欄ＰＳ１に入力された起点位置「東京駅」と場所選択欄ＰＳで選択された「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」との間の距離をそれぞれ算出する。

端末装置Ｐ１は、算出された距離に基づいて、場所選択欄ＰＳで選択された「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」のそれぞれを起点位置「東京駅」から近い順として「東京駅」、「品川駅」、「横浜駅」、「鎌倉駅」に並び替える。端末装置Ｐ１は、「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」のそれぞれの場所で撮像された複数のサムネイルデータＳｍ７１～Ｓｍ７８のそれぞれを時系列に並び替えて表示欄ＳＲＲに表示する。なお、端末装置Ｐ１は、図９に示す例において検索用顔画像Ｆ２と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータＳｍ７１～Ｓｍ７８のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。

以上により、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルから検知された検知結果あるいは検索結果に基づくサムネイルデータを、ユーザにより指定された起点位置からの距離に応じて並び替えて表示できる。また、顔検知システム１００は、顔切出し画像に対応付けられた位置情報および撮像時刻の情報に基づいて、サムネイルデータを並び替えて表示できるため、ユーザによる監視業務または捜査業務をより効率化できる。

なお、ユーザにより指定された起点位置からの距離に応じた並び替えは、特定の人物に関する検索結果に限定されず、単に１以上の録画映像データファイルから検知された検知結果に含まれるすべての人物のサムネイルデータの表示にも適用されてよいことは言うまでもない。

これにより、ユーザは、検索結果として表示されたサムネイルデータのそれぞれが示す人物が撮像された位置情報（場所）と撮像時刻の情報とを確認できる。また、ユーザは、サムネイルデータのそれぞれが指定された起点位置からの距離に基づく場所ごとに並び替えられ、表示されることによって、検索用顔画像Ｆ２と類似または同一の人物の足取り、移動経路、時刻等を直感的に把握することができる。例えば、図９に示す例においてユーザは、検索用顔画像Ｆ２と同一の人物と思われる人物が、朝の時間帯で起点位置「東京駅」から遠ざかる方向に向かい、またこの人物が夕方の時間帯で起点位置「東京駅」に戻ってきたことを直感的に把握できる。

図１０を参照して、人物条件入力欄ＦＳに入力された検索用顔画像Ｆ３の人物と類似または同一の人物を検索した検索結果をマージ表示する画面Ｍｎ６の例について説明する。図１０は、検索結果をマージ表示した画面Ｍｎ６の一例である。

図１０に示す例では、端末装置Ｐ１は、入力欄ＳＣＣにおける人物条件入力欄ＦＳでユーザによる検索用顔画像Ｆ３の入力操作を受け付ける。端末装置Ｐ１は、入力された検索用顔画像Ｆ３に基づいて、検索要求（制御信号）を生成し、検索要求および検索用顔画像Ｆ３をサーバＳ１に送信する。

サーバＳ１は、端末装置Ｐ１から送信された検索要求および検索用顔画像Ｆ３に基づいて、録画映像データから検索用顔画像Ｆ３に対応する人物と類似または同一の人物がいるか否かの判定（同一人物判定）を実行する。サーバＳ１は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成する。さらに、サーバＳ１は、生成された類似顔画像群に含まれる複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、所定時間以上同じ場所で連続して撮像されているか否かの判定（滞在判定）を実行する。サーバＳ１は、滞在判定の結果、類似顔画像群に含まれる複数の顔切出し画像のうち所定時間以上同じ場所で連続して撮像されていると判定された複数の顔切出し画像を含む滞在顔画像群を生成する。

なお、ここいう同じ場所は、場所選択欄ＰＳにリスト形式で表示される場所を示す。また、ここでいう所定時間は、ユーザ操作により任意に設定された時間（例えば５分、１０分、３０分等）であって、図１０では３０分以上連続して撮像された例を示す。

サーバＳ１は、生成された類似顔画像群と滞在顔画像群とを含む検索結果を生成して、端末装置Ｐ１に送信する。

また、入力欄ＳＣＣは、人物条件入力欄ＦＳで検索用顔画像Ｆ３の入力を受け付けるとともに、日時入力欄ＤＴにおける開始日時に関する入力欄で「２０１９／０２／０１ １５：００：００」の入力を、場所選択欄ＰＳで「エントランス」、「ロビー」、「ホール」および「地下駐車場」の選択とを受け付ける。なお、図１０に示す場所選択欄ＰＳにリスト形式で示される各場所のように地図データから取得できない場所を設定したい場合、場所の名称は、ユーザ操作により任意に設定（編集）されてもよい。

端末装置Ｐ１は、入力欄ＳＣＣに入力された表示条件に基づいて、サーバＳ１から送信された検索結果（類似顔画像群および滞在顔画像群）に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータＳｍ８１，Ｓｍ８２，Ｓｍ８３，Ｓｍ８４，Ｓｍ８５，Ｓｍ８６，Ｓｍ８７のそれぞれを生成する。なお、類似顔画像群に含まれる複数の顔切出し画像のそれぞれは、複数のサムネイルデータＳｍ８１～Ｓｍ８７のそれぞれに対応する。

端末装置Ｐ１は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、場所選択欄ＰＳで選択された「エントランス」、「ロビー」、「ホール」および「地下駐車場」のそれぞれの場所で撮像された顔切出し画像のサムネイルデータＳｍ８１～Ｓｍ８７のそれぞれを時系列に並び替えて表示欄ＳＲＲに表示する。なお、端末装置Ｐ１は、図１０に示す例において検索用顔画像Ｆ３と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータＳｍ８１～Ｓｍ８７のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。

表示欄ＳＲＲには、検索結果としての類似顔画像群に含まれる複数のサムネイルデータＳｍ８１～Ｓｍ８７のそれぞれが撮像された場所ごとに、かつ時系列に並んで表示される。一方、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれは、複数のサムネイルデータＳｍ８２，Ｓｍ８３のそれぞれであり、図１０に示す例においてマージ表示されている。

ここでいうマージ表示は、所定時間以上連続して撮像された滞在顔画像群に含まれる人物の顔切出し画像のそれぞれのうち所定時間の間で最初に撮像された顔切出し画像と、所定時間の間で最後に撮像された顔切出し画像とを抽出し、これら２つの顔切出し画像のサムネイルデータ（図１０の例では、サムネイルデータＳｍ８２，Ｓｍ８３）のそれぞれを並べて表示することを示す。なお、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれは、異なる録画映像データから検知され、生成された顔画像であってよい。

マージ表示は、ユーザ操作によって有効化または無効化される。具体的に、端末装置Ｐ１は、複数のサムネイルデータのうちいずれかを選択するとマージ表示を有効化して２つのサムネイルデータのみを表示し、マージ表示した状態で２つのサムネイルデータのうちいずれかを再度選択するとマージ表示を無効化して解除し、複数のサムネイルデータを再表示する。

これにより、ユーザは、表示欄ＳＲＲにおいて、異なる時間帯に撮像されたサムネイルデータをより多く確認できる。

図１１を参照して、サーバＳ１によりブラックリストデータベースＤＢに登録された登録顔画像が示すターゲットと類似または同一の人物が検知された場合に生成され、モニタ１３に表示されるアラート通知画面ＡＲの例について説明する。図１１は、アラート通知画面ＡＲの一例である。

サーバＳ１は、図３Ａに示すステップＳｔ１４における照合判定処理において、複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合、このターゲットの登録顔画像と照合された顔切出し画像とを含むアラート通知画面ＡＲを生成する。サーバＳ１は、生成されたアラート通知画面ＡＲを端末装置Ｐ１に送信する。アラート通知画面ＡＲは、端末装置Ｐ１のモニタ１３に表示される。

端末装置Ｐ１のモニタ１３に表示されたアラート通知画面ＡＲは、録画映像データのうちターゲットが検知された撮像画像Ｐｃ１と、この撮像画像からターゲットの顔の領域を切り出した顔切出し画像（検知顔画像）ＦＰｃ１と、ブラックリストデータベースＤＢに登録された登録顔画像ＲＰｃと、撮像画像Ｐｃ１が撮像された撮像時刻の情報Ｄｔ１と、撮像画像Ｐｃ１が撮像された場所の情報Ｄｔ２と、再生ボタンＢｔ２と、を含んで生成される。なお、撮像画像Ｐｃ１は省略されてもよい。

なお、撮像画像Ｐｃ１は、顔切出し画像ＦＰｃ１と同一の顔切出し画像であってもよいし、ターゲットの上半身の領域を切り出した上半身画像、またはターゲットの全身の領域を切り出した全身画像であってもよい。

端末装置Ｐ１は、再生ボタンＢｔ２がユーザ操作により選択（押下）されると、録画映像データのうちターゲットが検知された時間帯の録画映像データを再生する。なお、ターゲットが検知された時間帯の録画映像データは、サーバＳ１によりアラート通知画面ＡＲとともに端末装置Ｐ１に送信される。

また、アラート通知画面ＡＲは、ターゲットの検知に用いられた録画映像データがライブ映像のデータである場合には、ライブボタンＢｔ１を含んで生成されてよい。

ライブボタンＢｔ１は、ユーザ操作により選択（押下）されると、ターゲットが検知されたライブ映像のデータを撮像した監視カメラのライブ映像の配信要求（制御信号）が生成され、サーバＳ１に送信される。サーバＳ１は、端末装置Ｐ１から送信されたライブ映像の配信要求に基づいて、対応する監視カメラから送信されているライブ映像のデータを端末装置Ｐ１に送信する。端末装置Ｐ１は、サーバＳ１から送信されたライブ映像をモニタ１３に表示する。

以上により、顔検知システム１００は、１以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合には、このターゲットの登録顔画像と照合する人物の顔画像が検知されたことをユーザに報知できる。

これにより、ユーザは、予めブラックリストデータベースＤＢに登録することにより、顔画像の入力による検索を実行しなくても、１以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれからターゲットを検索できるため、監視業務または捜査業務をより効率的に遂行できる。

以上により、実施の形態に係る顔検知システム１００は、少なくとも１つの録画映像データファイルを取得可能な端末装置Ｐ１とサーバＳ１とが通信可能に接続される。端末装置Ｐ１は、ユーザ操作により選択された録画映像データファイルを取得してサーバＳ１に送信する。サーバＳ１は、受信された録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、１以上の人物の顔を検知し、検知された顔の領域を切り出した１以上の顔切出し画像に、顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、端末装置Ｐ１に送信する。端末装置Ｐ１は、受信された顔切出し画像のサムネイル画像と撮像時刻の情報とを時系列に並べてモニタ１３に表示する。

これにより、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルを用いて検知され、生成された複数の顔切出し画像のそれぞれのサムネイル画像と、撮像時刻の情報とを並べて表示できる。よって、ユーザは、各サムネイル画像（顔切出し画像）の撮像時刻の確認に要する時間を短縮でき、監視業務または捜査業務をより効率的に遂行できる。

実施の形態に係る顔検知システム１００で使用される録画映像データファイルは、所定時間以上異なる撮像時刻に撮像された映像データである。これにより、実施の形態に係る顔検知システム１００は、撮像時刻が所定時間（例えば１０日）以上異なる複数の録画映像データに基づく検知結果を生成できる。よって、ユーザは、例えば人物を対象とした監視業務または捜査業務において、撮像時刻が異なる録画映像データファイルから人物を検知したり、所定の人物を検索したりする場合であっても、所定時間以上異なる撮像時刻の録画映像データのそれぞれを用いた検知結果（検索結果）を確認できるため、監視業務または捜査業務をより効率的に遂行できる。

また、実施の形態に係る顔検知システム１００で使用される録画映像データファイルは、移動体に備えられたカメラによって撮像かつ録画される。これにより、実施の形態に係る顔検知システム１００は、位置情報が変化する録画映像データファイルを用いて、映像中の人物を検知した検知結果を生成できる。よって、ユーザは、使用する録画映像データファイルが監視カメラでなく、一般市民、民間業者等から提供された録画映像データファイルであっても、録画映像データのそれぞれを用いた検知結果（検索結果）を確認できるため、監視業務または捜査業務をより効率的に遂行できる。

また、実施の形態に係る顔検知システム１００におけるサーバＳ１は、１以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、抽出された複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、端末装置Ｐ１に送信する。端末装置Ｐ１は、受信された類似顔画像群に含まれる１以上の顔切出し画像のサムネイル画像と対応する撮像時刻の情報とを含めて枠線（例えば、図４に示す枠線Ｍｋ１）で囲ってモニタ１３に表示する。これにより、実施の形態に係る顔検知システム１００は、複数の顔切出し画像のそれぞれのうち類似または同一の人物と判定された人物の顔切出し画像のそれぞれをユーザに可視化できる。したがって、ユーザは、複数のサムネイル画像のうち、同一の線種、線色で示された枠線で囲まれた複数のサムネイル画像のそれぞれの人物が同一人物であることを直感的に把握できるため、監視業務または捜査業務をより効率的に遂行できる。

また、実施の形態に係る顔検知システム１００におけるサーバＳ１は、抽出された複数の顔切出し画像のそれぞれが同一の場所で所定時間以上連続して撮像されているか否かを判定し、同一の場所で所定時間以上連続して撮像されていると判定した場合、類似顔画像群のうち所定時間の間に撮像された複数の顔画像のそれぞれを含む滞在顔画像群を生成して、端末装置Ｐ１に送信する。端末装置Ｐ１は、受信された滞在顔画像群のうち所定時間の間で最初に撮像された顔切出し画像と、最後に撮像された顔切出し画像とを並べてモニタ１３にマージ表示する。これにより、実施の形態に係る顔検知システム１００は、表示欄ＳＲＲにより多くのサムネイルデータを表示できる。つまり、ユーザは、スクロールバーＳＢを操作することなくより多くのサムネイルデータを確認できる。

また、実施の形態に係る顔検知システム１００におけるサーバＳ１は、監視カメラＣ１（カメラの一例）によって撮像されているライブ映像を受信し、受信されたライブ映像と１以上の録画映像ファイルのそれぞれとを所定のフォーマットを有する録画映像データに変換し、変換後の複数の録画映像データから、１以上の人物の顔を検知する。これにより、実施の形態に係る顔検知システム１００は、録画映像データファイルとライブ映像のデータとを用いて同時に検知処理を実行可能となるとともに、録画映像データファイルおよびライブ映像のデータのそれぞれから検知された検知結果を同一画面上に比較可能に表示できる。

また、実施の形態に係る顔検知システム１００における端末装置Ｐ１は、ユーザ操作により指定された人物の顔領域を含む検索用顔画像をサーバＳ１に送信する。サーバＳ１は、受信された検索用顔画像に基づいて、１以上の顔切出し画像のそれぞれから検索用顔画像の人物と同一または類似する人物の顔切出し画像を抽出して、端末装置Ｐ１に送信する。これにより、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルを用いて、ユーザにより入力された検索用顔画像の人物と類似または同一の人物を検索できる。ユーザは、検索用顔画像を入力することで監視業務または捜査業務により検索したい人物を容易に検索できるとともに、モニタ１３に表示された検索結果に基づいて、検索用顔画像の人物が撮像された撮像時刻を容易に把握できる。

また、実施の形態に係る顔検知システム１００におけるサーバＳ１は、生成された顔切出し画像ごとに撮像時刻の情報と、顔切出し画像が撮像された位置情報とを対応付けて、端末装置Ｐ１に送信する。端末装置Ｐ１は、サムネイル画像および撮像時刻の情報のペアを位置情報（具体的には、場所選択欄ＰＳにリスト形式で表示されている場所）ごとに並べてモニタ１３に表示する。これにより、実施の形態に係る顔検知システム１００は、顔切出し画像に対応付けられたサムネイルデータを位置情報（場所）ごとに並び替えて表示できる。よって、ユーザは、サムネイル画像（顔切出し画像）が撮像された撮像時刻と、撮像された位置情報（場所）とを容易に確認できるため、より効率的に監視業務または捜査業務を遂行できる。

また、実施の形態に係る顔検知システム１００における端末装置Ｐ１は、ユーザ操作により指定された起点位置の情報に基づいて、顔切出し画像ごとの位置情報（場所）が示す位置と起点位置との間の距離を算出し、算出された距離に基づいて、サムネイル画像を並び替えてモニタ１３に表示する。これにより、実施の形態に係る顔検知システム１００は、複数の顔切出し画像のそれぞれに対応する人物が、ユーザ操作により指定された起点位置付近で検知された人物、あるいは起点位置からより遠くで検知された人物であることをユーザが直感的に把握可能に表示できる。

また、実施の形態に係る顔検知システム１００におけるサーバＳ１は、予め記録された複数の人物の登録顔画像のそれぞれに基づいて、１以上の顔切出し画像のそれぞれから登録顔画像の人物と同一または類似する人物の顔切出し画像を抽出し、抽出された顔切出し画像と登録顔画像とを含むアラート通知画面ＡＲを生成して、端末装置Ｐ１に送信する。端末装置Ｐ１は、受信されたアラート通知画面ＡＲをモニタ１３に表示する。これにより、実施の形態に係る顔検知システム１００は、１以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合には、このターゲットの登録顔画像と照合する人物の顔画像が検知されたことをユーザに報知できる。これにより、ユーザは、予めブラックリストデータベースＤＢに登録することにより、顔画像の入力による検索を実行しなくても、１以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれからターゲットを検索できるため、より効率的に監視業務または捜査業務を遂行できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、少なくとも１つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援する顔検知システムの提示として有用である。

１０，２０ 通信部
１１，２１ プロセッサ
１２，２２ メモリ
１３ モニタ
１４ 操作部
１００ 顔検知システム
Ｃ１ 監視カメラ
ＤＢ ブラックリストデータベース
Ｐ１ 端末装置
ＲＦ，ＲＦ１，ＲＦ２ 録画映像記録装置
Ｓ１ サーバ

Claims (11)

1. 少なくとも１つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、
   前記端末装置は、
   ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、
   前記サーバは、
   受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、
   変換後の録画映像データに基づいて、１以上の人物の顔を検知し、
   検知された前記顔の領域を切り出した１以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、前記１以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、
   抽出された前記複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、前記端末装置に送信し、
   前記端末装置は、
   受信された前記類似顔画像群のうち同一の場所で所定時間の間で最初に撮像された顔切出し画像のサムネイル画像と、最後に撮像された顔切出し画像のサムネイル画像と、前記顔切出し画像のそれぞれに対応する撮像時刻の情報とを時系列に並べてモニタに表示する、
   顔検知システム。
2. 前記録画映像データファイルは、所定時間以上異なる撮像時刻に撮像される、
   請求項１に記載の顔検知システム。
3. 前記録画映像データファイルは、移動体に備えられたカメラによって撮像かつ録画される、
   請求項１に記載の顔検知システム。
4. 前記端末装置は、
   受信された前記類似顔画像群に含まれる前記１以上の顔切出し画像のサムネイル画像と対応する前記撮像時刻の情報とを含めて枠線で囲って前記モニタに表示する、
   請求項１に記載の顔検知システム。
5. 前記サーバは、
   抽出された前記複数の顔切出し画像のそれぞれが前記同一の場所で前記所定時間以上連続して撮像されているか否かを判定し、
   前記同一の場所で前記所定時間以上連続して撮像されていると判定した場合、前記類似顔画像群のうち前記所定時間の間に撮像された複数の顔画像のそれぞれを含む滞在顔画像群を生成して、前記端末装置に送信する、
   請求項４に記載の顔検知システム。
6. 前記サーバは、
   カメラによって撮像されているライブ映像を受信し、
   受信された前記ライブ映像と前記録画映像データファイルのそれぞれとを所定のフォーマットを有する録画映像データに変換し、
   変換後の複数の録画映像データから、前記１以上の人物の顔を検知する、
   請求項１に記載の顔検知システム。
7. 前記端末装置は、
   前記ユーザ操作により指定された人物の顔領域を含む検索用顔画像を前記サーバに送信し、
   前記サーバは、
   受信された前記検索用顔画像に基づいて、前記１以上の顔切出し画像のそれぞれから前記検索用顔画像の人物と同一または類似する人物の顔切出し画像を抽出して、前記端末装置に送信する、
   請求項１に記載の顔検知システム。
8. 前記サーバは、
   生成された前記顔切出し画像ごとに前記撮像時刻の情報と、前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、
   前記端末装置は、
   前記サムネイル画像および前記撮像時刻の情報のペアを前記位置情報ごとに並べて前記モニタに表示する、
   請求項１に記載の顔検知システム。
9. 前記端末装置は、
   前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、
   算出された前記距離に基づいて、前記サムネイル画像を並び替えて前記モニタに表示する、
   請求項８に記載の顔検知システム。
10. 前記サーバは、
    予め記録された複数の人物の登録顔画像のそれぞれに基づいて、前記１以上の顔切出し画像のそれぞれから前記登録顔画像の人物と同一または類似する人物の顔切出し画像を抽出し、
    前記抽出された前記顔切出し画像と前記登録顔画像とを含むアラート通知画面を生成して、前記端末装置に送信し、
    前記端末装置は、
    受信された前記アラート通知画面を前記モニタに表示する、
    請求項１に記載の顔検知システム。
11. 少なくとも１つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、
    前記端末装置は、
    ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、
    前記サーバは、
    受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、
    変換後の録画映像データに基づいて、１以上の人物の顔を検知し、
    検知された前記顔の領域を切り出した１以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報と前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、
    前記端末装置は、
    前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、
    前記顔切出し画像のサムネイル画像と前記撮像時刻の情報とを時系列に、前記位置情報ごとに並べてモニタに表示する、
    顔検知システム。

Images