JP2008257487A - 顔認証応用万引き検知システム - Google Patents

Abstract

【課題】物品販売店舗における万引き現行犯検知、常習者の再犯防止を確実化し、実効性の高い顔認証応用万引き検知システムを提供する。
【解決手段】本発明は、公知の顔認証照合技術の適用を前提に、店舗内監視カメラによる顧客自動撮影映像・画像及び店舗内陳列商品付帯ＩＣタグ・該当陳列台設置ＩＣタグ情報読取器間交信信号により万引き現行犯、万引き常習犯検知を行う機能を有する。従って本発明によれば、従来の人為的監視主体のシステムではなく、自動検知システムであるため、その実効性は極めて大きく、店舗経営上の損失回避に貢献することも可能である。
【選択図】図５

Description

本発明は、顔認証照合技術を応用し、ＩＣタグの活用により、物品販売店舗における陳列商品の万引き検知に寄与できる顔認証応用万引き検知システムに関する。

最近の物品販売小売業者は、拡大する「万引き被害」に悩まされている。その被害額は業種によるばらつきはあるものの、平均的には該当店舗総売上額の１〜２％と見られている。この額は対利益比に置き換えると極めて大きな額となり、この被害により廃業を余儀なくされるケースも昨今多く見られる。
最近は、店舗セキュリティーに関する監視機器等も様々なものが販売され
普及しつつあるが、特効薬に該当するものは見当たらない。監視カメラ等がもっとも普及している品目であるが、人的監視が主体である限りおのずと限界がある。またＩＣタグも徐々に普及しつつあり、個別商品対応では、現時点では自鳴式ＩＣタグが一般的となりつつある、これは商品にこのタグを取付けておき顧客がレジを経由せず店舗ゲートを通過すると、タグ自身から大音響を発する仕組みである。この場合、このような処置をしても、タグを引きちぎり、そのまま逃げ去るケースもあり、確実な対策とはいえないのが実情である。

このような背景において発案されたのが本発明である。万引きは、常習犯が多く、同一店舗で繰り返し犯行に及ぶケースも多くあり、万引き現行犯検知と同様に再犯を防止することも極めて重要なポイントである。本発明は、公知の顔認証照合機能を応用し、店舗内での顧客購買行動に関わるＩＣタグ信号を起点とした顧客映像と退店間際の顧客画像をリアルタイムに顔認証照合し、万引き検知を行うものである、撮影画像、映像の撮影顔角度等の影響により万一自動顔認証照合に失敗した場合でも、記録映像に基づき、閉店後の人為操作により容易に万引き犯の特定が可能である。この結果をデータベースに蓄積しておき、それ以降の来店顧客顔画像とのリアルタイムな顔認証照合により、再犯の可能性の芽を摘むことは可能である。

これまで、万引き防止に関しては、陳列台に置かれていることが前提であるモニター商品に発信器を取付け、該当商品が受信器設置陳列台を一定距離離れた段階で、発信器信号受信断にて万引きであると判断し、ブザーが吹鳴する。また店舗出口付近ゲートが、商品からの発信信号を受信し、該当顧客に対しカメラ撮影がなされる装置が知られている（例えば、特許文献１参照。）。

特許２００１−１２０４２５号

本発明は、店舗内での顧客購買行動をカメラ撮影し、この映像を基に、顔認証照合により万引き犯を特定するものであり、具体的には該当商品を陳列台から取上げ、陳列台に戻さなかった顧客は、その後の店舗内行動として万引き犯としてレジを経由せずに商品を持逃げするか、もしくはレジ精算をおこなうかいずれかの行動予定しかないという判断基準に基づくものである。ＩＣタグの活用により、ＩＣタグとＩＣタグ情報読取器との交信信号の断時点、即ち商品が陳列台を離れた時点にてカメラ撮影を開始し、その後商品が陳列台に戻れば、該当撮影映像は保存されない、つまり顧客が商品を品評する毎に映像を更新していけば、陳列台に商品を戻さず、映像が保存されている顧客映像が、既述顧客（万引き犯かもしくは正規購入予定者）に該当することになり、密かに確実に万引き犯の特定が可能であり、また犯人の画像をデータベースに登録しておけば、高確率で再犯防止が可能である。

つまり、背景技術においては、該当商品が陳列台を一定距離はなれた時点で万引き犯として特定しているが、モニター商品でない一般商品の場合は、その時点での万引き犯特定は間違いであり、店舗内でブザーを吹鳴させることは、店舗環境・雰囲気維持の観点から好まれない。また背景技術では、商品取付け発信器が破壊された場合、ブザーは吹鳴するが、出口ゲートでのカメラ撮影は起動されずこの背景技術の目標は達成できない。本発明の場合は、ＩＣタグが万引き犯により破壊された場合でも、証拠映像は確実に残り、それ以後の犯人特定にはＩＣタグは一切関わらず、顔認証照合のみによるものであり、それら不測の事態にも対処可能である。また背景技術では、カメラにより該当人物を撮影し、手持ちの商品と盗まれた商品を目視照合するが、万引き犯が商品を露出させて店舗外に持ち出すことは常識的ではなく、その効果は極めて疑わしいものと考える。本発明の場合、顧客の店舗内購買行動、
品定め行動を記録した映像をベースに退店間際の顧客画像と顔認証照合し、犯人を特定するものであり、該当商品ではなく人物を特定するところがポイントである。
本発明では、顔認証照合機能とＩＣタグの活用により実効性に配慮した顔認証応用万引き検知システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の請求項１の顔認証応用万引き検知システムは、物品販売店舗において、店舗内監視カメラによる顧客撮影映像・画像及び店舗内陳列商品取付けＩＣタグ・該当陳列台設置ＩＣタグ情報読取器間交信信号により顔認証照合機能の適用を前提に万引き現行犯、万引き常習犯検知を行うシステムであって、
１）顧客来店時にその正面画像を入店者撮影カメラが撮影し、入店月日、時刻と共にその画像をリアルタイムに記憶する入店顧客画像ファイル部と、
２）顧客退店時にその正面画像を退店者撮影カメラが撮影し、退店月日、時刻と共にその画像をリアルタイムに記憶する退店顧客画像ファイル部と、
３）店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号を受信するが、通常商品が陳列台に陳列された状態にて交信、顧客品評等により陳列台から商品が一定距離離れた段階で交信断となり、この交信通断のタイミングを検知し、顧客品評映像収集の起点となる信号を得るICタグ交信部と、
４）店舗内の総てのカメラを制御する部分であり、入退店者撮影カメラは店舗営業時間中常時作動、店舗内カメラの起動、停止、更に店舗内カメラに就いては該当カメラ各々の撮影分担に関わる撮影方向プリセットによる角度制御を行い、それら制御起点となる指令は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号等による監視カメラ操作部と、
５）顧客が店舗内にて品定めをする際、該当商品を陳列台から取上げ、再び戻すという一連の購買行動を撮影した映像記憶部であり、撮影期間は顧客が該当商品を陳列台から取上げたタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信断の時点から陳列台に商品を戻したタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信の時点、もしくは該当商品を陳列台に戻すまでに時間を要した場合は、一定時間後に撮影は自動的に打ち切られ映像は終了するが、この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の映像ファイルは常に最新情報に更新される、即ち、該当陳列台位置相当映像ファイルには、常に最後に品定めをした顧客映像が記憶されている顧客品評現場映像ファイル部と、
６）顧客退店間際に撮影した該当顧客画像と、店舗内顧客購買行動を撮影した顧客品評現場映像とを順次リアルタイムに顔認証照合し、その結果照合一致した場合、その時点で、映像に写る該当商品ＩＤからその商品がレジ精算済みであるかを照会し、未清算であった場合に該当顧客を万引き現行犯として特定、該当画像をデータベースに蓄積すると共に、その結果をアラームとして発報するための信号を送る万引き現行犯顔認証照合部と
を備える構成とされ、実効的な万引き検知機能を提供することを特徴とする。

次に本発明の請求項２の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムを実現するために、更に
１）万引き犯データベースに記憶された万引き常習者の顔画像を読み出し来店顧客の画像とリアルタイムに顔認証照合し、一致した場合に店舗内係員にその来店を知らせる信号を送る万引き常習犯顔認証照合部と、
２）退店間際に撮影された退店顧客ファイル部の該当画像対し入店顧客画像ファイル部記録画像を順次リアルタイムに顔認証照合する入退店顧客顔認証照合部と、
３）入退店顧客顔認証照合結果により顧客を特定し、退店した顧客画像はファイルから抹消し、常に店舗内に存在する顧客画像を記憶する店舗内滞留顧客画像ファイル部と、
４）商品代金精算を行うレジと連動し、万引き検知に関わるレジ精算完了もしくは未完情報を提供するレジシステム部と、
５）万引き現行犯を退店間際の顔認証照合に失敗し自動検知できなかった場合、該当店舗閉店後に営業時間内に撮影した顧客品評現場映像及び該当映像撮影時刻の後一定時間内の退店顧客画像を外部指令により一覧として表示し、双方比較による万引き犯の人為顔認証照合による特定化を可能とする万引き犯特定操作部と、
６）万引きを犯した顧客の画像をその犯行期日、時刻と共に情報として蓄積する万引き犯データベースと、
７）万引き犯データベース内容、万引き犯特定操作用情報を外部指令により表示する各種情報モニター部と、
８）万引き現行犯検知と万引き常習者再来店検知時に店舗関係者にアラーム通報する万引き検知／再犯アラーム出力部と、
９）顧客退店間際の顔認証照合による万引き現行犯自動検知を試みた場合の、検知件数及び検知失敗件数を記録し、本発明に関わるシステムの有効度を推し量る万引き犯特定顔認証成果記録部と、
１０）顧客退店間際の顔認証照合により万引き現行犯を検知した場合、店舗出口以前に設置した超指向性スピーカにより限られたスポット音声により、該当顧客のみに聞こえるように、レジ精算を促す特定顧客対応のアナウンス出力を行う特定顧客対応アナウンス出力部と
を備える構成とされ、実効的な万引き検知機能を提供することを特徴とする。

次に、本発明の請求項３の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記入店顧客画像ファイル部は、該当期日営業時間帯の総ての入店顧客画像を記憶し、画像は入店行動に関わる一定時間映像の中から顔画像を抽出し入店順に順次記憶する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項４の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記退店顧客画像ファイル部は、該当期日営業時間帯の総ての退店顧客画像を記憶し、画像は退店間際の一定時間映像の中から顔画像を抽出し退店順に順次記憶する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項５の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記ＩＣタグ交信部は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号を受信し、通常商品が陳列台に陳列された状態にて交信、顧客品評等により陳列台から商品が一定距離離れた段階で交信断となり、この交信通断のタイミングを検知し、出力する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項６の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記監視カメラ操作部は、店舗内の総てのカメラを制御する部分であり、入退店者撮影カメラは店舗営業時間中常時作動、店舗内カメラの起動、停止、更に店舗内カメラに就いては該当カメラ各々の撮影分担に関わる撮影方向プリセットによる角度制御を行い、それら制御起点となる指令は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号等による機能を備える構成とされたことを特徴とする。

次に、本発明の請求項７の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記顧客品評現場映像ファイル部は、前記顧客品評現場映像ファイル部は、顧客が店舗内にて品定めをする際、該当商品を陳列台から取上げ、再び戻すという一連の購買行動を撮影した映像記憶部であり、撮影期間は顧客が該当商品を陳列台から取上げたタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信断の時点から陳列台に商品を戻したタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信の時点、もしくは該当商品を陳列台に戻すまでに時間を要した場合は、一定時間後に撮影は自動的に打ち切られ映像は終了するが、この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の映像ファイルは常に最新情報に更新される、即ち、該当陳列台位置相当映像ファイルには、常に最後に品定めをした顧客映像が記憶されている機能を備える構成とされたことを特徴とする。

次に、本発明の請求項８の顔認証応用万引き検知システムは、請求項１の顔認証応用万引き検知システムにおいて、前記万引き現行犯顔認証照合部は、顧客退店間際に撮影した該当顧客画像と、店舗内顧客購買行動を撮影した顧客品評現場映像とを順次リアルタイムに顔認証照合し、その結果照合一致した場合、その時点で、映像に写る該当商品ＩＤからその商品がレジ精算済みであるかを照会し、未清算であった場合に該当顧客を万引き現行犯として特定、該当画像をデータベースに蓄積すると共に、その結果をアラームとして発報するための信号を送る機能を備える構成とされたことを特徴とする。

次に、本発明の請求項９の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記万引き常習犯顔認証照合部は、万引き犯データベースに記憶された万引き常習者の顔画像を読み出し来店顧客の画像とリアルタイムに顔認証照合し、一致した場合に店舗内係員にその来店を知らせる信号を送る機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１０の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記入退店顧客顔認証照合部は、退店間際に撮影された退店顧客ファイル部の該当画像対し入店顧客画像ファイル部記録画像を順次リアルタイムに顔認証照合する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１１の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記店舗内滞留顧客画像ファイル部は、入退店顧客顔認証照合結果により顧客を特定し、退店した顧客画像はファイルから抹消し、常に店舗内に存在する顧客画像を記憶する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１２の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記レジシステム部は、商品代金精算を行うレジと連動し、万引き検知に関わるレジ精算完了もしくは未完情報を提供する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１３の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記万引き犯特定操作部は、万引き現行犯を退店間際の顔認証照合に失敗し自動検知できなかった場合、該当店舗閉店後に営業時間内に撮影した顧客品評現場映像及び該当映像撮影時刻の後一定時間内の退店顧客画像を外部指令により一覧として表示し、双方比較による万引き犯の人為顔認証照合による特定化を可能とする機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１４の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記万引き犯データベースは、万引きを犯した顧客の画像をその犯行期日、時刻と共に情報として蓄積する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１５の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記各種情報モニター部は、万引き犯データベース内容、万引き犯特定操作用情報を外部指令により表示する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１６の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記万引き検知／再犯アラーム出力部は、万引き現行犯検知と万引き常習者再来店検知時に店舗関係者にアラーム通報する機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１７の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記万引き犯特定顔認証成果記録部は、顧客退店間際の顔認証照合による万引き現行犯自動検知を試みた場合の、検知件数及び検知失敗件数を記録し、本発明に関わるシステムの有効度を推し量る機能を備える構成とされたことを特徴とする。

次に、本発明の請求項１８の顔認証応用万引き検知システムは、請求項２の顔認証応用万引き検知システムにおいて、前記特定顧客対応アナウンス出力部は、顧客退店間際の顔認証照合により万引き現行犯を検知した場合、店舗出口以前に設置した超指向性スピーカにより限られたスポット音声により、該当顧客のみに聞こえるように、レジ精算を促す特定顧客対応のアナウンス出力を行う機能を備える構成とされたことを特徴とする。

上述の如く、本発明の顔認証応用万引き検知システムは、商品毎に付帯させたＩＣタグと陳列台に設置したＩＣタグ情報読取器アンテナとの交信信号と、顔認証照合機能による顧客の特定により、精度の高い万引き犯の特定検知が可能となる機能を有することを特徴とする。

従って、本発明によれば、リアルタイムの万引き現行犯検知のみならず、万引き常習犯の特定による再犯防止も可能となり経営損失回避に寄与するものである。

本発明は、物品販売小売業者店舗において、最近拡大しつつある「万引き被害」により、その経営をも左右する事態が生じている状況を踏まえ、公知の顔認証照合技術とＩＣタグを応用し、店舗内での万引き現行犯検知のみならず、常習犯の再犯をも防止し、経営損失の回避に貢献するものである。

以下に、添付図面を参照して、この発明に関わる顔認証応用万引き検知システムの実施の形態を詳細に説明する。但し、本発明の範囲は、図示例に限定されるものではない。

（入退店顧客撮影カメラ設置イメージ）
先ず、入退店顧客撮影カメラ設置イメージに就き、図１を基に説明する。
入店者撮影カメラ１０１と退転者撮影カメラ１０２は、背中合わせの状態で双方反対方向に向け、店舗入口付近に図示の如く設置する。入店者撮影カメラ１０１は、店舗出入口に到達した人物が、入店行動を起こすと認識できる位置、角度に設置する。退店者撮影カメラ１０２は、その用途として、万引き現行犯の検知にも必要であり、レジ位置との関係も加味し、出入口までは、距離的余裕はあるが、既に該当顧客が退店行動を起こしていると認識できる位置、角度に設置する。

（店舗内撮影カメラ設置イメージ）
次に、店舗内撮影カメラ設置イメージに就き、図２を基に説明する。
図は、商品陳列エリア２０１における、商品陳列台２０２の配置、その上に置かれる商品の陳列ポイント２０４〜２０６及び店舗内撮影カメラ２０７〜２１２の位置関係を事例として示す。例えば、商品陳列ポイントＡ２０４に
就いては、店舗内撮影カメラ[1]２０７と店舗内撮影カメラ[2]２０８が撮影担当する、これは、顧客を撮影する際に、その人物の向きにより個人特定が困難なケースが想定されるため、必ず２台のカメラにて同時に撮影するものである。また各々のカメラの撮影担当分担は、該当撮影対象ポイントが確実に捕らえられるよう双方の位置関係により決定する。またカメラ台数は、該当店舗における定常的顧客滞留数、店舗規模及び陳列商品数により決定する。

（ＩＣタグ情報読取器アンテナ設置イメージ）
次に、ＩＣタグ情報読取器アンテナ設置イメージに就き、図３を基に説明する。商品陳列台２０２上に商品陳列ポイント毎に顧客からは見えない形態で設置する。このアンテナの交信可能距離は、３０ｃｍ程度を想定しており、その距離に見合う大きさ形状に設計する必要がある。

（ＩＣタグ情報読取器アンテナと商品陳列イメージ）
次に、ＩＣタグ情報読取器アンテナと商品陳列イメージに就き、図４に基に説明する。商品陳列台２０２の上に商品４０１は置かれる。この場合の物理的位置関係としては、商品陳列台２０２の上にＩＣタグ情報読取器アンテナ３０１が設置され、その上を覆うように陳列台マット４０３が敷かれ、顧客に対しては、アンテナの存在は隠される。そしてその上に陳列商品４０１が置かれる。ＩＣタグは、図示の如き位置関係で容易に顧客が取外せないよう、商品に懸架設置するか、商品内部に忍ばせておく。

（顔認証応用万引き検知システム構成）
次に、顔認証応用万引き検知システム構成に就き、図５を基に説明する。入店者撮影カメラ１０１、退店者撮影カメラ１０２は該当店舗営業時間中、常時作動しており、人物を認識すると、それらを映像として撮影し、その結果を入店顧客画像ファイル部５０６、店舗内滞留顧客画像ファイル部５１４、退店顧客画像ファイル部５０７に各々記録する。次に、店舗内撮影カメラ５０３は、店舗内顧客の陳列商品品評（品定め）行動に伴い、作動、撮影し、その結果を顧客品評現場映像ファイル部５１０に記録する。既述カメラの制御は、総て監視カメラ操作部５０９により為される。

ＩＣタグ情報読取器アンテナ５０５からの複数交信信号は、総てＩＣタグ交信部５０８にて管理される。ＩＣタグとの交信信号は、万引き検知処理において極めて重要であり本システムの中枢要素である。通常商品が該当陳列台に置かれた状態では、商品取付けＩＣタグと陳列台設置ＩＣタグ情報読取器アンテナとの距離は至近であり、交信は常に成立している。この状態で顧客が品評の目的で該当商品を取上げ、商品が陳列台から離れると、その距離に関わり、交信は断たれることになる。
つまり、顧客が商品と接触し、何らかの購買行動を起こすことにより、ＩＣタグと同読取器アンテナ間では、定常的に交信通断（ＯＮ／ＯＦＦ）状態が繰り返し起こっていることになる。

万引き検知処理においてＩＣタグとの交信信号は極めて重要な役割を担っている。既述の如く店舗内顧客が品評（品定め）を行うことにより交信信号は通断を繰り返す、幾度かこの状態が継続し、顧客が商品を最後に陳列台から取上げ（交信信号断の時点）再び商品を陳列台に戻さない時間が継続した場合、その後の顧客行動としては、その商品をレジに持込み精算する、もしくは、精算せずに店舗外に持出す（即ち万引きに相当）、この２ケースしか行動パターンは存在しない。従って、最後に商品を陳列台から取上げた（交信信号断の時点）時点の映像のみを記録しておけば、万引き犯もしくは、商品購入者いずれかの行為を記録したことになる。この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の顧客品評現場映像ファイル部５１０には常に最新情報が記録される。

次に、顔認証照合に関する要素に就き説明する。まず、入店顧客に関しては、以下の要素が存在する。

万引き常習犯顔認証照合部５１３に就き説明する。顧客が入店行動を起こした時点に撮影された画像を入店顧客画像ファイル部５０６より読出し、万引き犯データベース５２６に登録された常習犯画像と順次リアルタイムに顔認証照合し、一致した場合該当人物を万引き常習犯と特定し、万引き犯検知／再犯アラーム出力部５３１を経由し店舗係員に知らせる。

次に、入退店顧客に関しては、以下の要素が存在する。
入退店顧客顔認証照合部５１５に就き説明する。顧客が退店行動を起こした時点に撮影された画像を退店顧客画像ファイル部５０７より読出し、入店顧客画像ファイル部５０６に登録された画像と順次リアルタイムに顔認証照合し、一致した場合、顧客を特定し該当顧客は退店したものとみなし、店舗内滞留顧客画像ファイル部５１４の該当人物画像を削除する。

更に、店舗内顧客に関しては、以下の要素が存在する。
万引き現行犯顔認証照合部５２４に就き説明する。顧客が退店行動を起こした時点に撮影された画像を退店顧客画像ファイル部５０７より読出し、顧客品評現場ファイル部５１０に登録された画像と順次リアルタイムに顔認証照合し、一致した場合、顧客品評現場映像から把握し得る商品ＩＤから、レジシステム部５２１に対し該当商品が既にレジ精算済みかを照会する、その回答として、レジ精算未完の場合は、該当顧客を万引き犯と特定し、
（１）万引き犯検知／再犯アラーム出力部５３１を経由し店舗係員に知らせる。
（２）特定顧客対応アナウンス出力部５３３を経由し店舗出口以前に設置した超指向性スピーカにより限られたスポット音声により、該当顧客のみに聞こえるように、レジ精算を促す特定顧客対応のアナウンス出力を行う。
（３）その万引き犯顔画像を万引き犯データベース５２６に、期日・時刻・商品ＩＤを付加した状態で転送する。
（４）本システムにて万引き犯を検知した実績として、期日・時刻・商品ＩＤを含め、万引き犯特定顔認証成果記録部５３２に登録する。

次に、その他要素に就き説明する。
レジシステム部５２１は、商品代金精算を行うレジと連動し、既述の如く万引き検知に関わるレジ精算完了もしくは未完情報を提供する。

万引き犯特定操作部５２３は、万引き現行犯を退店間際の顔認証照合に失敗し自動検知できなかった場合（映像内の顔の角度等により照合失敗）に利用される。閉店後の人為外部指令により起動され、万引き犯目視照合用画面が自動生成される。営業時間内に撮影した映像を顧客品評現場映像ファイル部５１０より読み出す。これには本来、商品代金を精算した顧客映像と、万引き犯の映像が含まれているがこの時点にてレジ精算した商品に関わる映像は削除され万引き現場映像に相当するもののみが表示される。更にそれに付随し該当映像撮影時刻の後一定時間内の退店顧客画像が一覧として表示される。人間の目視確認によれば、服装、体型等から個人の特定照合は容易であり、一致すれば万引き犯の特定が終了する。この時点で外部指令により万引き犯の情報は万引き犯データベース５２６に転送される。更に万引き犯自動検知に失敗した実績として、期日・時刻・商品ＩＤを含め、万引き犯特定顔認証成果記録部５３２に登録する。

各種情報モニター部５２９は、万引き犯データベース５２６の内容、万引き犯特定操作用部５２３展開画面を外部指令により表示する。

万引き犯データベース５２６は、インターネットに接続される機能を有し、同一経営者のチェーン店舗等との情報共有化が可能である。

（商品取付けＩＣタグ交信・店舗内撮影カメラ作動と映像情報操作タイミングチャート）
次に、商品取付けＩＣタグ交信・店舗内撮影カメラ作動と映像情報操作タイミングチャートに就き、図６を基に説明する。
Ｔ_１のタイミングで商品取付けＩＣタグと情報読取器交信信号６０１がＯＮすると顧客品評現場映像ファイル部該当情報リセット指令信号６０３を発生させる。即ち顧客が該当商品を陳列台に戻した時点に相当し、該当商品に関するそれ以前の映像は抹消する。つぎにＴ_２のタイミングで商品取付けＩＣタグと情報読取器交信信号６０１がＯＦＦすると店舗内撮影カメラ作動状態信号６０２がＯＮとなりカメラが作動状態となり撮影が開始される。その後、撮影はｔ_６時間（一定）経過の後に自動終了する。この終了タイミング Ｔ_３にて顧客品評現場映像ファイル部該当情報記録指令信号６０４を発生させ、最新の映像が記録される。以下同様の処理が繰り返されるが、Ｔ_６のタイミングは、店舗内撮影カメラ作動状態信号６０２がＯＮの状態で、商品取付けＩＣタグと情報読取器交信信号６０１がＯＮとなり、即ち、カメラが撮影中で一定時間ｔ_６経過する以前ｔ_４で商品が陳列台に戻った状況であり、この場合は、情報リセット、情報記録も行う必要はない。

（顧客品評現場映像ファイル部ファイリングイメージ）
次に、顧客品評現場映像ファイル部ファイリングイメージに就き、図７を基に説明する。
店舗内の商品陳列位置対応に固定アドレスが設定されており、１ポジションに対し、２カメラ分のアドレスが割付けられている。図示のように、顧客品評映像は、その該当部分にのみ映像が記録されており、この映像が、商品代金をレジ精算した顧客、もしくは万引き犯の映像に相当する。

（入店顧客顔画像処理フロー）
次に、入店顧客顔画像処理フローに就き、図８を基に説明する。
入店者をカメラが確認した時点Ｓ０８１にて、撮影がなされ、画像ファイリング処理がなされる。

（退店顧客顔画像処理フロー）
次に、退店顧客顔画像処理フローに就き、図９を基に説明する。
退点者をカメラが確認した時点Ｓ０９１にて、撮影がなされ、画像ファイリング、画像削除処理がなされる。

（万引き常習犯顔認証照合処理フロー）
次に、万引き常習犯顔認証照合処理フローに就き、図１０を基に説明する。
顧客入店をＳ１０１にて確認、更にＳ１０２にて入店顧客撮影完了を確認
した時点から顔認証照合処理がなされる。

（万引き現行犯顔認証照合処理フロー）
次に、万引き現行犯顔認証照合処理フローに就き、図１１を基に説明する。
顧客退店をＳ１１１にて確認、更にＳ１１２にて退店顧客撮影完了を確認
した時点から顔認証照合処理がなされる。この場合、Ｓ１１５にてレジシステム部への商品ＩＤに基づく精算完了か否かの照会が必要となる。

（ＩＣタグ・情報読取器交信開始時点処理フロー）
次に、ＩＣタグ・情報読取器交信開始時点処理フローに就き、図１２を基に説明する。交信開始タイミングとは、顧客が商品を陳列台に戻した時点であり、Ｓ１４１のカメラ作動固定時間ｔ_６経過以前（ｔ_７）に商品が戻ったか、否かの判断により処理は異なる。

（ＩＣタグ・情報読取器交信断時点処理フロー）
次に、ＩＣタグ・情報読取器交信断時点処理フローに就き、図１３を基に説明する。交信断タイミングとは、顧客が、商品を陳列台から取上げた時点である。

（店舗内撮影カメラ作動停止処理フロー）
次に、店舗内撮影カメラ作動停止処理フローに就き、図１４を基に説明する。Ｓ１６１のカメラ作動固定時間ｔ_６経過したか、否かの判断により処理は異なる。

さて、これまで本発明の実施の形態に就いて説明したが、本発明は既述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々異なる実施の形態にて実施されてもよいものである。

実施例１において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を人為作業にて行うことも可能である。またあるいは人為的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、既述文章中や図面中で示した処理手順、具体的名称、各種のデータを含む情報に就いては、特記する場合を除いて任意に変更することができる。
また、図示した各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

本発明は、物品販売店舗における万引き検知を目的とするシステムに利用できる。

実施の形態１に係わる入退店顧客撮影カメラ設置イメージ図 実施の形態１に係わる店舗内撮影カメラ設置イメージ図 実施の形態１に係わるＩＣタグ情報読取器アンテナ設置イメージ図 実施の形態１に係わるＩＣタグ情報読取器アンテナと商品陳列イメージ図 実施の形態１に係わる顔認証応用万引き検知システム構成を示す。 実施の形態１に係わる商品取付けＩＣタグ交信・店舗内撮影カメラ作動と映像情報操作タイミングチャート図 実施の形態１に係わる顧客品評現場映像ファイル部ファイリングイメージ図 実施の形態１に係わる入店顧客顔画像処理フロー図 実施の形態１に係わる退店顧客顔画像処理フロー図 実施の形態１に係わる万引き常習犯顔認証照合処理フロー図 実施の形態１に係わる万引き現行犯顔認証照合処理フロー図 実施の形態１に係わるＩＣタグ・情報読取器交信開始時点処理フロー図 実施の形態１に係わるＩＣタグ・情報読取器交信断時点処理フロー図 実施の形態１に係わる店舗内撮影カメラ作動停止処理フロー図

符号の説明

１０１ 入店者撮影カメラ
１０２ 退店者撮影カメラ
１０３ 店舗天井面
１０４ 店舗床面
２０１ 商品陳列エリア
２０２ 商品陳列台
２０４ 商品陳列ポイントＡ
２０５ 商品陳列ポイントＢ
２０６ 商品陳列ポイントＣ
２０７ 店舗内撮影カメラ[1]
２０８ 店舗内撮影カメラ[2]
２０９ 店舗内撮影カメラ[3]
２１０ 店舗内撮影カメラ[4]
２１１ 店舗内撮影カメラ[5]
２１２ 店舗内撮影カメラ[6]
３０１ ＩＣタグ情報読取器アンテナ
４０１ 陳列商品
４０２ 商品取付けＩＣタグ
４０３ 陳列台マット
５０３ 店舗内撮影カメラ
５０５ ＩＣタグ情報読取器アンテナ
５０６ 入店顧客画像ファイル部
５０７ 退店顧客画像ファイル部
５０８ ＩＣタグ交信部
５０９ 監視カメラ操作部
５１０ 顧客品評現場映像ファイル部
５１３ 万引き常習犯顔認証照合部
５１４ 店舗内滞留顧客画像ファイル部
５１５ 入退店顧客顔認証照合部
５２１ レジシステム部
５２３ 万引き犯特定操作部
５２４ 万引き現行犯顔認証照合部
５２６ 万引き犯データベース
５２９ 各種情報モニター部
５３１ 万引き検知／再犯アラーム出力部
５３２ 万引き犯特定顔認証成果記録部
５３３ 特定顧客対応アナウンス部
５３４ インターネット
６０１ 商品取付けＩＣタグと情報読取器（アンテナ）交信信号
６０２ 店舗内カメラ作動状態信号
６０３ 顧客品評現場映像ファイル部該当情報リセット指令信号
６０４ 顧客品評現場映像ファイル部該当情報記録指令信号

Claims (18)

1. 物品販売店舗において、店舗内監視カメラによる顧客撮影映像・画像及び店舗内陳列商品取付けＩＣタグ・該当陳列台設置ＩＣタグ情報読取器間交信信号により顔認証照合機能の適用を前提に万引き現行犯及び万引き常習犯検知を行うシステムであって、
   １）顧客来店時にその正面画像を入店者撮影カメラが撮影し、入店月日、時刻と共にその画像をリアルタイムに記憶する入店顧客画像ファイル部と、
   ２）顧客退店時にその正面画像を退店者撮影カメラが撮影し、退店月日、時刻と共にその画像をリアルタイムに記憶する退店顧客画像ファイル部と、
   ３）店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号を受信するが、通常商品が陳列台に陳列された状態にて交信、顧客品評等により陳列台から商品が一定距離離れた段階で交信断となり、この交信通断のタイミングを検知し、顧客品評映像収集の起点となる信号を得るICタグ交信部と、
   ４）店舗内の総てのカメラを制御する部分であり、入退店者撮影カメラは店舗営業時間中常時作動、店舗内カメラの起動、停止、更に店舗内カメラに就いては該当カメラ各々の撮影分担に関わる撮影方向プリセットによる角度制御を行い、それら制御起点となる指令は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号等による監視カメラ操作部と、
   ５）顧客が店舗内にて品定めをする際の、該当商品を陳列台から取上げ、再び戻すという一連の購買行動を撮影した映像記憶部であり、撮影期間は顧客が該当商品を陳列台から取上げたタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信断の時点から陳列台に商品を戻したタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信の時点、もしくは該当商品を陳列台に戻すまでに時間を要した場合は、一定時間後に撮影は自動的に打ち切られ映像は終了するが、この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の映像ファイルは常に最新情報に更新される、即ち、該当陳列台位置相当映像ファイルには、常に最後に品定めをした顧客映像が記憶されている顧客品評現場映像ファイル部と、
   ６）顧客退店間際に撮影した該当顧客画像と、店舗内顧客購買行動を撮影した顧客品評現場映像とを順次リアルタイムに顔認証照合し、その結果照合一致した場合、その時点で、映像に写る該当商品ＩＤからその商品がレジ精算済みであるかを照会し、未清算であった場合に該当顧客を万引き現行犯として特定、該当画像をデータベースに蓄積すると共に、その結果をアラームとして発報するための信号を送る万引き現行犯顔認証照合部とを備えたことを特徴とする顔認証応用万引き検知システム。
2. １）万引き犯データベースに記憶された万引き常習者の顔画像を読み出し来店顧客の画像とリアルタイムに顔認証照合し、一致した場合に店舗内係員にその来店を知らせる信号を送る万引き常習犯顔認証照合部と、
   ２）退店間際に撮影された退店顧客ファイル部の該当画像対し入店顧客画像ファイル部記録画像を順次リアルタイムに顔認証照合する入退店顧客顔認証照合部と、
   ３）入退店顧客顔認証照合結果により顧客を特定し、退店した顧客画像はファイルから抹消し、常に店舗内に存在する顧客画像を記憶する店舗内滞留顧客画像ファイル部と、
   ４）商品代金精算を行うレジと連動し、万引き検知に関わるレジ精算完了もしくは未完情報を提供するレジシステム部と、
   ５）万引き現行犯を退店間際の顔認証照合に失敗し自動検知できなかった場合、該当店舗閉店後に営業時間内に撮影した顧客品評現場映像及び該当映像撮影時刻の後一定時間内の退店顧客画像を外部指令により一覧として表示し、双方比較による万引き犯の人為顔認証照合による特定化を可能とする万引き犯特定操作部と、
   ６）万引きを犯した顧客の画像をその犯行期日、時刻と共に情報として蓄積する万引き犯データベースと、
   ７）万引き犯データベース内容、万引き犯特定操作用情報を外部指令により表示する各種情報モニター部と、
   ８）万引き現行犯検知と万引き常習者再来店検知時に店舗関係者にアラーム通報する万引き検知／再犯アラーム出力部と、
   ９）顧客退店間際の顔認証照合による万引き現行犯自動検知を試みた場合の、検知件数及び検知失敗件数を記録し、システムの有効度を推し量る万引き犯特定顔認証成果記録部と、
   １０）顧客退店間際の顔認証照合により万引き現行犯を検知した場合、店舗出口以前に設置した超指向性スピーカにより限られたスポット音声により、該当顧客のみに聞こえるように、レジ精算を促す特定顧客対応のアナウンス出力を行う特定顧客対応アナウンス出力部と、
   を更に備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
3. 前記入店顧客画像ファイル部は、該当期日営業時間帯の総ての入店顧客画像を記憶し、画像は入店行動に関わる一定時間映像の中から顔画像を抽出し入店順に順次記憶する機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
4. 前記退店顧客画像ファイル部は、該当期日営業時間帯の総ての退店顧客画像を記憶し、画像は退店間際の一定時間映像の中から顔画像を抽出し退店順に順次記憶する機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
5. 前記ＩＣタグ交信部は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号を受信し、通常商品が陳列台に陳列された状態にて交信、顧客品評等により陳列台から商品が一定距離離れた段階で交信断となり、この交信通断のタイミングを検知し、顧客品評映像収集の起点となる信号を得る機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
6. 前記監視カメラ操作部は、店舗内の総てのカメラを制御する部分であり、入退店者撮影カメラは店舗営業時間中常時作動、店舗内カメラの起動、停止、更に店舗内カメラに就いては該当カメラ各々の撮影分担に関わる撮影方向プリセットによる角度制御を行い、それら制御起点となる指令は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号等による機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
7. 前記顧客品評現場映像ファイル部は、顧客が店舗内にて品定めをする際、該当商品を陳列台から取上げ、再び戻すという一連の購買行動を撮影した映像記憶部であり、撮影期間は顧客が該当商品を陳列台から取上げたタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信断の時点から陳列台に商品を戻したタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信の時点、もしくは該当商品を陳列台に戻すまでに時間を要した場合は、一定時間後に撮影は自動的に打ち切られ映像は終了するが、この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の映像ファイルは常に最新情報に更新される、即ち、該当陳列台位置相当映像ファイルには、常に最後に品定めをした顧客映像が記憶されている機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
8. 前記万引き現行犯顔認証照合部は、顧客退店間際に撮影した該当顧客画像と、店舗内顧客購買行動を撮影した顧客品評現場映像とを順次リアルタイムに顔認証照合し、その結果照合一致した場合、その時点で、映像に写る該当商品ＩＤからその商品がレジ精算済みであるかを照会し、未清算であった場合に該当顧客を万引き現行犯として特定、該当画像をデータベースに蓄積すると共に、その結果をアラームとして発報するための信号を送る機能を備えたことを特徴とする請求項１記載の顔認証応用万引き検知システム。
9. 前記万引き常習犯顔認証照合部は、万引き犯データベースに記憶された万引き常習者の顔画像を読み出し来店顧客の画像とリアルタイムに顔認証照合し、一致した場合に店舗内係員にその来店を知らせる信号を送る機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
10. 前記入退店顧客顔認証照合部は、退店間際に撮影された退店顧客ファイル部の該当画像対し入店顧客画像ファイル部記録画像を順次リアルタイムに顔認証照合する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
11. 前記店舗内滞留顧客画像ファイル部は、入退店顧客顔認証照合結果により顧客を特定し、退店した顧客画像はファイルから抹消し、常に店舗内に存在する顧客画像を記憶する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
12. 前記レジシステム部は、商品代金精算を行うレジと連動し、万引き検知に関わるレジ精算完了もしくは未完情報を提供する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
13. 前記万引き犯特定操作部は、万引き現行犯を退店間際の顔認証照合に失敗し自動検知できなかった場合、該当店舗閉店後に営業時間内に撮影した顧客品評現場映像及び該当映像撮影時刻の後一定時間内の退店顧客画像を外部指令により一覧として表示し、双方比較による万引き犯の人為顔認証照合による特定化を可能とする機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
14. 前記万引き犯データベースは、万引きを犯した顧客の画像をその犯行期日、時刻と共に情報として蓄積する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
15. 前記各種情報モニター部は、万引き犯データベース内容、万引き犯特定操作用情報を外部指令により表示する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
16. 前記万引き検知／再犯アラーム出力部は、万引き現行犯検知と万引き常習者再来店検知時に店舗関係者にアラーム通報する機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
17. 前記万引き犯特定顔認証成果記録部は、顧客退店間際の顔認証照合による万引き現行犯自動検知を試みた場合の、検知件数及び検知失敗件数を記録し、本発明に関わるシステムの有効度を推し量る機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。
18. 前記特定顧客対応アナウンス出力部は、顧客退店間際の顔認証照合により万引き現行犯を検知した場合、店舗出口以前に設置した超指向性スピーカにより限られたスポット音声により、該当顧客のみに聞こえるように、レジ精算を促す特定顧客対応のアナウンス出力を行う機能を備えたことを特徴とする請求項２記載の顔認証応用万引き検知システム。