JP2016196981A - 庫内管理システムおよび庫内管理方法 - Google Patents

Abstract

【課題】収納された物品の在庫期間を画像を通じて視覚により直感的に把握できる庫内管理システムを提供する。【解決手段】庫内管理システムは、撮影部１０１と、画像の情報を保管する画像保管部１０３と、新たに撮影した画像の情報と保管されている画像の情報とを比較して、所定の領域を抽出する領域抽出部１０２と、領域抽出部１０２が抽出した領域に基づいて、収納庫１００に収められた物品の変化履歴に関する情報を管理する履歴情報管理部１０５と、管理された情報又は保管された情報を送信する送信部とを備えた収納庫１００と、受信部と、受信した情報から収納庫１００に収められた物品の在庫期間を求め、在庫期間に応じた画像処理による可視化を行う可視化処理部２０３と、可視化処理部２０３で処理された画像を表示する表示部２０５とを備えた表示端末２００で構成される。【選択図】図１

Description

この発明は、収納庫、特に保冷庫又は保温庫などの収納庫内の管理に関する。

保冷庫又は保温庫の収納庫内（以下、庫内とのみ記載する場合がある）に物品を保管する場合には、庫内にどのような物品がいつから存在するかを使用者が全て記憶しておくのは困難である。そのため、例えば、冷蔵庫の場合には、食品が庫内に残っていることを忘れてしまい賞味期限が過ぎてしまったり、庫内に既にある食品と同じものを重複して購入してしまったりすることが起こりうる。

そこで、庫内をカメラ等撮像機器で撮影し、その撮影画像から得られる情報を元に、庫内管理を行う方法がいくつか考案されている。

例えば、冷蔵庫の扉が閉じられる度に庫内を撮影し、前回撮影時の収納位置と今回撮影時の収納位置とを比較することで物品の入出庫を判別し、在庫期間が警告期間を超えると、物品が収納されている棚あるいは底面を光らせることで警告を発する在庫管理装置が記載されている（特許文献１参照）。

また、庫内画像を撮影日時とともに保存することで、庫内画像の検索を日時指定で可能にする冷蔵庫システムが記載されている（特許文献２参照）。

特開２０１０−１２１７８４号公報 特開２０１４−１９６８５１号公報

しかしながら、特許文献１では、在庫期間が警告期間を超えると物品が収納されている棚あるいは底面を光らせることで警告を発するが、警告を発したい物品の数だけ発光素子が必要であり、物品の数の増加に応じて発光素子の数を増やさなければならない。また、発光素子を増やしたとしても棚の奥行き方向の変化は検知できないため、同じ棚板の前後に複数の物品が並んでいた場合には、どの物品の在庫期間が警告期間を超えたのかを判断できない。
また、前回撮影した時の画像と比較して物品ごとの入庫・出庫を判定しているが、ドアの一回の開閉で複数の物品の出し入れや庫内の物品の移動が行われる場合には、庫内の状態がドアを開けた直後と閉める前では全く異なるものになることも十分起こりうる。そのような場合に、特許文献１のようにドアの開閉毎に撮影した画像を比較して入庫、出庫を判断する方法では、収納位置の変化が大きすぎて、正しく入庫、出庫の判定ができない。さらに、冷蔵庫のドアを開けて在庫期間を確認するため、例えば外出先から在庫物品の保存期間（食材ならまだ食べられる状態であるか）を確認することができない。

また、特許文献２では、庫内画像の検索を日時指定で可能としているが、このシステムを活用するためにはユーザが物品ごとの入庫日時を大まかに把握しておく必要がある。ユーザが庫内ごとの物品の入庫日時を細かく覚えていることは考えにくく、操作性に問題がある。

本発明の庫内管理システムは、物品を収納する収納庫と、前記収納庫から送信される情報を受信して、受信した情報に基づき画像を表示する表示端末とを備えた庫内管理システムであって、前記収納庫は、内部を撮影する撮影部と、前記撮影部が撮影した画像の情報を保管する画像保管部と、前記撮影部が新たに撮影した画像の情報と前記画像保管部に保管されている画像の情報とを比較して、所定の領域を抽出する領域抽出部と、前記領域抽出部が抽出した領域に基づいて、前記収納庫に収められた物品の変化履歴に関する情報を管理する情報管理部と、前記情報管理部で管理された情報又は前記画像保管部で保管された情報を送信する送信部と、を備え、前記表示端末は、前記送信部から送信された情報を受信する受信部と、前記受信部で受信した情報から前記収納庫に収められた物品の在庫期間を求め、該在庫期間に応じた画像処理による可視化を行う可視化処理部と、前記可視化処理部で処理された画像を表示する表示部と、を備えるものである。

本発明によれば、ユーザは、庫内の各領域に収納された物品の在庫期間を画像を通じて視覚により直観的に把握できる。

この発明の実施の形態１における庫内管理システムの構成を示すブロック図である。 この発明の実施の形態１における収納庫の処理を示すフローチャートである。 庫内を撮影した画像を模式的に示した図である。 庫内を撮影した画像を縦横に分割した様子を示す模式図である。 物品の出し入れの管理を具体的に示した模式図である。 この発明の実施の形態１における表示端末の処理の流れを示すフローチャートである。 ユーザが視覚により直観的に把握できるように可視化された画面を示す概略図である。 ユーザが視覚により直観的に把握できるように可視化された画面を示す概略図である。 この発明の実施の形態２における庫内管理システムの構成を示すブロック図である。 この発明の実施の形態２における庫内管理システムの物品領域抽出部の処理の一例を示す。 この発明の実施の形態３における庫内管理システムの構成を示すブロック図である。

実施の形態１．
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

図１は、この発明の実施の形態１における庫内管理システムの構成を示すブロック図である。図において、庫内管理システムは、収納庫１００、表示端末２００、及び、サーバ３００で構成される。以下、収納庫として、冷蔵庫を例にとり説明するが、保温庫、保冷庫、又は、冷温庫等予め備え付けられた状態で物の出し入れをするものを想定しており、その他の収納庫についても、以下で説明するような条件を満たせば適用可能である。なお、人とか重機が出入りし、物それぞれにタグがふられて管理されているような倉庫などの保管庫、または、持ち運び可能で、内容物がある程度移動することが想定されるような収納庫については、本発明の効果が及ばない場合がある。

なお、ここでは、収納庫１００と表示端末２００との間の通信はサーバ３００を介して行う構成について説明するが、サーバ３００を介さずに直接通信する構成としても構わない。以下、各構成について説明する。

収納庫１００は、庫内を撮影する撮影部１０１と、撮影部１０１が撮影した画像を保存し管理する画像保管部１０３と、撮影部１０１が撮影した画像と画像保管部１０３に保管されている画像とを比較し異なる（変化した）領域（以下、変化領域と記載する場合がある）を抽出する領域抽出部１０２と、領域抽出部１０２が抽出した領域を元に変化があった履歴の情報を管理する履歴情報管理部１０５と、画像保管部１０３から得られた新たに撮影した画像の情報と履歴情報管理部１０５から得られた履歴情報とをサーバ３００に送信する収納庫通信部１０６を含み構成される。

表示端末２００は、収納庫通信部１０６から送信された画像情報と履歴情報とをサーバ３００から受信する端末通信部２０１と、画像情報及び履歴情報を記憶する記憶部２０２と、履歴情報に応じて画像情報から得られる物品の在庫期間に関する情報を目に見える形で表示するための処理を行う可視化処理部２０３と、ユーザの操作に応じて、履歴情報の詳細を提示する変化時情報提示部２０４と、画像を表示する表示部２０５とを含み構成される。

次に動作について説明する。図２は、この発明の実施の形態１における収納庫の処理を示すフローチャートである。

ステップＳ１０１は、収納庫１００のドアが閉まったことを検出するステップである。また、ステップＳ１０２は、画像を取得するステップである。撮影部１０１は、収納庫１００のドアが閉まったことを検知すると、収納庫１００の庫内を撮影する。ドアが閉じられている間は収納庫１００内の品物の移動等は起こらないので、最後にドアが閉じられた時に撮影された画像が庫内の最新状況を示す画像となる。

庫内の撮影は、ドアの内側に設けられたカメラ等で行えばよい。特に設ける位置に制限は無いが、庫内全体を撮影することが必要となる。物品の近くから庫内全体を撮影するためには広角のレンズを用いた方が良いが、庫内全体が狭い場合には特に必要はない。なお、物品の詳細な状態を知るために画像を得ることが目的ではなく、その物品の位置変化を検知することが主な目的であるから、カメラの撮像素子に求められる画素数は多くないが、高精細なカメラを用いても構わない。

また、ドアが閉じられた後に撮影する場合には、庫内は暗い場合が想定されることから、何らかの照明機器を備えたカメラの方が望ましいが、特に冷蔵庫などのように、予め庫内に照明機器を設けている場合には、備え付けの照明機器と連動して撮影するような設定を行うことも可能である。

さらに、ここでは、ドアが閉じられる毎に撮影するような設定としたが、ドアが開かれる瞬間を撮影するようにしても構わない。また、ドアが開かれている、もしくは、閉じられている最中に連続的な画像を撮影し、複数画像を元に３次元的な画像を構築しても構わない。このような場合には、ある程度のシャッター速度が要求される。

ドアが閉じられたことの検知は、冷蔵庫であれば、すでにセンサー等を具備しているので、予め設けられた機能を利用すれば事足りる。ただし、庫内に照明等を備えていない収納庫であれば、このような機能を設けていない製品もあり得るので、そのような場合には、別途、ドアに接触センサーとか光センサーを設けるなどして、ドアの開閉を検知すればよい。

図３は、ステップＳ１０１及びＳ１０２により得られた庫内を撮影した画像を模式的に示した図である。図では、棚板Ｔ０１〜Ｔ０４のそれぞれの板上に物品Ｆ０１〜Ｆ０５が載っている場合を示している。

ステップＳ１０３は、領域抽出部１０２により、新たに撮影した画像と前回撮影した画像とを比較し、その差分が検知される画素である差分画素を抽出するステップである。前回撮影した画像は、画像保管部１０３に記憶されている。

差分領域の抽出は、例えば、新たに撮影した画像と前回撮影した画像とを対応する画素毎に比較して、例えば、各画素がＲＧＢから構成され各８ビットの諧調で示される場合には、ＲＧＢごとに諧調値の差の絶対値を計算し、その合計がある閾値Ｔｈｄ以上である画素を抜き出すことで行い得る。この場合、ノイズの影響を減らすために差分画素の膨張処理、及び／又は、収縮処理を行うことが望ましい。ある候補画素（本発明では差分画素）を基準として所定の膨張範囲内全ての非候補画素（本発明では差分画素で無い画素）を候補画素に変更する処理を、全ての差分画素に対して行う処理である。また、収縮処理とは、ある非候補画素を基準として、所定の収縮範囲内の全ての候補画素を非候補画素に変更する処理を、全ての非候補画素に対して行う処理である。膨張範囲や収縮範囲は、例えば３行３列の範囲を用いる。

ステップＳ１０４は、領域抽出部１０２により差分が認められる画素が一定数以上ある領域を抜き出すステップである。図４は、庫内を撮影した画像を縦横に分割した様子を示す模式図である。画素に差が認められる領域であるか否かについては、撮影した画像を分割した領域（以下、分割領域とのみ記載する場合がある）、内で一定以上の変化をした画素がどの程度の面積を占めるかで判断する。ここでは、分割領域として、縦を４分割、横を５分割した領域を例示している。なお、ここでは、分割領域を同じ面積で表しているが、例えば、集中して物品が置かれる棚の中段付近をより小さな面積となるよう細分化し、上下又は周辺に行くにしたがい大きな面積で分割するよう異なる面積の分割領域で画面全体を構成しても構わない。

ステップＳ１０５は、変化領域を抽出後に、撮影したが画像を用いて画像保管部１０３に記憶された画像を更新するステップである。更新された画像は、新規撮影画像としてサーバへ送信するほか、次回撮影時の差分抽出時に比較画像として用いる。ここでは、新たに撮影した画像データを用いて、前回撮影された画像データを更新する形で、画像データの記録更新作業を行っているが、このようにデータを更新する場合には、画像保管部１０３を少ないメモリー量で構成できるメリットがある。なお、メモリー量に余裕がある場合には、画像を置き換えるのではなく、撮影時期の異なる複数画像を記憶することで、長期間にわたる変化の履歴を保存された画像データを元に知ることができる。

ステップＳ１０６は、履歴情報管理部１０５により、領域抽出部１０２が抽出した変化領域を元に変化履歴の情報を更新するステップである。画像の変化領域に関する履歴情報（以下、変化履歴情報とのみ記載する場合がある）は、分割領域ごとに最終変化の日時を示したテーブルである最終変化日時テーブルと変化時の画像である変化時画像からなる。

最終変化日時テーブルは、分割領域ごとの最終変化日時を表すテーブルである。最終変化日時とは、領域抽出部１０２により、その分割領域内で最後に変化が起きたと判定された日時である。在庫期間とは、分割領域内に変化のない期間を表し、最終変化日時の形式で管理する。

また、変化時画像とは、分割領域内で変化が生じたときの変化前の撮影画像、変化後の撮影画像それぞれから分割領域の画像を切り出したものを表す。以下では、それぞれ変化前分割領域画像、変化後分割領域画像と記す。

図５は、画像領域を分割し、物品の出し入れをどのように管理するかを具体的に示した模式図である。図５（Ａ）は前回撮影した画像を示すイメージ図である。図５（Ｂ）は今回撮影した画像を示すイメージ図である。図５（Ｃ）は差分領域を示すイメージ図である。ここで、白抜きで示した部分が差分として認められた領域である。この例では、物品Ｆ０２の入庫があったので、その部分を差分領域として白抜きで表示している。図５（Ｄ）は差分領域と分割領域との位置関係を示したイメージ図である。

仮に、分割領域内に変化があると判断する基準を、「分割領域の面積」に占める「差分領域の面積」の割合が２０％以上であるとすると、分割領域Ｒ２−４がその基準を満たすため変化があった領域とみなせる。そこで、履歴情報管理部１０５は、分割領域Ｒ２−４の最終変化日時を、今回画像を撮影した日時に更新し、前回撮影した画像である図５（Ａ）から分割領域Ｒ２−４に相当する領域の画像を抜き出した変化前分割領域画像（図５（Ｅ））と、今回撮影した画像である図５（Ｂ）から分割領域Ｒ２−４に該当する領域を抜き出した画像である変化後分割領域画像（図５（Ｆ））を分割領域Ｒ２−４に対応させて保存する。

ステップＳ１０７は、収納庫通信部１０６が画像保管部１０３から得られた新たに撮影した画像の情報と履歴情報管理部１０５から得られた履歴情報とをサーバ３００に送信するステップである。

図６は、この発明の実施の形態１における表示端末の処理の流れを示すフローチャートである。以下、図を用いて表示端末２００の処理を説明する。

ステップＳ２０１は、例えば、ボタン押下などのユーザ操作をトリガーとして、表示端末２００の端末通信部２０１がサーバ３００から新規撮影画像情報および変化履歴情報を受信するステップである。この際に、効率的な処理を行う観点から未取得の情報があるか否かをサーバに問い合わせ、未取得の情報がある場合のみ処理を進めるようにすることがのぞましい。

また、受信処理はユーザ操作が無くても端末通信部２０１が定期的に行うようにしてもよい。また、表示端末２００が保存する庫内管理のためのアプリケーションが起動する際に行ってもよい。

ステップＳ２０２は、可視化処理部２０３が受信した変化履歴情報中の最終変化日時テーブルに基づいて、ユーザが在庫期間を視覚により直観的に把握できるように画像を編集するするステップである。編集の一例として、分割領域内の撮影画像全体に赤色を重畳し、変化がない期間が長いほど、その赤色が濃くなるような画像処理をすることで、ユーザが物品の出し入れが行われていない期間が長い領域を一目で認識できるようにする。

なお、ここでは、色の濃さで在庫期間の長短を表すように設定したが、色の濃さにかかわらず、色あいの変化、色相の変化、又は、輝度の変化等で在庫期間の長短を表現するようにしてもよい。

また、ここでは、棚の別、物品の別にかかわらず在庫期間のみで色の濃淡を変化させていたが、例えば、比較的長期の保存期間を有する物品、冷蔵庫に保管される食品でいえば、賞味期限までの期間が長い食品については上下の棚に、賞味期限までの期間が短い食品については中央の棚に置くような運用をしている場合には、上下に配置された棚と中央に配置された棚とで色が変化する周期が変えられるようにしてもよい。このように設定することで、棚ごとに物品の保管期限を管理しやすくなり、より細かい対応が可能となる。

また、食品を棚に保管するときに、その食品が置かれた分割領域に対し、その食品の賞味期限に対応した期間を考慮して色が変化するような設定が出来るようにしても構わない。このように設定できる構成をとることで、保管する物品毎の保管期限に対応したより細かい設定が可能である。

ステップＳ２０３は、可視化処理部２０３が撮影画像の画像処理を行った後に画面を表示するステップである。

ステップＳ２０４は、表示された画面から分割領域を選択するステップである。例えば、表示端末２００の表示部２０５が表面に接触センサーを有するような液晶パネルであるような場合には、ユーザが表示部２０５の表面にタッチすることで、画面上のある座標を選択出来る。

ステップＳ２０５は、ステップＳ２０４で選択した座標を含む分割領域に関連した変化履歴情報を表示するステップである。一例として、その分割領域に関連した最終変化日時、変化前分割領域画像、及び、変化後分割領域画像を表示部２０５に表示する。また、特に分割領域を選択しない場合には、画面にタッチすることをトリガーとして、各分割領域内に変化履歴情報を細かく表示することも可能である。また、複数の分割領域から一つのグループを形成し、グループに含まれる分割領域に関する変化履歴情報をグループ全体が表示部２０５全体に表示されるよう拡大することで表示できるようにしてもよい。また、分割領域に関する変化履歴情報全てを時間的にずらして順次表示するようにしてもよい。

図７は、ユーザが視覚により直観的に把握できるように可視化された画面を示す概略図である。図７（Ａ）は、全分割領域において変化履歴情報を表示した例を示す。ここでは、変化履歴情報の内、保管期間、つまり、現在日時と最終変化日時テーブル中の各分割領域の最終変化日時との差の場合が示されている。図７（Ｂ）は、１日単位で撮影画像に重ねる色を濃くしていった場合のイメージを示す図である。可視化処理部２０３が出力する画像はこのようになる。ここでは、５日以上変化の無い分割領域に重ねる色は全て同じとしている。図７（Ｂ）で示される画像により、Ｆ０２の物体は最近入庫されたが、Ｆ０５の物体は少なくとも５日以上前に入庫されたことが一目でわかる。

図８は、ユーザが視覚により直観的に把握できるように可視化された画面を示す概略図である。変化履歴情報を表示する表示例を図８に示す。例えば、図４で示したＲ２−４の領域をユーザがタッチ操作などにより選択した場合には、変化時情報提示部２０４が変化のあった日時、ここでは、２０１４／１／１ １２：００、その日時の変化前分割領域画像、及び、変化後分割領域画像をポップアップ画面Ｐ０１として表示する。これにより、ユーザが指定した領域が、いつどのように変化があったかをユーザが容易に確認することができる。ポップアップ画面表示中に異なる分割領域をユーザが選択した場合には、現在のポップアップ画面Ｐ０１を消去し、新たなポップアップ画面を表示する。なお、現在のポップアップ画面Ｐ０１を消去せずに、重ねて表示しても構わない。

以上説明したように、本実施の形態における庫内管理システムでは、分割領域ごとの最終変化日時に応じて、ユーザが在庫期間を直観的に把握できるので、ユーザは編集された庫内画像を見るだけで庫内の各領域の在庫期間をすぐに把握できる。

また、ユーザは移動の無い物品だけでなく、使用していない棚板も把握することができる。例えば、冷蔵庫でユーザが偏った収納をしていた場合に、棚板が存在する分割領域を長い間変化の無いことを示す濃い赤で表示することで、その分割領域で示される棚板を使用していない期間が分かるので、偏った収納をすると冷却効率が落ちるため、それを改善するきっかけとなる。これにより、ユーザが庫内を均等に使うことで庫内を効率的に冷やすための情報を与えることができる。

また、庫内の撮影画像の情報と変化履歴情報とを収納庫側から表示端末側に送信するので、収納庫のドアを開けなくても、庫内の様子を把握することができる。そのため、いちいち確認のためのドアの開閉を行う必要が無く、省エネ効果も得られる。

また、表示端末の表示画面を通して在庫管理を行うので、収納庫の棚に発光素子などを備えたりする必要が無く、収納庫に複雑な構造を設ける必要はなく、製造しやすい。さらに、分割領域の数、又は、大きさを変更する場合には、収納庫そのものに手を加える必要が無く、制御ソフトウェアを変更することで対応できるので、迅速に対応できる。

また、カメラを設置する位置、たとえば、所定の棚を斜め上方又は下方より撮影する位置、もしくは、左右の方向から撮影する位置、により、前面からのみならず、棚の奥行き方向についても撮影することが可能となり、３次元の分割領域を設定すれば、棚板の前後に物品が並んでいる場合にもそれぞれの在庫期間を提示することができる。なお、カメラは１つに限られず、２つ、３つ、又は、それ以上を設置してもよく、棚板ごとに対応付けて設置しても構わない。この場合には、画像保管部では、カメラ毎に撮影された画像をそれぞれのカメラと対応付けて管理してもよく、合成して一つの画像として管理してもよい。

また、一つ一つの物品の輪郭等の粉かい変化を検出しているわけではなく、物品の置かれた領域の中の変化の割合を検出しているので、マイクロコンピュータ等制御機器が必要な計算量を小さくすることができ、また、メモリー等の記憶装置の容量も小さくすることが可能である。さらに、処理の仕方、又は、設定の仕方によっては、画素数の小さなカメラを用いることもできる。

また、本実施の形態では、庫内撮影画像中の分割領域に対して変化履歴情報を表示するので、ユーザは直感的な把握のみならず、具体的な詳細情報の把握も可能である。ユーザは、可視化した在庫期間が本当に正しいか否かの確認が容易にできるため、安心してシステムを利用することができる。

さらに、本実施の形態における庫内管理システムでは、最新の撮影画像の情報と変化履歴情報とのみをサーバにアップするので、過去に撮影した全ての画像情報、または、過去の一定期間内に撮影した複数の画像情報をサーバに保存する場合に比べて、サーバの記憶領域の容量を小さく抑えることができる。例えば４×５の分割領域を設けた場合、サーバに保存するデータは、最新撮影画像、最終変化日時テーブル、２０枚の変化前分割領域画像、及び、２０枚の変化後分割領域画像の情報に限定できる。また、表示端末とサーバ間の通信量を抑制できるので、表示端末の表示にかかるまでの時間も短縮することができる。なお、サーバの記憶領域の容量に余裕がある場合には、過去に撮影した全ての画像情報、または、過去の一定期間内に撮影した複数の画像情報をサーバに保存しても構わないことはいうまでもない。

なお、本実施の形態における庫内管理システムでは、収納庫が庫内を撮影するたびに撮影画像を送信する例を示したが、表示端末からの要求に応じて画像を送信するようにしてもよい。そうすることで、表示端末への画像表示までにかかる時間は増加する可能性があるが、サーバとの通信量を減らすことができる。場合によってはコストの削減につながる。

また、撮影の度にサーバに送信するのではなく、撮影後一定時間経過した後に送信するようにしてもよい。こうすることで、短時間に複数回ドアの開閉があった場合にサーバへの送信を繰り返し、サーバの処理負荷が増加するのを防ぐことができる。

なお、本実施の形態では、ユーザへの提示は、変化前分割領域画像及び変化後分割領域画像と分割領域単位で実施しているが、庫内画像全体を提示してもよい。表示の仕方としては、例えば、分割領域選択時には変化日時のみをポップアップ表示し、ポップアップをユーザが選択した際に変化前と変化後の庫内全体の画像の表示に遷移する方法が挙げられる。こうすることで、収納庫と表示端末間の通信量は大きくなるが、ユーザが変化時の庫内全体の状況を把握できるようになる。

なお、本実施の形態では、表示端末は在庫期間を可視化した撮影画像を表示したが、在庫期間を可視化した画像とそうでない画像（そのままの画像）とがキー操作などで切り替えられるようにしてもよい。こうすることで、表示端末は在庫期間を可視化した画像とそうでない画像の両画像を記憶する必要は生じるが、ユーザが庫内状況をより確認しやすくなる。

なお、重ねる色を濃くする段階をより細かくしたり、分割領域の数をより増やしたりすることができることは当然である。また、色の濃淡又は輝度によらず、保存期間に応じて色の違い（複数の色）を使用して可視化するようにしてもよい。そうすることで、計算量や通信量は大きくなるが、物体ごとの変化をよりユーザが認識しやすくなる。ただし、分割領域をあまり細かくし過ぎると、かえって物品を識別しにくくなると思われる場合は分割領域がある程度の大きさを持つようにすることがのぞましい。

また、隣接する分割領域の境界付近では色が段階的に変化するようにしてもよい。そうすることで、隣接する分割領域間で色が突然変わり、ユーザが違和感を覚えるようなことを軽減することができる。

なお、本実施の形態では、新規撮影画像および変化履歴情報を受信した際に在庫期間の可視化を行っていたが、任意のタイミングで行っても構わない。例えば、ユーザが更新ボタンを押すことで在庫期間を計算し直してもよい。こうすることで、新しい情報を受信しなくても任意のタイミングで現在日時を反映した情報を表示に反映することができる。

なお、本実施の形態では、収納庫内の画像として１枚の画像のみを扱ったが、例えば冷蔵庫のように冷蔵室、野菜室、冷凍室など複数の部屋に分かれている場合は、それぞれの部屋にカメラを設置して、同じように処理しても構わない。ただし、冷凍室などはかなり低温となることが想定されるため、低温で作動するカメラが必要なことはいうまでもない。また、冷凍庫のように食材を重ねて保管するような場所では、変化中（食材を取り出している最中）の細かい情報が必要となる場合もある。

実施の形態２．
上記実施の形態１では、分割領域中の物品が存在するか否かに関わらず在庫期間を可視化していたが、本実施の形態２では、物品が存在する領域のみの在庫期間を可視化する点が実施の形態１と異なる。

図９は、この発明の実施の形態２における庫内管理システムの構成を示すブロック図である。表示装置２０９は、撮影画像から物品が存在する領域を抽出する物品領域抽出部２０６を有する点と、可視化処理部２０７が物品領域抽出部２０６の抽出した物品領域を利用して可視化する点が、実施の形態１の表示装置２００と異なる。

図１０に本実施の形態における物品領域抽出部２０６の処理の一例を示す。図１０（Ａ）は撮影画像、図１０（Ｂ）は物品の入る前の棚だけが写っている収納庫内の初期画像、図１０（Ｃ）は撮影画像と初期画像との差分を抽出した画像、図１０（Ｄ）は可視化処理部２０３が生成する出力画像の例である。上記実施の形態１では、図７（Ｂ）のような画像を可視化処理部２０３が生成していた。ここでは、本実施の形態に置いて可視化処理部２０７が出力する画像がどのように変わるかについて説明する。図１０（Ａ）の撮影画像に対して、物品の入る前の棚だけが写っている収納庫内の初期画像が図１０（Ｂ）である。この初期画像は、例えば工場出荷時に画像保管部１０３に設けられた記憶領域に記憶させる。

物品領域抽出部２０６は、図１０（Ａ）の新規撮影画像と図１０（Ｂ）の初期画像との差分を抽出した画像である図１０（Ｃ）を生成する。差分の抽出は、例えば実施の形態１における領域抽出部１０２と同様の処理で行うことができる。図１０（Ｃ）で白く表示されている領域が、初期画像と差がある領域、つまり物品が存在する領域を示す。

続いて、可視化処理部２０７は、上記実施の形態１における庫内管理システムと同じく在庫期間に応じて重ねる色が濃くなるように新規撮影画像を編集する。ただし、色を重ねる領域は図１０（Ｃ）で白く表示されている領域、つまり物品が存在する領域に限定する。つまり、可視化処理部２０３が生成する画像は図１０（Ｄ）のようになる。

以上説明したように、本実施の形態では、物品の存在する領域のみ在庫期間を可視化するので、ユーザが長い間変化のない物品、つまり長い間収納されている物品をより把握しやすくなる。

また、本実施の形態では、分割領域ごとの変化と初期画像からの差分のみを用いて在庫期間を可視化しているので、入庫、出庫の度に物品ごとの管理を行うようなシステムに比べて、少ない計算量で在庫期間可視化を実現することが可能となる。本実施の形態でも、上記実施の形態１と同じく分割領域を元に在庫期間を管理しているが、在庫期間を可視化する領域を物品領域に限定しているのに用いている。

図１０（Ａ）などでは、簡単のため物品数を非常に少なくしているが、実際の庫内は、食品等の物品が隙間なく入っている場合もあり得る。このような場合、差分領域で在庫期間を管理すると、物品が大きく、小さな別物品と重なった場合などには、同一物品にも関わらず領域が分割され、在庫期間が異なる表示がなされる場合もあり得る。このような場合には、あらかじめ大きい分割領域を用いることでこのような状況を防ぐことができる。なお、画像の輪郭部分の差分抽出などでは、物体の形状を正確に把握することができない場合もあるが、分割領域という考え方を用いれば、例えば、分割領域内に変化があると判断する基準を、「分割領域の面積」に占める「差分領域の面積」の割合が２０％以上であるとすることで、差分領域の形状が不明瞭な場合にも対応することができる。

なお、本実施の形態では、物品が存在する領域のみ色を重ねたが、初期画像から変化のない領域、つまり物品が存在しない領域は在庫期間に応じて違う色を重ねてもよい。こうすることで、長期間収納されている物品だけでなく、長期間使われていない領域も把握しやすくすることができる。

実施の形態３．
上記実施の形態では、分割領域内で変化が起きてからの期間を可視化していたが、本実施の形態３では、変化が入庫であるか、出庫であるかによって在庫期間の可視化方法を変更する点が、上記実施の形態とは異なる。

図１１は、この発明の実施の形態３における庫内管理システムの構成を示すブロック図である。収納庫１００は、変化領域ごとに物品が追加されたのか除去されたのかを判定する入出庫判定部１０７を有する点と、表示端末２１０の可視化処理部２０８が、物品が追加されたのか除去されたのかを区別できるように可視化する点が、上記実施の形態１の表示装置２００と異なる。

入出庫判定部１０７は領域抽出部１０２が抽出した各領域に対する変化が、物品の追加によるものか、あるいは物品の除去によるものかを判定する。変化領域における変化が物品の追加によるものか否かの判定は、変化後分割画像と領域抽出部１０２が抽出した差分領域の輪郭画像とに基づいて行われる。変化領域における変化が物品の除去によるものか否かの判定は、変化前分割画像と差分領域の輪郭画像とに基づいて行われる。

例えば、差分領域から抽出した輪郭と、変化前分割画像から抽出した輪郭が類似する場合には、差分領域の位置に対応する収納庫内の位置から、差分領域の位置に写っている物品が消失した（除去された）と判定できる。また、差分領域から抽出した輪郭と、変化後分割画像から抽出した輪郭が類似する場合には、差分領域の位置に対応する収納庫内の位置に、差分領域の位置に写っている物品が出現した（追加された）と判定できる。

ここで、輪郭について「類似する」とは、類似度が予め定められた閾値以上であることを意味し、同一の場合を含む。ここでいう輪郭の類似度とは、例えば、差分領域から抽出した輪郭の中で、変化前分割画像から抽出した輪郭に一致する割合に基づいて定められる。

変化領域ごとに物品の追加または除去のどちらが行われたかという情報は変化履歴情報として追加され収納庫１００から表示端末２１０に送信される。

可視化処理部２０８は、在庫期間に応じて重ねる色が濃くなるように新規撮影画像を編集する。ただし、物品の追加が行われた分割領域と除去が行われた分割領域は異なる色となるように編集する。例えば、追加が行われた分割領域は追加されてからの期間が長いほど赤が濃く、除去が行われた分割領域は除去されてからの期間が長いほど青が濃くなるように、色を重ねる。

以上説明したように、本実施の形態では、物品が追加されてからの期間か、除去されてからの期間かを区別できるよう在庫期間を可視化するので、ユーザが知りたい情報（物品の在庫期間、棚の未使用期間など）をユーザがより把握しやすくなる。

また、同一分割領域内で複数の物品が前後に重なっている状態から手前にある物品が除去された場合、及び、一の物品の手前に他の物品が追加された場合をユーザが区別することができる。

なお、本実施の形態では、入庫が行われた分割領域、出庫が行われた分割領域それぞれに色を重ねたが、どちらか一方の領域のみに色を重ねたり、または、ユーザ操作により色を重ねる領域を切り替えられるように構成してもよい。このように構成することにより、ユーザが知りたい情報のみを表示できるので情報をより把握しやすくなる。

１００ 収納庫
１０１ 撮影部
１０２ 領域抽出部
１０３ 画像保管部
１０５ 履歴情報管理部
１０６ 収納庫通信部
１０７ 入出庫判定部
２００、２０９、２１０ 表示端末
２０１ 端末通信部
２０２ 記憶部
２０３、２０７、２０８ 可視化処理部
２０４ 変化時情報提示部
２０５ 表示部
２０６ 物品領域抽出部
３００ サーバ

Claims (7)

1. 物品を収納する収納庫と、前記収納庫から送信される情報を受信して、受信した情報に基づき画像を表示する表示端末とを備えた庫内管理システムであって、
   前記収納庫は、
   内部を撮影する撮影部と、
   前記撮影部が撮影した画像の情報を保管する画像保管部と、
   前記撮影部が新たに撮影した画像の情報と前記画像保管部に保管されている画像の情報とを比較して、所定の領域を抽出する領域抽出部と、
   該領域抽出部が抽出した領域に基づいて、前記収納庫に収められた物品の変化履歴に関する情報を管理する情報管理部と、
   該情報管理部で管理された情報又は前記画像保管部で保管された情報を送信する送信部と、
   を備え、
   前記表示端末は、
   前記送信部から送信された情報を受信する受信部と、
   該受信部で受信した情報から前記収納庫に収められた物品の在庫期間を求め、該在庫期間に応じた画像処理による可視化を行う可視化処理部と、
   該可視化処理部で処理された画像を表示する表示部と、
   を備えることを特徴とする庫内管理システム。
2. 在庫期間に応じた画像処理による可視化は、
   撮影部が撮影した画像に色を重ねて表示されることを特徴とする請求項１記載の庫内管理システム。
3. 在庫期間に応じた画像処理による可視化は、
   収納庫に収められた物品の変化履歴が、前記収納庫への入庫及び前記収納庫からの出庫の別が判別できるように行われることを特徴とする請求項１又は請求項２のいずれかに記載の庫内管理システム。
4. 在庫期間に応じた画像処理による可視化は、
   撮影部が撮影した画像を複数の領域に分割して行われることを特徴とする請求項１乃至請求項３のいずれか一項に記載の庫内管理システム。
5. 在庫期間に応じた画像処理による可視化は、
   撮影部が撮影した画像に文字情報を重ねて表示することで行われることを特徴とする請求項１乃至請求項４のいずれか一項に記載の庫内管理システム。
6. 前記収納庫の前記変化履歴情報管理部は、
   前記変化時情報抽出部により変化領域が抽出された際に、そのときの庫内の情報である変化時情報を変化領域と対応付けて記憶し、
   前記収納庫の前記送信部は、前記変化時情報を送信し、
   前記表示装置の前記受信部は、前記変化時情報を受信し、
   前記表示装置は、前記変化時情報を前記在庫期間可視化画像の各領域と対応付けて前記表示部に表示する変化時情報提示部をさらに備えることを特徴とする請求項１乃至請求項５のいずれか一項に記載の庫内管理システム。
7. 物品を収納する収納庫と、前記収納庫から送信される情報を受信して、受信した情報に基づき画像を表示する表示端末とを備えた庫内管理システムにおける庫内管理方法であって、
   前記収納庫の内部を撮影部により撮影するステップと、
   前記撮影部が撮影した画像の情報を画像保管部に保管するステップと、
   前記撮影部が新たに撮影した画像の情報と前記画像保管部に保管されている画像の情報とを比較して、所定の領域を領域抽出部で抽出するステップと、
   前記領域抽出部が抽出した領域に基づいて、前記収納庫に収められた物品の変化履歴に関する情報を情報管理部が管理するステップと、
   前記情報管理部で管理された情報又は前記画像保管部で保管された情報を送信部が送信するステップと、
   前記表示端末が前記送信部から送信された情報を受信部で受信するステップと、
   前記受信部で受信した情報から前記収納庫に収められた物品の在庫期間を求め、可視化処理部が前記在庫期間に応じた画像処理による可視化を行うステップと、
   前記可視化処理部で処理された画像を表示部が表示するステップと、
   を備えることを特徴とする庫内管理方法。

Images