JP2018095450A - 物品管理装置、物品管理システム、物品管理方法及びプログラム - Google Patents
物品管理装置、物品管理システム、物品管理方法及びプログラム Download PDFInfo
- Publication number
- JP2018095450A JP2018095450A JP2016243462A JP2016243462A JP2018095450A JP 2018095450 A JP2018095450 A JP 2018095450A JP 2016243462 A JP2016243462 A JP 2016243462A JP 2016243462 A JP2016243462 A JP 2016243462A JP 2018095450 A JP2018095450 A JP 2018095450A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- weight
- article
- food
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 238
- 238000001514 detection method Methods 0.000 claims abstract description 177
- 230000008859 change Effects 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims description 89
- 238000012384 transportation and delivery Methods 0.000 claims description 34
- 235000013305 food Nutrition 0.000 description 531
- 230000008569 process Effects 0.000 description 77
- 230000005236 sound signal Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 239000008267 milk Substances 0.000 description 20
- 235000013336 milk Nutrition 0.000 description 20
- 210000004080 milk Anatomy 0.000 description 20
- 235000013405 beer Nutrition 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 241000220225 Malus Species 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 11
- 239000013585 weight reducing agent Substances 0.000 description 9
- 230000000153 supplemental effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 235000013601 eggs Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 235000013311 vegetables Nutrition 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 244000291564 Allium cepa Species 0.000 description 3
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 3
- 235000021016 apples Nutrition 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 2
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】保管庫における保管物の管理を効率的に行うことができる物品管理装置、物品管理システム、物品管理方法及び物品管理プログラムを提供する。【解決手段】重量検出部は保管庫内の物品の重量を検出し、制御部は音声取得部が取得した音声から物品名を認識し、認識した物品名と、重力検出部が検出した重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する。本実施形態は、物品管理装置、物品管理システム、物品管理方法及び物品管理プログラムのいずれの形態によっても実現することができる。【選択図】図1
Description
本発明は、物品管理装置、物品管理システム、物品管理方法及びプログラムに関する。
従来から、保管庫において保管される物品の種類やそれらの数量などを管理する物品管理装置が提案されている。
例えば、特許文献1に記載の在庫管理装置は、保管部品の計数単位に対応する重量データが記憶された部品重量記憶手段と、部品入出庫指令に応じて在庫量データを記憶する在庫量記憶手段と、部品保管手段に保管されている保管部品を入出庫口へ搬送する搬送制御手段と、入出庫された保管部品の重量を測定して重量データにより計数単位で保管残量データを求める保管残量計数手段と、保管残量データと在庫量データとが一致するか否かを判定する入出庫判定手段と、判定結果が両者不一致の場合に入出庫異常警報を出力する入出庫警報出力手段とを備える。
特許文献1に記載の在庫管理装置では、保管対象の各部品の重量、形状が既知であり、保管場所が予め定められていることを前提としている。しかしながら、一般には保管対象の物品の種類、保管場所は、予め定められていないことがある。例えば、家庭用の電気冷蔵庫では、保管対象の食品の種類は雑多であり、保管場所はユーザの任意である。そのため、特許文献1に記載の在庫管理装置と同様の手法が適用できないことがある。
本発明は上記の点に鑑みてなされたものであり、保管庫における保管物の管理を効率的に行うことができる物品管理装置、物品管理システム、物品管理方法及びプログラムを提供する。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理装置である。
本発明によれば、保管庫における保管物の管理を効率的に行うことができる。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る食品管理システム1の構成例を示す概念図である。
食品管理システム1は、保管庫10に保管される主な物品が食品である物品管理システムの一態様である。食品管理システム1は、保管庫10、リファレンスデータベースサーバ20、食品管理データベースサーバ30及び端末装置40を含んで構成される。保管庫10に備えられた食品管理装置10A、リファレンスデータベースサーバ20、食品管理データベースサーバ30及び端末装置40は、相互にネットワークNWで接続される。相互間において各種のデータが送受信可能である。図1に示す例では、保管庫10の個数は1個であるが、保管庫10の個数は2個以上の任意の個数であってもよい。リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40の個数も、それぞれ1個に限られず、2個以上の任意の個数であってもよい。
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る食品管理システム1の構成例を示す概念図である。
食品管理システム1は、保管庫10に保管される主な物品が食品である物品管理システムの一態様である。食品管理システム1は、保管庫10、リファレンスデータベースサーバ20、食品管理データベースサーバ30及び端末装置40を含んで構成される。保管庫10に備えられた食品管理装置10A、リファレンスデータベースサーバ20、食品管理データベースサーバ30及び端末装置40は、相互にネットワークNWで接続される。相互間において各種のデータが送受信可能である。図1に示す例では、保管庫10の個数は1個であるが、保管庫10の個数は2個以上の任意の個数であってもよい。リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40の個数も、それぞれ1個に限られず、2個以上の任意の個数であってもよい。
保管庫10は、物品を保管する保管室を複数個備える。図1に示す例では、保管庫10は、電気冷蔵庫である。保管庫10は、保管室内の温度を所定の温度に調整する。調整される温度は、通例、周囲の温度よりも低い。保管室には、物品を載置可能とする1個又は複数個のトレイを有する保管室と、物品を収納可能とする1個の引き出しとして構成される保管室とがある。トレイを有する保管室は、1式の開き戸を有する。以下の説明では、開き戸と引き出しを扉と総称する。各1個のトレイ又は引き出しは、物品を保管可能とする1つの保管区画をなす。以下の説明では、トレイと引き出しを保管区画又は保管場所と総称することがある。また、保管庫10には、各保管室の扉の開閉状態を検出する開閉センサ(図示せず)が設置されている。開閉センサは、例えば、圧力センサを含んで構成される。圧力センサは、扉の開放端が保管庫10の筐体と接する部分の圧力を検出する。開閉センサは、検出した開閉状態を示す開閉状態信号を食品管理装置10Aに出力する。
保管庫10は、食品管理装置10Aを備える。食品管理装置10Aは、制御部14とメモリー15を含んで構成される。保管室の扉が開放されているとき、食品管理装置10Aは、重量センサ12が検出した重量の増加を検出し、収音部13から取得した音声から物品の名称を認識する。食品管理装置10Aは、物品の重量の増加と認識された物品の名称とを照合し、その名称を有する物品の入庫を検知する。食品管理装置10Aは、その重量の増加量を入庫された物品の重量として判定する。また、食品管理装置10Aは、重量の減少量が、既に保管された物品のいずれかの重量に相当するとき、その物品の出庫を検知する。食品管理装置10Aの機能構成については、後述する。
重量センサ12は、保管庫10の保管室内に保管される物品の重量を検出し、検出した重量を示す重量信号を食品管理装置10Aに出力する。図1に示す例では、重量センサ12が各保管区画に装備されている。n個の重量センサ12は、12−1〜12−nなどの符号を用いて区別されている。nは、保管区画の個数を示す1以上の整数である。図1に示すmは、1より大きく、nより小さい整数である。重量センサ12−1〜12−nは、それぞれ保管庫10内の保管場所に保管されている物品の総重量を検出する。重量センサ12は、例えば、圧力センサ、歪みセンサなどを含んで構成される。
収音部13は、到来する音を収音し、収音した音を電気信号である音声信号に変換する。収音部13は、例えば、マイクロホンである。収音部13は、変換した音声信号を食品管理装置10Aに出力する。再生部17は、食品管理装置10Aから入力される音声信号を音に変換し、変換した音を再生する。再生部17は、例えば、スピーカである。
リファレンスデータベースサーバ20は、予めリファレンスデータ(参照データ)を記憶する記憶部(図示せず)を備えるサーバ装置である。リファレンスデータは、食品名毎に標準重量などの属性を示すデータである。食品管理装置10Aからリファレンスデータ要求を受信するとき、リファレンスデータベースサーバ20は、記憶部からリファレンスデータを読み出し、読み出したリファレンスデータを食品管理装置10Aに送信する。リファレンスデータの例については、後述する。
食品管理データベースサーバ30は、食品管理装置10A毎の食品管理データを管理するサーバ装置である。食品管理データは、保管されている食品の食品名毎に重量と保管状態を示すデータである。食品管理データベースサーバ30は、食品管理装置10Aから更新された食品管理データと食品管理装置10Aを示す機器IDを受信し、その機器IDと対応付けて記憶された既存の食品管理データを新たに受信した食品管理データに置き換える。また、端末装置40から特定の食品の在庫を示すデータ要求信号と機器IDを受信するとき、食品管理データベースサーバ30は、受信した機器IDに対応づけて記憶した食品管理データからデータ要求信号で指定される食品の保管量と保管場所を読み取り、読み取った保管量と保管場所を示す在庫データを生成してもよい。データ要求信号の送信元である端末装置40に生成した在庫データを送信する。食品管理データの例については、後述する。
端末装置40は、ユーザの操作入力を受け付けたことに応じて操作信号を生成する操作入力部、各種のデータで示される視覚情報を表示する表示部、他の機器との間で各種のデータを送受信できる通信部を備える電子機器である。端末装置40は、例えば、多機能携帯電話機(いわゆるスマートフォンを含む)、タブレット端末装置、などのいずれであってもよい。
端末装置40は、ユーザの操作入力に応じて各種のデータ要求信号を生成し、生成したデータ要求信号を食品管理装置10Aに送信する。端末装置40は、データ要求信号に対する応答として、データ要求信号で指示されるデータを食品管理装置10Aから受信し、受信したデータで示される情報を表示する。例えば、データ要求信号では、特定の食品の在庫などが指定される。端末装置40は、食品管理装置10Aに代え、食品管理装置10Aの機器IDとデータ要求信号を送信してもよい。その場合には、食品管理データベースサーバ30から、機器IDで指定される食品管理装置10Aに係るデータであって、データ要求信号で指示されるデータを受信する。なお、端末装置40は、データ要求信号を食品管理データベースサーバ30に送信してもよい。
端末装置40は、ユーザの操作入力に応じて各種のデータ要求信号を生成し、生成したデータ要求信号を食品管理装置10Aに送信する。端末装置40は、データ要求信号に対する応答として、データ要求信号で指示されるデータを食品管理装置10Aから受信し、受信したデータで示される情報を表示する。例えば、データ要求信号では、特定の食品の在庫などが指定される。端末装置40は、食品管理装置10Aに代え、食品管理装置10Aの機器IDとデータ要求信号を送信してもよい。その場合には、食品管理データベースサーバ30から、機器IDで指定される食品管理装置10Aに係るデータであって、データ要求信号で指示されるデータを受信する。なお、端末装置40は、データ要求信号を食品管理データベースサーバ30に送信してもよい。
(食品管理装置)
図2は、本実施形態に係る食品管理装置10Aの機能構成例を示すブロック図である。
食品管理装置10Aは、制御部14、メモリー15及び通信部16を含んで構成される。
制御部14は、保管庫10内に保管される物品の保管状態の管理に係る処理を行う。制御部14は、例えば、CPU(Central Processing Unit)等の制御デバイスを含んで構成される。制御部14は、メモリー15に予め記憶された制御プログラムを読み出し、読み出した制御プログラムに含まれる命令で指示される処理を実行し、次に説明する各部の機能を実現する。制御部14は、音声区間検出部141、音声認識部142、開閉検出部143、重量変化検出部144、保管状態判定部145及び通知制御部146を含んで構成される。
図2は、本実施形態に係る食品管理装置10Aの機能構成例を示すブロック図である。
食品管理装置10Aは、制御部14、メモリー15及び通信部16を含んで構成される。
制御部14は、保管庫10内に保管される物品の保管状態の管理に係る処理を行う。制御部14は、例えば、CPU(Central Processing Unit)等の制御デバイスを含んで構成される。制御部14は、メモリー15に予め記憶された制御プログラムを読み出し、読み出した制御プログラムに含まれる命令で指示される処理を実行し、次に説明する各部の機能を実現する。制御部14は、音声区間検出部141、音声認識部142、開閉検出部143、重量変化検出部144、保管状態判定部145及び通知制御部146を含んで構成される。
音声区間検出部141は、開閉検出部143からいずれかの扉の開放を示す開放通知信号が入力されるとき、収音部13から入力される音声信号について、所定時間(例えば、10ms〜50ms)毎に音声区間検出(VAD:Voice Activity Detection)処理を開始する。音声区間検出部141は、音声区間検出において、所定時間毎の区間が、入力される音声信号に音声成分が含まれる音声区間であるか、又は音声成分が含まれない非音声区間であるかを判定する。音声区間検出部141は、音声区間内の音声信号を音声認識部142に出力し、非音声区間内の音声信号を棄却する。音声区間検出部141は、開閉検出部143から扉の閉鎖を示す閉鎖通知信号が入力されるとき、音声区間検出処理を停止する。
音声認識部142は、音声区間検出部141から入力される音声信号について音声認識処理を行い、認識した発話を示す発話データを生成する。音声認識部142は、メモリー15に予め記憶された音声認識辞書151を参照して、その発話と対応する単語とその時点における時刻を認識時刻として特定する。認識対象の単語には、例えば、保管対象となりうる食品名、通知音声に対する応答(例えば、はい、いいえ)、音声コマンドなどがある。音声認識部142は、特定した単語が食品名であるとき、特定した食品名と認識時刻を示す音声認識情報を保管状態判定部145に出力する。音声認識部142は、音声認識処理を行う前に、ネットワークNWに接続された音声認識辞書サーバ装置(図示せず)から音声認識辞書151を受信し、受信した音声認識辞書151をメモリー15に記憶しておいてもよい。
なお、制御部14は、音声認識部142を備えずに、ネットワークNWに接続された音声認識サーバ(図示せず)の機能を利用してもよい。その場合、音声区間検出部141は、音声区間内の音声信号を音声認識サーバに送信する。音声認識サーバ装置は、予め音声認識辞書151が記憶され、音声認識部142と同様の処理を行う。ここで、音声認識サーバ装置は、音声認識辞書151を用いて、食品管理装置10Aから受信した音声信号について音声認識処理を行う。音声認識サーバは、処理結果となる特定した食品名と認識時刻を示す音声認識情報を食品管理装置10Aに送信する。そして、保管状態判定部145は、音声認識サーバから音声認識情報を受信する。
音声認識辞書サーバ装置や音声認識サーバは、リファレンスデータベースサーバ20又は食品管理データベースサーバ30と一体に構成されてもよいし、これらのサーバ装置とは別個独立のサーバ装置であってもよい。
なお、制御部14は、音声認識部142を備えずに、ネットワークNWに接続された音声認識サーバ(図示せず)の機能を利用してもよい。その場合、音声区間検出部141は、音声区間内の音声信号を音声認識サーバに送信する。音声認識サーバ装置は、予め音声認識辞書151が記憶され、音声認識部142と同様の処理を行う。ここで、音声認識サーバ装置は、音声認識辞書151を用いて、食品管理装置10Aから受信した音声信号について音声認識処理を行う。音声認識サーバは、処理結果となる特定した食品名と認識時刻を示す音声認識情報を食品管理装置10Aに送信する。そして、保管状態判定部145は、音声認識サーバから音声認識情報を受信する。
音声認識辞書サーバ装置や音声認識サーバは、リファレンスデータベースサーバ20又は食品管理データベースサーバ30と一体に構成されてもよいし、これらのサーバ装置とは別個独立のサーバ装置であってもよい。
開閉検出部143は、開閉センサから入力される開閉状態信号が示す各扉の開閉状態を検出する。開閉検出部143は、保管庫10の少なくともいずれか1つの扉の開放を検出するとき開放通知信号を音声区間検出部141と重量変化検出部144に出力する。開閉検出部143は、保管庫10の全ての扉の閉鎖を検出するとき閉鎖通知信号を音声区間検出部141と重量変化検出部144に出力する。
重量変化検出部144は、開閉検出部143からいずれかの扉の開放を示す開放通知信号が入力されるとき、重量センサ12−1〜12−nから入力される重量信号が示す重量の検出を開始する。重量変化検出部144は、重量の変化を検出するとき、その変化量、検出時刻及びその変化を検出した重量センサが設置された保管区画を示す重量変化検出情報を保管状態判定部145に出力する。重量変化検出部144は、開閉検出部143から扉の閉鎖を示す閉鎖通知信号が入力されるとき、重量の検出を停止する。
保管状態判定部145には、音声認識部142から音声認識情報が入力され、重量変化検出部144から重量変化検出情報が入力される。保管状態判定部145は、検出時刻が、音声認識情報が示す認識時刻から所定時間(例えば、2〜5秒)以内であって、重量変化量が正値である重量変化検出情報を照合する。保管状態判定部145は、音声認識情報と照合した重量変化検出情報を対応付けて入庫情報を生成する。ここで、保管状態判定部145は、認識した食品名を入庫された食品の食品名と判定し、重量変化量をその食品の重量として判定する。また、保管状態判定部145は、重量変化が検出された保管区画をその食品の保管場所として判定する。保管状態判定部145は、認識時刻、検出時刻、扉が閉鎖された閉鎖時刻のいずれを入庫時刻として採用してもよい。保管状態判定部145は、食品名に入庫時刻、重量及び保管場所を対応付けて入庫情報を生成する。保管状態判定部145は、取得した入庫情報をメモリー15に記録する。メモリー15には、入庫情報が入庫履歴として累積される。
保管状態判定部145は、メモリー15に記憶された食品管理データを生成した入庫情報に基づいて更新する。より具体的には、保管状態判定部145は、食品管理データが示す食品名、保管場所、数量、重量に対して、新たに記憶される入庫情報が示す食品の食品名及び保管場所についてその入庫情報が示す数量、重量をそれぞれ加算する。
また、重量変化検出部144から入力される重量変化検出情報が示す重量変化量が負値である場合がある。その場合、保管状態判定部145は、その重量変化が検出された区画において保管された食品のうち、その重量の減少量から所定の重量の範囲(例えば、10g〜20g)内である重量を有する食品を食品管理データから特定する。保管状態判定部145は、特定した食品の出庫を判定する。また、保管状態判定部145は、重量変化が検出された保管区画をその食品の保管場所として判定する。保管状態判定部145は、特定した食品の食品名、検出時刻、重量の減少量もしくはその物品の重量、保管場所及び保管状態情報を示す出庫情報を生成する。その保管状態情報は、保管状態として出庫を示す情報である。保管状態判定部145は、生成した出庫情報に基づいてメモリー15に記憶された食品管理データを更新する。より具体的には、保管状態判定部145は、食品管理データが示す食品名、保管場所、数量、重量から、出庫情報が示す食品の食品名及び保管場所について、その出庫情報が示す数量、重量をそれぞれ差し引く。ここで、保管状態判定部145は、入庫された食品毎に入庫情報と出庫情報を含む入出庫履歴を消費履歴としてメモリー15に累積し、その食品の食品名と対応付けて記憶してもよい。消費履歴として記憶される入庫情報と出庫情報には、食品名の情報が省略されてもよい。また、保管状態判定部145は、数量又は重量が0となった食品に関する情報を、食品管理データから消去してもよい。
通知制御部146は、ユーザに通知する通知情報の生成、出力を制御する。通知制御部146は、制御部14の動作状態に応じて各種の案内情報を示す音声信号を生成し、生成した音声信号を再生部17に出力する。案内情報の例については、後述する。
また、通知制御部146は、音声認識部142から入力される発話データで特定される食品の在庫情報として、その時点における保管量と保管場所をメモリー15に記憶された食品管理データから読み取ってもよい。通知制御部146は、読み取った保管量と保管場所を示す音声信号を再生部17に出力する。発話データが入力される期間は、例えば、所定の質問ボタンの押下に伴い操作入力部18から操作信号が入力されるとき、又はその入力開始から所定の期間(例えば、5〜10秒)内に限定されてもよい。在庫情報の通知対象となる食品名は、操作入力部18から入力される操作信号で指定されてもよい。
なお、通知制御部146は、端末装置40から通信部16を介してデータ要求信号を受信するとき、受信したデータ要求信号で指定される食品の保管量と保管場所をメモリー15に記憶された食品管理データから読み取ってもよい。通知制御部146は、読み取った保管量と保管場所を示す在庫データを生成し、生成した在庫データをデータ要求信号の送信元である端末装置40に通信部16を介して送信する。
また、通知制御部146は、音声認識部142から入力される発話データで特定される食品の在庫情報として、その時点における保管量と保管場所をメモリー15に記憶された食品管理データから読み取ってもよい。通知制御部146は、読み取った保管量と保管場所を示す音声信号を再生部17に出力する。発話データが入力される期間は、例えば、所定の質問ボタンの押下に伴い操作入力部18から操作信号が入力されるとき、又はその入力開始から所定の期間(例えば、5〜10秒)内に限定されてもよい。在庫情報の通知対象となる食品名は、操作入力部18から入力される操作信号で指定されてもよい。
なお、通知制御部146は、端末装置40から通信部16を介してデータ要求信号を受信するとき、受信したデータ要求信号で指定される食品の保管量と保管場所をメモリー15に記憶された食品管理データから読み取ってもよい。通知制御部146は、読み取った保管量と保管場所を示す在庫データを生成し、生成した在庫データをデータ要求信号の送信元である端末装置40に通信部16を介して送信する。
メモリー15は、制御部14が行う処理に用いられるデータ、制御部14が生成したデータを記憶する記憶媒体を含んで構成される。メモリー15を構成する記憶媒体は、RAM(Random Access Memory)などの揮発性の記憶媒体、HDD(Hard Disk Drive)、フラッシュメモリーなどの不揮発性の記憶媒体のいずれも含んで構成される。メモリー15に記憶されるデータには、音声認識辞書151が含まれる。メモリー15には、リファレンスデータを記憶させておく。そこで、制御部14は、リファレンスデータ要求をリファレンスデータベースサーバ20に通信部16を介して送信する。制御部14は、リファレンスデータ要求に対する応答として、リファレンスデータベースサーバ20から受信したリファレンスデータをメモリー15に記憶する。また、制御部14は、更新された食品管理データを、自装置の機器IDと対応付けて食品管理データベースサーバ30に送信してもよい。食品管理データの送信頻度は、そのデータが更新される都度であってもよいし、所定期間(例えば、30分〜2時間)間隔であってもよい。
通信部16は、ネットワークNWと有線又は無線で接続された各種の機器との間で、各種のデータを送受信する。通信部16は、制御部14から入力される送信データを接続された送信先の機器に送信し、送信元の機器から受信した受信データを制御部14に出力する。
操作入力部18は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を制御部14に出力する。操作入力部18は、例えば、ボタン、レバー、タッチセンサなどの部材を含んで構成される。
操作入力部18は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を制御部14に出力する。操作入力部18は、例えば、ボタン、レバー、タッチセンサなどの部材を含んで構成される。
(重量センサ)
次に、本実施形態に係る重量センサ12の例について説明する。
重量センサ12は、単一の重量検出素子を含んで構成されてもよいし、複数の重量検出素子を含んで構成されてもよい。図3は、トレイ上に保管される食品の重量を検出する重量センサ12の一構成例を示す。図3に示す例では、重量センサ12は、複数の重量検出素子121−1,1〜121−k,lを含み、食品がその上に配置されるトレイの2次元の収納領域内にそれらの重量検出素子が分布させてもよい。k、lは、それぞれ収納領域における水平方向、垂直方向の重量検出素子の数を示す。k、lは、それぞれ1より大きい重量検出素子の数、例えば、10〜30である。重量検出素子121−1,1〜121−k,lは、それぞれ検出した重量を示す重量信号を無線又は有線で制御部14に出力する。重量変化検出部144は、重量検出素子121−1,1〜121‐k,lからの重量信号が示す重量の総和をとり、得られた総和をトレイに保管された食品の重量として定める。重量変化検出部144は、新たに重量の増加を検出した重量検出素子121等の位置を保管場所として定めてもよい。
次に、本実施形態に係る重量センサ12の例について説明する。
重量センサ12は、単一の重量検出素子を含んで構成されてもよいし、複数の重量検出素子を含んで構成されてもよい。図3は、トレイ上に保管される食品の重量を検出する重量センサ12の一構成例を示す。図3に示す例では、重量センサ12は、複数の重量検出素子121−1,1〜121−k,lを含み、食品がその上に配置されるトレイの2次元の収納領域内にそれらの重量検出素子が分布させてもよい。k、lは、それぞれ収納領域における水平方向、垂直方向の重量検出素子の数を示す。k、lは、それぞれ1より大きい重量検出素子の数、例えば、10〜30である。重量検出素子121−1,1〜121−k,lは、それぞれ検出した重量を示す重量信号を無線又は有線で制御部14に出力する。重量変化検出部144は、重量検出素子121−1,1〜121‐k,lからの重量信号が示す重量の総和をとり、得られた総和をトレイに保管された食品の重量として定める。重量変化検出部144は、新たに重量の増加を検出した重量検出素子121等の位置を保管場所として定めてもよい。
図4は、引き出しに保管される食品の重量を検出する重量センサ12の一構成例を示す。図4に示す例では、重量センサ12は、2個の重量検出素子122−1、122−2を含んで構成される。重量検出素子122−1、122−2は、それぞれ引き出しを吊り下げる周縁部に設置されている。重量検出素子122−1、122−2は、周縁部から受けた荷重を示す重量信号を生成し、生成した重量信号をそれぞれ有線又は無線で制御部14に出力する。重量変化検出部144は、重量検出素子122−1、122‐2からの重量信号が示す重量の総和をとり、得られた総和を引き出しに保管された食品の重量として定める。
なお、図3、図4に示す例では、複数の重量センサ12が保管区画毎に設置される場合を例にしたが、設置される重量センサ12の数は、全ての保管区画又はその一部の複数の保管区画について1個であってもよい。その1個の重量センサ12は、例えば、それらの保管区画をその上方において支持する底面上に設置されればよい。重量変化検出部144は、重量センサがその時点で検出した重量から、空室時に検出した重量を差し引いて保管されている物品の総重量を算出することができる。それらの保管区画が複数の保管室で区分され、検出された重量が増加するとき、保管状態判定部145は、その時点において開放された扉に係る保管室を、入庫される物品の保管場所として判定してもよい。この構成によれば、重量の検出に係る重量センサ12の個数が増加せずに済む。
(収音部の配置例)
図5は、本実施形態に係る収音部13の配置例を示す図である。
図5(a)に示す例では、保管庫10は、5個の扉ud01、ud02、dw01、dw02、dw03を備える。図面に対して左右1対の扉ud01、ud02は、いわゆる観音開きの扉を構成している。扉ud01、ud02それぞれの左端、右端は、保管庫10の本体に蝶着され、扉ud01、ud02それぞれの右端、左端が垂直軸周りに回転可能に構成されている。扉ud01、ud02のそれぞれの保管庫10本体に向かい合う面の周縁部には、パッキンが装着される。他方、扉dw01、dw02、dw03は、それぞれ引き出しを構成している。扉dw01、dw02、dw03それぞれの保管庫10本体の向かい合う面の周縁部にはパッキンが装着される。パッキンにより、保管室を閉鎖する扉は保管庫10本体に密着するので保管室から内気が漏出しない。扉ud01、ud02、dw01がそれぞれ閉鎖されているか開放されているかに関わらず、扉ud01、ud02と扉dw01との間には、保管庫10本体の正面にはいかなる扉にも覆われずに露出している間隙がある。収音部13は、この間隙のうち、閉鎖されている状態において扉ud01、ud02の右端、左端から所定範囲内に設置される。この配置のもとでは、ユーザは、自身の頭部が扉ud01の右端又は扉ud02の左端に対面する位置において、扉ud01、ud02を操作する。そのため、収音部13は、扉ud01、ud02、dw01、dw02、dw03の開閉に関わらずユーザが発話した音声を明瞭に収音することができる。
図5は、本実施形態に係る収音部13の配置例を示す図である。
図5(a)に示す例では、保管庫10は、5個の扉ud01、ud02、dw01、dw02、dw03を備える。図面に対して左右1対の扉ud01、ud02は、いわゆる観音開きの扉を構成している。扉ud01、ud02それぞれの左端、右端は、保管庫10の本体に蝶着され、扉ud01、ud02それぞれの右端、左端が垂直軸周りに回転可能に構成されている。扉ud01、ud02のそれぞれの保管庫10本体に向かい合う面の周縁部には、パッキンが装着される。他方、扉dw01、dw02、dw03は、それぞれ引き出しを構成している。扉dw01、dw02、dw03それぞれの保管庫10本体の向かい合う面の周縁部にはパッキンが装着される。パッキンにより、保管室を閉鎖する扉は保管庫10本体に密着するので保管室から内気が漏出しない。扉ud01、ud02、dw01がそれぞれ閉鎖されているか開放されているかに関わらず、扉ud01、ud02と扉dw01との間には、保管庫10本体の正面にはいかなる扉にも覆われずに露出している間隙がある。収音部13は、この間隙のうち、閉鎖されている状態において扉ud01、ud02の右端、左端から所定範囲内に設置される。この配置のもとでは、ユーザは、自身の頭部が扉ud01の右端又は扉ud02の左端に対面する位置において、扉ud01、ud02を操作する。そのため、収音部13は、扉ud01、ud02、dw01、dw02、dw03の開閉に関わらずユーザが発話した音声を明瞭に収音することができる。
図5(b)に示す例では、保管庫10は、4個の扉ud03、dw01、dw02、dw03を備える。ud03は、いわゆる片開きの扉を構成している。扉ud03の左端は、保管庫10の本体に蝶着され、扉ud03の右端が垂直軸周りに回転可能に構成されている。扉ud03、dw01、dw02、dw03がそれぞれ閉鎖されているか開放されているかに関わらず、扉ud03と扉dw01との間には、保管庫10本体の正面にはいかなる扉にも覆われずに露出している間隙がある。収音部13は、この間隙のうち、扉ud03が閉鎖されている状態においてその右端から所定範囲内に設置される。ユーザは、頭部が扉ud03の右端に対面する位置において、扉ud03を操作する。この配置により、収音部13は、扉ud01、ud02、dw01、dw02、dw03の開閉に関わらず保管庫10のユーザの発話音声を明瞭に収音することができる。
保管庫10が備える保管室の個数は、図5(c)に示すように1個であってもよい。図5(c)に示す例では、保管庫10は、2個の扉sd01、sd02を備える。sd01、sd02は、いわゆる観音開きの扉をなす。扉sd01、sd02それぞれの左端、右端は、保管庫10の本体部に蝶着され、扉sd01、sd02それぞれの右端、左端が垂直軸周りに回転可能に構成されている。扉sd01、sd02がそれぞれ閉鎖されているか開放されているかに関わらず、扉sd01、sd02の下部において、保管庫10本体の正面のうち露出している部分がある。収音部13は、この部分のうち、閉鎖されている状態において扉sd01の右端又は扉sd02の左端から所定範囲内に設置される。ユーザは、頭部の中心部が扉ud03の右端に対面する位置において扉sd01、sd02を操作する。この配置により、収音部13は、扉sd01、sd02の開閉に関わらず保管庫10のユーザの発話音声を明瞭に収音することができる。
なお、収音部13は、再生部17から十分に離れた位置に設置されてもよい。また、収音部13には、正面に開口を有する遮音カバーで覆われてもよい。そのため、ユーザが発話した音声のレベルの低下を回避もしくは緩和するとともに、再生部17から収音部13に到来する音声のレベルを低減することができる。再生部17からの音声の回り込みによるハウリングや音声認識処理における誤認識を回避もしくは緩和することができる。
(音声認識辞書)
次に、本実施形態に係る音声認識辞書151の一例について説明する。
図6は、本実施形態に係る音声認識辞書151の一例を示す図である。
音声認識辞書151は、認識対象の単語として保管対象となりうる標準食品名と、その発話とを対応付けてなる認識情報を、標準食品名間で集積してなるデータである。図5に示す例では、第1列、第2列に、それぞれ発話、標準食品名が示されている。標準食品名とは、その食品の所定の標準とする名称である。1個の標準食品名に対応付けられる発音は、1個に限られず2個以上であってもよい。対応付けられる発話は、必ずしも標準食品名の発話に限られず、その通称、略称、幼児語などの変名が含まれてもよい。第2行に示す例では、標準食品名「りんご」について、3通りの発話「リンゴ」、「アップル」、「リンギョ」が対応付けられている。音声認識部142は、それら3通りの発話のいずれかを認識するとき、認識した発話に対応する標準食品名「りんご」を特定することができる。これにより、変名の発話が認識されたときでも、その変名に対応する標準食品名が特定される。なお、標準食品名は、その取引形態に応じた名称であってもよい。例えば、図6の第4行〜第6行では、「たまご」に関して「たまご」、「たまご(10個入りパック)」及び「たまご(6個入りパック)」にそれぞれ標準食品名が与えられている。また、取引単位や重量の大きさなどの種別を示す補足情報は、標準食品名に対応付けられていれば、その標準食品名とは別個の構成であってもよい。例えば、「たまご(10個入りパック)」について、標準食品名「たまご」と補足情報「10個入りパック」とは別個に設定されてもよい。
次に、本実施形態に係る音声認識辞書151の一例について説明する。
図6は、本実施形態に係る音声認識辞書151の一例を示す図である。
音声認識辞書151は、認識対象の単語として保管対象となりうる標準食品名と、その発話とを対応付けてなる認識情報を、標準食品名間で集積してなるデータである。図5に示す例では、第1列、第2列に、それぞれ発話、標準食品名が示されている。標準食品名とは、その食品の所定の標準とする名称である。1個の標準食品名に対応付けられる発音は、1個に限られず2個以上であってもよい。対応付けられる発話は、必ずしも標準食品名の発話に限られず、その通称、略称、幼児語などの変名が含まれてもよい。第2行に示す例では、標準食品名「りんご」について、3通りの発話「リンゴ」、「アップル」、「リンギョ」が対応付けられている。音声認識部142は、それら3通りの発話のいずれかを認識するとき、認識した発話に対応する標準食品名「りんご」を特定することができる。これにより、変名の発話が認識されたときでも、その変名に対応する標準食品名が特定される。なお、標準食品名は、その取引形態に応じた名称であってもよい。例えば、図6の第4行〜第6行では、「たまご」に関して「たまご」、「たまご(10個入りパック)」及び「たまご(6個入りパック)」にそれぞれ標準食品名が与えられている。また、取引単位や重量の大きさなどの種別を示す補足情報は、標準食品名に対応付けられていれば、その標準食品名とは別個の構成であってもよい。例えば、「たまご(10個入りパック)」について、標準食品名「たまご」と補足情報「10個入りパック」とは別個に設定されてもよい。
(リファレンスデータ)
次に、本実施形態に係るリファレンスデータの例について説明する。
図7は、本実施形態に係るリファレンスデータの一例を示す図である。
リファレンスデータは、個々の参照情報が集積してなるデータである。参照情報は、リファレンスID(RefID:Reference Identifier)、標準食品名、補足情報、標準重量、単位、分類、標準保管期間(標準賞味期間)を含み、これらが対応付けて構成される。例えば、図7の第3行には、リファレンスID「Ref002」、標準食品名「玉ねぎ」、補足情報「Mサイズ1個」、標準重量150g、単位「個」、分類「野菜」、標準保管期間「3週間」が対応付けられている。個々の参照情報は、標準食品名と補足情報の組毎に構成され、それぞれ別個の種類の食品として処理されてもよい。標準食品名、補足情報は、それぞれ内容物、種別を示す。なお、−印は、該当項目が設定されていないことを示す。
次に、本実施形態に係るリファレンスデータの例について説明する。
図7は、本実施形態に係るリファレンスデータの一例を示す図である。
リファレンスデータは、個々の参照情報が集積してなるデータである。参照情報は、リファレンスID(RefID:Reference Identifier)、標準食品名、補足情報、標準重量、単位、分類、標準保管期間(標準賞味期間)を含み、これらが対応付けて構成される。例えば、図7の第3行には、リファレンスID「Ref002」、標準食品名「玉ねぎ」、補足情報「Mサイズ1個」、標準重量150g、単位「個」、分類「野菜」、標準保管期間「3週間」が対応付けられている。個々の参照情報は、標準食品名と補足情報の組毎に構成され、それぞれ別個の種類の食品として処理されてもよい。標準食品名、補足情報は、それぞれ内容物、種別を示す。なお、−印は、該当項目が設定されていないことを示す。
リファレンスデータの用途の一つは、内容物の種別の特定である。ここで、認識された食品名について複数の種別があるとき、保管状態判定部145は、認識された食品名と同一の標準食品名と照合される重量の増加量に対して標準重量が最も近似する補足情報を内容物の種別として選択する。この重量の増加量は、入庫により重量変化検出部144において検出される重量の増加量である。例えば、標準食品名「玉ねぎ」が認識され、重量の増加量が220gであるとき、保管状態判定部145は、標準食品名「玉ねぎ」にそれぞれ対応する標準重量150g、200g、100gのうち、220gに最も近似する200gに対応する補足情報「Lサイズ1個」を特定する。
リファレンスデータの他の用途には、食品名の誤認識の検出がある。ここで、照合される重量の増加量が認識された食品名と同一の標準食品名に対応する標準重量から所定範囲外にあるとき、保管状態判定部145は、認識された食品名が誤認識されたと判定する。例えば、標準食品名「ピーマン」が認識され、標準重量の所定範囲が、最も小さい種別の標準重量の70%以上最も高い種別の標準重量の150%以内である場合を仮定する。重量の増加量が200gであるとき標準重量の所定範囲外であるため、保管状態判定部145は、標準食品名が誤認識されたと推定する。
誤認識されたと推定するとき、通知制御部146は食品名照会情報を示す音声信号を再生部17に出力してもよい。食品名照会情報には、誤認識が推定された標準食品名をユーザに照会し、再発話の指示を含むメッセージが含まれてもよい。食品名照会情報には、例えば、次の情報が含まれてもよい。 「入庫されたものはピーマンですね?違っていたら正しい食品名をおっしゃって下さい」 食品名照会情報の出力後、所定期間(例えば、3〜5秒)以内に音声認識部142から食品名を示す音声認識情報が入力されるとき、保管状態判定部145は、誤認識が推定された食品名を、新たに入力される食品名に置き換えてもよい。食品名照会情報の出力後、所定期間以内に音声認識部142から肯定応答が入力されるとき、保管状態判定部145は、誤認識が推定される食品名を正しく認識された食品名として確定してもよい。肯定応答は、例えば、食品名照会情報に対する肯定を示す応答、例えば、「はい」などの応答である。また、食品名照会情報の出力後、所定期間以内に音声認識部142から認識データが入力されないとき、保管状態判定部145は、入庫された食品の食品名を不明であると判定してもよい。以上の処理により、標準重量から著しく乖離した重量を有する食品の食品名の誤認識が克服される。なお、本実施形態では、※印が付されている項目、即ち、単位、分類及び標準保管期間は必要とされず、省略されてもよい。なお、リファレンスデータのその他の用途については、後述する。
(食品管理処理)
次に、本実施形態に係る食品管理処理の一例について説明する。
図8は、本実施形態に係る食品管理処理の一例を示すフローチャートである。
(ステップS101)開閉検出部143は、保管庫10の開閉センサから入力される開閉状態信号に基づいて扉が開放されたか否かを判定する。開放されたと判定されるとき(ステップS101 YES)、音声区間検出部141、音声認識部142、重量変化検出部144の動作を開始させ、ステップS102の処理に進む。閉鎖されていると判定されるとき(ステップS101 NO)、ステップS101の処理を繰り返す。
(ステップS102)音声認識部142は、音声区間検出部141から入力される音声区間内の音声信号について音声認識処理を行う。音声認識部142は、音声認識辞書151を参照して、音声認識処理結果として得られる発話に対応する標準食品名を認識する。また、重量変化検出部144は、重量センサ12から入力される重量信号が示す重量の変化を検出する。その後、ステップS103の処理に進む。
(ステップS103)開閉検出部143は、保管庫10の開閉センサから入力される開閉状態信号に基づいて開放された扉が閉鎖されたか否かを判定する。閉鎖されたと判定されるとき(ステップS103 YES)、ステップS104の処理に進む。閉鎖されていないと判定されるとき(ステップS103 NO)、ステップS102の処理に戻る。
次に、本実施形態に係る食品管理処理の一例について説明する。
図8は、本実施形態に係る食品管理処理の一例を示すフローチャートである。
(ステップS101)開閉検出部143は、保管庫10の開閉センサから入力される開閉状態信号に基づいて扉が開放されたか否かを判定する。開放されたと判定されるとき(ステップS101 YES)、音声区間検出部141、音声認識部142、重量変化検出部144の動作を開始させ、ステップS102の処理に進む。閉鎖されていると判定されるとき(ステップS101 NO)、ステップS101の処理を繰り返す。
(ステップS102)音声認識部142は、音声区間検出部141から入力される音声区間内の音声信号について音声認識処理を行う。音声認識部142は、音声認識辞書151を参照して、音声認識処理結果として得られる発話に対応する標準食品名を認識する。また、重量変化検出部144は、重量センサ12から入力される重量信号が示す重量の変化を検出する。その後、ステップS103の処理に進む。
(ステップS103)開閉検出部143は、保管庫10の開閉センサから入力される開閉状態信号に基づいて開放された扉が閉鎖されたか否かを判定する。閉鎖されたと判定されるとき(ステップS103 YES)、ステップS104の処理に進む。閉鎖されていないと判定されるとき(ステップS103 NO)、ステップS102の処理に戻る。
(ステップS104)音声区間検出部141、音声認識部142、重量変化検出部144は、それぞれの動作を終了する。その後、ステップS105の処理に進む。
(ステップS105)保管状態判定部145は、認識された標準食品名と重量変化の検出時刻が標準食品名の認識時刻から所定範囲内である重量変化とを照合し、照合された重量の増加量を入庫された食品の重量として判定し、その食品の種別を示す補足情報を判定する。また、保管状態判定部145は、重量の減少量から所定の範囲内の重量を有する食品を食品管理データが示す在庫食品から特定し、特定した食品を出庫された食品として判定し、出庫された食品を在庫食品から除外する。その後、ステップS106の処理に進む。
(ステップS106)保管状態判定部145は、標準食品名、補足情報、入庫時刻、重量及び保管場所を含みそれらの情報が対応付けられた入庫情報を生成し、生成した入庫情報を食品管理データに登録する。保管状態判定部145は、出庫時刻、重量、保管場所及び出庫を示す保管状態情報を対応付けて出庫情報を生成、その出庫に係る標準食品名及び補足情報と対応付けて食品管理データに登録する。その後、図8の処理を終了する。
(ステップS105)保管状態判定部145は、認識された標準食品名と重量変化の検出時刻が標準食品名の認識時刻から所定範囲内である重量変化とを照合し、照合された重量の増加量を入庫された食品の重量として判定し、その食品の種別を示す補足情報を判定する。また、保管状態判定部145は、重量の減少量から所定の範囲内の重量を有する食品を食品管理データが示す在庫食品から特定し、特定した食品を出庫された食品として判定し、出庫された食品を在庫食品から除外する。その後、ステップS106の処理に進む。
(ステップS106)保管状態判定部145は、標準食品名、補足情報、入庫時刻、重量及び保管場所を含みそれらの情報が対応付けられた入庫情報を生成し、生成した入庫情報を食品管理データに登録する。保管状態判定部145は、出庫時刻、重量、保管場所及び出庫を示す保管状態情報を対応付けて出庫情報を生成、その出庫に係る標準食品名及び補足情報と対応付けて食品管理データに登録する。その後、図8の処理を終了する。
なお、ステップS103の処理において、音声認識部142が終了指示を示す単語を認識するとき(ステップS103 YES)、ステップS104の処理に進んでもよい。終了指示は、音声認識処理の終了を指示するための音声コマンドである。終了指示を示す単語は、例えば、「終わり」、「やめ」、「ストップ」などである。また、ユーザの操作により操作入力部18から終了指示を示す操作信号が入力されるとき(ステップS103 YES)、ステップS104の処理に進んでもよい。
また、ステップS105の処理や、通知制御部146による各種発話の指示(食品名要求情報、出庫食品照会情報[後述]、再入庫照会情報[後述]、出庫食品照会情報[後述]、等)を含む音声信号の再生部17への出力は、扉の開放中に行われてもよい。その出力後、所定期間内において、音声認識部142は音声区間検出部141から入力される音声信号に対して音声認識処理を行い、その処理結果である発話内容、例えば、食品名を取得する。
また、ステップS105の処理や、通知制御部146による各種発話の指示(食品名要求情報、出庫食品照会情報[後述]、再入庫照会情報[後述]、出庫食品照会情報[後述]、等)を含む音声信号の再生部17への出力は、扉の開放中に行われてもよい。その出力後、所定期間内において、音声認識部142は音声区間検出部141から入力される音声信号に対して音声認識処理を行い、その処理結果である発話内容、例えば、食品名を取得する。
(食品名認識処理)
次に、本実施形態に係る食品名認識処理の一例について説明する。
図9は、本実施形態に係る食品名認識処理の一例を示すフローチャートである。
(ステップS111)音声区間検出部141は、収音部13から入力される音声信号について、所定時間毎に音声区間検出処理を行い、所定時間毎の区間が音声区間であるか否かを判定する。音声区間であると判定するとき(ステップS111 YES)、ステップS112の処理に進む。音声区間ではないと判定するとき(ステップS111 NO)、ステップS111の処理を繰り返す。
(ステップS112)音声区間検出部141は、音声区間であると判定された音声信号を切り出し、音声認識部142に出力する。その後、ステップS113の処理に進む。
(ステップS113)音声認識部142は、音声区間検出部141から入力される音声信号について音声認識処理を行う。その後、ステップS114の処理に進む。
(ステップS114)音声認識部142は、音声認識辞書151を参照して認識した発話に対応する標準食品名を判定する。その後、ステップS115の処理に進む。
(ステップS115)音声認識部142は、その時点の時刻を認識時刻として特定し、判定した標準食品名と認識時刻のセットを音声認識情報として保管状態判定部145に出力する。その後、ステップS111の処理に進む。
次に、本実施形態に係る食品名認識処理の一例について説明する。
図9は、本実施形態に係る食品名認識処理の一例を示すフローチャートである。
(ステップS111)音声区間検出部141は、収音部13から入力される音声信号について、所定時間毎に音声区間検出処理を行い、所定時間毎の区間が音声区間であるか否かを判定する。音声区間であると判定するとき(ステップS111 YES)、ステップS112の処理に進む。音声区間ではないと判定するとき(ステップS111 NO)、ステップS111の処理を繰り返す。
(ステップS112)音声区間検出部141は、音声区間であると判定された音声信号を切り出し、音声認識部142に出力する。その後、ステップS113の処理に進む。
(ステップS113)音声認識部142は、音声区間検出部141から入力される音声信号について音声認識処理を行う。その後、ステップS114の処理に進む。
(ステップS114)音声認識部142は、音声認識辞書151を参照して認識した発話に対応する標準食品名を判定する。その後、ステップS115の処理に進む。
(ステップS115)音声認識部142は、その時点の時刻を認識時刻として特定し、判定した標準食品名と認識時刻のセットを音声認識情報として保管状態判定部145に出力する。その後、ステップS111の処理に進む。
(重量変化検出処理)
次に、本実施形態に係る重量変化検出処理の一例について説明する。
図10は、本実施形態に係る重量変化検出処理の一例を示すフローチャートである。
(ステップS121)重量変化検出部144は、重量センサ12から入力される重量信号が示す重量について、有意な重量の変化が検出されたか否かを判定する。重量変化検出部144は、所定時間(例えば、50ms)毎も重量を検出し、直前に検出した重量からその時点に検出した重量への変化量が、所定の変化量の閾値(例えば、2g〜5g)を超える場合、重量の変化を検出したと判定し、それ以外の場合、重量の変化を検出していないと判定する。重量の変化が検出されるとき(ステップS121 YES)、ステップS122の処理に進む。重量の変化が検出されないとき(ステップS121 NO)、ステップS121の処理を繰り返す。
(ステップS122)重量変化検出部144は、重量の変化を検出した重量センサ12が設置される保管場所を特定し、その時点の時刻を検出時刻として特定する。重量変化検出部144は、重量の変化量、保管場所及び検出時刻のセットを示す重量変化検出情報を生成し、生成した重量変化検出情報を保管状態判定部145に出力する。その後、ステップS121の処理に進む。
次に、本実施形態に係る重量変化検出処理の一例について説明する。
図10は、本実施形態に係る重量変化検出処理の一例を示すフローチャートである。
(ステップS121)重量変化検出部144は、重量センサ12から入力される重量信号が示す重量について、有意な重量の変化が検出されたか否かを判定する。重量変化検出部144は、所定時間(例えば、50ms)毎も重量を検出し、直前に検出した重量からその時点に検出した重量への変化量が、所定の変化量の閾値(例えば、2g〜5g)を超える場合、重量の変化を検出したと判定し、それ以外の場合、重量の変化を検出していないと判定する。重量の変化が検出されるとき(ステップS121 YES)、ステップS122の処理に進む。重量の変化が検出されないとき(ステップS121 NO)、ステップS121の処理を繰り返す。
(ステップS122)重量変化検出部144は、重量の変化を検出した重量センサ12が設置される保管場所を特定し、その時点の時刻を検出時刻として特定する。重量変化検出部144は、重量の変化量、保管場所及び検出時刻のセットを示す重量変化検出情報を生成し、生成した重量変化検出情報を保管状態判定部145に出力する。その後、ステップS121の処理に進む。
(入庫情報処理)
次に、本実施形態に係る入庫情報処理の一例について説明する。入庫情報処理は、保管庫に食品が入庫されるときに行われる重量変化検出処理の一態様である。
図11は、本実施形態に係る重量変化の一検出例を説明するための説明図である。
図11に示す例では、保管庫10内の保管室が3枚のトレイtr01〜tr03で区分され、トレイtr01〜tr03には、それぞれ重量センサ12−1〜12−3が設置されている。図11(a)は、扉の開放当初においてtr03上に6本の「缶ビール」が保管されていることを示し、トレイtr01、tr02には食品が保管されていないことを示す。図11(b−1)は、扉が開放されているときにトレイtr01上に「りんご」が新たに入庫されたことを示す。このとき、重量変化検出部144は、重量センサ12−1が検出した重量の増加を検出し、その検出時刻、増加量、重量センサ12−1に対応する保管場所としてトレイtr01を示す重量変化検出情報を生成する。図11(b−2)は、生成された重量変化検出情報の一例を示す。図11(b−2)の第2行に示す例では、重量変化の識別番号(No.)「1」について、検出時刻「2016/9/7 12:34:48」、増加量(重量)「840g」、保管場所「トレイtr01」が対応付けられている。
次に、本実施形態に係る入庫情報処理の一例について説明する。入庫情報処理は、保管庫に食品が入庫されるときに行われる重量変化検出処理の一態様である。
図11は、本実施形態に係る重量変化の一検出例を説明するための説明図である。
図11に示す例では、保管庫10内の保管室が3枚のトレイtr01〜tr03で区分され、トレイtr01〜tr03には、それぞれ重量センサ12−1〜12−3が設置されている。図11(a)は、扉の開放当初においてtr03上に6本の「缶ビール」が保管されていることを示し、トレイtr01、tr02には食品が保管されていないことを示す。図11(b−1)は、扉が開放されているときにトレイtr01上に「りんご」が新たに入庫されたことを示す。このとき、重量変化検出部144は、重量センサ12−1が検出した重量の増加を検出し、その検出時刻、増加量、重量センサ12−1に対応する保管場所としてトレイtr01を示す重量変化検出情報を生成する。図11(b−2)は、生成された重量変化検出情報の一例を示す。図11(b−2)の第2行に示す例では、重量変化の識別番号(No.)「1」について、検出時刻「2016/9/7 12:34:48」、増加量(重量)「840g」、保管場所「トレイtr01」が対応付けられている。
図11(c−1)は、扉が開放されているときに、さらにトレイtr01上に「たまご」が、トレイtr03上に「牛乳」が入庫されたことを示す。図11(c−2)は、「たまご」と「牛乳」の入庫に起因して生成された重量変化検出情報の他の例を示す。図11(c−2)の第3行に示す例では、重量変化の識別番号「2」について、検出時刻「2016/9/7 12:35:10」、増加量「530g」及び保管場所「トレイtr01」が対応付けられている。
(保管状態判定処理)
次に、本実施形態に係る保管状態判定処理の一例について説明する。図12は、本実施形態に係る保管状態判定処理の一例を説明するための説明図である。
図12(a)は、音声認識部142から入力される音声認識情報の一例を示す。この音声認識情報は、図11に示す例においてユーザが食品を保管庫10に入庫しながら、それぞれの食品名「りんご」、「たまご」、「牛乳」を発声するときに得られる。
図12(a)の第2行に示す例では、音声認識情報の識別番号(No.)「1」に認識時刻「2016/9/7 12:34:48」と食品名「りんご」が対応付けられている。図12(b)に示す重量変化検出情報は、図11(c−2)に示す重量変化検出情報と同様である。図12(c)は、入庫情報の一例を示す。この入庫情報は、保管状態判定部145が、図12(a)に示す音声認識情報と図12(b)に示す重量変化検出情報に基づいて生成して得られる。
次に、本実施形態に係る保管状態判定処理の一例について説明する。図12は、本実施形態に係る保管状態判定処理の一例を説明するための説明図である。
図12(a)は、音声認識部142から入力される音声認識情報の一例を示す。この音声認識情報は、図11に示す例においてユーザが食品を保管庫10に入庫しながら、それぞれの食品名「りんご」、「たまご」、「牛乳」を発声するときに得られる。
図12(a)の第2行に示す例では、音声認識情報の識別番号(No.)「1」に認識時刻「2016/9/7 12:34:48」と食品名「りんご」が対応付けられている。図12(b)に示す重量変化検出情報は、図11(c−2)に示す重量変化検出情報と同様である。図12(c)は、入庫情報の一例を示す。この入庫情報は、保管状態判定部145が、図12(a)に示す音声認識情報と図12(b)に示す重量変化検出情報に基づいて生成して得られる。
ここで、保管状態判定部145は、音声認識情報と重量変化検出情報を照合する際、音声認識情報に含まれる認識時刻から所定時間内である検出時刻を含む重量変化検出情報を特定する。例えば、保管状態判定部145は、図12(a)の第2行に示す認識時刻「2016/9/7 12:34:48」と同じ時刻である検出時刻「2016/9/7 12:34:48」を含む重量変化検出情報を特定する(図12(b)第2行)。ここで、保管状態判定部145は、個々の入庫情報を示す入庫識別番号を発行する。保管状態判定部145は、発行した入庫識別番号(No.)、入庫時刻、重量変化検出情報に含まれる重量増加量(重量)、保管場所及び音声認識情報に含まれる食品名を含み、それぞれ対応付けてなる入庫情報を生成する。保管状態判定部145は、認識時刻とこれに対応する検出時刻のいずれかを入庫時刻として定めてもよい。図12(c)の第2行に示す例では、入庫識別番号「1」、入庫時刻「2016/9/7 12:34:48」、保管場所「トレイtr01」及び食品名「りんご」を含み、それらが互いに対応付けられている。
なお、扉の開放から閉鎖までの開放期間内に取得された音声認識情報に含まれる食品名の個数と検出された重量の増加回数とが異なる場合がある。その場合には、保管状態判定部145は、認識時刻と検出時刻の差の食品名間もしくは重量の増加間の総和が最も小さくなるように認識時刻と検出時刻とを照合する。認識時刻に対応する食品名の個数の方が検出時刻に対応する重量の増加の回数よりも多いために重量の増加と対応付けられることができない食品名が存在する場合がありうる。その場合には、保管状態判定部145は、重量の増加と対応付けられない食品名を棄却する。これに対し、認識時刻に対応する食品名の個数の方が検出時刻に対応する重量の増加の回数よりも少ないために、食品名と対応付けられることができない重量の増加が存在する場合がありうる。その場合には、保管状態判定部145は、その重量の増加に対して食品名が不明であると推定する。
食品名が不明であると推定されるとき、通知制御部146は食品名要求情報を示す音声信号を再生部17に出力してもよい。食品名要求情報には、入庫した食品名の再発話の指示を含むメッセージが含まれる。食品名要求情報には、さらに入庫した食品の保管場所が含まれてもよい。食品名要求情報には、例えば、次の情報が含まれる。「トレイtr01に入庫された食品名は何ですか?」。食品名要求情報の出力後、所定期間(例えば、3〜5秒)以内に音声認識部142から食品名が入力されるとき、保管状態判定部145は、不明と推定した食品名を、入力された食品名に置き換え、置き換えた食品名を重量の増加と対応付けてもよい。また、食品名要求情報の出力後、所定期間以内に音声認識部142から食品名が入力されないとき、保管状態判定部145は、入庫された食品の食品名が不明であると確定してもよい。
(食品管理データ)
次に、食品管理データの例について説明する。図13は、本実施形態に係る食品管理データの一例を示す図である。
図13に示す例では、食品管理データは、食品管理番号(No.)、情報更新日時、食品名、補足情報、個数、単位、重量、保管場所、参照ID(Ref ID)、入庫時刻、最終出庫日及び賞味期限を要素として含み、これらが対応付けてなる。図13において、網掛けで示されている部分は、図12(c)に示す入庫情報に基づいて新たに追加された部分である。食品管理番号は、新たに入庫される食品毎の識別番号である。保管状態判定部145は、新たに入庫される食品の入庫情報が生成される毎に新たな食品管理番号を発行する。情報更新日時は、最後に更新された時刻を示す。情報の更新は、主に入庫される食品の一部もしくは全部の出庫(取り出し)及び再入庫に伴って生じる。最終出庫日は、入庫される食品の一部が最後に出庫される時刻が属する日の日付である。賞味期限は、入庫時刻が属する日から、その食品名に係る標準保管期間後となる保管期限の日付である。その食品名に複数通りの参照情報が対応付けられている場合には、保管状態判定部145は、リファレンスデータを参照して、入庫情報が示す食品名と重量に基づいて参照情報を定める。保管状態判定部145は、リファレンスデータから、その食品名又は食品名と補足情報の組に対応する参照ID、単位、標準保管期間を読み出す。そして、保管状態判定部145は、入庫情報に含まれる入庫時刻、重量、保管場所及び食品名の情報に、食品管理番号、情報更新日時、補足情報(特定された場合)、個数、単位、参照ID及び賞味期限の情報を付加して食品管理情報を生成してもよい。保管状態判定部145は、生成した食品管理情報を食品管理データに登録する。保管状態判定部145は、情報更新日時として、その時点の時刻を採用してもよい。保管状態判定部145は、個数として、補足情報で特定される1セットの食品に含まれる区分数を採用してもよい。例えば、参照ID(Ref011)の「たまご」の「Mサイズ・10個」について「10」が、この区分数として採用される。図13の第3〜5行に示す例では、入庫時刻として図12(c)に示す認識時刻又は検出時刻が採用されている。保管状態判定部145は、入庫時刻として、その食品の入庫直後に扉が閉鎖された時刻を採用してもよい。図13の第4行に示す「りんご」の個数を定める際、保管状態判定部145は、リファレンスデータを参照して食品名「りんご」に対応する1個当たりの標準重量「100g」を取得する。保管状態判定部145は、重量「280g」を標準重量「100g」で除算して得られる実数値2.8に最も近似する整数3を「りんご」の個数として定める。なお、図13の第2行に示す例では、補足情報、個数、単位、参照ID及び賞味期限が設定されていない。食品名が不明であるために、リファレンスデータから食品名に基づいて参照情報を取得できないためである。
次に、食品管理データの例について説明する。図13は、本実施形態に係る食品管理データの一例を示す図である。
図13に示す例では、食品管理データは、食品管理番号(No.)、情報更新日時、食品名、補足情報、個数、単位、重量、保管場所、参照ID(Ref ID)、入庫時刻、最終出庫日及び賞味期限を要素として含み、これらが対応付けてなる。図13において、網掛けで示されている部分は、図12(c)に示す入庫情報に基づいて新たに追加された部分である。食品管理番号は、新たに入庫される食品毎の識別番号である。保管状態判定部145は、新たに入庫される食品の入庫情報が生成される毎に新たな食品管理番号を発行する。情報更新日時は、最後に更新された時刻を示す。情報の更新は、主に入庫される食品の一部もしくは全部の出庫(取り出し)及び再入庫に伴って生じる。最終出庫日は、入庫される食品の一部が最後に出庫される時刻が属する日の日付である。賞味期限は、入庫時刻が属する日から、その食品名に係る標準保管期間後となる保管期限の日付である。その食品名に複数通りの参照情報が対応付けられている場合には、保管状態判定部145は、リファレンスデータを参照して、入庫情報が示す食品名と重量に基づいて参照情報を定める。保管状態判定部145は、リファレンスデータから、その食品名又は食品名と補足情報の組に対応する参照ID、単位、標準保管期間を読み出す。そして、保管状態判定部145は、入庫情報に含まれる入庫時刻、重量、保管場所及び食品名の情報に、食品管理番号、情報更新日時、補足情報(特定された場合)、個数、単位、参照ID及び賞味期限の情報を付加して食品管理情報を生成してもよい。保管状態判定部145は、生成した食品管理情報を食品管理データに登録する。保管状態判定部145は、情報更新日時として、その時点の時刻を採用してもよい。保管状態判定部145は、個数として、補足情報で特定される1セットの食品に含まれる区分数を採用してもよい。例えば、参照ID(Ref011)の「たまご」の「Mサイズ・10個」について「10」が、この区分数として採用される。図13の第3〜5行に示す例では、入庫時刻として図12(c)に示す認識時刻又は検出時刻が採用されている。保管状態判定部145は、入庫時刻として、その食品の入庫直後に扉が閉鎖された時刻を採用してもよい。図13の第4行に示す「りんご」の個数を定める際、保管状態判定部145は、リファレンスデータを参照して食品名「りんご」に対応する1個当たりの標準重量「100g」を取得する。保管状態判定部145は、重量「280g」を標準重量「100g」で除算して得られる実数値2.8に最も近似する整数3を「りんご」の個数として定める。なお、図13の第2行に示す例では、補足情報、個数、単位、参照ID及び賞味期限が設定されていない。食品名が不明であるために、リファレンスデータから食品名に基づいて参照情報を取得できないためである。
(出庫情報処理)
次に、本実施形態に係る出庫情報処理の一例について説明する。出庫情報処理は、保管庫に食品が出庫されるときに行われる重量変化検出処理の一態様である。
図14は、本実施形態に係る重量変化の他の検出例を説明するための説明図である。
図14(a)に示す例では、扉の開放当初においてトレイtr01に物品名が「不明」とされた1個の物品、3個の「りんご」及び10個の「たまご」が保管され、トレイtr03において6個の「缶ビール」及び1個の「牛乳」が保管されている。
図14(b)は、扉が開放されているときトレイtr03から「牛乳」が出庫される状況を示す。このとき、重量変化検出部144は、重量センサ12−3から入力される重量信号が示す重量の減少を検出し、保管場所、重量の減少量及び検出時刻を示す重量変化検出情報を生成し、保管状態判定部145に出力する。重量変化検出部144は、保管場所として重量センサ12−3に係る「トレイtr03」、検出時刻としてその時点の時刻を特定する。保管状態判定部145は、重量変化検出部144から入力される重量変化検出情報が示す重量の減少量「540g」から所定の重量の範囲内である重量「550g」を有する食品「牛乳」をメモリー15に記憶されている食品管理データから特定する。保管状態判定部145は、特定した食品について検出時刻、重量変化量、保管場所及び出庫を示す出庫情報を生成し、生成した出庫情報に基づいて食品管理データを更新する。ここで、保管状態判定部145は、食品管理データが示す牛乳の個数を1個減少させる。保管状態判定部145は、個数が0になったことに応じて、重量を0にリセットし、保管場所の情報を削除してもよい。重量のリセットにより、入出庫が繰り返されることで生じる重量の誤差の累積が解消される。図14(b)に示す出庫の例では、音声認識情報が用いられない。
次に、本実施形態に係る出庫情報処理の一例について説明する。出庫情報処理は、保管庫に食品が出庫されるときに行われる重量変化検出処理の一態様である。
図14は、本実施形態に係る重量変化の他の検出例を説明するための説明図である。
図14(a)に示す例では、扉の開放当初においてトレイtr01に物品名が「不明」とされた1個の物品、3個の「りんご」及び10個の「たまご」が保管され、トレイtr03において6個の「缶ビール」及び1個の「牛乳」が保管されている。
図14(b)は、扉が開放されているときトレイtr03から「牛乳」が出庫される状況を示す。このとき、重量変化検出部144は、重量センサ12−3から入力される重量信号が示す重量の減少を検出し、保管場所、重量の減少量及び検出時刻を示す重量変化検出情報を生成し、保管状態判定部145に出力する。重量変化検出部144は、保管場所として重量センサ12−3に係る「トレイtr03」、検出時刻としてその時点の時刻を特定する。保管状態判定部145は、重量変化検出部144から入力される重量変化検出情報が示す重量の減少量「540g」から所定の重量の範囲内である重量「550g」を有する食品「牛乳」をメモリー15に記憶されている食品管理データから特定する。保管状態判定部145は、特定した食品について検出時刻、重量変化量、保管場所及び出庫を示す出庫情報を生成し、生成した出庫情報に基づいて食品管理データを更新する。ここで、保管状態判定部145は、食品管理データが示す牛乳の個数を1個減少させる。保管状態判定部145は、個数が0になったことに応じて、重量を0にリセットし、保管場所の情報を削除してもよい。重量のリセットにより、入出庫が繰り返されることで生じる重量の誤差の累積が解消される。図14(b)に示す出庫の例では、音声認識情報が用いられない。
図14(c)に示す例では、牛乳がトレイtr03から出庫された後、牛乳がトレイtr02に入庫される。保管状態判定部145は、出庫の検出時刻から所定時間(例えば、3〜5分)以内に、重量変化検出部144から重量の増加を示す重量変化検出情報が入力され、かつ重量の増加量が、出庫における重量の減少量以下であるとき、出庫に係る物品が再入庫されたと推定してもよい。この推定において、保管状態判定部145は、音声認識部142から入力される認識データを参照しない。また、図14(b)に示す状態から図14(c)に示す状態に遷移する期間において、扉の開放が継続されてもよいし、一時的に扉が閉鎖されてもよい。再入庫されたと仮に判定されるとき、通知制御部146は再入庫照会情報を示す音声信号を再生部17に出力してもよい。再入庫照会情報には、入庫される食品がその時点までの所定時間以内に出庫された食品であるか否かの照会を含むメッセージが含まれてもよい。再入庫照会情報には、例えば、次の情報が含まれてもよい。 「入庫された牛乳は、さきほど取り出された牛乳ですか? 正しい場合には「はい」と、違う場合には食品名をお答え下さい」 再入庫照会情報の出力後、所定期間(例えば、3〜5秒)以内に音声認識部142から肯定応答が入力されるとき、保管状態判定部145は、保管状態を再入庫と確定し、その時点までの所定期間内に出庫された食品の食品名として、入庫された食品の食品名と同一の食品名を定めてもよい。そして、再入庫照会情報の出力後、所定期間以内に音声認識部142から食品名が入力されるとき、保管状態判定部145は、保管状態を通常の入庫と定め、入力される食品名を入庫された物品の物品名として定めてもよい。それ以外の場合、保管状態判定部145は、入庫された物品の物品名を不明であると判定してもよい。保管状態判定部145は、定めた物品について上述したように入庫情報を生成し、生成した入庫情報に基づいて食品管理データを更新する。また、保管状態判定部145は、食品管理データが示す食品名と対応付けて、生成した入庫情報をメモリー15に記憶する。
図15は、本実施形態に係る食品管理データの他の例を示す図である。図15は、トレイtr02に「牛乳」の再入庫により更新された状態を示す。図13に示す食品管理データとの主な差異点は、図15の第6行に示す再入庫に係る「牛乳」に関する情報である。食品管理番号「5」に、情報更新日時「2016/9/8 8:13」、食品名「牛乳」、補足情報「500ml」、個数「1」、「個」、重量「400g」、保管場所「トレイtr02」、参照ID「Ref017」、入庫時刻「2016/9/7 12:36」、最終出庫日「2016/9/8」及び賞味期限「2016/9/17」が対応付けられている。情報更新日時として再入庫に係る入庫時刻が採用されている。個数、重量、保管場所として、再入庫された物品の個数、重量、保管場所がそれぞれ採用されている。これに対し、最終出庫日として、最後の出庫時刻が属する日の日付が採用されている。また、食品名、補足情報、単位、参照ID、入庫時刻、賞味期限として、入庫の際に特定された食品名、補足情報、単位、参照ID、入庫時刻、賞味期限が採用されている。これらの情報は、入庫よりも後に行われた出庫、再入庫に関わらず変化しないためである。
図16は、本実施形態に係る消費履歴情報の一例を示す図である。図16に示す消費履歴情報は、図15に示す食品管理データが示す食品名「牛乳」に対応付けて記憶される。図16の各行には、履歴番号(履歴No.)と対応付けて「牛乳」の保管状態の変化に係るイベントの情報が記録されている。第2行には、入庫に係る入庫情報、第3行には、出庫(取り出し)に係る出庫情報、第4行には、再入庫に係る入庫情報を示す。第4行に示す消費量「140g」は、保管状態判定部145が、直前の出庫に係る重量の減少量である「540g」から再入庫に係る重量の増加量である「400g」を差し引いて得られる。
次に、本実施形態に係る出庫情報処理の他の例について説明する。図17は、本実施形態に係る重量変化のさらに他の検出例を説明するための説明図である。図17に示す例では、当初保管庫10内の各トレイにおいて保管されている食品とその個数は、図14(a)に示す例と同様である。トレイtr03には、1個の「牛乳」と1セットの「ビール」が既に入庫されている。1セットの「ビール」は、その区分(小分け)として6本の「ビール」からなる。1セットの「ビール」の入庫の際、入庫情報として重量「2,220g」、保管場所「トレイtr03」、換算量「6本」が記録される(図18第2行)。この換算量として1セット当たりの区分数を取得する際、保管状態判定部145は、1セットの「ビール」について検出された重量の増加量「2,200g」に基づいて、リファレンスデータを参照して「ビール」の1本当たりの重量「370g」を特定し、重量の増加量「2,200g」を特定した重量「370g」で除算する。
トレイtr03から1本の「ビール」が取り出されるとき、重量変化検出部144は、重量センサ12−3が検出した重量において「370g」の減少を検出する。保管状態判定部145は、トレイtr03に保管された1個の「牛乳」(400g)、1セットの「ビール」(2,200g)、1本の「ビール」(370g)のうち、重量の減少量「370g」からの所定の重量範囲内の重量を有する食品として1本の「ビール」を特定する。保管状態判定部145は、特定した食品「ビール」と重量の減少量に基づいて出庫情報を生成し、生成した出庫情報に基づいて食品管理データを更新する。出庫情報として、重量の減少量(重量)「−370g」、保管場所「トレイtr03」、保管状態「一部取り出し」、消費量「370g」、換算量「1本」が記録される(図18第3行)。保管状態判定部145は、保管状態「一部取り出し」を、重量の減少量「−370g」が当初の重量「2,220g」の一部であることをもって判定する。保管状態判定部145は、換算量「1本」を重量の減少量「−370g」が「ビール」1本当たりの重量「370g」に相当することをもって判定する。保管状態判定部145は、この出庫情報をもって食品管理データを更新する。そして、保管状態判定部145は、その時点における保管状態を示す在庫情報を生成する。在庫情報には、その時点の時刻、残量(重量・換算量)、保管場所及び保管状態情報が含まれる(図18第4行)。保管状態判定部145は、残量を算出する際、出庫前の重量「2,220g」からその減少量「370g」を差し引き、出庫前の換算量「6本」からその減少量「1本」を差し引く。時刻として、最後に出入庫された時刻(2016/9/8 19:30)が採用される。保管場所として、入庫時に定められた保管場所が採用される。また、保管状態情報として「残り」が設定される。この情報は、在庫情報に付加される。保管状態判定部145は、生成した在庫情報を消費履歴の末尾に付加する。なお、同一の食品について、さらに出庫、再入庫がなされる場合には、保管状態判定部145は、その都度、在庫情報を更新する。
なお、図17、図18に示す例では、上述した処理は、1セット「6本」のうち「1本」の出庫を例にするが、「2本」〜「5本」など区分単位の出庫に適用されてもよい。そのために、保管状態判定部145は、複数の区分からなるセットで入庫された食品が保管されている場合には、検出された重量の減少量と、1区分当たりの重量の整数倍との差が所定の重量の範囲内にあるか否かを判定する。所定の重量の範囲内にあると判定されるとき、保管状態判定部145は、その食品の出庫と、その倍数を出庫される区分の数として判定する。
検出される重量の減少量から所定範囲内となる食品の候補又はその区分の候補が複数通り発見される場合がある。その場合、通知制御部146は出庫食品照会情報を示す音声信号を再生部17に出力してもよい。出庫食品照会情報には、発見された食品又はその区分の候補のうち、出庫された食品又は区分の食品名の発話の指示を含むメッセージが含まれてもよい。出庫食品照会情報には、例えば、次の情報が含まれる。「トレイtr03から取り出されたのは、ビールと牛乳のどちらかおっしゃって下さい」出庫食品照会情報の出力後、所定期間(例えば、3〜5秒)以内に音声認識部142から食品名が入力されるとき、保管状態判定部145は、複数通りの候補のうち、入力された食品名に係る食品又はその区分の候補を特定する。また、食品名要求情報の出力後、所定期間以内に音声認識部142から食品名が入力されないとき、又は入力された食品名が複数通りの候補に係る食品名のいずれとも異なる場合には、出庫された食品の食品名が「不明」であると判定してもよい。その場合には、保管状態判定部145は、食品管理データにおいて複数通りの候補に係る食品名をいずれも「不明」と変更してもよい。
なお、「不明」と判定された食品名については、その後、ユーザが食品管理装置10Aにアクセスするとき、通知制御部146は、食品名要求情報を含む音声信号を再生部17に出力してもよい。アクセスするときとは、例えば、次に扉が開放されるとき、保管庫10に接近するとき、などである。食品名要求情報には、さらに保管場所の情報と重量の情報の一方又は両方が含まれてもよい。このとき、ユーザは、「不明」と判定された食品の存在に気づき、その食品名について発話することが促される。保管状態判定部145は、音声認識部142から入力された食品名を、その食品の食品名として定める。これにより、食品名が「不明」とされた食品の食品名が補われる。
なお、「不明」と判定された食品名については、その後、ユーザが食品管理装置10Aにアクセスするとき、通知制御部146は、食品名要求情報を含む音声信号を再生部17に出力してもよい。アクセスするときとは、例えば、次に扉が開放されるとき、保管庫10に接近するとき、などである。食品名要求情報には、さらに保管場所の情報と重量の情報の一方又は両方が含まれてもよい。このとき、ユーザは、「不明」と判定された食品の存在に気づき、その食品名について発話することが促される。保管状態判定部145は、音声認識部142から入力された食品名を、その食品の食品名として定める。これにより、食品名が「不明」とされた食品の食品名が補われる。
なお、制御部14は、さらにデータ管理部(図示せず)を備えてもよい。データ管理部は、更新された食品管理データを食品管理装置10A自体の機器IDと対応付けて食品管理データベースサーバ30に通信部16を介して送信する。食品管理データの送信は、その食品管理データが更新される都度行われてもよい。食品管理データベースサーバ30は、食品管理装置10Aから受信した機器IDと食品管理データを対応付けて記憶する。
データ管理部は、予め設定された端末IDで指定される端末装置40からデータ要求信号を受信するとき、その時点における食品管理データをメモリー15から読み出し、読み出した食品管理データを端末装置40に通信部16を介して送信してもよい。端末装置40は、食品管理装置10Aから受信した食品管理データを表示してもよい。
データ管理部は、予め設定された端末IDで指定される端末装置40からデータ要求信号を受信するとき、その時点における食品管理データをメモリー15から読み出し、読み出した食品管理データを端末装置40に通信部16を介して送信してもよい。端末装置40は、食品管理装置10Aから受信した食品管理データを表示してもよい。
以上に説明したように、本実施形態に係る食品管理装置10Aは、保管庫10内の食品の重量の変化を検出する重量変化検出部144と、取得した音声から食品名を認識する音声認識部142を備える。また、食品管理装置10Aは、食品名と重量の変化量を照合してその食品の保管状態の変動を判定する保管状態判定部145とを備える。
この構成により、重量の変化量に基づいて保管庫10における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫10における保管物の管理を効率的に行うことができる。
この構成により、重量の変化量に基づいて保管庫10における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫10における保管物の管理を効率的に行うことができる。
また、食品管理装置10Aにおいて、保管状態判定部145は、重量変化検出部144が検出した重量の増加量を保管庫10に入庫される入庫食品の重量として判定する。
この構成により、検出される重量の増加量に基づいて食品の入庫とその食品の重量が検知される。そのため、保管庫10への食品の入庫が効率的に検出される。
この構成により、検出される重量の増加量に基づいて食品の入庫とその食品の重量が検知される。そのため、保管庫10への食品の入庫が効率的に検出される。
また、食品管理装置10Aにおいて、保管状態判定部145は、重量変化検出部144が検出した重量の減少量に相当する重量を有する物品を保管庫10から出庫される出庫食品として判定する。
この構成により、検出される重量の減少に基づいて保管庫10からの食品の出庫とその食品の重量が検知される。そのため、保管庫10からの食品の出庫が効率的に検出される。
この構成により、検出される重量の減少に基づいて保管庫10からの食品の出庫とその食品の重量が検知される。そのため、保管庫10からの食品の出庫が効率的に検出される。
また、食品管理装置10Aにおいて、保管状態判定部145は、保管庫10からの出庫から所定時間以内に検出される重量が増加し、その重量の増加量が出庫食品の重量以下であるとき、その出庫食品の再入庫を推定する。
この構成により、保管庫10に保管される食品の入出庫又はその繰り返しが検出される。そのため、保管される食品の保管状態の変動が継続的に検出される。よって、出庫中になされる食品の使用状態もしくは消費状態が効率的に管理される。
この構成により、保管庫10に保管される食品の入出庫又はその繰り返しが検出される。そのため、保管される食品の保管状態の変動が継続的に検出される。よって、出庫中になされる食品の使用状態もしくは消費状態が効率的に管理される。
また、保管庫10は、複数の保管室を備え、食品管理装置10Aは、保管室毎の開閉状態を検出する開閉検出部143を備える。また、保管状態判定部145は、入庫食品の入庫時に開放されている保管室を入庫食品の保管場所として判定する。
この構成により、入庫食品の保管場所の取得のために複数の重量センサ12を必要としないため、部品点数が増加しない。そのため、経済的に食品の保管場所を管理することができる。また、ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
この構成により、入庫食品の保管場所の取得のために複数の重量センサ12を必要としないため、部品点数が増加しない。そのため、経済的に食品の保管場所を管理することができる。また、ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
また、保管庫10は、複数の保管区画を有し、食品管理装置10Aにおいて重量変化検出部144は、保管区画毎に保管される食品の重量を検出し、重量の増加が検出される保管区画を、入庫食品の保管場所として判定する。
この構成により、保管区画毎の食品の入庫が検知される。ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
この構成により、保管区画毎の食品の入庫が検知される。ユーザにおいて保管場所を指示するための特段の操作を要しないため、効率的に保管場所の管理がなされる。
また、食品管理装置10Aにおいて、保管状態判定部145は、食品毎の食品名と標準重量とを対応付けてなる参照データを用いて、認識された食品名に対応する標準重量を特定し、入庫食品の重量が標準重量から所定の範囲内にないとき、前記認識された食品名の照会情報を出力する通知制御部146を備える。
この構成により、入庫食品の重量が、認識された名称を有する食品の標準重量から乖離するときに、その名称の照会情報がユーザに提示される。入庫食品の重量が認識された名称を有する食品の重量として非現実的であるときに、ユーザに認識された名称に対して疑いがあることを気づかせることができる。そのため、入庫食品の名称が誤認識されるとき、その是正が図られる。
この構成により、入庫食品の重量が、認識された名称を有する食品の標準重量から乖離するときに、その名称の照会情報がユーザに提示される。入庫食品の重量が認識された名称を有する食品の重量として非現実的であるときに、ユーザに認識された名称に対して疑いがあることを気づかせることができる。そのため、入庫食品の名称が誤認識されるとき、その是正が図られる。
また、参照データにおいて、複数の種別を有する食品である多種別食品の標準重量は食品の種別毎に対応付けられる。保管状態判定部145は、入庫食品が多種別食品であるとき、参照データを用いて、入庫食品の重量に最も近似する標準重量に対応する食品の種別を特定する。
この構成により、ユーザが入庫食品の種別について発話しなくても、入庫食品の重量に基づいて、その種別が特定される。そのため、入庫食品の種類が効率的に管理される。
この構成により、ユーザが入庫食品の種別について発話しなくても、入庫食品の重量に基づいて、その種別が特定される。そのため、入庫食品の種類が効率的に管理される。
また、標準重量が1区分の食品の重量であるとき、保管状態判定部145は、検出された重量の変化量に基づいて、その区分を単位とした保管状態の変動を判定する。
この構成により、ユーザが入出庫される食品の区分を計数しなくても区分毎に入出庫されうる食品について、重量の変化量に基づいて区分を単位として保管状態が把握される。そのため、区分毎に利用可能な食品の保管状態が効率的に管理される。
この構成により、ユーザが入出庫される食品の区分を計数しなくても区分毎に入出庫されうる食品について、重量の変化量に基づいて区分を単位として保管状態が把握される。そのため、区分毎に利用可能な食品の保管状態が効率的に管理される。
また、保管庫10の正面のうち、保管庫10の扉の開放端から所定の範囲内であって、扉で覆われない位置において音声を取得する収音部13を備える。
この構成により、扉の開閉状態によらず、扉の開閉時にユーザの頭部に対面する方向に収音部13が露出される。収音部13にはユーザからの音声が扉で遮蔽されずに到来するので、入庫食品の名称をはじめユーザの発話の誤認識が回避される。
この構成により、扉の開閉状態によらず、扉の開閉時にユーザの頭部に対面する方向に収音部13が露出される。収音部13にはユーザからの音声が扉で遮蔽されずに到来するので、入庫食品の名称をはじめユーザの発話の誤認識が回避される。
また、食品管理装置10Aは、端末装置40から受信する要求信号で指定される物品又は音声で認識された物品の在庫情報を出力する通知制御部146を備える。
この構成により、端末装置40は食品管理装置10Aから物品管理データを取得することができる。そのため、保管庫10から離れた場所に所在するユーザは、その時点における保管庫10における物品の保管状態を把握することができる。
この構成により、端末装置40は食品管理装置10Aから物品管理データを取得することができる。そのため、保管庫10から離れた場所に所在するユーザは、その時点における保管庫10における物品の保管状態を把握することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
本実施形態に係る保管状態判定部145は、食品管理データを参照して、保管されている食品の保管状態として保管期間又は保管量を判定する。通知制御部は判定した保管状態に応じた案内情報の生成の要否を判定する。生成した案内情報によりユーザに保管された食品の在庫管理を促す。
次に、本発明の第2の実施形態について説明する。上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
本実施形態に係る保管状態判定部145は、食品管理データを参照して、保管されている食品の保管状態として保管期間又は保管量を判定する。通知制御部は判定した保管状態に応じた案内情報の生成の要否を判定する。生成した案内情報によりユーザに保管された食品の在庫管理を促す。
本実施形態に係る保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている食品毎の保管期間を判定する。保管状態判定部145は、入庫時刻からその時点までの期間を保管期間として定めることができる。また、保管状態判定部145は、リファレンスデータを参照して、その食品に対応する標準保管期間(標準賞味期間)を特定する。保管状態判定部145は、判定した保管期間がその食品の標準保管期間の所定比率(0より大きく1より小さい実数、例えば、0.5)を超えているか否かを判定する。通知制御部146は、保管期間が標準保管期間の所定比率を超えた食品を特定し、特定した食品の消費案内を示す消費案内情報を生成する。
消費案内情報には、その食品について保管期限までの消費を示すメッセージが含まれてもよい。消費案内情報には、例えば、次の情報が含まれる。 「牛乳をあと3日以内にお使い下さい。」 通知制御部146は、生成した消費案内情報を示す音声信号を再生部17に出力する。通知制御部が消費案内情報を示す音声信号を出力するタイミングは、例えば、保管期間が標準保管期間の所定比率を超えた時点から次にいずれかの扉が開放される時点であっても、その時点が属する日の所定の時刻であってもよい。扉の開放は、開閉検出部143からの開閉状態信号によって検出される。所定の時刻が属する時間帯は、保管庫の扉が他の時間帯よりも頻繁に開放される時間帯(例えば、夕食前の時間帯)であってもよい。このような時間帯であれば、該当する食品が消費される可能性が高いためである。また、通知制御部146は、再生部17に出力することに代え、消費案内情報を示すテキストデータを端末装置40に通信部16を介して送信してもよい。
なお、通知制御部146は、保管期間が標準保管期間の所定比率以下である食品については、消費案内情報を生成しない。
なお、通知制御部146は、保管期間が標準保管期間の所定比率以下である食品については、消費案内情報を生成しない。
次に、本実施形態に係る消費案内処理の一例について説明する。
図19は、本実施形態に係る消費案内処理の一例を示すフローチャートである。
(ステップS131)保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている食品毎の保管期間を判定する。その後、ステップS132の処理に進む。
(ステップS132)保管状態判定部145は、判定した保管期間がその食品の標準保管期間の所定比率を超えているか否かを判定する。通知制御部146は、保管期間が標準保管期間の所定比率を超えた食品を特定する。保管期間が標準保管期間を超えている食品があると判定するとき(ステップS132 YES)、ステップS133の処理に進む。超えていない食品がないと判定するとき(ステップS132 NO)、図19の処理を終了する。
(ステップS133)通知制御部146は、特定した食品の消費案内を示す消費案内情報を生成し、生成した消費案内情報を示す音声信号を再生部17に出力する。その後、図19に示す処理を終了する。
図19は、本実施形態に係る消費案内処理の一例を示すフローチャートである。
(ステップS131)保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている食品毎の保管期間を判定する。その後、ステップS132の処理に進む。
(ステップS132)保管状態判定部145は、判定した保管期間がその食品の標準保管期間の所定比率を超えているか否かを判定する。通知制御部146は、保管期間が標準保管期間の所定比率を超えた食品を特定する。保管期間が標準保管期間を超えている食品があると判定するとき(ステップS132 YES)、ステップS133の処理に進む。超えていない食品がないと判定するとき(ステップS132 NO)、図19の処理を終了する。
(ステップS133)通知制御部146は、特定した食品の消費案内を示す消費案内情報を生成し、生成した消費案内情報を示す音声信号を再生部17に出力する。その後、図19に示す処理を終了する。
また、保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている食品のうち、所定の常備食品毎の保管量を判定する。保管量は、個数で指定されてもよいし、重量で指定されてもよい。本実施形態では、リファレンスデータにおいて、常備食品について食品名に標準保管量を対応付けて設定しておく。保管状態判定部145は、リファレンスデータを参照して、保管庫10内で保管されている食品のうち、所定の常備食品毎の標準保管量を判定する。通知制御部146は、保管量が所定の標準保管量の所定比率(0より大きく1以下の実数、例えば、0.3)よりも少ないか否かを判定する。
通知制御部146は、保管量が標準保管量の所定比率よりも少ない常備食品を特定し、特定した常備食品の入庫案内を示す入庫案内情報を生成する。入庫案内情報には、例えば、次の情報が含まれる。 「たまごが少なくなっています。お買い求めください。」 通知制御部146は、生成した入庫案内情報を示す音声信号を再生部17に出力する。通知制御部が入庫案内情報を示す音声信号を出力するタイミングは、例えば、保管量が標準保管量の所定比率を下回った時点でもよいし、その時点が属する日の所定の時刻であってもよい。所定の時刻が属する時間帯は、ユーザが1日の活動を開始する時間帯(例えば、朝食の時間帯)であってもよい。また、通知制御部146は、再生部17に出力することに代え、入庫案内情報を示すテキストデータを端末装置40に通信部16を介して送信してもよい。端末装置40に入庫案内情報を送信する時刻が属する時間帯は、ユーザが買い物を行う時間帯(例えば、16〜18時)であってもよい。なお、通知制御部146は、保管量が標準保管量の所定量以上である常備食品については、入庫案内情報を生成しない。
通知制御部146は、保管量が標準保管量の所定比率よりも少ない常備食品を特定し、特定した常備食品の入庫案内を示す入庫案内情報を生成する。入庫案内情報には、例えば、次の情報が含まれる。 「たまごが少なくなっています。お買い求めください。」 通知制御部146は、生成した入庫案内情報を示す音声信号を再生部17に出力する。通知制御部が入庫案内情報を示す音声信号を出力するタイミングは、例えば、保管量が標準保管量の所定比率を下回った時点でもよいし、その時点が属する日の所定の時刻であってもよい。所定の時刻が属する時間帯は、ユーザが1日の活動を開始する時間帯(例えば、朝食の時間帯)であってもよい。また、通知制御部146は、再生部17に出力することに代え、入庫案内情報を示すテキストデータを端末装置40に通信部16を介して送信してもよい。端末装置40に入庫案内情報を送信する時刻が属する時間帯は、ユーザが買い物を行う時間帯(例えば、16〜18時)であってもよい。なお、通知制御部146は、保管量が標準保管量の所定量以上である常備食品については、入庫案内情報を生成しない。
次に、本実施形態に係る入庫案内処理の一例について説明する。
図20は、本実施形態に係る入庫案内処理の一例を示すフローチャートである。
(ステップS141)保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている常備食品毎の保管量を判定する。その後、ステップS142の処理に進む。
(ステップS142)保管状態判定部145は、判定した保管量がその常備食品の標準保管量の所定比率よりも少ないか否かを判定する。通知制御部146は、保管量が標準保管量の所定比率よりも少ない常備食品を特定する。保管量が標準保管量よりも少ない常備食品があると判定するとき(ステップS142 YES)、ステップS143の処理に進む。少ない常備食品がないと判定するとき(ステップS142 NO)、図20の処理を終了する。
(ステップS143)通知制御部146は、特定した常備食品の入庫案内を示す入庫案内情報を生成し、生成した入庫案内情報を示す音声信号を再生部17に出力する。その後、図20の処理を終了する。
図20は、本実施形態に係る入庫案内処理の一例を示すフローチャートである。
(ステップS141)保管状態判定部145は、食品管理データを参照して、保管庫10内で保管されている常備食品毎の保管量を判定する。その後、ステップS142の処理に進む。
(ステップS142)保管状態判定部145は、判定した保管量がその常備食品の標準保管量の所定比率よりも少ないか否かを判定する。通知制御部146は、保管量が標準保管量の所定比率よりも少ない常備食品を特定する。保管量が標準保管量よりも少ない常備食品があると判定するとき(ステップS142 YES)、ステップS143の処理に進む。少ない常備食品がないと判定するとき(ステップS142 NO)、図20の処理を終了する。
(ステップS143)通知制御部146は、特定した常備食品の入庫案内を示す入庫案内情報を生成し、生成した入庫案内情報を示す音声信号を再生部17に出力する。その後、図20の処理を終了する。
なお、ステップS141の処理において、保管状態判定部145は、入庫時刻からの期間が標準保管期間を超えた常備食品の保管量を保管庫10内で保管された常備食品の全保管量から除算して、保管期間が標準期間内の保管量を算出してもよい。その場合には、保管状態判定部145は、保管期間が標準保管期間内である常備食品の保管量が標準保管量の所定比率よりも少ないとき入庫案内情報を生成する。よって、保管期間が標準保管期間内となるように常備食品の保管が促される。
なお、通知制御部146は、生成した消費案内情報、入庫案内情報を端末装置40に通信部16を介して送信してもよい。消費案内情報、入庫案内情報は、必ずしも音声信号として表されなくてもよく、テキストデータ又は画像データとして表されてもよい。通知制御部146は、消費案内情報を出力するとき、さらに該当する食品の保管場所の情報を出力してもよい。また、消費案内情報、入庫案内情報を通知制御部146が出力する時刻は、端末装置40から受信した操作信号又は操作入力部18から入力される操作信号に基づいて設定可能であってもよい。また、消費案内情報の出力の要否判定に係る標準保管期間に対する所定比率、入庫案内情報の出力の要否判定に係る標準保管量に対する所定比率も操作信号に基づいて設定可能であってもよい。また、所定比率に代えて、保管期間の閾値、保管量の閾値が設定可能であってもよい。保管期間の閾値として、入庫時刻からの経過時間が用いられてもよい。その場合には、ステップS132の処理において、保管状態判定部145は、標準保管期間の所定比率に代えて設定された保管期間の閾値が用いる。ステップS142の処理において、保管状態判定部145は、標準保管量の所定比率に代えて設定された保管量の閾値が用いる。これらの設定情報は、全食品に対して一律であってもよいし、食品名毎に設定可能であってもよい。入庫案内情報の出力において、保管状態判定部145は、食品管理データを参照して取得される出庫頻度又は出庫量が少ない食品ほど優先してもよい。出庫量として、重量が用いられてもよいし、数量が用いられてもよい。保管状態判定部145が、ステップS131、S132の処理を行うタイミング、ステップS141、S142の処理を行う時刻は、一日内の所定の時刻であってもよい。これらの時刻は、端末装置40から受信した操作信号又は操作入力部18から入力される操作信号に基づいて設定可能であってもよい。
以上に説明したように、本実施形態に係る食品管理装置10Aの保管状態判定部145は、入庫期間が所定の入庫期間以上となる保管食品を特定する。また、食品管理装置10Aは、特定した保管食品に係る通知情報として消費案内情報を出力する通知制御部146を備える。
この構成により、入庫期間が長くなった保管食品に係る通知情報が提示される。そのため、ユーザは、その保管食品の使用又は消費が促される。
この構成により、入庫期間が長くなった保管食品に係る通知情報が提示される。そのため、ユーザは、その保管食品の使用又は消費が促される。
また、本実施形態に係る食品管理装置10Aの保管状態判定部145は、保管量が所定の保管量以下となる食品である常備食品を特定する。また、食品管理装置10Aは、常備食品に係る通知情報として入庫案内情報を出力する通知制御部146を備える。
この構成により、保管量が少なくなった常備食品に係る通知情報が提示される。そのため、ユーザは、その常備食品の補充が促される。
この構成により、保管量が少なくなった常備食品に係る通知情報が提示される。そのため、ユーザは、その常備食品の補充が促される。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
保管庫10の保管室は、複数の保管場所に区分されている。保管場所に応じて、温度や湿度が異なりうる。保管場所には、例えば、通常の冷蔵室、野菜室、チルド室などがある。しかしながら、ユーザは食品の分類に応じて必ずしも適切な保管場所を使い分けているとは限らない。
次に、本発明の第3の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
保管庫10の保管室は、複数の保管場所に区分されている。保管場所に応じて、温度や湿度が異なりうる。保管場所には、例えば、通常の冷蔵室、野菜室、チルド室などがある。しかしながら、ユーザは食品の分類に応じて必ずしも適切な保管場所を使い分けているとは限らない。
本実施形態に係る保管状態判定部145は、入庫される食品の保管場所に応じて、その食品に所定の保管場所を示す案内情報の生成の要否を判定する。生成した案内情報によりユーザに食品の保管場所の管理を促す。保管状態判定部145には、食品の分類ごとの所定の標準保管場所との対応関係を示す保管場所データを設定しておく。保管データには、例えば、飲料、乳製品、たまごに対して冷蔵室が、野菜、果物に対して野菜室が、肉類、魚介類に対してチルド室が対応付けられる。
保管状態判定部145は、上述した実施形態と同様に、音声認識情報と重量変化検出情報に基づいて入庫された食品の食品名と入庫された食品の保管場所を判定する。保管状態判定部145は、リファレンスデータを参照して、食品名に対応する食品の分類を読み取り、さらに保管場所データを参照して読み取った分類に対応する標準保管場所を取得する。保管状態判定部145は、判定した保管場所と標準保管場所とが異なるか否かを判定する。保管場所と標準保管場所とが異なると判定されるとき、通知制御部146は、その食品の標準保管場所を示す保管場所通知情報を生成し、生成した保管場所通知情報を示す音声信号を再生部17に出力する。保管場所通知情報には、例えば、次の情報が含まれてもよい。 「ピーマンは、なるべく野菜室において下さい。」
その後、保管状態判定部145は、重量変化検出部144から重量の減少を示す重量変化検出情報が入力されず、開閉検出部143から扉の閉鎖を示す閉鎖通知信号が入力されるとき、入庫された食品が出庫されずに標準保管場所とは異なる保管場所での保管が継続していると判定する。その場合には、保管状態判定部145は、入庫時刻が属する日付から短縮保管期間後の日付をその食品に対する保管期限(賞味期限)として定めてもよい。短縮保管期間は、リファレンスデータを参照して取得される標準保管期間よりも短縮された期間(例えば、標準保管期間の50%〜70%)である。保管状態判定部145は、定めた保管期限を、その食品の保管期限(賞味期限)としてその食品と対応付けて食品管理データに記録する。その後、保管状態判定部145は、その食品の標準保管場所に係る重量センサ12が検出した重量が所定の重量以下であるか否かを判定する。保管状態判定部145は、所定の重量以下であると判定したとき、標準保管場所に入庫された食品を保管できる空間が生じたと判定し、標準保管場所を示す保管場所通知情報を示す音声信号を再生部17に出力する。他方、保管状態判定部145は、所定の重量より多いと判定したとき、標準保管場所を示す保管場所通知情報を示す音声信号を再生部17に出力しない。このような場合には、標準保管場所において入庫された食品を保管可能とする空間がない又は不十分と推定されるためである。
次に、本実施形態に係る保管場所案内処理の一例について説明する。
図21は、本実施形態に係る保管場所案内処理の一例を示すフローチャートである。
(ステップS151)保管状態判定部145は、音声認識情報と重量変化検出情報に基づいて入庫された食品の食品名と入庫された食品の保管場所を判定する。その後、ステップS152に進む。
(ステップS152)保管状態判定部145は、リファレンスデータを参照して、食品名に対応する食品の分類を取得し、保管場所データを参照して取得した分類に対応する標準保管場所を取得する。その後、ステップS153の処理に進む。
(ステップS153)保管状態判定部145は、入庫された食品の保管場所が、取得した標準保管場所と異なるか否かを判定する。異なると判定されるとき(ステップS153 YES)、ステップS154の処理に進む。異なっていないとは判定されるとき(ステップS153 NO)、図21の処理を終了する。
図21は、本実施形態に係る保管場所案内処理の一例を示すフローチャートである。
(ステップS151)保管状態判定部145は、音声認識情報と重量変化検出情報に基づいて入庫された食品の食品名と入庫された食品の保管場所を判定する。その後、ステップS152に進む。
(ステップS152)保管状態判定部145は、リファレンスデータを参照して、食品名に対応する食品の分類を取得し、保管場所データを参照して取得した分類に対応する標準保管場所を取得する。その後、ステップS153の処理に進む。
(ステップS153)保管状態判定部145は、入庫された食品の保管場所が、取得した標準保管場所と異なるか否かを判定する。異なると判定されるとき(ステップS153 YES)、ステップS154の処理に進む。異なっていないとは判定されるとき(ステップS153 NO)、図21の処理を終了する。
(ステップS154)通知制御部146は、標準保管場所を示す保管場所通知情報を生成し、生成した保管場所通知情報を示す音声信号を再生部17に出力する。その後、ステップS155の処理に進む。
(ステップS155)通知制御部146は、入庫された食品が出庫されずに標準保管場所とは異なる保管場所での保管が継続しているか否かを判定する。継続していると判定するとき(ステップS155 YES)、ステップS156の処理に進む。継続していないと判定するとき(ステップS155 NO)、図21の処理を終了する。
(ステップS156)通知制御部146は、保管状態判定部145は、入庫時刻が属する日付から標準保管期間よりも短縮された短縮保管期間後の時点における日付をその食品に対する保管期限として定め、定めた保管期限を食品管理データに記録する。
(ステップS157)保管状態判定部145は、その食品の標準保管場所に係る重量センサ12が検出した重量が所定の重量を超えているか否かを判定する。超えていると判定するとき(ステップS157 YES)、ステップS158の処理に進む。超えていないと判定するとき(ステップS157 NO)、図21の処理を終了する。
(ステップS158)保管状態判定部145は、その食品の標準保管場所に係る重量センサ12が検出した重量が所定の重量以下に減少したか否かを判定する。所定の重量以下に減少したと判定するとき(ステップS158 YES)、ステップS154の処理に進む。所定の重量以下に減少していないと判定するとき(ステップS158 NO)、ステップS158の処理を繰り返す。
(ステップS155)通知制御部146は、入庫された食品が出庫されずに標準保管場所とは異なる保管場所での保管が継続しているか否かを判定する。継続していると判定するとき(ステップS155 YES)、ステップS156の処理に進む。継続していないと判定するとき(ステップS155 NO)、図21の処理を終了する。
(ステップS156)通知制御部146は、保管状態判定部145は、入庫時刻が属する日付から標準保管期間よりも短縮された短縮保管期間後の時点における日付をその食品に対する保管期限として定め、定めた保管期限を食品管理データに記録する。
(ステップS157)保管状態判定部145は、その食品の標準保管場所に係る重量センサ12が検出した重量が所定の重量を超えているか否かを判定する。超えていると判定するとき(ステップS157 YES)、ステップS158の処理に進む。超えていないと判定するとき(ステップS157 NO)、図21の処理を終了する。
(ステップS158)保管状態判定部145は、その食品の標準保管場所に係る重量センサ12が検出した重量が所定の重量以下に減少したか否かを判定する。所定の重量以下に減少したと判定するとき(ステップS158 YES)、ステップS154の処理に進む。所定の重量以下に減少していないと判定するとき(ステップS158 NO)、ステップS158の処理を繰り返す。
なお、ステップS156〜S158の処理が行われた後、再度ステップS155において、標準保管場所とは異なる保管場所に入庫された食品が標準保管場所に再入庫されたと判定される(ステップS155 NO)ことがある。その場合には、保管状態判定部145は、その食品の保管期限を入庫時刻から標準保管期間後の時点における日付に再設定し、再設定した保管期限(賞味期限)に更新してもよい。
また、リファレンスデータでは、所定の食品について保管場所毎に標準保管期間が設定されてもよい。例えば、分類が肉類である食品について、チルド室に対し3日間、通常の冷蔵室に対し2日間、野菜室に対し1日間、冷凍室に対し4週間と設定されてもよい。保管状態判定部145は、その食品が入庫されるとき、リファレンスデータを参照して保管場所に対応する標準保管期間を特定する。保管状態判定部145は、入庫時刻から特定した標準保管期間後の時点における日付を保管期限として設定する。従って、保管場所毎に標準保管期間が設定されている場合には、短縮した保管期限の設定(ステップS156)を行わなくてもよい。再入庫により保管場所が変更される場合には、保管状態判定部145は、入庫時刻と変更後の保管場所に対応する標準保管期間に基づいて保管期限を再設定してもよい。
なお、図21に示す処理では、標準保管場所として食品の分類に対応する保管場所を用いる場合を例にしたが、その食品について保管頻度が所定の保管頻度よりも高いユーザの保管場所、例えば、ユーザ間で保管頻度が最も高いユーザの保管場所を用いてもよい。以下、この保管場所を高頻度保管場所と呼ぶ。次に、本実施形態に係る高頻度保管場所決定処理について説明する。音声認識部142は、音声区間検出部141から入力された音声信号について話者認識処理を行い、その音声を発話するユーザを認識する。音声認識部142は、音声認識情報に認識したユーザの情報を付加して保管状態判定部145に出力する。保管状態判定部145は、音声認識情報と重量変化検出情報とを照合し、食品名、保管場所、重量及びユーザの情報を含む入庫情報を生成する。保管状態判定部145は、生成した入庫情報に基づいてメモリー15に記憶された食品管理データを更新する。保管状態判定部145は、食品管理データを参照して各食品名についてユーザと保管場所のセット毎に保管頻度(回数)を計数する。保管状態判定部145は、入庫された食品についてユーザ間で保管頻度が最も高いユーザの保管場所を高頻度保管場所として判定する。
図22は、本実施形態に係る高頻度保管場所判定処理の一例を示すフローチャートである。
(ステップS161)保管状態判定部145は、認識された食品名、検出された保管場所、重量及び認識されたユーザの情報を含む入庫情報に基づいて食品管理データを更新する。その後、ステップS162の処理に進む。
(ステップS162)保管状態判定部145は、食品管理データを参照して各食品名についてユーザと保管場所のセット毎に保管頻度を計数する。その後、ステップS163の処理に進む。
(ステップS163)保管状態判定部145は、入庫された食品について保管頻度が所定の保管頻度よりも高いユーザの保管場所を高頻度保管場所として判定する。その後、図22の処理を終了する。
(ステップS161)保管状態判定部145は、認識された食品名、検出された保管場所、重量及び認識されたユーザの情報を含む入庫情報に基づいて食品管理データを更新する。その後、ステップS162の処理に進む。
(ステップS162)保管状態判定部145は、食品管理データを参照して各食品名についてユーザと保管場所のセット毎に保管頻度を計数する。その後、ステップS163の処理に進む。
(ステップS163)保管状態判定部145は、入庫された食品について保管頻度が所定の保管頻度よりも高いユーザの保管場所を高頻度保管場所として判定する。その後、図22の処理を終了する。
以上に説明したように、本実施形態に係る食品管理装置10Aのメモリー15に記憶される参照データにおいて少なくとも一部の食品が標準保管場所に対応付けられる。また、食品管理装置10Aは、その食品が入庫された保管場所が標準保管場所と異なるとき標準保管場所を示す通知情報を出力する通知制御部146を備える。
この構成により、標準保管場所とは異なる保管場所に保管された食品について、標準保管場所を示す通知情報が提示される。そのため、ユーザは、その食品を標準保管場所に保管することが促される。
この構成により、標準保管場所とは異なる保管場所に保管された食品について、標準保管場所を示す通知情報が提示される。そのため、ユーザは、その食品を標準保管場所に保管することが促される。
また、本実施形態に係る食品管理装置10Aにおいて、音声認識部142は、取得された音声の話者を認識する。保管状態判定部145は、話者、入庫食品及び保管場所の履歴から、話者及び保管場所の組毎に前記入庫食品の入庫頻度を計数し、話者毎の入庫頻度が所定の入庫頻度よりも高い保管場所である高頻度保管場所を定める。また、通知制御部146は、入庫食品の保管場所が高頻度保管場所と異なるとき高頻度保管場所を示す通知情報を出力する。
この構成により、高頻度保管場所とは異なる保管場所に保管された食品について、高頻度保管場所を示す通知情報が提示される。これにより、他のユーザが頻繁に保管する高頻度保管場所が案内されるので、その場所への入庫食品の保管が促される。
この構成により、高頻度保管場所とは異なる保管場所に保管された食品について、高頻度保管場所を示す通知情報が提示される。これにより、他のユーザが頻繁に保管する高頻度保管場所が案内されるので、その場所への入庫食品の保管が促される。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
以下、図面を参照しながら本発明の第4の実施形態について説明する。
図23は、本実施形態に係る食品管理システム1の構成例を示す概念図である。
食品管理システム1は、保管庫10、リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40及び食品管理サーバ50を含んで構成される。保管庫10に備えられた食品管理装置10B、リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40及び食品管理サーバ50は、相互にネットワークNWで接続される。相互間において各種のデータが送受信可能である。
次に、本発明の第4の実施形態について説明する。特に断らない限り、上述の実施形態と同一の構成については、同一の符号を付してその説明を援用する。以下の説明では、上述の実施形態との差異点を主とする。
以下、図面を参照しながら本発明の第4の実施形態について説明する。
図23は、本実施形態に係る食品管理システム1の構成例を示す概念図である。
食品管理システム1は、保管庫10、リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40及び食品管理サーバ50を含んで構成される。保管庫10に備えられた食品管理装置10B、リファレンスデータベースサーバ20、食品管理データベースサーバ30、端末装置40及び食品管理サーバ50は、相互にネットワークNWで接続される。相互間において各種のデータが送受信可能である。
食品管理装置10Bは、制御部14、メモリー15及び通信部16を備える(図2)。制御部14において、音声区間検出部141、音声認識部142、開閉検出部143、重量変化検出部144、保管状態判定部145及び通知制御部146が省略されてもよい。また、メモリー15において、音声認識辞書151は記憶されていなくてもよい。制御部14は、開閉センサ11から入力される開閉状態信号、重量センサ12から入力される重量信号、収音部13から入力される音声信号及び操作入力部18から入力される操作信号を、それぞれ食品管理装置10Bの機器IDと対応付けて通信部16を介して食品管理サーバ50に送信する。また、制御部14は、食品管理サーバ50から受信した音声信号を再生部17に出力する。
食品管理サーバ50は、制御部54、メモリー55及び通信部56を含んで構成されるサーバ装置である。制御部54は、例えば、CPU等の制御デバイスを含んで構成される。制御部54は、メモリー55に予め記憶された制御プログラムを読み出し、読み出した制御プログラムに含まれる命令で指示される処理を実行し、以下に説明する各部の機能を実現する。制御部54には、食品管理装置10Bから通信部56を介して開閉状態信号、重量信号、音声信号及び操作信号を、食品管理装置10Bもしくは保管庫10の機器IDと対応付けて入力される。制御部54は、取得した音声信号を機器IDで指定される食品管理装置10Bに通信部56を介して送信する。制御部54は、音声区間検出部541、音声認識部542、重量変化検出部544、保管状態判定部545、及び通知制御部546を含んで構成される。音声区間検出部541、音声認識部542、開閉検出部543、重量変化検出部544、保管状態判定部545、及び通知制御部546の機能構成は、それぞれ音声区間検出部141、音声認識部142、開閉検出部143、重量変化検出部144、保管状態判定部145、及び通知制御部146と同様であるため、それらの説明を割愛する。
従って、本実施形態に係る食品管理サーバ50は、保管庫10内の食品の重量の変化を検出する重量変化検出部544と、取得した音声から食品名を認識する音声認識部542を備える。また、食品管理サーバ50は、食品名と重量の変化量を照合して食品の保管状態の変動を判定する保管状態判定部545とを備える。
この構成により、重量の変化量に基づいて保管庫10における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫10における保管物の管理を効率的に行うことができる。また、保管庫10毎に食品管理装置10Aに相当する構成を備えることを要しない。そのため、食品管理システム1全体として、経済的に保管物の管理を効率的に行うことができる。
この構成により、重量の変化量に基づいて保管庫10における食品の保管状態の変動が検知され、ユーザが発話した食品名と重量の変化が対応付けられる。ユーザにおいて保管状態の変動を指示するための特段の操作を要しないため、保管庫10における保管物の管理を効率的に行うことができる。また、保管庫10毎に食品管理装置10Aに相当する構成を備えることを要しない。そのため、食品管理システム1全体として、経済的に保管物の管理を効率的に行うことができる。
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、リファレンスデータベースサーバ20、食品管理データベースサーバ30の一方又は両者は省略されてもよい。また、食品管理装置10Aは、必ずしもネットワークNWと接続されなくてもよい。その場合、食品管理装置10Aの通信部16は省略されてもよい。
また、食品管理サーバ50は、リファレンスデータベースサーバ20と食品管理データベースサーバ30の一方又は両方と一体化されたサーバ装置として構成されてもよい。その場合には、一体化されたサーバ装置の構成要素間において、各種のデータの送受信は、ネットワークNWを介さずに行われてもよい。
また、食品管理サーバ50は、リファレンスデータベースサーバ20と食品管理データベースサーバ30の一方又は両方と一体化されたサーバ装置として構成されてもよい。その場合には、一体化されたサーバ装置の構成要素間において、各種のデータの送受信は、ネットワークNWを介さずに行われてもよい。
開閉センサ11、重量センサ12、収音部13、再生部17及び操作入力部18との間の各種のデータの送受信が無線でなされる場合には、食品管理装置10A、10Bは、保管庫10とは、必ずしも一体化されていなくてもよく、別体であってもよい。
食品管理装置10A、10Bは、開閉センサ11、重量センサ12、収音部13、再生部17ならびに操作入力部18のいずれか又は任意の組み合わせと一体化されてもよい。
食品管理装置10A、10Bは、開閉センサ11、重量センサ12、収音部13、再生部17ならびに操作入力部18のいずれか又は任意の組み合わせと一体化されてもよい。
また、上述した実施形態では通知制御部146、546が出力する各種の通知情報が音声信号である場合を例にしたが、通知情報はテキストや画像を示す通知データで示されてもよい。その場合には、再生部17に代えてその通知データに基づく通知情報を表す表示部(ディスプレイ)が用いられてもよい。
保管状態判定部145、545は、通知情報に対するユーザの応答情報を示す信号として、音声認識部142から入力される認識データの他、操作入力部18から入力される操作信号が用いられてもよい。
保管状態判定部145、545は、通知情報に対するユーザの応答情報を示す信号として、音声認識部142から入力される認識データの他、操作入力部18から入力される操作信号が用いられてもよい。
なお、上述した実施形態では、物品管理装置が、主に保管庫10内に保管される物品として食品を管理する食品管理装置10A及び食品管理サーバ50である場合を例にしたがこれには限られない。管理対象の物品は、食品には限られず、文房具、雑貨品、食器、その他の物品であってもよい。保管庫10は、電気冷蔵庫に限られず、机、棚、金庫などであってもよい。
また、本実施形態は、次に説明する態様で実施されてもよい。
(1)保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理装置。
(1)保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理装置。
(2)前記制御部は、前記重量検出部が検出した前記重量の増加量を、前記保管庫に入庫された入庫物品の重量として判定する(1)の物品管理装置。
(3)前記制御部は、前記重量検出部が検出した前記重量の減少量に相当する重量を有する物品を、前記保管庫から出庫された出庫物品として判定する(2)の物品管理装置。
(4)前記制御部は、前記保管庫からの出庫から所定時間以内に前記重量検出部が検出した前記重量の増加量が前記出庫物品の重量以下であるとき、前記出庫物品の再入庫を推定する(3)の物品管理装置。
(5)前記保管庫が備える複数の保管室毎の開閉状態を検出する開閉検出部をさらに備え、前記制御部は、前記入庫物品の入庫時に開放されていた保管室を、前記入庫物品の保管場所として判定する(2)から(4)のいずれかの物品管理装置。
(6)前記重量検出部は、前記保管庫が備える複数の保管区画毎に、保管される物品の重量を検出し、前記制御部は、前記重量の増加が検出された保管区画を、前記入庫物品の保管場所として判定する(2)から(4)のいずれかの物品管理装置。
(7)前記制御部は、前記音声の話者を認識し、話者及び保管場所の組毎に計数した前記入庫物品の入庫頻度に基づいて、前記入庫物品に対応する高頻度保管場所を定め、前記入庫物品の保管場所が前記高頻度保管場所と異なるとき、前記高頻度保管場所を示す通知情報を出力する(5)又は(6)の物品管理装置。
(8)前記制御部は、物品毎の物品名と標準重量とを対応付けてなる参照データを用いて、認識された物品名に対応する標準重量を特定し、前記入庫物品の重量が前記標準重量から所定の範囲内にないとき、前記認識された物品名の照会情報を出力する(2)から(7)のいずれかの物品管理装置。
(9)前記参照データにおいて、複数の種別を有する物品である多種別物品の標準重量は物品の種別毎に対応付けられ、前記制御部は、前記入庫物品が前記多種別物品であるとき、前記参照データを用いて、前記入庫物品の重量に最も近似する標準重量に対応する物品の種別を特定する(8)の物品管理装置。
(10)前記標準重量は1区分の物品の重量であり、前記制御部は、前記重量の変化量に基づいて、前記区分を単位とした前記物品の保管状態を判定する(9)の物品管理装置。
(11)前記参照データにおいて、少なくとも一部の物品が標準保管場所に対応付けられ、前記少なくとも一部の物品が入庫された保管場所が前記標準保管場所と異なるとき、前記標準保管場所を示す通知情報を出力する(8)から(10)のいずれかの物品管理装置。
(12)前記制御部は、入庫期間が所定の入庫期間以上となる保管物品を特定し、特定した保管物品に係る通知情報を出力する(1)から(11)のいずれかの物品管理装置。
(13)前記制御部は、保管量が所定の保管量以下となる物品である常備品を特定し、前記常備品に係る通知情報を出力する(1)から(12)のいずれかの物品管理装置。
(14)前記保管庫の正面のうち、前記保管庫の扉の開放端から所定の範囲内であって前記扉で覆われない位置に前記音声を取得する収音部を備える(1)から(13)のいずれかの物品管理装置。
(15)前記制御部は、端末装置から受信する要求信号で指定される物品又は前記音声から認識された物品の在庫情報を出力する(1)から(14)のいずれかの物品管理装置。
(16)保管庫と物品管理装置を備える物品管理システムであって、前記物品管理装置は、前記保管庫内の物品の重量を検出する重量検出部と、音声を取得する音声取得部と、制御部とを備え、前記制御部は、前記音声取得部が取得した前記音声から物品名を認識し、認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する物品管理システム。
(17)物品管理装置における方法であって、保管庫内の物品の重量を検出する重量検出ステップと、音声を取得する音声取得ステップと、取得された前記音声から物品名を認識する音声認識ステップと、認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定ステップと、を有する物品管理方法。
(18)物品管理装置のコンピュータに、保管庫内の物品の重量を検出する重量検出手順、音声を取得する音声取得手順と、取得された前記音声から物品名を認識する音声認識手順、認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定手順、を実行させるための物品管理プログラム。
なお、上述した実施形態における食品管理装置10A、食品管理サーバ50の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、食品管理装置10A又は食品管理サーバ50に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における食品管理装置10A、食品管理サーバ50の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。食品管理装置10A及び食品管理サーバ50の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態における食品管理装置10A、食品管理サーバ50の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。食品管理装置10A及び食品管理サーバ50の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1…食品管理システム、10…保管庫、10A、10B…食品管理装置、11…開閉センサ、12(12−1〜12−n、121−1,1〜121−m,l、122−1、122−2)…重量センサ、13…収音部、14…制御部、15…メモリー、16…通信部、17…再生部、18…操作入力部、20…リファレンスデータベースサーバ、30…食品管理データベースサーバ、40…端末装置、50…食品管理サーバ、54…制御部、55…メモリー、56…通信部、141…音声区間検出部、142…音声認識部、143…開閉検出部、144…重量変化検出部、145…保管状態判定部、146…通知制御部、151…音声認識辞書、541…音声区間検出部、542…音声認識部、543…開閉検出部、544…重量変化検出部、545…保管状態判定部、546…通知制御部、551…音声認識辞書、NW…ネットワーク
Claims (18)
- 保管庫内の物品の重量を検出する重量検出部と、
音声を取得する音声取得部と、
制御部とを備え、
前記制御部は、
前記音声取得部が取得した前記音声から物品名を認識し、
認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する
物品管理装置。 - 前記制御部は、
前記重量検出部が検出した前記重量の増加量を、前記保管庫に入庫された入庫物品の重量として判定する
請求項1に記載の物品管理装置。 - 前記制御部は、
前記重量検出部が検出した前記重量の減少量に相当する重量を有する物品を、前記保管庫から出庫された出庫物品として判定する
請求項2に記載の物品管理装置。 - 前記制御部は、
前記保管庫からの出庫から所定時間以内に前記重量検出部が検出した前記重量の増加量が前記出庫物品の重量以下であるとき、前記出庫物品の再入庫を推定する
請求項3に記載の物品管理装置。 - 前記保管庫が備える複数の保管室毎の開閉状態を検出する開閉検出部をさらに備え、
前記制御部は、
前記入庫物品の入庫時に開放されていた保管室を、前記入庫物品の保管場所として判定する
請求項2から請求項4のいずれか一項に記載の物品管理装置。 - 前記重量検出部は、前記保管庫が備える複数の保管区画毎に、保管される物品の重量を検出し、
前記制御部は、
前記重量の増加が検出された保管区画を、前記入庫物品の保管場所として判定する
請求項2から請求項4のいずれか一項に記載の物品管理装置。 - 前記制御部は、
前記音声の話者を認識し、
話者及び保管場所の組毎に計数した前記入庫物品の入庫頻度に基づいて、前記入庫物品に対応する高頻度保管場所を定め、
前記入庫物品の保管場所が前記高頻度保管場所と異なるとき、前記高頻度保管場所を示す通知情報を出力する
請求項5又は請求項6に記載の物品管理装置。 - 前記制御部は、
物品毎の物品名と標準重量とを対応付けてなる参照データを用いて、認識された物品名に対応する標準重量を特定し、
前記入庫物品の重量が前記標準重量から所定の範囲内にないとき、前記認識された物品名の照会情報を出力する
請求項2から請求項7のいずれか一項に記載の物品管理装置。 - 前記参照データにおいて、複数の種別を有する物品である多種別物品の標準重量は物品の種別毎に対応付けられ、
前記制御部は、
前記入庫物品が前記多種別物品であるとき、前記参照データを用いて、前記入庫物品の重量に最も近似する標準重量に対応する物品の種別を特定する
請求項8に記載の物品管理装置。 - 前記標準重量は1区分の物品の重量であり、
前記制御部は、
前記重量の変化量に基づいて、前記区分を単位とした前記物品の保管状態を判定する
請求項8又は請求項9に記載の物品管理装置。 - 前記参照データにおいて、少なくとも一部の物品が標準保管場所に対応付けられ、
前記少なくとも一部の物品が入庫された保管場所が前記標準保管場所と異なるとき、前記標準保管場所を示す通知情報を出力する
請求項8から請求項10のいずれか一項に記載の物品管理装置。 - 前記制御部は、
入庫期間が所定の入庫期間以上となる保管物品を特定し、
特定した保管物品に係る通知情報を出力する
請求項1から請求項11のいずれか一項に記載の物品管理装置。 - 前記制御部は、
保管量が所定の保管量以下となる物品である常備品を特定し、
前記常備品に係る通知情報を出力する
請求項1から請求項12のいずれか一項に記載の物品管理装置。 - 前記保管庫の正面のうち、前記保管庫の扉の開放端から所定の範囲内であって前記扉で覆われない位置に前記音声を取得する収音部を備える
請求項1から請求項13のいずれか一項に記載の物品管理装置。 - 前記制御部は、
端末装置から受信する要求信号で指定される物品又は前記音声から認識された物品の在庫情報を出力する
請求項1から請求項14のいずれか一項に記載の物品管理装置。 - 保管庫と物品管理装置を備える物品管理システムであって、
前記物品管理装置は、
前記保管庫内の物品の重量を検出する重量検出部と、
音声を取得する音声取得部と、
制御部とを備え、
前記制御部は、
前記音声取得部が取得した前記音声から物品名を認識し、
認識した前記物品名と、前記重量検出部が検出した前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する
物品管理システム。 - 物品管理装置における方法であって、
保管庫内の物品の重量を検出する重量検出ステップと、
音声を取得する音声取得ステップと、
取得された前記音声から物品名を認識する音声認識ステップと、
認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定ステップと、
を有する物品管理方法。 - 物品管理装置のコンピュータに、
保管庫内の物品の重量を検出する重量検出手順、
音声を取得する音声取得手順と、
取得された前記音声から物品名を認識する音声認識手順、
認識された前記物品名と、検出された前記重量の変化量を照合して、前記保管庫内の物品の保管状態を判定する保管状態判定手順、
を実行させるための物品管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016243462A JP2018095450A (ja) | 2016-12-15 | 2016-12-15 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016243462A JP2018095450A (ja) | 2016-12-15 | 2016-12-15 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018095450A true JP2018095450A (ja) | 2018-06-21 |
Family
ID=62634288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016243462A Pending JP2018095450A (ja) | 2016-12-15 | 2016-12-15 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018095450A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161736A (zh) * | 2018-11-08 | 2020-05-15 | 夏普株式会社 | 冰箱 |
WO2020213394A1 (ja) | 2019-04-15 | 2020-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及び食品保管装置 |
JP2020196602A (ja) * | 2019-06-05 | 2020-12-10 | 日本電気株式会社 | 荷物管理システム、荷物管理方法、プログラム |
JP2021015577A (ja) * | 2019-07-16 | 2021-02-12 | 小西医療器株式会社 | 物品管理システムおよび物品管理方法 |
WO2020251502A3 (en) * | 2019-06-12 | 2021-02-18 | Arcelik Anonim Sirketi | A cooling appliance having a container |
JP2021080095A (ja) * | 2019-11-22 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理プログラム、及び情報処理システム。 |
JP2021092969A (ja) * | 2019-12-10 | 2021-06-17 | 東芝ライフスタイル株式会社 | 食品管理システム |
CN113313446A (zh) * | 2021-05-26 | 2021-08-27 | 和美(深圳)信息技术股份有限公司 | 货柜管控方法、系统、控制设备及存储介质 |
JP2021128559A (ja) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | 情報処理システム |
JP2021128556A (ja) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | 食材管理システム |
WO2021210132A1 (ja) * | 2020-04-16 | 2021-10-21 | 三菱電機株式会社 | 冷蔵庫 |
JPWO2022009421A1 (ja) * | 2020-07-10 | 2022-01-13 | ||
CN114202283A (zh) * | 2021-12-10 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种设备的控制方法、装置、设备及存储介质 |
WO2022059346A1 (ja) * | 2020-09-18 | 2022-03-24 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫およびプログラム |
WO2022137997A1 (ja) * | 2020-12-24 | 2022-06-30 | パナソニックIpマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
CN114955361A (zh) * | 2021-02-19 | 2022-08-30 | 丰田自动车株式会社 | 货架库存管理系统、货架库存管理方法和计算机可读介质 |
US11493268B2 (en) | 2021-02-11 | 2022-11-08 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a weight-detecting drawer assembly |
JP2023509050A (ja) * | 2020-01-07 | 2023-03-06 | 青島海尓電冰箱有限公司 | 冷蔵庫及びその制御方法 |
-
2016
- 2016-12-15 JP JP2016243462A patent/JP2018095450A/ja active Pending
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020076884A (ja) * | 2018-11-08 | 2020-05-21 | シャープ株式会社 | 冷蔵庫 |
CN111161736A (zh) * | 2018-11-08 | 2020-05-15 | 夏普株式会社 | 冰箱 |
JP7202853B2 (ja) | 2018-11-08 | 2023-01-12 | シャープ株式会社 | 冷蔵庫 |
TWI840437B (zh) * | 2018-11-08 | 2024-05-01 | 日商夏普股份有限公司 | 冰箱 |
KR20210150375A (ko) | 2019-04-15 | 2021-12-10 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 식품 보관 장치 |
WO2020213394A1 (ja) | 2019-04-15 | 2020-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及び食品保管装置 |
JP2020196602A (ja) * | 2019-06-05 | 2020-12-10 | 日本電気株式会社 | 荷物管理システム、荷物管理方法、プログラム |
WO2020251502A3 (en) * | 2019-06-12 | 2021-02-18 | Arcelik Anonim Sirketi | A cooling appliance having a container |
JP2021015577A (ja) * | 2019-07-16 | 2021-02-12 | 小西医療器株式会社 | 物品管理システムおよび物品管理方法 |
JP7161453B2 (ja) | 2019-07-16 | 2022-10-26 | 小西医療器株式会社 | 物品管理システムおよび物品管理方法 |
JP2021080095A (ja) * | 2019-11-22 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理プログラム、及び情報処理システム。 |
JP2021092969A (ja) * | 2019-12-10 | 2021-06-17 | 東芝ライフスタイル株式会社 | 食品管理システム |
JP7421654B2 (ja) | 2020-01-07 | 2024-01-24 | 青島海尓電冰箱有限公司 | 冷蔵庫及びその制御方法 |
JP2023509050A (ja) * | 2020-01-07 | 2023-03-06 | 青島海尓電冰箱有限公司 | 冷蔵庫及びその制御方法 |
JP2021128559A (ja) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | 情報処理システム |
JP7433959B2 (ja) | 2020-02-13 | 2024-02-20 | 東芝ライフスタイル株式会社 | 情報処理システム |
JP7407010B2 (ja) | 2020-02-13 | 2023-12-28 | 東芝ライフスタイル株式会社 | 食材管理システム |
JP2021128556A (ja) * | 2020-02-13 | 2021-09-02 | 東芝ライフスタイル株式会社 | 食材管理システム |
WO2021210132A1 (ja) * | 2020-04-16 | 2021-10-21 | 三菱電機株式会社 | 冷蔵庫 |
JPWO2021210132A1 (ja) * | 2020-04-16 | 2021-10-21 | ||
WO2022009421A1 (ja) * | 2020-07-10 | 2022-01-13 | 三菱電機株式会社 | 冷蔵庫および冷蔵庫システム |
JPWO2022009421A1 (ja) * | 2020-07-10 | 2022-01-13 | ||
JP7391221B2 (ja) | 2020-07-10 | 2023-12-04 | 三菱電機株式会社 | 冷蔵庫および冷蔵庫システム |
WO2022059346A1 (ja) * | 2020-09-18 | 2022-03-24 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫およびプログラム |
JP7285240B2 (ja) | 2020-09-18 | 2023-06-01 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫およびプログラム |
JP2022051005A (ja) * | 2020-09-18 | 2022-03-31 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫およびプログラム |
JP2022100579A (ja) * | 2020-12-24 | 2022-07-06 | パナソニックIpマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
WO2022137997A1 (ja) * | 2020-12-24 | 2022-06-30 | パナソニックIpマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
US11493268B2 (en) | 2021-02-11 | 2022-11-08 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a weight-detecting drawer assembly |
CN114955361A (zh) * | 2021-02-19 | 2022-08-30 | 丰田自动车株式会社 | 货架库存管理系统、货架库存管理方法和计算机可读介质 |
CN113313446A (zh) * | 2021-05-26 | 2021-08-27 | 和美(深圳)信息技术股份有限公司 | 货柜管控方法、系统、控制设备及存储介质 |
CN114202283A (zh) * | 2021-12-10 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种设备的控制方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018095450A (ja) | 物品管理装置、物品管理システム、物品管理方法及びプログラム | |
US11678013B2 (en) | Methods and apparatus to determine a state of a media presentation device | |
JP6892426B2 (ja) | 学習装置、検出装置、学習方法、学習プログラム、検出方法、および検出プログラム | |
US10378936B2 (en) | Identification of failed sensors in a system of interconnected devices | |
US12017851B2 (en) | Storage cabinet | |
CN107657963A (zh) | 哭声辨识系统与哭声辨识方法 | |
US20180023236A1 (en) | Sensor data learning method and sensor data learning device | |
WO2020107928A1 (zh) | 商品检测方法和装置 | |
CN112171645A (zh) | 基于人工智能的送餐机器人及送餐系统 | |
WO2022237340A1 (zh) | 用于空调的控制方法及装置、空调 | |
KR20190093794A (ko) | 음성 인식을 이용한 주문 처리 시스템 및 그 주문 처리 방법 | |
WO2021057820A1 (zh) | 制冷电器和用于跟踪所储存物品的方法 | |
WO2020202862A1 (ja) | 応答生成装置及び応答生成方法 | |
JP2013142870A (ja) | 特定状況モデルデータベース作成装置とその方法と、特定要素音モデルデータベース作成装置と状況推定装置と発呼適否通知装置とプログラム | |
JP6392950B1 (ja) | 検出装置、検出方法、および検出プログラム | |
US20210334739A1 (en) | Storage and inventory monitoring systems, devices, and methods | |
US11133020B2 (en) | Assistive technology | |
US20220171837A1 (en) | Information processing apparatus, information processing method, and food preservation apparatus | |
US11074917B2 (en) | Speaker identification | |
KR20200060331A (ko) | 음성 인식을 이용한 주문 처리 시스템 및 그 주문 처리 방법 | |
JPWO2022012777A5 (ja) | ||
JP7371749B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
US10109298B2 (en) | Information processing apparatus, computer readable storage medium, and information processing method | |
JP2019008550A (ja) | 作業管理システム、作業管理方法及び作業管理プログラム | |
US12062359B2 (en) | Response generation device and response generation method |