JP7313156B2 - 冷蔵庫 - Google Patents

Description

この発明は、冷蔵庫に関するものである。

収納室（貯蔵室）の内部を撮像するカメラと、カメラにより撮像された庫内画像を表示するタッチパネルと、を備え、タッチパネルに表示された庫内画像の領域を指でなぞって領域を特定し、特定された領域の温度状態をサーモカメラにより確認する冷蔵庫が知られている（例えば、特許文献１参照）。

特開２０１４－２０９０４９号公報

しかしながら、特許文献１に示されるような冷蔵庫では、タッチパネルに表示された庫内画像の領域を指でなぞって温度を検出する領域を指定する必要がある。このため、タッチパネルを備える必要があり製造コストの増大を招く。また、温度が知りたい食品の領域を人が指でなぞって指定する必要があるが、多くの食品が収納された状態等では、温度が知りたい特定食品の領域のみを指でなぞって指定することは困難を極める。すなわち、温度を検出する対象の食品を正確に特定することが困難であり、食品の温度検出精度も低下してしまう。

この発明は、このような課題を解決するためになされたものである。その目的は、貯蔵室内における温度検出対象の食品を正確に特定することが可能であり、食品の温度検出精度の向上を図ることができる冷蔵庫を得ることにある。

この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室の内部を冷却する冷却手段と、前記貯蔵室内の可視画像を撮影する可視光カメラと、前記貯蔵室内の赤外線画像を撮影する赤外線カメラと、前記可視画像における前記食品の輪郭を検出する輪郭検出処理及び前記輪郭検出処理以前に撮影された前記赤外線画像における前記輪郭検出処理により検出された輪郭の内側の領域を特定する領域特定処理を実行する制御装置と、前記領域特定処理により特定された領域中の温度を前記食品の温度として前記赤外線画像から検出する温度検出部と、を備える。
あるいは、この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室の内部を冷却する冷却手段と、前記貯蔵室内の可視画像を撮影する可視光カメラと、前記貯蔵室内の赤外線画像を撮影する赤外線カメラと、前記可視画像における前記食品の輪郭を検出する輪郭検出部と、前記輪郭検出部による輪郭の検出以前に撮影された前記赤外線画像における、前記輪郭検出部により検出された輪郭の内側の領域を特定する領域特定部と、前記領域特定部により特定された領域中の温度を前記食品の温度として前記赤外線画像から検出する温度検出部と、前記食品の前記可視画像と前記温度検出部により検出された当該食品の温度とを対応させて表示する表示手段と、を備える。

この発明に係る冷蔵庫によれば、貯蔵室内における温度検出対象の食品を正確に特定することが可能であり、ひいては貯蔵室内の食品の温度検出精度の向上を図ることができるという効果を奏する。

この発明の実施の形態１に係る冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫の縦断面図である。 この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の斜視図である。 この発明の実施の形態１に係るカメラ移動装置の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係る冷蔵庫の制御系統の構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫の制御に係る機能的な構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫の食品識別用データの一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の撮影動作の一例を示すフロー図である。 この発明の実施の形態１に係る冷蔵庫の画像処理動作の一例を示すフロー図である。 この発明の実施の形態１に係る冷蔵庫の適温報知動作の一例を示すフロー図である。 この発明の実施の形態２に係る冷蔵庫の制御に係る機能的な構成を示すブロック図である。 この発明の実施の形態２に係る冷蔵庫の冷気風向制御動作の一例を示すフロー図である。

この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１から図１２は、この発明の実施の形態１に係るものである。図１は冷蔵庫の正面図である。図２は冷蔵庫の縦断面図である。図３は冷蔵庫のカメラ移動装置の斜視図である。図４はカメラ移動装置の要部を透視して示す拡大斜視図である。図５は冷蔵庫の制御系統の構成を示すブロック図である。図６は冷蔵庫の制御に係る機能的な構成を示すブロック図である。図７は冷蔵庫の食品識別用データの一例を示す図である。図８及び図９は冷蔵庫の表示画面の一例を示す図である。図１０は冷蔵庫の撮影動作の一例を示すフロー図である。図１１は冷蔵庫の画像処理動作の一例を示すフロー図である。そして、図１２は冷蔵庫の適温報知動作の一例を示すフロー図である。

なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷蔵庫を使用可能な状態に設置したときのものである。

この発明の実施の形態１に係る冷蔵庫１００は、例えば、冷蔵庫１００の使用者の家宅内に設置される。冷蔵庫１００の本体は、図２に示すように断熱箱体１を有している。断熱箱体１は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体１は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体１の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。

図１及び図２に示すように、ここでは、冷蔵庫１００の本体は、複数の貯蔵室として、例えば、冷蔵室１０、切替室２０、製氷室３０、冷凍室４０及び野菜室５０を備えている。これらの貯蔵室は、断熱箱体１において上下方向に４段構成となって配置されている。

冷蔵室１０は、断熱箱体１の最上段に配置されている。切替室２０は冷蔵室１０の下方における左右の一側に配置されている。切替室２０の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室２０の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば－１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば－７℃程度）等である。製氷室３０は、切替室２０の側方に隣接して切替室２０と並列に、すなわち、冷蔵室１０の下方における左右の他側に配置されている。

冷凍室４０は、切替室２０及び製氷室３０の下方に配置されている。冷凍室４０は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５０は、冷凍室４０の下方の最下段に配置されている。野菜室５０は、主に野菜や容量の大きな（例えば２Ｌ等）の大型ペットボトル等を収納するためのものである。

冷蔵室１０の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉７が設けられている。ここでは、冷蔵室扉７は両開き式（観音開き式）であり、右扉７ａ及び左扉７ｂにより構成されている。冷蔵室扉７は、貯蔵室である冷蔵室１０の一側を開閉する扉である。冷蔵庫１００の前面の冷蔵室扉７（例えば、右扉７ａ）の外側表面には、操作パネル６が設けられている。

冷蔵室１０以外の各貯蔵室（切替室２０、製氷室３０、冷凍室４０及び野菜室５０）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１００の奥行方向（前後方向）に開閉できるようになっている。

図１に示すように、冷蔵室１０は、前面側（同図に向かって左側）を冷蔵室扉７によって塞がれている。なお、図２に示す断面図は、図１中の断面Ａ－Ａ’によるものである。冷蔵室１０の内部には、１以上の冷蔵室棚板１１が設けられている。ここでは、冷蔵室棚板１１が複数設けられている場合を例に挙げている。冷蔵室１０の内部は、これらの冷蔵室棚板１１によって、上下方向に複数の空間（棚）に仕切られている。冷蔵室棚板１１の上には、食品が載置される。

それぞれの冷蔵室棚板１１は、棚板支持部１２によって、冷蔵室１０内の予め定められた位置で支持されている。棚板支持部１２は、冷蔵室１０の側壁内面から冷蔵室１０の内側に突出して形成されている。なお、１つの冷蔵室棚板１１の上下位置を変更できるように棚板支持部１２を構成してもよい。

最下段の冷蔵室棚板１１の下側の空間は、チルド室１４である。チルド室１４の内部には、チルドケース１５が設置されている。チルドケース１５は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室扉７の内側の面には、ドアポケット１３が設けられている。このドアポケット１３にも食品を載置、収納することができる。

冷蔵室扉７の内側の面には、カメラ９が設置されている。カメラ９は、冷蔵室扉７の側から貯蔵室（ここでは冷蔵室１０）の内部の画像を撮影し、貯蔵室画像として出力する。カメラ９は、可視光カメラ８１及び赤外線カメラ８２の２つが設けられている。可視光カメラ８１は、貯蔵室（冷蔵室１０）の内部の可視画像を撮影する。赤外線カメラ８２は、貯蔵室（冷蔵室１０）の内部の赤外線画像いわゆる熱画像を撮影する。以下においては、可視光カメラ８１及び赤外線カメラ８２を総称してカメラ９という。

この実施の形態に係る冷蔵庫１００は、カメラ移動装置９０を備えている。カメラ移動装置９０は、カメラ９を上下方向に移動させる装置である。カメラ移動装置９０は、例えば、冷蔵室扉７の内側の面に設けられている。カメラ移動装置９０は、カメラ９を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室１０内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット１３の直上の位置である。

次に、図３及び図４を参照しながら、カメラ移動装置９０の構成について説明する。カメラ移動装置９０は、ステッピングモータ９１、ウォームギヤ９２、ピニオン９３、ラック９４、ガイド部９５及びカメラ支持部９８を備えている。カメラ９は、カメラ支持部９８に固定されている。ガイド部９５は、冷蔵室扉７に固定されている。カメラ支持部９８は、ガイド部９５に対して移動可能である。ガイド部９５は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部９５は、前述した可動範囲にわたるカメラ９及びカメラ支持部９８の移動を案内する。

図４に示すように、カメラ支持部９８には、ステッピングモータ９１、ウォームギヤ９２及びピニオン９３が取り付けられている。ガイド部９５には、ラック９４が取り付けられている。ラック９４は、前述した可動範囲にわたって上下方向に沿って配置されている。

ステッピングモータ９１は、カメラ９の移動を駆動する。ステッピングモータ９１の駆動軸には、ウォームギヤ９２が固定されている。ピニオン９３は、大ギヤと小ギヤとが一体に構成されている。ピニオン９３の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン９３の大ギヤは、ウォームギヤ９２と噛み合っている。ピニオン９３の小ギヤは、ラック９４と噛み合っている。

ステッピングモータ９１によりウォームギヤ９２を回転させると、ピニオン９３が回転する。ラック９４と噛み合った状態のピニオン９３が回転することで、ピニオン９３の回転軸がラック９４に沿って直線状に移動する。ピニオン９３の回転軸は、カメラ支持部９８に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置９０は、ステッピングモータ９１の回転運動をガイド部９５に対するカメラ支持部９８の直線運転に変換し、冷蔵室扉７に対してカメラ９を上下方向に移動させる。

図２に示すように、冷蔵庫１００は、制御装置８を備えている。制御装置８は、例えば、冷蔵庫１００の背面側の上部に収容されている。制御装置８には、冷蔵庫１００の動作に必要な各種の制御を実施するための制御回路等が備えられている。

次に、図５を参照しながら、冷蔵庫１００の制御系統の構成を説明する。制御装置８は、例えばマイクロコンピュータを備えており、プロセッサ８ａ及びメモリ８ｂを備えている。制御装置８は、メモリ８ｂに記憶されたプログラムをプロセッサ８ａが実行することにより、予め設定された処理を実行し、冷蔵庫１００を制御する。

冷蔵庫１００は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機２と、いずれも図示しない凝縮器、絞り装置及び冷却器等とによって構成されている。圧縮機２は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機２から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機２は、例えば、冷蔵庫１００の背面側の下部に配置される。

冷蔵庫１００には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための図示しない風路が形成されている。この風路は、主に冷蔵庫１００内の背面側に配置されている。冷凍サイクル回路の冷却器は、この風路内に設置される。また、風路内には、冷却器で冷却された空気を各貯蔵室へ送るための送風ファン４も設置されている。

送風ファン４が動作すると、冷却器で冷却された空気（冷気）が風路を通って冷凍室４０、切替室２０、製氷室３０及び冷蔵室１０へと送られ、これらの貯蔵室内を冷却する。野菜室５０は、冷蔵室１０からの戻り冷気を冷蔵室用帰還風路を介して野菜室５０内に導入することで冷却される。野菜室５０を冷却した冷気は、野菜室用帰還風路を通って冷却器のある風路内へと戻される（これらの帰還風路は図示していない）。そして、冷却器によって再度冷却されて、冷蔵庫１００内を冷気が循環される。

風路からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機２の運転を制御することで調節することができる。

以上のようにして設けられた圧縮機２及び冷却器からなる冷凍サイクル回路、送風ファン４、風路及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。

操作パネル６は、操作部６ａ、表示部６ｂ及びスピーカ６ｃを備えている。操作部６ａは、各貯蔵室の保冷温度及び冷蔵庫１００の動作モード（解凍モード等）を設定するための操作スイッチである。表示部６ｂは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル６は、操作部６ａと表示部６ｂを兼ねるタッチパネルを備えていてもよい。スピーカ６ｃは、冷蔵庫１００の周囲、特に冷蔵室扉７の前に立つ使用者に対して、音声を鳴らすための音声出力装置である。

冷蔵庫１００は、サーミスタ６１及び扉開閉検知スイッチ６２を備えている。サーミスタ６１は、各貯蔵室内の温度を検出する。サーミスタ６１は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ６２は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ６２は、例えば、冷蔵室１０の冷蔵室扉７の開閉を検知する。扉開閉検知スイッチ６２は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ６２は、例えば、冷蔵室扉７に埋め込まれた磁石の近接を、冷蔵庫１００本体側に設置された一対のリードスイッチによって検出する。

制御装置８には、サーミスタ６１から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置８には、操作パネル６の操作部６ａからの操作信号も入力される。さらに、制御装置８には、扉開閉検知スイッチ６２からの検知信号も入力される。

制御装置８は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機２及び送風ファン４等の動作を制御する処理を実行する。すなわち、制御装置８は前述した冷却手段等を制御して、冷蔵庫１００の動作を制御する。また、制御装置８は、カメラ９の撮影動作及びカメラ移動装置９０によるカメラ９の移動についても制御する。可視光カメラ８１及び赤外線カメラ８２が撮影した画像データは、制御装置８に入力される。

次に、図５に加えて図６も参照して、以上のように構成された冷蔵庫１００の制御に係る機能的な構成について説明する。図６に示すように、冷蔵庫１００は、カメラ制御部１０１、扉開閉検出部１０２、輪郭検出部１０３、領域特定部１０４、食品温度検出部１０５、食品識別部１０６、食品適温設定部１０７、食品適温到達予測部１０８、報知制御部１０９及び可視画像補正部１１０を備えている。ここで説明する構成例においては、これらの各部の機能は、制御装置８のプロセッサ８ａが予め設定された処理を実行することで実現される。

カメラ制御部１０１は、カメラ９とカメラ移動装置９０の動作を制御する。カメラ制御部１０１は、例えば、冷蔵室扉７が開閉された時にカメラ９に冷蔵室１０内を撮影させる。冷蔵室扉７が開閉されると、冷蔵室１０内の食品が出し入れされ、冷蔵室１０内の収納状態が変化する可能性があるためである。

ここで説明する構成例では、可視光カメラ８１及び赤外線カメラ８２は１つの台座に固定されている。このため、可視光カメラ８１及び赤外線カメラ８２は一体となって同時に移動される。一方、可視光カメラ８１及び赤外線カメラ８２の撮影動作は、それぞれが互いに独立して行えるようになっている。

なお、可視光カメラ８１及び赤外線カメラ８２の一方のみをカメラ移動装置９０により移動できるようにして、他方のカメラは冷蔵室１０内に固定されていてもよい。すなわち、カメラ移動装置９０は、可視光カメラ８１及び赤外線カメラ８２の一方又は両方を移動させるものである。

扉開閉検出部１０２は、扉開閉検知スイッチ６２から出力された信号に基づいて、冷蔵室扉７の開閉を検出する。扉開閉検出部１０２は、閉じていた冷蔵室扉７が開かれたこと、及び、開いていた冷蔵室扉７が閉じられたことを検出可能である。このようにして、扉開閉検知スイッチ６２及び扉開閉検出部１０２は、冷蔵室扉７の開閉を検出する扉開閉検出手段を構成している。カメラ制御部１０１は、例えば、開かれていた冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検知した後、冷蔵室１０内が照明されている間にカメラ９に撮影を行わせる。

カメラ制御部１０１は、カメラ９による冷蔵室１０内の撮影を、カメラ移動装置９０によるカメラ９の移動と連係して行わせる。次に、カメラ９とカメラ移動装置９０とが連係した撮影動作について説明する。ここでいう「撮影動作」とは、開始位置から終了位置までカメラ９が予め設定された移動方向に沿って移動しながら冷蔵室１０内の画像を撮影する動作である。この撮影動作において、カメラ移動装置９０は、開始位置から終了位置までカメラ９を移動させる。開始位置は、例えば前述の可動範囲の一端である。終了位置は、例えば前述の可動範囲の他端である。

具体例を挙げると、開始位置を前述の可動範囲の上端とする。そして、終了位置を前述の可動範囲の下端とする。この例では、撮影動作において、カメラ移動装置９０は、カメラ９を前述の可動範囲の上端から下端までカメラ９を下方向に移動させる。そして、カメラ９は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置９０は、特定の位置でカメラ９を停止させ、この停止中にカメラ９が撮影を行うようにしてもよい。カメラ９が撮影を行う特定の位置は、１回の撮影動作により冷蔵室１０内の全体が撮影できるように設定される。このような特定の位置は、例えば隣合う冷蔵室棚板１１同士の間である。

なお、カメラ９の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部１０１は、カメラ移動装置９０によりカメラ９を前述の可動範囲の下端から上端までカメラ９を上方向に移動させながら、カメラ９による撮影を行ってもよい。この場合には、開始位置を前述の可動範囲の下端とし、終了位置を前述の可動範囲の上端とする。つまり、前述した移動方向とは、ここでは上下方向である。

カメラ９の移動量はステッピングモータ９１の回転量に比例する。そして、ステッピングモータ９１の回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部１０１は、カメラ移動装置９０のステッピングモータ９１のステップ数を用いてカメラ９の移動量を制御している。すなわち、カメラ制御部１０１は、カメラ９による撮影を行う特定の位置を、ステッピングモータ９１のステップ数を計数することで特定できる。

このようにして、冷蔵室扉７が開閉されると、可視光カメラ８１により冷蔵室１０内の可視画像が撮影される。また、赤外線カメラ８２により冷蔵室１０内の赤外線画像が撮影される。

輪郭検出部１０３は、可視光カメラ８１により撮影された可視画像における食品の輪郭を検出する。可視画像における食品の輪郭の検出は、具体的に例えば、可視光カメラ８１により撮影された可視画像に周知のエッジ検出処理を施すことで行われる。

領域特定部１０４は、赤外線カメラ８２により撮影された赤外線画像における、輪郭検出部１０３により検出された輪郭の内側の領域を特定する。前述したように、食品の輪郭の検出は可視光カメラ８１により撮影された可視画像で行われる。ここで説明する構成例では、可視光カメラ８１と赤外線カメラ８２とは同一の土台に固定されており、可視光カメラ８１と赤外線カメラ８２の相対的な位置関係は不変である。このため、可視光カメラ８１により撮影された可視画像中の座標と、赤外線カメラ８２により撮影された赤外線画像中の座標と対応関係が予め特定されている。したがって、領域特定部１０４は、可視画像中の座標と赤外線画像中の座標と対応関係を用いて、可視画像中の輪郭線に対応する赤外線画像中の曲線（以下、「対応曲線」ともいう）を特定できる。そして、領域特定部１０４は、赤外線画像における対応曲線よりも内側の領域を、赤外線画像における、輪郭検出部１０３により検出された輪郭の内側の領域として特定する。

なお、可視光カメラ８１と赤外線カメラ８２の一方のみがカメラ移動装置９０により移動し、他方は冷蔵室扉７等に固定されている場合、一方のカメラが移動することで、可視光カメラ８１と赤外線カメラ８２の相対的な位置関係は変化する。この場合には、例えばステッピングモータ９１のステップ数等により移動したカメラの位置を特定し、可視光カメラ８１と赤外線カメラ８２の相対的な位置関係を特定することで、可視光カメラ８１により撮影された可視画像中の座標と、赤外線カメラ８２により撮影された赤外線画像中の座標との対応関係を特定すればよい。

食品温度検出部１０５は、領域特定部１０４により特定された領域中の温度を食品の温度として赤外線画像から検出する。具体的に例えば、食品温度検出部１０５は、赤外線画像における領域特定部１０４により特定された領域中の平均値をとり、この平均値を食品の温度とする。

制御装置８は、例えば、以上のようにして食品温度検出部１０５により検出された食品の温度を操作パネル６の表示部６ｂに表示させる。この際、当該食品を含む可視画像を、当該食品の温度とともに表示するとよい。この場合、操作パネル６の表示部６ｂは、食品の可視画像と食品温度検出部１０５により検出された当該食品の温度とを対応させて表示する表示手段である。

また、この際、操作パネル６の表示部６ｂに、食品温度検出部１０５により検出された食品の温度が基準温度以下であるか否かを表示してもよい。基準温度とは、例えば当該食品の適温である。この基準温度は、例えば予め設定されている。図８に示すのは、食品温度検出部１０５により検出された食品の温度が基準温度以下であるか否かを表示する画面の一例である。同図に示す例では、食品温度検出部１０５により検出された食品の温度が基準温度以下であるか否かを食品適温表示１２１としてメッセージにより表示している。すなわち、食品の温度が基準温度以下であれば、「冷えています」等のメッセージを食品適温表示１２１として表示する。一方、食品の温度が基準温度を超えていれば、「ぬるいです」等のメッセージを食品適温表示１２１として表示する。

さらに、食品温度検出部１０５により検出された食品の温度が基準温度になったことを報知してもよい。報知制御部１０９は、操作パネル６の表示部６ｂ及びスピーカ６ｃによる報知動作を制御する。そして、報知制御部１０９は、食品温度検出部１０５により検出された食品の温度が基準温度になった時に、その旨を表示部６ｂ及びスピーカ６ｃにより報知させる。操作パネル６の表示部６ｂ及びスピーカ６ｃと報知制御部１０９とは、食品温度検出部１０５により検出された食品の温度が基準温度になったことを報知する報知手段である。報知手段は、冷蔵庫１００外部のスマートフォン等の端末装置を用いて報知を行ってもよい。

なお、食品の温度が基準温度になったことを報知する場合、カメラ制御部１０１は、冷蔵室扉７の開閉が検出されなくても一定時間毎に赤外線カメラ８２により冷蔵室１０内の赤外線画像を撮影させる。そして、食品温度検出部１０５は、最新の赤外線画像により食品の温度を検出し、報知制御部１０９は、食品温度検出部１０５により検出された食品の最新温度が基準温度になった時に報知を行わせる。

また、前述の基準温度を食品の種別毎に設定できるようにしてもよい。この実施の形態の冷蔵庫１００は、食品の種別毎に基準温度を設定するために食品識別部１０６及び食品適温設定部１０７を備えている。食品識別部１０６は、可視光カメラ８１により撮影された可視画像から食品の種別を識別する。食品の種別を識別処理において、食品識別部１０６は、まず、可視光カメラ８１が撮影した可視画像の特徴量を抽出する。そして、食品識別部１０６は、抽出した特徴量から食品の種別を識別する。食品種別の識別には、食品の画像の特徴量と当該食品の種別との対応関係データが用いられる。対応関係データは、制御装置８に予め記憶されている。

図７に、この対応関係データの一例を示す。対応関係データは、食品種別のそれぞれに、当該種別の食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けたデータの集合である。この意味で、制御装置８は、食品種別のそれぞれに、当該食品種別の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶している。

対応関係データは、食品種別のそれぞれについて、当該食品種別を他の食品種別と区別することができる特徴的な属性を記憶している。ここでは、当該種別の食品自体又は当該種別の食品が入った容器の特徴量を、当該食品種別に対応付けて記憶している。具体的には、各食品種別について、形状（輪郭）、直軸の大きさ、代表色（ＲＧＢ値）及びラベル（文字）等の情報を特徴量としている。

なお、対応関係データに記憶する食品種別毎の形状としては、ここで例に挙げた輪郭の他、例えば、当該食品種別の外形に最も近い幾何学的形状（例えば、円柱、台形等）としてもよい。この場合、食品識別部１０６による識別においては、例えば、パターンマッチング等の手法により対応関係データに記憶されている形状との照合を行う。また、色については、代表色のＲＧＢ値の他、例えば明度、彩度等の他の指標値を用いるようにしてもよい。

食品識別部１０６は、可視画像から抽出した特徴量について、以上のような対応関係データにおける、どの食品種別の特徴量と合致するかを照合する。そして、対応関係データにおける特徴量との合致度が最大となる食品種別を識別結果とする。この際、合致度の最大値が一定の基準値以上でない場合、換言すれば、特徴量の合致度が基準値以上となる食品種別が対応関係データ中に存在しない場合、当該特徴量の画像については食品種別識別不能としてもよい。

なお、図７に例示した対応関係データでは、食品種別を識別するものであったが、他にも例えば食品の商品名まで識別できるようにしてもよい。１つの食品の種別又は商品名について対応付けられる特徴量は、各属性につき１つの値とする必要はない。例えば、各属性につき複数の値を対応付けてもよいし、一定範囲の値を対応付けてもよい。

また、食品識別部１０６が用いる識別手法は、以上で説明したパターンマッチング等に限られない。他に例えば、ニューラル・ネットワーク等の手法を用いてもよい。この際、対応関係データは食品識別部１０６が用いる識別手法に合わせて適切なものが用意される。

食品適温設定部１０７は、食品識別部１０６により識別された食品の種別に応じて、当該食品の適温を設定する。すなわち、食品適温設定部１０７は、食品識別部１０６により識別された食品の種別に応じて、当該食品の基準温度を設定する基準温度設定部である。制御装置８には、食品の種別毎の適温が基準温度として予め記憶されている。そして、食品適温設定部１０７は、食品識別部１０６により識別された食品の種別に対応する適温を、当該食品の基準温度に設定する。

報知制御部１０９は、このようにして設定された基準温度に食品温度検出部１０５により検出された食品の温度がなった時に、その旨を表示部６ｂ及びスピーカ６ｃにより報知させる。なお、食品の基準温度を、操作パネル６の操作部６ａを使用者が操作することで設定できるようにしてもよい。

この実施の形態の冷蔵庫１００は、食品適温到達予測部１０８を備えている。食品適温到達予測部１０８は、食品の温度が前述した基準温度になるまでの時間を予測する予測部である。例えば、食品適温到達予測部１０８は、過去の一定期間における当該食品の温度変化を記憶している。そして、過去の一定期間における当該食品の温度変化を未来に単純外挿することで、当該食品の温度変化を予測する。食品適温到達予測部１０８は、こうして予測した当該食品の未来の温度変化から、当該食品が前述の基準温度に到達するまでの時間を求める。ここで、基準温度は、食品種別によらずに設定された固定値でもよいし、食品適温設定部１０７により設定された食品種別毎のものであってもよいし、使用者が操作部６ａを操作することにより設定されたものであってもよい。

報知制御部１０９は、食品適温到達予測部１０８により予測された、食品の温度が基準温度になるまでの時間を表示部６ｂ及びスピーカ６ｃにより報知させる。すなわち、前述の報知手段は、食品適温到達予測部１０８により予測された時間を報知する。図９に示すのは、食品の温度が基準温度になるまでの予測時間を表示する画面の一例である。同図に示す例では、食品の温度が基準温度になるまでの予測時間を食品適温予測表示１２２として表示している。

この実施の形態の冷蔵庫１００は、可視画像補正部１１０を備えている。可視光カメラ８１が撮影した画像は予め設定された一定のサイズを有している。ここでは、画像のサイズを画素数で表現する。そして、可視光カメラ８１が撮影した画像の中心部分は、可視光カメラ８１が当該画像を撮影した位置から見て正面が写っている。すなわち、可視光カメラ８１が撮影した画像の中心部分は、正面視点である。

一方、可視光カメラ８１が撮影した画像の中心からずれた部分は、可視光カメラ８１が当該画像を撮影した位置から見て正面でない方向が写っている。すなわち、可視光カメラ８１が撮影した画像の中心からずれた部分は、正面視点でない。具体的に例えば、可視光カメラ８１が撮影した画像の中心より下側の部分は、可視光カメラ８１が当該画像を撮影した位置から下方向に見下げた視点で写っている。また、可視光カメラ８１が撮影した画像の中心より上側の部分は、可視光カメラ８１が当該画像を撮影した位置から上方向に見上げた視点で写っている。そして、画像の中心から上下に離れるほど、正面から離れた視点からの画像となる。

可視光カメラ８１が撮影した画像の中心からずれた部分のみを切り出して表示部６ｂに表示する場合、正面視点でない表示になる。しかし、正面視点でない表示は、使用者が普段の使用で冷蔵室１０内を見る視点と異なるものになり、違和感を覚える可能性がある。可視画像補正部１１０は、可視光カメラ８１が撮影した画像の中心からずれた部分の歪みを補正し、可視光カメラ８１が撮影した画像の全体が正面視点からの画像に見えるようにする。なお、画像の歪みは例えば画像中の冷蔵室棚板１１の曲がり等から判定できる。

次に、図１０から図１２を参照しながら、以上のように構成された冷蔵庫１００の主要な動作の例について説明する。まず、図１０に示すのは、冷蔵庫１００の撮影動作の一例である。

ステップＳ１０で庫内撮影動作を開始すると、まず、ステップＳ１１において、カメラ制御部１０１は、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出したか否かを確認する。冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出しない場合、このステップＳ１１の処理を繰り返しながら待機する。そして、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出した場合、処理はステップＳ１２へと進む。

ステップＳ１２においては、カメラ制御部１０１は、カメラ移動装置９０の動作を制御して、カメラ９を移動させながら、可視光カメラ８１及び赤外線カメラ８２に冷蔵室１０内の画像を撮影させる。ステップＳ１２の後、処理はステップＳ１３へと進む。

ステップＳ１３においては、輪郭検出部１０３は、ステップＳ１２で撮影した可視画像から食品の輪郭を検出する。ステップＳ１３の後、処理はステップＳ１４へと進む。ステップＳ１４においては、領域特定部１０４は、ステップＳ１２で撮影した赤外線画像における、ステップＳ１３で検出された輪郭の内側の領域を特定する。

そして、処理はステップＳ１５へと進み、食品温度検出部１０５は、ステップＳ１４で特定された領域中の温度を食品の温度として赤外線画像から検出する。ステップＳ１５の処理が完了すれば、一連の動作は終了となる。

次に、図１１は、冷蔵庫１００の可視画像補正処理の一例を示すものである。ステップＳ２０で可視画像補正処理を開始すると、まず、ステップＳ２１において、可視画像補正部１１０は、可視光カメラ８１が撮影した可視画像中に写っている冷蔵室棚板１１を検出する。そして、可視画像中の冷蔵室棚板１１が横に延びる直線状であるか否かを判定する。可視画像中の冷蔵室棚板１１が横に延びる直線状でない場合、処理はステップＳ２２へと進む。

ステップＳ２２においては、可視画像中の冷蔵室棚板１１が横に延びる直線状となるように可視光カメラ８１が撮影した可視画像を補正する。このように補正することにより、補正後の可視画像は、擬似的な正面視点画像となる。ステップＳ２２の処理が完了すれば、一連の動作は終了となる。

図１２は、冷蔵庫１００の食品適温報知動作の一例を示すものである。ステップＳ３０で食品の適温報知動作を開始すると、まず、ステップＳ３１において、報知制御部１０９は、適温報知の対象となる食品を設定する。続くステップＳ３２において、報知制御部１０９は、ステップＳ３１で設定した対象食品の適温すなわち基準温度と、食品温度検出部１０５が検出した当該食品の現在温度とを比較する。そして、報知制御部１０９は、当該食品の現在温度が当該食品の適温（基準温度）以下であるか否かを確認する。当該食品の現在温度が当該食品の適温（基準温度）以下である場合、処理はステップＳ３３へと進む。

ステップＳ３３においては、報知制御部１０９は、当該食品の温度が適温になった旨を表示部６ｂ及びスピーカ６ｃにより報知させる。なお、このステップＳ３３での報知は、それぞれの食品につき１回のみにするとよい。このようにすることで、食品の温度が基準温度付近で上下し、複数回適温報知がなされてしまうことを避けられる。ステップＳ３３の後、処理はステップＳ３４へと進む。

ステップＳ３４においては、報知制御部１０９は、適温報知の対象となる次の食品を設定する。そして、処理はステップＳ３１へと戻り、ステップＳ３４で特定した食品を適温報知の対象として設定する。

一方、ステップＳ３２において当該食品の現在温度が当該食品の適温（基準温度）以下でない場合、処理はステップＳ３５へと進む。ステップＳ３５においては、食品適温到達予測部１０８は、当該食品の温度が基準温度になるまでの時間を予測する。この予測では、まず、過去の一定期間における当該食品の温度変化から、当該食品の冷却係数を推定する。そして、この冷却係数に、当該食品の現在温度と当該食品の基準温度との差を乗じることで、残り適温冷却時間、すなわち当該食品が基準温度に到達するまでの時間を算出する。ステップＳ３５の後、処理はステップＳ３６へと進む。

ステップＳ３６においては、報知制御部１０９は、ステップＳ３５で予測された残り適温冷却時間（当該食品が基準温度に到達するまでの時間）を、表示部６ｂ及びスピーカ６ｃにより報知させる。なお、このステップＳ３３での報知の上限回数を、それぞれの食品について設定してもよい。

ステップＳ３６の後、処理はステップＳ３４へと進み、適温報知の対象となる次の食品を設定する。こうして、適温報知の対象となる全ての食品について処理が終われば、一連の動作は終了となる。

以上のように構成された冷蔵庫によれば、可視画像を用いて食品の輪郭を検出し、この食品の輪郭に基づいて、赤外線画像における温度検出領域を特定する。このため、温度を検出する対象の食品を正確に特定することが可能であり、食品の温度検出精度の向上を図ることができる。また、タッチパネルは必要不可欠なものではないため、製造コストの増大を招くこともない。

また、可視光カメラ８１及び赤外線カメラ８２を移動させながら撮影を行うことで、同一の食品について複数の視点から撮影できる。このため、例えば、他の食品の奥にある食品、上が開いた容器の中の食品等の温度についても検出できる。また、他の食品の奥にある食品の輪郭検出精度の向上、他の食品の奥にある食品の種別の識別精度の向上を図ることも可能である。

なお、冷蔵室１０内に適温が異なる複数の食品が収納されている場合、適温が低い食品が冷却されやすい位置（例えば冷気吹き出し口の近傍等）に、適温が高い食品が冷却されにくい位置（例えば冷気吹き出し口の近傍等）に、それぞれ配置されると効率的である。そこで、操作パネル６の表示部６ｂに適温に応じた理想的な食品配置を表示し、使用者に効率的な食品の収納配置を促してもよい。

また、冷蔵室扉７が開いている時に赤外線カメラ８２による撮影を行い、冷蔵庫１００の庫外の温度を検出できるようにしてもよい。

実施の形態２．
図１３及び図１４は、この発明の実施の形態２に係るものである。図１３は冷蔵庫の制御に係る機能的な構成を示すブロック図である。そして、図１４は冷蔵庫の冷気風向制御動作の一例を示すフロー図である。

ここで説明する実施の形態２は、前述した実施の形態１の構成において、赤外線画像から貯蔵室内の温度分布を検出し、貯蔵室内の温度ムラを解消するように貯蔵室内への冷気吹き出しを制御するようにしたものである。以下、この実施の形態２に係る冷蔵庫について、実施の形態１との相違点を中心に説明する。説明を省略した他の構成については実施の形態１と基本的に同様である。

この実施の形態に係る冷蔵庫１００は、図１３に示すように、温度分布検出部１１１及び風向制御部１１２を備えている。風向制御部１１２は、前述した冷却手段においては、風路を通った冷気は、冷蔵室１０の冷気吹き出し口から冷蔵室１０内へと供給される。この実施の形態においては、冷気吹き出し口に例えば風向調整板が設けられている。風向制御部１１２は、この風向調整板の向きを変更することで、冷気吹き出し口から冷蔵室１０内へと吹き出す冷気の向きを制御する。すなわち、前述の冷却手段は、貯蔵室である冷蔵室１０内に冷気を吹き出す方向を変更可能である。

温度分布検出部１１１は、赤外線カメラ８２により撮影された赤外線画像から冷蔵室１０内の温度分布を検出する。そして、風向制御部１１２は、冷蔵室１０内に冷気を吹き出す方向を温度分布検出部１１１により検出された温度分布に応じて変更する。すなわち、前述の冷却手段は、冷蔵室１０内に冷気を吹き出す方向を冷蔵室１０内の温度分布に応じて変更可能である。

具体的には、温度分布検出部１１１により検出された温度分布において温度ムラが存在すると判定した場合、風向制御部１１２は、当該温度ムラを解消するように冷蔵室１０内に冷気を吹き出す方向を制御する。温度ムラが存在するか否かの判定基準としては、具体的に例えば、食品の適温（基準温度）と、食品温度検出部１０５により検出された食品の温度との差が一定温度以上であるか否かとすることが考えられる。また、判定基準の他の例として、冷蔵室１０内の温度分布において、周囲との温度差が局所的に一定温度以上である否かとすることも考えられる。

次に、図１４を参照しながら、以上のように構成された冷蔵庫１００の冷気吹き出し方向の制御動作の例について説明する。まず、ステップＳ４１において、カメラ制御部１０１は、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出したか、又は、前回に赤外線カメラ８２が撮影を行ってから予め設定された一定時間が経過したか否かを確認する。冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出せず、かつ、前回の撮影から一定時間が経過していない場合には、このステップＳ４１の処理を繰り返しながら待機する。そして、冷蔵室扉７が閉じられたことを扉開閉検出部１０２が検出した場合、又は、前回の撮影から一定時間が経過した場合には、処理はステップＳ４２へと進む。

ステップＳ４２においては、カメラ制御部１０１は、カメラ移動装置９０の動作を制御して、カメラ９を移動させながら、赤外線カメラ８２に冷蔵室１０内の画像を撮影させる。ステップＳ４２の後、処理はステップＳ４３へと進む。

ステップＳ４３においては、温度分布検出部１１１は、ステップＳ４２で撮影された赤外線画像から冷蔵室１０内の温度分布を検出する。続くステップＳ４４において、風向制御部１１２は、ステップＳ４３で検出した温度分布において食品に基準以上の温度の部分があるか否かを判定する。ここでいう基準とは、前述したように、例えば食品の適温（基準温度）と食品温度検出部１０５により検出された食品の温度との差が一定温度以上であるか否か等である。そして、食品に基準以上の温度の部分がある場合、処理はステップＳ４５へと進む。

ステップＳ４５においては、報知制御部１０９は、当該食品の温度ムラフラグを「Ｔｒｕｅ（真）」にする。温度ムラフラグは、それぞれの食品について温度ムラがあるか否かを示すブーリアン型の変数である。ステップＳ４５の後、処理はステップＳ４６へと進む。

ステップＳ４６においては、風向制御部１１２は、冷蔵室１０内への冷気吹き出し方向を、当該食品に向ける。なお、当該食品と冷気吹き出し口との間に別の食品等の障害物があることが可視光カメラ８１の撮影画像等から検出できた場合は、風向制御部１１２は、当該障害物を避けて冷気が当該食品に当たるようにするとさらによい。ステップＳ４６の後、処理はステップＳ４１へと戻る。

一方、ステップＳ４４において、食品に基準以上の温度の部分がない場合、処理はステップＳ４７へと進む。ステップＳ４７においては、報知制御部１０９は、当該食品の温度ムラフラグが「Ｔｒｕｅ（真）」であるか否かを確認する。当該食品の温度ムラフラグが「Ｔｒｕｅ（真）」でない場合、処理はステップＳ４１へと戻る。一方、当該食品の温度ムラフラグが「Ｔｒｕｅ（真）」である場合、処理はステップＳ４８へと進む。

ステップＳ４８においては、報知制御部１０９は、温かった当該食品の温度が適温に冷やされた旨を表示部６ｂ及びスピーカ６ｃにより報知させる。ステップＳ４８の後、処理はステップＳ４９へと進む。ステップＳ４９においては、報知制御部１０９は、当該食品の温度ムラフラグを「Ｆａｌｓｅ（偽）」にする。ステップＳ４９の後、処理はステップＳ４１へと戻る。

以上のように構成された冷蔵庫においても、実施の形態１と同様の効果を奏することができる。さらに、貯蔵室内に冷気を吹き出す方向を貯蔵室内の温度分布に応じて変更可能であるため、貯蔵室内及び当該貯蔵室内の食品の温度ムラを効率よく解消できる。

１ 断熱箱体
２ 圧縮機
４ 送風ファン
６ 操作パネル
６ａ 操作部
６ｂ 表示部
６ｃ スピーカ
７ 冷蔵室扉
７ａ 右扉
７ｂ 左扉
８ 制御装置
８ａ プロセッサ
８ｂ メモリ
９ カメラ
１０ 冷蔵室
１１ 冷蔵室棚板
１２ 棚板支持部
１３ ドアポケット
１４ チルド室
１５ チルドケース
２０ 切替室
３０ 製氷室
４０ 冷凍室
５０ 野菜室
６１ サーミスタ
６２ 扉開閉検知スイッチ
８１ 可視光カメラ
８２ 赤外線カメラ
９０ カメラ移動装置
９１ ステッピングモータ
９２ ウォームギヤ
９３ ピニオン
９４ ラック
９５ ガイド部
９８ カメラ支持部
１００ 冷蔵庫
１０１ カメラ制御部
１０２ 扉開閉検出部
１０３ 輪郭検出部
１０４ 領域特定部
１０５ 食品温度検出部
１０６ 食品識別部
１０７ 食品適温設定部
１０８ 食品適温到達予測部
１０９ 報知制御部
１１０ 可視画像補正部
１１１ 温度分布検出部
１１２ 風向制御部
１２１ 食品適温表示
１２２ 食品適温予測表示

Claims (7)

1. 食品を収納する貯蔵室が形成された本体と、
   前記貯蔵室の内部を冷却する冷却手段と、
   前記貯蔵室内の可視画像を撮影する可視光カメラと、
   前記貯蔵室内の赤外線画像を撮影する赤外線カメラと、
   前記可視画像における前記食品の輪郭を検出する輪郭検出処理及び前記輪郭検出処理以前に撮影された前記赤外線画像における前記輪郭検出処理により検出された輪郭の内側の領域を特定する領域特定処理を実行する制御装置と、
   前記領域特定処理により特定された領域中の温度を前記食品の温度として前記赤外線画像から検出する温度検出部と、を備えた冷蔵庫。
2. 食品を収納する貯蔵室が形成された本体と、
   前記貯蔵室の内部を冷却する冷却手段と、
   前記貯蔵室内の可視画像を撮影する可視光カメラと、
   前記貯蔵室内の赤外線画像を撮影する赤外線カメラと、
   前記可視画像における前記食品の輪郭を検出する輪郭検出部と、
   前記輪郭検出部による輪郭の検出以前に撮影された前記赤外線画像における、前記輪郭検出部により検出された輪郭の内側の領域を特定する領域特定部と、
   前記領域特定部により特定された領域中の温度を前記食品の温度として前記赤外線画像から検出する温度検出部と、
   前記食品の前記可視画像と前記温度検出部により検出された当該食品の温度とを対応させて表示する表示手段と、を備えた冷蔵庫。
3. 前記温度検出部により検出された前記食品の温度が基準温度になったことを報知する報知手段をさらに備えた請求項１又は請求項２に記載の冷蔵庫。
4. 前記可視画像から前記食品の種別を識別する食品識別部と、
   前記食品識別部により識別された前記食品の種別に応じて、当該食品の前記基準温度を設定する基準温度設定部と、をさらに備えた請求項３に記載の冷蔵庫。
5. 前記食品の温度が前記基準温度になるまでの時間を予測する予測部をさらに備え、
   前記報知手段は、前記予測部により予測された時間を報知する請求項３又は請求項４に記載の冷蔵庫。
6. 前記可視光カメラ及び前記赤外線カメラの一方又は両方を移動させるカメラ移動装置をさらに備えた請求項１から請求項５のいずれか一項に記載の冷蔵庫。
7. 前記赤外線画像から前記貯蔵室内の温度分布を検出する温度分布検出部をさらに備え、
   前記冷却手段は、前記貯蔵室内に冷気を吹き出す方向を前記貯蔵室内の温度分布に応じて変更可能である請求項１から請求項６のいずれか一項に記載の冷蔵庫。

Images