JP7577597B2 - Cooking System - Google Patents
Cooking System Download PDFInfo
- Publication number
- JP7577597B2 JP7577597B2 JP2021064993A JP2021064993A JP7577597B2 JP 7577597 B2 JP7577597 B2 JP 7577597B2 JP 2021064993 A JP2021064993 A JP 2021064993A JP 2021064993 A JP2021064993 A JP 2021064993A JP 7577597 B2 JP7577597 B2 JP 7577597B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- cooking
- trained model
- cooked
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010411 cooking Methods 0.000 title claims description 293
- 238000010438 heat treatment Methods 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 22
- 239000004615 ingredient Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 235000008429 bread Nutrition 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000008236 heating water Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012459 muffins Nutrition 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000012794 white bread Nutrition 0.000 description 1
Images
Landscapes
- Electric Stoves And Ranges (AREA)
- Baking, Grill, Roasting (AREA)
Description
本発明の実施形態は、加熱調理器システムに関する。 An embodiment of the present invention relates to a cooking device system.
庫内に配置された被調理体を監視するモニタカメラを備え、モニタカメラが捉えた被調理体の画像情報に基づき料理素材を特定する電子レンジが提案されている。ところで、加熱調理器は、利便性のさらなる向上が期待されている。 A microwave oven has been proposed that is equipped with a monitor camera that monitors the food items placed inside the oven and identifies cooking ingredients based on image information of the food items captured by the monitor camera. Meanwhile, there are hopes for further improvements in the convenience of cooking appliances.
本発明が解決しようとする課題は、利便性の向上を図ることができる加熱調理器システムを提供することである。 The problem that this invention aims to solve is to provide a cooking device system that can improve convenience.
実施形態の加熱調理器システムは、筐体と、加熱部と、撮像部と、判定部と、制御部とを持つ。前記筐体は、調理対象が載せられる載置部を含む。前記加熱部は、前記筐体内に設けられ、前記調理対象を加熱する。前記撮像部は、前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる。前記判定部は、前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する。前記制御部は、前記判定部の判定結果に基づき前記加熱部を制御する。前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有する。前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられている。前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定する。前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む。 The cooking device system of the embodiment has a housing, a heating unit, an imaging unit, a determination unit, and a control unit. The housing includes a placement unit on which a cooking object is placed. The heating unit is provided in the housing and heats the cooking object. The imaging unit photographs the cooking object, and the color of the cooking object included in the photographed image varies depending on the temperature of the heating unit. The determination unit converts the image photographed by the imaging unit into a monochrome image, and determines the cooking state of the cooking object based on the converted monochrome image and a trained model in which internal variables are adjusted by learning. The control unit controls the heating unit based on the determination result of the determination unit. The housing has a housing main body having an opening and a door that closes the opening. The imaging unit is provided on the ceiling of the housing main body or on the inner surface of the door. The determination unit determines the cooking state based on information that directly or indirectly indicates the amount of dirt attached to the lens of the imaging unit, the monochrome image, and the trained model. The information directly or indirectly indicating the amount of dirt adhering to the lens of the imaging unit includes a usage history indicating the types of ingredients that have been cooked in the past as the cooking target.
以下、実施形態の加熱調理器システムを、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含み得る。「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含み得る。「XXまたはYY」とは、XXとYYのうちいずれか一方の場合に限定されず、XXとYYの両方の場合も含み得る。これは選択的要素が3つ以上の場合も同様である。「XX」および「YY」は、任意の要素(例えば任意の情報)である。 The cooking device system according to the embodiment will be described below with reference to the drawings. In the following description, components having the same or similar functions are given the same reference numerals. Duplicate descriptions of those components may be omitted. "Based on XX" means "based on at least XX" and may include cases where it is based on another element in addition to XX. "Based on XX" is not limited to cases where XX is used directly, but may also include cases where it is based on XX that has been calculated or processed. "XX or YY" is not limited to either XX or YY, but may include both XX and YY. This also applies when there are three or more selective elements. "XX" and "YY" are any element (for example, any information).
(第1実施形態)
<1.全体構成>
図1は、第1実施形態の加熱調理器システム1の全体構成を示す図である。加熱調理器システム1は、例えば、加熱調理器100と、サーバ200とを備える。加越調理器システム1は、ネットワークNWを介してまたは直接に、ユーザUの端末装置300と通信可能である。ネットワークNWは、例えば、インターネット、セルラー網、Wi-Fi(登録商標)網、LPWA(Low Power Wide Area)、WAN(Wide Area Network)、LAN(Local Area Network)、またはその他の公衆回線や専用回線などを状況に応じて利用すればよい。
First Embodiment
<1. Overall structure>
FIG. 1 is a diagram showing the overall configuration of a
加熱調理器100は、調理対象を加熱して調理する調理家電機器である。加熱調理器100は、ユーザUの住居内に配置されている。加熱調理器100は、例えば、トースター、オーブントースター、またはオーブンレンジなどであるが、オーブン機能を有しない電子レンジや他の調理家電機器などでもよい。以下では、加熱調理器100がオーブントースターである例を取り上げて説明する。
The
加熱調理器100は、例えば、ユーザUの住居内に設置された無線ルータRを介してネットワークNWと接続可能である。加熱調理器100は、ネットワークNWを介して、サーバ200と通信可能である。加熱調理器100は、直接またはネットワークNWを介して、ユーザUの端末装置300と通信可能でもよい。ただし本実施形態において、加熱調理器100は、通信機能を有さず、サーバ200と通信可能でなくてもよい。すなわち、サーバ200は存在しなくてもよい。この場合は、加熱調理器100単独によって「加熱調理器システム」の一例が構成される。
The
サーバ200は、加熱調理器100の動作を管理するサーバである。サーバ200は、ネットワークNWに接続された1台以上のサーバ装置(例えばクラウドサーバ)で構成される。サーバ200は、ネットワークNW中のルータに含まれる情報処理部など、エッジコンピューティングやフォグコンピューティングを行う情報処理部を含んでもよい。サーバ200は、ネットワークNWを介して、ユーザUの端末装置300と通信可能である。
The
ユーザUの端末装置300は、例えば、スマートフォンまたはタブレット端末装置のような携帯端末装置である。端末装置300は、種々の情報を表示可能な表示画面を含む表示装置301と、ユーザUの操作を受け付け可能な操作部302とを含む。表示装置301は、「表示部」の一例である。操作部302は、例えば、表示装置301の表示画面に重ねて設けられたタッチセンサである。端末装置300には、加熱調理器システム1を利用するためのアプリケーションプログラムがインストールされ、以下に説明する機能がサポートされる。なお、端末装置300は、携帯端末装置に限定されず、パーソナルコンピュータでもよい。
The
<2.加熱調理器>
<2.1 加熱調理器の全体構成>
次に、加熱調理器100について説明する。
図2は、加熱調理器100を示す正面図である。図3は、図2中に示された加熱調理器100のF3-F3線に沿う断面図である。図2および図3に示すように、加熱調理器100は、例えば、機器本体(加熱調理器本体)101と、通信部102と、制御ユニット103とを有する。
<2. Cooking Appliance>
<2.1 Overall configuration of the cooking device>
Next, the
Fig. 2 is a front view showing the
機器本体101は、例えば、筐体111、載置部112、加熱部113、表示装置114、操作部115、カメラ116、温度センサ117、および湿度センサ118を有する。
The
筐体111は、例えば、筐体本体121と、扉122とを有する。筐体本体121は、前面の一部が開放された箱型に形成されている。すなわち、筐体本体121の前面は、筐体本体121の内部を外部に露出させる開口121aを有する。扉122は、筐体本体121の前方に設けられている。扉122は、筐体本体121に回動可能に連結され、開口121aを開閉可能に閉じる。
The
扉122は、扉本体131と、窓部132と、取手133とを有する。扉本体131は、筐体本体121の開口121aを覆う板状に形成されている。窓部132は、扉本体131を貫通して設けられている。窓部132は、透明なガラス素材またはプラスチック素材により形成されている。ユーザUは、窓部132を通じて筐体本体121の内部を外部から視認可能である。取手133は、扉122の前面に設けられ、窓部132の前面と比べて前方に突出している。取手133は、筐体本体121に対して扉122を開閉する際にユーザUが把持する部分である。取手133は、扉本体131から離れて設けられた取手本体133aと、取手本体133aの両端部に設けられ、扉本体131に接続された接続部133bとを有する。
The
載置部112は、筐体111の内部に設けられている。載置部112は、例えば皿状または網状に形成され、調理対象Oが載せられる。
The
加熱部113は、筐体111の内部に設けられ、載置部112に載せられた調理対象Oを加熱する。加熱部113は、例えば、第1ヒータ113aおよび第2ヒータ113bを含む。第1ヒータ113aは、調理対象Oの上方に位置し、調理対象Oの上面を加熱する。第2ヒータ113bは、調理対象Oの下方に位置し、調理対象の下面を加熱する。ここで、加熱部113は、当該加熱部113の発熱状態に応じて異なる色を発する。例えば、加熱部113は、第1温度状態にある場合に黄色またはオレンジ色に発光し、第1温度状態よりも高い第2温度状態にある場合に、より強いオレンジ色(より濃いオレンジ色)に発光する。このため、加熱部113によって照らされる調理対象Oの表面の色は、加熱部113の温度の状態に応じて異なる。
The
表示装置114は、例えば、筐体本体121の前面に設けられている。表示装置114は、種々の情報を表示可能な表示画面を有する。表示装置114は、例えば、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイであるが、これらに限定されない。表示装置114は、「表示部」の一例である。
The
操作部115は、例えば、筐体本体121の表面に設けられている。操作部115は、ユーザUの操作を受け付け可能である。操作部115は、例えば、表示装置114の表示画面に重ねて設けられたタッチセンサである。ただし、操作部115は、筐体本体121の表面に設けられた物理的なボタンなどでもよい。ユーザUは、操作部115に対する操作を通じて、調理対象Oの種類を入力することができる。「調理対象の種類」とは、食材の種類(例えば、食パン、マフィン、小麦パンなどパンの種類)、調理対象の数(食パンが1枚/2枚/3枚…など)、調理対象の大きさまたは厚さ(6枚切りの食パン/8枚切りの食パン…など)などのうち1つ以上を含む。
The
カメラ116は、筐体111に設けられ、載置部112に載置された調理対象Oを撮影する。カメラ116は、調理対象Oの表面(例えば上面)の画像を撮影する。本出願で「画像」とは静止画に限定されず、動画(映像)も含む。カメラ116により撮影される画像は、調理対象Oの焼き具合を示す内容を含む。例えば、カメラ116は、調理対象Oの表面のカラー画像を撮影する。本実施形態では、カメラ116によって撮影される画像に含まれる調理対象Oの色は、加熱部113の温度の状態に応じて異なる。すなわち、加熱部113が上記第1温度状態にある場合、調理対象Oの表面は加熱部113によって黄色またはオレンジ色に照らされている。一方で、加熱部113が上記第2温度状態にある場合、調理対象Oの表面は加熱部113によって、より強いオレンジ色に照らされている。カメラ116は、撮像素子を含むカメラ本体116aと、カメラ本体116aと被写体(調理対象O)との間に位置するレンズ116bとを含む。カメラ116は、「撮像部」の一例である。
The
カメラ116は、例えば、筐体本体121の天井面121bに設けられ、調理対象Oの上方に位置する。カメラ116は、例えば、調理対象Oの大きさ(例えば上方から見た大きさ)に加え、調理対象Oの厚さが分かる角度で調理対象Oを撮影可能な場所に配置される。なお、カメラ116は、筐体本体121の天井面121bに代えて、扉本体131の内面に設けられてもよい。また、カメラ116は、筐体本体121の外部において、扉122の取手本体133aの後面に設けられてもよい。この場合、カメラ116は、扉122の窓部132を通じて、筐体本体121の内部に収容された調理対象Oの表面の画像を撮影する。
The
温度センサ117は、筐体111内に設けられ、筐体111内の温度を検出する。
湿度センサ(水蒸気センサ)117は、筐体111内に設けられ、筐体111内の湿度を検出する。加熱調理器100は、例えば、給水部に給水された水を加熱することで水蒸気を発生させ、調理中の調理対象Oに対して水分を供給する水蒸気発生部(不図示)を有する。湿度センサ118は、例えば、水蒸気発生部を有する加熱調理器100に設けられ、調理対象Oに供給される水分を検出する。
The
Humidity sensor (water vapor sensor) 117 is provided in
本実施形態では、カメラ116、温度センサ117、および湿度センサ118によりセンサ部SUの一例が構成されている。以下の説明では、カメラ116により撮影された画像、温度センサ117の検出結果、および湿度センサ118による検出結果を纏めて、「センサ部SUの検出結果」と称する場合がある。なお、センサ部SUは、上述した以外のセンサを含んでもよい。また、温度センサ117および湿度センサ118のうち一方または両方は、省略されてもよい。
In this embodiment, an example of sensor unit SU is configured by
<2.2 加熱調理器のシステム構成>
図4は、加熱調理器100のシステム構成を示すブロック図である。
通信部102は、例えば、アンテナと高周波回路とを含む無線通信モジュールである。通信部102は、ネットワークNWを介してサーバ200と通信可能である。通信部102は、ネットワークNWを介して、または短距離無線通信(例えばBluetooth(登録商標))を用いて直接に、端末装置300と通信可能である。
2.2 System configuration of cooking appliance
FIG. 4 is a block diagram showing a system configuration of the
The
制御ユニット103は、情報処理部PU1と、記憶部157とを含む。情報処理部PU1は、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、および学習部156を含む。情報処理部PU1に含まれる各機能部は、制御ユニット103に搭載されたCPU(Central Processing Unit)のようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、またはFPGA(Field Programmable Gate Array)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部157は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部157には、複数の学習済みモデルMAおよび閾値情報TIが記憶されている。
The
種類受付部151は、加熱調理器100の操作部115または端末装置300の操作部302に対して行われたユーザUの操作に基づき、調理対象Oの種類を示すユーザUの入力を受け付ける。例えば、種類受付部151は、加熱調理器100の表示装置114または端末装置300の表示装置301に調理対象Oの種類の複数の候補を表示させ、複数の候補のなかから1つを選択するユーザUの入力を受け付ける。上述したように、「調理対象の種類」は、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち1つ以上を含む。本実施形態では、種類受付部151により、入力受付部IUの一例が構成されている。
The
画像処理部152は、カメラ116により撮影された画像に対して画像処理を行う。例えば、画像処理部152は、カメラ116により撮影されたカラー画像をモノクロ画像に変換する画像処理を行う。本出願で言う「モノクロ画像」とは、白黒画像(1画素を白と黒の2階調(1ビット)で表現した画像)でもよく、グレースケール画像(中間階調を含む画像)でもよい。本実施形態では、画像処理部152は、カメラ116により撮影されたカラー画像を白黒画像に変換する。ただし、画像処理部152は、カメラ116により撮影されたカラー画像をグレースケール画像に変換してもよい。
The
図5は、画像処理部152の処理を示す図である。図5中の(a)および(b)は、加熱部113の温度の状態が異なる場合を示す。図5中の(a)および(b)に示される「変換前」の画像IMは、カメラ116により撮影されたカラー画像であり、画像処理部152により処理が行われる前の画像である。上述したように、2つの画像IMに含まれる調理対象Oの色は、加熱部113の温度の状態に応じて異なる。
Figure 5 is a diagram showing the processing of the
一方で、図5中の(a)および(b)に示される「変換後」の画像IMAは、画像処理部152により処理が行われた後の画像であり、モノクロ画像である。2つの画像IMに含まれる調理対象Oの色は、ほぼ同じ色となる。すなわち、画像IMをモノクロ画像に変換することで、画像IMに含まれる調理対象Oの色の影響を小さくすることができる。
On the other hand, the "converted" image IMA shown in (a) and (b) in Figure 5 is an image after processing by the
調理具合判定部153は、画像処理部152により変換されたモノクロ画像と、学習により内部変数が調整された学習済みモデルMAとに基づき、調理対象Oの調理具合を判定する。学習済みモデルMAは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。
The cooking
図6は、学習済みモデルMAの一例を示す図である。学習済みモデルMAは、入力層、隠れ層(中間層)、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルMAは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードnの間の重み付け係数w(内部変数)などが調整されることで学習が行われている。 Figure 6 shows an example of the trained model MA. The trained model MA is composed of a neural network including an input layer, a hidden layer (intermediate layer), and an output layer. For example, the trained model MA is trained by adjusting the weighting coefficient w (internal variable) between the nodes n included in the input layer, hidden layer, and output layer through deep learning using training data obtained from experiments conducted in advance.
学習済みモデルMAは、センサ部SUの検出結果(例えば、カメラ116の画像、温度センサ117の検出結果、湿度センサ118の検出結果)が入力情報として入力された場合に、調理対象Oの調理具合を示す判定結果を出力情報として出力するように学習が行われている。「調理具合を示す判定結果」とは、例えば、調理開始時の状態を「0」とし、焼き過ぎの状態(焦げた状態)を「1」とした場合における0~1の間の数値で表される。
The trained model MA is trained to output, as output information, a judgment result indicating the degree of cooking of the cooking object O when the detection results of the sensor unit SU (for example, the image from the
ここで、記憶部157に記憶された閾値情報TIには、丁度良い調理具合(例えば丁度良い焼き具合)に対応する閾値(例えば、「0.7」)が含まれる。本実施形態では、調理具合判定部153は、所定の周期(例えば5秒毎)にセンサ部SUの最新の検出結果を入力情報として学習済みモデルMAに入力する。そして、調理具合判定部153は、学習済みモデルMAから出力される判定結果としての数値が所定回数に亘り上記閾値を上回る場合(例えば5回連続で上記閾値を上回る場合)に、調理対象Oの調理具合が丁度良いと判定する。本実施形態では、画像処理部152と調理具合判定部153とにより判定部DUの一例が構成されている。調理具合判定部153は、「第1判定部」の一例である。
Here, the threshold information TI stored in the
本実施形態では、記憶部157には、調理対象Oの複数の種類に対応する複数の学習済みモデルMAが記憶されている。調理具合判定部153は、ユーザUにより入力されて種類受付部151により受け付けられた調理対象Oの種類に基づき複数の学習済みモデルMAのなかから1つの学習済みモデルMAを選択する。そして、調理具合判定部153は、選択した学習済みモデルMAに基づき調理対象Oの調理具合を判定する。
In this embodiment, the
制御部154は、調理具合判定部153の判定結果に基づき加熱部113を制御する。例えば、制御部154は、加熱調理器100の操作部115または端末装置300の操作部302に対するユーザUの操作に基づき、加熱調理器100の運転を開始し、加熱部113を加熱させる。制御部154は、例えば、加熱部113に電力を供給するスイッチング素子をON/OFF制御することで、加熱部113の加熱状態を制御する。そして、制御部154は、調理具合判定部153により調理対象Oの調理具合が丁度良いと判定された場合に、加熱部113の加熱を終了し、加熱調理器100の運転を終了する。なお、制御部154は、加熱調理器100の運転の終了に代えて/加えて、調理具合判定部153の判定結果に基づき加熱部113の温度調整などを行ってもよい。
The
評価受付部155は、加熱調理器100の運転終了後に、調理対象Oの調理具合に関するユーザUの評価を受け付ける。例えば、評価受付部155は、加熱調理器100の表示装置114または端末装置300の表示装置301に調理具合に関する質問をアンケート形式で表示させ、質問に対する回答を調理具合に関するユーザUの評価として受け付ける。
After the operation of the
図7は、評価受付部155により表示される内容の一例を示す図である。評価受付部155は、例えば、焼き具合に関する5段階評価や、しっとり具合に関する5段階評価をユーザUに質問し、質問に対する5段階評価の選択をユーザUの評価として受け付ける。
Figure 7 is a diagram showing an example of the content displayed by the
学習部156は、評価受付部155により受け付けられたユーザUの評価に基づき、学習済みモデルMAの追加学習を行う。例えば、学習部156は、ユーザUによって調理具合が良いと評価されたときの運転内容(センサ部SUの検出結果と調理具合判定部153の判定内容の組み合わせ)を新しい教師データとして、ユーザUの評価を最大化するように強化学習を行う。これにより、ユーザUの好みに合うように学習済みモデルMAの内部変数が調整される。
The
<3.処理の流れ>
図8は、制御ユニット103による処理の流れを示すフローチャートである。まず、種類受付部151は、加熱調理器100の操作部115(または端末装置300の操作部302)に対するユーザUの操作に基づき、調理対象Oの種類を受け付ける(S101)。そして、調理具合判定部153は、種類受付部151により受け付けられた調理対象Oの種類に基づき、複数の学習済みモデルMAのなかから使用する学習済みモデルMAを選択する(S102)。
<3. Processing flow>
8 is a flowchart showing the flow of processing by the
次に、制御部154は、加熱調理器100の運転を開始する(S103)。すなわち、制御部154は、加熱部113を加熱させることで、調理対象Oの調理を開始する。そして、判定部DUは、所定の周期でセンサ部SUの検出結果を取得する(S104)。
Next, the
画像処理部152は、センサ部SUの検出結果が入力される場合、センサ部SUの検出結果に含まれるカメラ116により撮影されたカラー画像をモノクロ画像に変換する(S105)。そして、調理具合判定部153は、画像処理部152により変換されたモノクロ画像と、選択された学習済みモデルMAとを用いて調理対象Oの調理具合の判定を行い、その判定結果を出力する(S106)。
When the detection result of the sensor unit SU is input, the
次に、制御部154は、調理具合判定部153により出力される判定結果が所定の終了条件を満たすか否かを判定する(S107)。例えば、制御部154は、調理具合判定部153により出力される判定結果に含まれる数値が所定回数に亘り所定の閾値を上回る場合に、所定の終了条件が満たされると判定する。
Next, the
制御部154は、所定の終了条件が満たされない場合(S107:NO)、S104に戻り、S104からS106の処理を繰り返す。一方で、制御部154は、所定の終了条件が満たされる場合(S107:YES)、加熱調理器100の運転を終了する(S108)。すなわち、制御部154は、加熱部113の加熱を終了させる。これにより、調理対象Oの調理が完了する。
If the predetermined end condition is not met (S107: NO), the
<4.利点>
比較例として、タイマにより調理具合が調整される加熱調理器について考える。このような加熱調理器では、調理具合をユーザが都度確認する必要がある場合がある、または毎回の調理具合に差が生じる場合がある。また、カメラにより撮影された画像をそのまま利用して調理具合を判定する場合において、調理対象の表面の色が加熱部の温度の状態に応じて異なる場合、調理具合を精度良く判定することが難しい場合がある。
4. Advantages
As a comparative example, consider a cooking device in which the degree of cooking is adjusted by a timer. In such a cooking device, the user may need to check the degree of cooking each time, or the degree of cooking may vary each time. In addition, when the degree of cooking is judged by directly using an image captured by a camera, if the color of the surface of the object to be cooked varies depending on the temperature state of the heating section, it may be difficult to judge the degree of cooking with high accuracy.
一方で、本実施形態の加熱調理器システム1は、カメラ116により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習済みモデルMAとに基づき、調理対象Oの調理具合を判定する判定部DUと、判定部DUの判定結果に基づき加熱部113を制御する制御部154とを備える。このような構成によれば、まず、判定部DUにより調理具合が判定され、その判定結果に基づき加熱部113の制御が行われるため、調理具合をユーザUが都度確認する必要が無くなるか少なくなり、また毎回の調理具合の差が小さくなる。さらに、調理対象Oの表面の色が加熱部113の温度の状態に応じて異なる場合においてモノクロ画像に基づいて調理具合を判定することで、調理具合の判定精度を高めることができる。これにより、ユーザUの利便性の向上を図ることができる。
On the other hand, the
本実施形態では、加熱調理器システム1は、調理対象Oの種類を示すユーザの入力を受け付ける種類受付部151をさらに備える。判定部DUは、種類受付部151により受け付けられた調理対象Oの種類に基づき複数の学習済みモデルMAのなかから1つの学習済みモデルMAを選択し、選択した学習済みモデルMAに基づき調理対象Oの調理具合を判定する。このような構成によれば、調理対象毎に準備された学習済みモデルMAによって、調理具合の判定精度をさらに高めることができる。これにより、ユーザUの利便性を向上させることができる。
In this embodiment, the
本実施形態では、加熱調理器システム1は、運転終了後に調理具合に関するユーザUの評価を受け付ける評価受付部155と、評価受付部155により受け付けられたユーザUの評価に基づき学習済みモデルMAの追加学習を行う学習部156とをさらに備える。このような構成によれば、ユーザUによる評価が高くなるように学習済みモデルMAを更新することができる。これにより、ユーザUの利便性を向上させることができる。
In this embodiment, the
(変形例)
上述した第1実施形態では、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、学習部156、および記憶部157は、加熱調理器100に設けられている。これに代えて、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、学習部156、および記憶部157のうち1つ以上、サーバ200に設けられてもよい。また、評価受付部155および学習部156は、省略されてもよい。
(Modification)
In the above-described first embodiment, the
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態は、加熱調理器システム1が調理具合に関するユーザUの好みを受け付ける嗜好受付部161を有する点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。
Second Embodiment
Next, a second embodiment will be described. The second embodiment is different from the first embodiment in that the
図9は、第2実施形態の加熱調理器100Aのシステム構成を示すブロック図である。本実施形態では、入力受付部IUは、嗜好受付部161を含む。嗜好受付部161は、加熱調理器100の操作部115または端末装置300の操作部302に対して行われたユーザUの操作に基づき、調理対象Oの調理具合に関するユーザUの好みを受け付ける。例えば、嗜好受付部161は、加熱調理器100の表示装置114または端末装置300の表示装置301に、調理具合の複数の候補を表示させ、複数の候補から1つを選択するユーザUの入力を受け付ける。調理具合に関するユーザUの好みは、例えば、「カリっとした食感」、「しっとりとした食感」、「よく焼けているのが好き」、「焼き過ぎは苦手」などである。
FIG. 9 is a block diagram showing the system configuration of the
本実施形態では、記憶部157には、調理具合の複数の好みに対応する複数の閾値情報TIが記憶されている。複数の閾値情報TIは、丁度良い調理具合と判定するための閾値(加熱調理器100Aの運転を終了させるための閾値)が互いに異なる。調理具合判定部153は、嗜好受付部161により受け付けられたユーザUの好みに応じて複数の閾値情報TIのなかから1つの閾値情報TIを選択し、選択した閾値情報TIを用いて加熱調理器100Aの運転の終了タイミングを決定する。言い換えると、調理具合判定部153は、嗜好受付部161により受け付けられたユーザUの好みに基づき、調理対象の調理具合に関する判定結果(例えば運転の終了タイミングを示す判定結果)を異ならせる。
In this embodiment, the
このような構成によれば、ユーザUの好みに対してより適した調理具合で調理対象Oを調理することができる。これにより、ユーザUの利便性を向上させることができる。例えば、本実施形態の構成によれば、評価受付部155および学習部156が省略された場合でも、ユーザUの好みに対してより適した調理具合で調理対象Oを調理することができる。
According to such a configuration, the cooking target O can be cooked to a degree of doneness that is more suitable for the user U's preferences. This can improve the convenience for the user U. For example, according to the configuration of this embodiment, even if the
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態は、カメラ116のレンズ116bに関する汚れの量も反映させて調理具合に関する判定が行われる点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。
Third Embodiment
Next, a third embodiment will be described. The third embodiment differs from the first embodiment in that the cooking doneness is determined by taking into account the amount of dirt on the
図10は、第3実施形態の加熱調理器100Bのシステム構成を示すブロック図である。ここで、加熱調理器100Bは、冷蔵庫など他の家電機器と比べて清掃される頻度が少ない家電機器であり、カメラ116のレンズ116bに付着した汚れ(例えば油汚れ)が溜まることがある。レンズ116bに付着した汚れが溜まると、カメラ116により撮影される画像が変色する(例えば茶色くなる)場合がある。カメラ116により撮影される画像が変色すると、調理具合の判定精度が低下する可能性がある。
Figure 10 is a block diagram showing the system configuration of the
本実施形態では、情報処理部PU1は、状態管理部171を含む。状態管理部171は、カメラ116のレンズ116bに付着した汚れの量を直接的または間接的に示す情報(以下「汚れ情報」と称する)を管理する。例えば、状態管理部171は、カメラ116のレンズ116bの汚れ情報を所定の周期(例えば1週間に1度)収集し、記憶部157に記憶される履歴情報HIの一部として保存する。
In this embodiment, the information processing unit PU1 includes a
図11は、カメラ116のレンズ116bの汚れ情報の一例を示す図である。カメラ116のレンズ116bの汚れ情報は、例えば、カメラ116のレンズ116bに付着した汚れの量を直接的に示す汚れ情報HIAと、カメラ116のレンズ116bに付着した汚れの量を間接的に示す汚れ情報HIBとのうち少なくとも一方を含む。汚れ情報HIAは、例えば、カメラ116により撮影された画像の履歴を含む。例えば、汚れ情報HIAは、加熱調理器100Bの使用初期時に撮影された画像1と、直近に撮影された画像Nとを含む。汚れ情報HIBは、加熱調理器100Bの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部113の加熱温度、加熱部113の加熱時間などのうち1つ以上の情報を含む。
11 is a diagram showing an example of dirt information on the
本実施形態では、学習済みモデルMAは、入力情報としてセンサ部SUの検出結果およびカメラ116のレンズ116bの汚れ情報が入力された場合に、調理対象Oの調理具合を示す判定結果を出力するように学習されている。入力情報として入力されるカメラ116のレンズ116bの汚れ情報は、例えば、直近に撮影した画像N(例えばカラー画像の画像N)でもよく、画像1と画像Nの組でもよく、画像1と画像Nの差分を示す情報でもよい。これに代えて/加えて、カメラ116のレンズ116bの汚れ情報は、調理した食材の履歴、加熱部113の加熱温度の積算値、または加熱部113の加熱時間の累積値などでもよい。本実施形態では、調理具合判定部153は、センサ部SUの検出結果およびカメラ116のレンズ116bの汚れ情報に基づき、調理具合を判定する。
In this embodiment, the trained model MA is trained to output a judgment result indicating the degree of cooking of the cooking object O when the detection result of the sensor unit SU and dirt information of the
このような構成によれば、カメラ116のレンズ116bに付着した汚れも考慮して調理対象Oの調理具合を判定することができる。これにより、調理具合に関する判定精度を高めることができる。
With this configuration, it is possible to determine the degree of doneness of the cooking object O while taking into account dirt adhering to the
(変形例)
カメラ116が筐体111の内部ではなく、扉122の取手133に設けられた場合、汚れが問題になるのはカメラ116のレンズ116bの汚れではなく、扉122の窓部132の汚れになる。このため、カメラ116が扉122の取手133に設けられた場合は、状態管理部171は、窓部132に付着した汚れの量を直接的または間接的に示す汚れ情報を管理する。本変形例における汚れ情報の内容の詳細は、第3実施形態で説明した汚れ情報の内容において、「カメラのレンズ」を「窓部」と読み替えればよい。例えば、本変形例の状態管理部171は、窓部132に付着した汚れの量を直接的または間接的に示す情報(汚れ情報HIA,HIB)を管理する。
(Modification)
If the
汚れ情報HIAは、例えば、カメラ116または別のカメラにより撮影された窓部132の画像の履歴を含む。例えば、汚れ情報HIAは、加熱調理器100Bの使用初期時に撮影された窓部132の画像1と、直近に撮影された窓部132の画像Nとを含む。汚れ情報HIBは、加熱調理器100Bの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部113の加熱温度、加熱部113の加熱時間などのうち1つ以上の情報を含む。このような構成によっても、調理具合に関する判定精度を高めることができる。
The dirt information HIA includes, for example, a history of images of the
(第4実施形態)
次に、第4実施形態について説明する。第4実施形態は、調理対象Oの種類の判定が加熱調理器システム1によって行われる点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。本実施形態では区別のため、上述した学習済みモデルMAを「第1学習済みモデルMA」と称する。
Fourth Embodiment
Next, a fourth embodiment will be described. The fourth embodiment differs from the first embodiment in that the type of the cooking object O is determined by the
図12は、第4実施形態のサーバ200Cのシステム構成を示すブロック図である。サーバ200Cは、例えば、情報処理部PU2と、記憶部206とを有する。情報処理部PU2は、例えば、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、および学習部205を含む。情報処理部PU2に含まれる各機能部は、サーバ200Cに搭載されたCPUのようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ASIC、PLD、またはFPGAなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部206は、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部206には、第2学習済みモデルMBが記憶されている。
12 is a block diagram showing the system configuration of the
情報取得部201は、加熱調理器100のカメラ116によって撮影されたカラー画像(または画像処理部152により変換されたモノクロ画像)を、加熱調理器100から取得する。以下では、カメラ116によって撮影されたカラー画像と、画像処理部152により変換されたモノクロ画像とを総称して「情報取得部により取得された画像」と称する。
The
種類判定部202は、情報取得部201により取得された画像(例えばカラー画像)と、第2学習済みモデルMBとに基づき、調理対象Oの種類を判定する。第2学習済みモデルMBは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。種類判定部202は、「第2判定部」の一例である。本実施形態では、加熱調理器100に設けられた画像処理部152および調理具合判定部153と、サーバ200Cに設けられた種類判定部202とにより、判定部DUの一例が構成されている。
The
例えば、第2学習済みモデルMBは、図6に示された第1学習済みモデルMAと同様に、入力層、隠れ層(中間層)、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルMBは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードnの間の重み付け係数w(内部変数)などが調整されることで学習が行われている。 For example, the second trained model MB is composed of a neural network including an input layer, a hidden layer (intermediate layer), and an output layer, similar to the first trained model MA shown in FIG. 6. For example, the trained model MB is trained by adjusting the weighting coefficients w (internal variables) between the nodes n included in the input layer, hidden layer, and output layer through deep learning using training data obtained from experiments conducted in advance.
第2学習済みモデルMBは、情報取得部201により取得された画像が入力情報として入力された場合に、調理対象Oの種類を示す判定結果を出力情報として出力するように学習が行われている。調理対象Oの種類は、上述したように、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち1つ以上を含む。第2学習済みモデルMBから出力される出力情報は、調理対象Oの種類の判定結果の尤度を示す情報(例えば、判定結果が正しい確率を示す情報を含む)を含む。
The second trained model MB has been trained to output, as output information, a determination result indicating the type of cooking object O when an image acquired by the
情報出力部203は、種類判定部202により判定された調理対象Oの種類を示す情報を加熱調理器100または端末装置300に出力させ、調理対象Oの種類を示す情報を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させる。
The
訂正受付部204は、種類判定部202により判定されて情報出力部203により出力された調理対象Oの種類の判定結果に対する訂正を受け付ける。例えば、訂正受付部204は、加熱調理器100の操作部115または端末装置300の操作部302に対するユーザUの操作に基づき、調理対象Oの種類の判定結果に対する訂正を受け付ける。
The
図13は、訂正受付部204により訂正を受け付ける画面の一例を示す図である。本実施形態では、種類判定部202による調理対象Oの種類の判定結果が加熱調理器100の表示装置114または端末装置300の表示装置301に表示される。そして、訂正受付部204は、まず、調理対象Oの種類の判定結果に対する訂正の有無を受け付ける。そして、訂正がある場合は、訂正受付部204は、訂正の具体的な内容を受け付ける。
FIG. 13 is a diagram showing an example of a screen on which the
学習部205は、訂正受付部204により受け付けられたユーザUの訂正内容に基づき、第2学習済みモデルMBの追加学習を行う。例えば、学習部205は、情報取得部201により取得された画像と、ユーザUによって訂正された調理対象Oの正しい種類との組み合わせを新しい教師データとして、第2学習済みモデルMBの追加学習を行う。これにより、種類判定部202の判定精度の向上を図ることができる。
The
本実施形態では、加熱調理器100の制御部154は、加熱調理器100の運転の終了に代えて/加えて、種類判定部202の判定結果に基づき加熱部113の温度調整などを行ってもよい。
In this embodiment, the
図14は、サーバ200Cによる処理の流れを示すフローチャートである。まず、種類判定部202は、情報取得部201により取得された画像と、第2学習済みモデルMBとに基づき、調理対象Oの種類を判定する(S201)。次に、種類判定部202は、判定結果に間違いがないか(判定結果が正しい確率が閾値以上であるか)を判定する(S202)。
Figure 14 is a flowchart showing the flow of processing by the
情報出力部203は、判定結果が間違っていない場合(判定結果が正しい確率が閾値以上である場合、S202:YES)、調理対象Oの種類の判定結果を加熱調理器100に出力する。この場合、加熱調理器100は、調理対象Oの種類の判定結果に基づき、加熱調理器100の運転条件(加熱部113の加熱温度および加熱時間など)を自動で選択(自動で設定)し、加熱調理器100の運転を開始する(S206)。なお、情報出力部203は、判定結果が間違っていない場合(判定結果が正しい確率が閾値以上である場合)であっても、調理対象Oの種類を示す判定結果を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させてもよい。
If the determination result is not incorrect (if the probability that the determination result is correct is equal to or greater than the threshold, S202: YES), the
一方で、情報出力部203は、判定結果が間違っている可能性がある場合(判定結果が正しい確率が閾値未満である場合、S202:NO)、調理対象Oの種類の判定結果を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させる(S203)。次に、訂正受付部204は、調理対象Oの種類の判定結果に対する訂正を受け付ける(S204)。
On the other hand, if there is a possibility that the determination result is incorrect (if the probability that the determination result is correct is less than the threshold, S202: NO), the
情報出力部203は、訂正がないことを示すユーザUの入力を受け付けた場合(S204:NO)、調理対象Oの種類の判定結果を加熱調理器100に出力する。そして、S206の処理に進む。一方で、訂正受付部204は、調理対象Oの種類を訂正するユーザUの入力を受け付けた場合(S204:YES)は、調理対象Oの種類を訂正する(S205)。そして、情報出力部203は、訂正された調理対象Oの種類を加熱調理器100に出力する。そして、S206の処理に進む。以降の処理は、第1実施形態の処理と同様である。
When the
このような構成によれば、第1実施形態と同様に、ユーザUの利便性の向上を図ることができる。さらに本実施形態では、種類判定部202により調理対象Oの種類が自動で判別される。これにより、ユーザUの利便性のさらなる向上を図ることができる。
With this configuration, as in the first embodiment, it is possible to improve the convenience for the user U. Furthermore, in this embodiment, the
本実施形態では、種類判定部202により判定された調理対象Oの種類を表示装置114,301に出力する情報出力部203と、調理対象Oの種類を訂正するユーザUの入力を受け付け可能である訂正受付部204とをさらに備える。このような構成によれば、調理対象Oの種類の判定が誤っている場合にユーザUによって訂正された正しい内容に基づいて調理を行うことができる。これにより、ユーザUの利便性のさらなる向上を図ることができる。
In this embodiment, the device further includes an
本実施形態では、調理具合判定部153は、加熱調理器100に設けられている。種類判定部202は、サーバ200Cに設けられている。これにより、速やかな判定が必要な調理具合については加熱調理器100で判定を行い、調理具合と比べて時間に余裕がある調理対象Oの種類はサーバ200Cで判定を行うことができる。これにより、加熱調理器100の記憶部157の必要容量を少なくすることができ、処理の安定性と加熱調理器100のコストダウンを図ることができる。
In this embodiment, the cooking
本実施形態では、調理具合判定部153は、モノクロ画像に基づき調理具合を判定する。種類判定部202は、カラー画像に基づき調理対象Oの種類を判定する。このような構成によれば、加熱部113の温度に応じて異なる色になる場合において、加熱部113に照らされる調理対象Oの色の差の影響を小さくするとともに、調理対象Oの種類を判定ではカラー画像に基づいて高い精度の判定を行うことができる。
In this embodiment, the cooking
(変形例)
上述した第4実施形態では、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、学習部205、および記憶部206は、サーバ200Cに設けられている。これに代えて、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、学習部205、および記憶部206のうち1つ以上は、加熱調理器100に設けられてもよい。
(Modification)
In the above-described fourth embodiment, the
以上、いくつかの実施形態および変形例について説明した。ただし、実施形態および変形例は上記例に限定されない。例えば、上述した実施形態および変形例は、互いに組み合わされて実現されてもよい。本出願でいう「サーバ」は、クラウドサーバに限定されず、ユーザUの自宅に設けられたコンピュータなどでもよい。 A number of embodiments and variations have been described above. However, the embodiments and variations are not limited to the above examples. For example, the above-described embodiments and variations may be realized in combination with each other. The "server" referred to in this application is not limited to a cloud server, but may also be a computer installed in the home of user U.
以上説明した少なくともひとつの実施形態によれば、加熱調理器システムは、撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、調理対象の調理具合を判定する判定部を備える。このような構成によれば、利便性の向上を図ることができる。 According to at least one of the embodiments described above, the cooking device system includes a determination unit that converts an image captured by the imaging unit into a monochrome image and determines the degree of doneness of the food to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by learning. Such a configuration can improve convenience.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are within the scope of the invention and its equivalents as set forth in the claims, as well as the scope and gist of the invention.
1…加熱調理器システム、100,100A,100B…加熱調理器、111…筐体、112…載置部、113…加熱部、114…表示装置(表示部)、116…カメラ(撮像部)、151…種類受付部、152…画像処理部、153…調理具合判定部(第1判定部)、154…制御部、155…評価受付部、156…学習部、161…嗜好受付部、200,200C…サーバ、202…種類判定部(第2判定部)、204…訂正受付部、205…学習部、300…端末装置、301…表示装置(表示部)、DU…判定部、MA…第1学習済みモデル、MB…第2学習済みモデル、O…調理対象。 1...cooker system, 100, 100A, 100B...cooker, 111...housing, 112...placement section, 113...heating section, 114...display device (display section), 116...camera (imaging section), 151...type acceptance section, 152...image processing section, 153...cooking condition judgment section (first judgment section), 154...control section, 155...evaluation acceptance section, 156...learning section, 161...preference acceptance section, 200, 200C...server, 202...type judgment section (second judgment section), 204...correction acceptance section, 205...learning section, 300...terminal device, 301...display device (display section), DU...judgment section, MA...first trained model, MB...second trained model, O...cooking object.
Claims (11)
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、
を備え、
前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有し、
前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられ、
前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、
前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、
加熱調理器システム。 A housing including a placement section on which an object to be cooked is placed;
A heating unit provided in the housing for heating the object to be cooked;
an imaging unit that captures an image of the cooking target, the color of the cooking target included in the captured image being different depending on the temperature of the heating unit;
A determination unit that converts the image captured by the imaging unit into a monochrome image and determines the degree of doneness of the object to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by training;
A control unit that controls the heating unit based on a determination result of the determination unit;
Equipped with
The housing has a housing body having an opening and a door that closes the opening,
the imaging unit is provided on a ceiling of the housing body or on an inner surface of the door,
The determination unit determines the cooking state based on information directly or indirectly indicating an amount of dirt attached to the lens of the imaging unit, the monochrome image, and the trained model,
The information directly or indirectly indicating the amount of dirt adhering to the lens of the imaging unit includes a usage history indicating the types of ingredients previously cooked as the cooking target.
Heating cooker system.
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、A heating unit provided in the housing for heating the object to be cooked;
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、an imaging unit that captures an image of the cooking target, the color of the cooking target included in the captured image being different depending on the temperature of the heating unit;
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、A determination unit that converts the image captured by the imaging unit into a monochrome image and determines the degree of doneness of the object to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by training;
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、A control unit that controls the heating unit based on a determination result of the determination unit;
を備え、Equipped with
前記筐体は、開口を有した筐体本体と、前記開口を閉じるとともに前記筐体本体の内部を外部から視認可能な窓部と取手とを含む扉とを有し、The housing has a housing body having an opening, and a door that closes the opening and includes a window portion and a handle that allow the inside of the housing body to be viewed from the outside,
前記撮像部は、前記取手に設けられ、前記窓部を通じて前記筐体本体の内部に収容された前記調理対象を撮影し、The imaging unit is provided on the handle and captures an image of the cooking target contained inside the housing body through the window,
前記判定部は、前記窓部に付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、The determination unit determines the cooking state based on information directly or indirectly indicating an amount of dirt attached to the window portion, the monochrome image, and the trained model,
前記窓部に付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、The information directly or indirectly indicating the amount of dirt adhering to the window portion includes a usage history indicating the types of ingredients previously cooked as the cooking target.
加熱調理器システム。Heating cooker system.
前記学習済みモデルは、前記調理対象の種類に対応する複数の学習済みモデルを含み、 前記判定部は、前記種類受付部により受け付けられた前記調理対象の種類に基づき前記複数の学習済みモデルのなかから1つの学習済みモデルを選択し、選択した学習済みモデルに基づき前記調理対象の調理具合を判定する、
請求項1または請求項2に記載の加熱調理器システム。 A type receiving unit is further provided for receiving a user's input indicating a type of the object to be cooked,
the trained model includes a plurality of trained models corresponding to the type of the object to be cooked, and the determination unit selects one trained model from the plurality of trained models based on the type of the object to be cooked accepted by the type acceptance unit, and determines the cooking doneness of the object to be cooked based on the selected trained model.
The cooking device system according to claim 1 or 2 .
前記判定部は、前記モノクロ画像と前記第1学習済みモデルとに基づき前記調理具合を判定する第1判定部と、前記撮像部により撮影された画像または前記モノクロ画像と、前記第2学習済みモデルとに基づき前記調理対象の種類を判定する第2判定部と、を含む、 請求項1または請求項2に記載の加熱調理器システム。 The trained model includes a first trained model used to determine the degree of cooking and a second trained model used to determine the type of the object to be cooked,
3. The heating cooker system according to claim 1 or 2, wherein the determination unit includes: a first determination unit that determines the cooking state based on the monochrome image and the first trained model; and a second determination unit that determines the type of the object to be cooked based on an image captured by the imaging unit or the monochrome image and the second trained model.
前記表示部に表示された前記調理対象の種類が誤っている場合に、前記調理対象の種類を訂正するユーザの入力を受け付け可能である訂正受付部と、
をさらに備えた、
請求項4に記載の加熱調理器システム。 An information output unit that outputs the type of the cooking object determined by the second determination unit to a display unit;
a correction receiving unit capable of receiving a user's input for correcting the type of the cooking object displayed on the display unit when the type of the cooking object is incorrect;
Further equipped with
The cooking system according to claim 4 .
前記加熱調理器とネットワークを介して接続可能であるサーバと、
を備え、
前記第1判定部は、前記加熱調理器に設けられ、
前記第2判定部は、前記サーバに設けられている、
請求項4または請求項5に記載の加熱調理器システム。 A cooking device including the housing, the heating unit, the imaging unit, and the control unit;
A server connectable to the cooking device via a network;
Equipped with
The first determination unit is provided in the cooking appliance,
The second determination unit is provided in the server.
The cooking device system according to claim 4 or 5 .
前記第2判定部は、前記撮像部により撮影されたカラー画像と前記第2学習済みモデルとに基づき前記調理対象の種類を判定する、
請求項4から請求項6のうちいずれか1項に記載の加熱調理器システム。 The first determination unit determines the cooking state based on the monochrome image and the first trained model,
The second determination unit determines the type of the cooking object based on the color image captured by the imaging unit and the second trained model.
The cooking device system according to any one of claims 4 to 6 .
請求項1から請求項7のうちいずれか1項に記載の加熱調理器システム。 The image captured by the imaging unit includes content indicating the degree of doneness of the object to be cooked.
The cooking device system according to any one of claims 1 to 7 .
前記評価受付部により受け付けられた前記ユーザの評価に基づき前記学習済みモデルの追加学習を行う学習部と、
をさらに備える、
請求項1から請求項8のうちいずれか1項に記載の加熱調理器システム。 an evaluation receiving unit that receives a user's evaluation of the cooking state after the operation is completed;
A learning unit that performs additional learning of the trained model based on the user's evaluation accepted by the evaluation acceptance unit;
Further comprising:
The cooking device system according to any one of claims 1 to 8 .
前記判定部は、前記嗜好受付部により受け付けられた前記ユーザの好みに基づき、前記調理対象の調理具合に関する判定結果を異ならせる、
請求項1から請求項9のうちいずれか1項に記載の加熱調理器システム。 A preference receiving unit is further provided for receiving a user's preference regarding the degree of cooking,
The determination unit changes a determination result regarding the doneness of the object to be cooked based on the user's preference accepted by the preference accepting unit.
The cooking device system according to any one of claims 1 to 9 .
前記加熱調理器は、トースターまたはオーブントースターである、
請求項1から請求項10のうちいずれか1項に記載の加熱調理器システム。 a cooking device including the housing, the heating unit, the imaging unit, and the control unit;
The cooking appliance is a toaster or a toaster oven.
The cooking device system according to any one of claims 1 to 10 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021064993A JP7577597B2 (en) | 2021-04-06 | 2021-04-06 | Cooking System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021064993A JP7577597B2 (en) | 2021-04-06 | 2021-04-06 | Cooking System |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022160322A JP2022160322A (en) | 2022-10-19 |
JP7577597B2 true JP7577597B2 (en) | 2024-11-05 |
Family
ID=83657589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021064993A Active JP7577597B2 (en) | 2021-04-06 | 2021-04-06 | Cooking System |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7577597B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005172267A (en) | 2003-12-08 | 2005-06-30 | Toshiba Corp | Heating cooker |
JP2008286466A (en) | 2007-05-17 | 2008-11-27 | Mitsubishi Electric Corp | Heating device |
US20190242584A1 (en) | 2016-08-18 | 2019-08-08 | BSH Hausgeräte GmbH | Establishing a degree of browning of food to be cooked |
JP2020139697A (en) | 2019-02-28 | 2020-09-03 | 東京瓦斯株式会社 | Cooking management method, system, program, and apparatus |
JP2020153945A (en) | 2019-03-22 | 2020-09-24 | 東京瓦斯株式会社 | Method, system, program, and apparatus for managing cooking |
JP2021508811A (en) | 2017-12-30 | 2021-03-11 | 美的集団股▲フン▼有限公司Midea Group Co., Ltd. | Food cooking methods and systems based on ingredient identification |
-
2021
- 2021-04-06 JP JP2021064993A patent/JP7577597B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005172267A (en) | 2003-12-08 | 2005-06-30 | Toshiba Corp | Heating cooker |
JP2008286466A (en) | 2007-05-17 | 2008-11-27 | Mitsubishi Electric Corp | Heating device |
US20190242584A1 (en) | 2016-08-18 | 2019-08-08 | BSH Hausgeräte GmbH | Establishing a degree of browning of food to be cooked |
JP2021508811A (en) | 2017-12-30 | 2021-03-11 | 美的集団股▲フン▼有限公司Midea Group Co., Ltd. | Food cooking methods and systems based on ingredient identification |
JP2020139697A (en) | 2019-02-28 | 2020-09-03 | 東京瓦斯株式会社 | Cooking management method, system, program, and apparatus |
JP2020153945A (en) | 2019-03-22 | 2020-09-24 | 東京瓦斯株式会社 | Method, system, program, and apparatus for managing cooking |
Also Published As
Publication number | Publication date |
---|---|
JP2022160322A (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3477206B1 (en) | Cooking appliance with a user interface | |
JP6577365B2 (en) | Nutrient amount calculation device and refrigerator equipped with the same | |
CN112040817B (en) | Multipurpose intelligent electric cooker | |
EP3189507A1 (en) | Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance | |
CN108133743A (en) | A kind of methods, devices and systems of information push | |
CN212159540U (en) | Device for determining sugar content information of food and heating appliance for cooking food | |
CN111812989A (en) | Food processing control method, device, equipment and storage medium | |
CN112704402A (en) | Cooking appliance linkage control method and device, electronic equipment and storage medium | |
JP6255275B2 (en) | Cooker | |
JP7577597B2 (en) | Cooking System | |
CN209733642U (en) | Intelligent cooking equipment | |
US11983643B2 (en) | Cooking result inference system | |
JP7403044B2 (en) | heating cooker | |
CN109691903B (en) | Heating method of frying and baking machine, heating device, frying and baking machine and computer storage medium | |
CN115177158A (en) | Cooking utensil | |
CN116687220A (en) | Cooking method, cooking device, electronic equipment, cooking equipment and storage medium | |
JP7201510B2 (en) | Cooking machine, server and cooking system | |
US20230154029A1 (en) | Home appliance having interior space for accommodating tray at various heights and method of obtaining image by home appliance | |
US20220287508A1 (en) | Vision system for a toaster | |
CN112965542B (en) | Intelligent cooking equipment control method, control equipment and intelligent terminal | |
US20230018647A1 (en) | Real-time automated cooking cycles system using computer vision and deep learning | |
JP2021143784A (en) | Determination device, heating cooker | |
CN118542569A (en) | Steam cooking method and steam oven | |
CN114376418A (en) | Control method of cooking equipment and cooking equipment | |
KR20230073006A (en) | Home appliance having an interior space for accommodating a tray at various heights and method for obtaining an image by the home appliance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7577597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |