[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7577597B2 - Cooking System - Google Patents

Cooking System Download PDF

Info

Publication number
JP7577597B2
JP7577597B2 JP2021064993A JP2021064993A JP7577597B2 JP 7577597 B2 JP7577597 B2 JP 7577597B2 JP 2021064993 A JP2021064993 A JP 2021064993A JP 2021064993 A JP2021064993 A JP 2021064993A JP 7577597 B2 JP7577597 B2 JP 7577597B2
Authority
JP
Japan
Prior art keywords
unit
cooking
trained model
cooked
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021064993A
Other languages
Japanese (ja)
Other versions
JP2022160322A (en
Inventor
俊紀 磯貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2021064993A priority Critical patent/JP7577597B2/en
Publication of JP2022160322A publication Critical patent/JP2022160322A/en
Application granted granted Critical
Publication of JP7577597B2 publication Critical patent/JP7577597B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electric Stoves And Ranges (AREA)
  • Baking, Grill, Roasting (AREA)

Description

本発明の実施形態は、加熱調理器システムに関する。 An embodiment of the present invention relates to a cooking device system.

庫内に配置された被調理体を監視するモニタカメラを備え、モニタカメラが捉えた被調理体の画像情報に基づき料理素材を特定する電子レンジが提案されている。ところで、加熱調理器は、利便性のさらなる向上が期待されている。 A microwave oven has been proposed that is equipped with a monitor camera that monitors the food items placed inside the oven and identifies cooking ingredients based on image information of the food items captured by the monitor camera. Meanwhile, there are hopes for further improvements in the convenience of cooking appliances.

特開平6-257756号公報Japanese Patent Application Publication No. 6-257756

本発明が解決しようとする課題は、利便性の向上を図ることができる加熱調理器システムを提供することである。 The problem that this invention aims to solve is to provide a cooking device system that can improve convenience.

実施形態の加熱調理器システムは、筐体と、加熱部と、撮像部と、判定部と、制御部とを持つ。前記筐体は、調理対象が載せられる載置部を含む。前記加熱部は、前記筐体内に設けられ、前記調理対象を加熱する。前記撮像部は、前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる。前記判定部は、前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する。前記制御部は、前記判定部の判定結果に基づき前記加熱部を制御する。前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有する。前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられている。前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定する。前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む。 The cooking device system of the embodiment has a housing, a heating unit, an imaging unit, a determination unit, and a control unit. The housing includes a placement unit on which a cooking object is placed. The heating unit is provided in the housing and heats the cooking object. The imaging unit photographs the cooking object, and the color of the cooking object included in the photographed image varies depending on the temperature of the heating unit. The determination unit converts the image photographed by the imaging unit into a monochrome image, and determines the cooking state of the cooking object based on the converted monochrome image and a trained model in which internal variables are adjusted by learning. The control unit controls the heating unit based on the determination result of the determination unit. The housing has a housing main body having an opening and a door that closes the opening. The imaging unit is provided on the ceiling of the housing main body or on the inner surface of the door. The determination unit determines the cooking state based on information that directly or indirectly indicates the amount of dirt attached to the lens of the imaging unit, the monochrome image, and the trained model. The information directly or indirectly indicating the amount of dirt adhering to the lens of the imaging unit includes a usage history indicating the types of ingredients that have been cooked in the past as the cooking target.

第1実施形態の加熱調理器システムの全体構成を示す図。1 is a diagram showing an overall configuration of a cooking device system according to a first embodiment; 第1実施形態の加熱調理器を示す正面図。FIG. 2 is a front view showing the cooking device of the first embodiment. 図2中に示された加熱調理器のF3-F3線に沿う断面図。3 is a cross-sectional view taken along line F3-F3 of the cooking device shown in FIG. 2. 第1実施形態の加熱調理器のシステム構成を示すブロック図。FIG. 1 is a block diagram showing a system configuration of a cooking device according to a first embodiment. 第1実施形態の画像処理部の処理を示す図。5A to 5C are views showing the processing of an image processing unit according to the first embodiment; 第1実施形態の学習済みモデルの一例を示す図。FIG. 1 is a diagram showing an example of a trained model according to the first embodiment. 第1実施形態の評価受付部によって表示される内容の一例を示す図。6 is a diagram showing an example of content displayed by an evaluation receiving unit according to the first embodiment; FIG. 第1実施形態の制御ユニットによる処理の流れを示すフローチャート。5 is a flowchart showing a flow of processing by a control unit according to the first embodiment. 第2実施形態の加熱調理器のシステム構成を示すブロック図。FIG. 13 is a block diagram showing a system configuration of a cooking device according to a second embodiment. 第3実施形態の加熱調理器のシステム構成を示すブロック図。FIG. 13 is a block diagram showing a system configuration of a cooking device according to a third embodiment. 第3実施形態のカメラのレンズの汚れ情報の一例を示す図。FIG. 13 is a diagram showing an example of dirt information on a camera lens according to the third embodiment. 第4実施形態のサーバのシステム構成を示すブロック図。FIG. 13 is a block diagram showing a system configuration of a server according to a fourth embodiment. 第4実施形態の訂正受付部により訂正を受け付ける画面の一例を示す図。FIG. 13 is a diagram showing an example of a screen on which corrections are accepted by a correction accepting unit according to the fourth embodiment. 第4実施形態のサーバによる処理の流れを示すフローチャート。13 is a flowchart showing a flow of processing by a server according to the fourth embodiment.

以下、実施形態の加熱調理器システムを、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含み得る。「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含み得る。「XXまたはYY」とは、XXとYYのうちいずれか一方の場合に限定されず、XXとYYの両方の場合も含み得る。これは選択的要素が3つ以上の場合も同様である。「XX」および「YY」は、任意の要素(例えば任意の情報)である。 The cooking device system according to the embodiment will be described below with reference to the drawings. In the following description, components having the same or similar functions are given the same reference numerals. Duplicate descriptions of those components may be omitted. "Based on XX" means "based on at least XX" and may include cases where it is based on another element in addition to XX. "Based on XX" is not limited to cases where XX is used directly, but may also include cases where it is based on XX that has been calculated or processed. "XX or YY" is not limited to either XX or YY, but may include both XX and YY. This also applies when there are three or more selective elements. "XX" and "YY" are any element (for example, any information).

(第1実施形態)
<1.全体構成>
図1は、第1実施形態の加熱調理器システム1の全体構成を示す図である。加熱調理器システム1は、例えば、加熱調理器100と、サーバ200とを備える。加越調理器システム1は、ネットワークNWを介してまたは直接に、ユーザUの端末装置300と通信可能である。ネットワークNWは、例えば、インターネット、セルラー網、Wi-Fi(登録商標)網、LPWA(Low Power Wide Area)、WAN(Wide Area Network)、LAN(Local Area Network)、またはその他の公衆回線や専用回線などを状況に応じて利用すればよい。
First Embodiment
<1. Overall structure>
FIG. 1 is a diagram showing the overall configuration of a cooking device system 1 of the first embodiment. The cooking device system 1 includes, for example, a cooking device 100 and a server 200. The Kaetsu cooking device system 1 can communicate with a terminal device 300 of a user U via a network NW or directly. The network NW may be, for example, the Internet, a cellular network, a Wi-Fi (registered trademark) network, a LPWA (Low Power Wide Area), a WAN (Wide Area Network), a LAN (Local Area Network), or other public lines or dedicated lines, depending on the situation.

加熱調理器100は、調理対象を加熱して調理する調理家電機器である。加熱調理器100は、ユーザUの住居内に配置されている。加熱調理器100は、例えば、トースター、オーブントースター、またはオーブンレンジなどであるが、オーブン機能を有しない電子レンジや他の調理家電機器などでもよい。以下では、加熱調理器100がオーブントースターである例を取り上げて説明する。 The cooking appliance 100 is a cooking home appliance that heats and cooks an object to be cooked. The cooking appliance 100 is placed in the residence of a user U. The cooking appliance 100 is, for example, a toaster, a toaster oven, or a range oven, but may also be a microwave oven or other cooking home appliance that does not have an oven function. The following description will be given taking an example in which the cooking appliance 100 is a toaster oven.

加熱調理器100は、例えば、ユーザUの住居内に設置された無線ルータRを介してネットワークNWと接続可能である。加熱調理器100は、ネットワークNWを介して、サーバ200と通信可能である。加熱調理器100は、直接またはネットワークNWを介して、ユーザUの端末装置300と通信可能でもよい。ただし本実施形態において、加熱調理器100は、通信機能を有さず、サーバ200と通信可能でなくてもよい。すなわち、サーバ200は存在しなくてもよい。この場合は、加熱調理器100単独によって「加熱調理器システム」の一例が構成される。 The cooking device 100 can be connected to the network NW, for example, via a wireless router R installed in the residence of the user U. The cooking device 100 can communicate with the server 200 via the network NW. The cooking device 100 may be able to communicate with the terminal device 300 of the user U directly or via the network NW. However, in this embodiment, the cooking device 100 does not have a communication function and may not be able to communicate with the server 200. In other words, the server 200 may not exist. In this case, an example of a "cooking device system" is configured by the cooking device 100 alone.

サーバ200は、加熱調理器100の動作を管理するサーバである。サーバ200は、ネットワークNWに接続された1台以上のサーバ装置(例えばクラウドサーバ)で構成される。サーバ200は、ネットワークNW中のルータに含まれる情報処理部など、エッジコンピューティングやフォグコンピューティングを行う情報処理部を含んでもよい。サーバ200は、ネットワークNWを介して、ユーザUの端末装置300と通信可能である。 The server 200 is a server that manages the operation of the cooking appliance 100. The server 200 is composed of one or more server devices (e.g., cloud servers) connected to the network NW. The server 200 may include an information processing unit that performs edge computing or fog computing, such as an information processing unit included in a router in the network NW. The server 200 is capable of communicating with the terminal device 300 of the user U via the network NW.

ユーザUの端末装置300は、例えば、スマートフォンまたはタブレット端末装置のような携帯端末装置である。端末装置300は、種々の情報を表示可能な表示画面を含む表示装置301と、ユーザUの操作を受け付け可能な操作部302とを含む。表示装置301は、「表示部」の一例である。操作部302は、例えば、表示装置301の表示画面に重ねて設けられたタッチセンサである。端末装置300には、加熱調理器システム1を利用するためのアプリケーションプログラムがインストールされ、以下に説明する機能がサポートされる。なお、端末装置300は、携帯端末装置に限定されず、パーソナルコンピュータでもよい。 The terminal device 300 of the user U is, for example, a mobile terminal device such as a smartphone or a tablet terminal device. The terminal device 300 includes a display device 301 including a display screen capable of displaying various information, and an operation unit 302 capable of receiving operations from the user U. The display device 301 is an example of a "display unit." The operation unit 302 is, for example, a touch sensor superimposed on the display screen of the display device 301. An application program for using the cooking system 1 is installed in the terminal device 300, and the functions described below are supported. Note that the terminal device 300 is not limited to a mobile terminal device, and may be a personal computer.

<2.加熱調理器>
<2.1 加熱調理器の全体構成>
次に、加熱調理器100について説明する。
図2は、加熱調理器100を示す正面図である。図3は、図2中に示された加熱調理器100のF3-F3線に沿う断面図である。図2および図3に示すように、加熱調理器100は、例えば、機器本体(加熱調理器本体)101と、通信部102と、制御ユニット103とを有する。
<2. Cooking Appliance>
<2.1 Overall configuration of the cooking device>
Next, the cooking device 100 will be described.
Fig. 2 is a front view showing the cooking device 100. Fig. 3 is a cross-sectional view taken along line F3-F3 of the cooking device 100 shown in Fig. 2. As shown in Figs. 2 and 3, the cooking device 100 has, for example, a device main body (cooking device main body) 101, a communication unit 102, and a control unit 103.

機器本体101は、例えば、筐体111、載置部112、加熱部113、表示装置114、操作部115、カメラ116、温度センサ117、および湿度センサ118を有する。 The device body 101 has, for example, a housing 111, a mounting section 112, a heating section 113, a display device 114, an operation section 115, a camera 116, a temperature sensor 117, and a humidity sensor 118.

筐体111は、例えば、筐体本体121と、扉122とを有する。筐体本体121は、前面の一部が開放された箱型に形成されている。すなわち、筐体本体121の前面は、筐体本体121の内部を外部に露出させる開口121aを有する。扉122は、筐体本体121の前方に設けられている。扉122は、筐体本体121に回動可能に連結され、開口121aを開閉可能に閉じる。 The housing 111 has, for example, a housing body 121 and a door 122. The housing body 121 is formed in a box shape with a portion of the front open. That is, the front of the housing body 121 has an opening 121a that exposes the inside of the housing body 121 to the outside. The door 122 is provided in front of the housing body 121. The door 122 is rotatably connected to the housing body 121 and closes the opening 121a in an openable and closable manner.

扉122は、扉本体131と、窓部132と、取手133とを有する。扉本体131は、筐体本体121の開口121aを覆う板状に形成されている。窓部132は、扉本体131を貫通して設けられている。窓部132は、透明なガラス素材またはプラスチック素材により形成されている。ユーザUは、窓部132を通じて筐体本体121の内部を外部から視認可能である。取手133は、扉122の前面に設けられ、窓部132の前面と比べて前方に突出している。取手133は、筐体本体121に対して扉122を開閉する際にユーザUが把持する部分である。取手133は、扉本体131から離れて設けられた取手本体133aと、取手本体133aの両端部に設けられ、扉本体131に接続された接続部133bとを有する。 The door 122 has a door body 131, a window portion 132, and a handle 133. The door body 131 is formed in a plate shape that covers the opening 121a of the housing body 121. The window portion 132 is provided so as to penetrate the door body 131. The window portion 132 is formed of a transparent glass material or a plastic material. The user U can see the inside of the housing body 121 from the outside through the window portion 132. The handle 133 is provided on the front surface of the door 122 and protrudes forward compared to the front surface of the window portion 132. The handle 133 is a part that the user U grasps when opening and closing the door 122 relative to the housing body 121. The handle 133 has a handle body 133a provided away from the door body 131, and a connection portion 133b provided at both ends of the handle body 133a and connected to the door body 131.

載置部112は、筐体111の内部に設けられている。載置部112は、例えば皿状または網状に形成され、調理対象Oが載せられる。 The placement portion 112 is provided inside the housing 111. The placement portion 112 is formed, for example, in a plate or net shape, and the cooking object O is placed on the placement portion 112.

加熱部113は、筐体111の内部に設けられ、載置部112に載せられた調理対象Oを加熱する。加熱部113は、例えば、第1ヒータ113aおよび第2ヒータ113bを含む。第1ヒータ113aは、調理対象Oの上方に位置し、調理対象Oの上面を加熱する。第2ヒータ113bは、調理対象Oの下方に位置し、調理対象の下面を加熱する。ここで、加熱部113は、当該加熱部113の発熱状態に応じて異なる色を発する。例えば、加熱部113は、第1温度状態にある場合に黄色またはオレンジ色に発光し、第1温度状態よりも高い第2温度状態にある場合に、より強いオレンジ色(より濃いオレンジ色)に発光する。このため、加熱部113によって照らされる調理対象Oの表面の色は、加熱部113の温度の状態に応じて異なる。 The heating unit 113 is provided inside the housing 111 and heats the cooking object O placed on the placement unit 112. The heating unit 113 includes, for example, a first heater 113a and a second heater 113b. The first heater 113a is located above the cooking object O and heats the upper surface of the cooking object O. The second heater 113b is located below the cooking object O and heats the lower surface of the cooking object. Here, the heating unit 113 emits different colors depending on the heat generation state of the heating unit 113. For example, the heating unit 113 emits yellow or orange light when in a first temperature state, and emits a stronger orange color (a darker orange color) when in a second temperature state higher than the first temperature state. Therefore, the color of the surface of the cooking object O illuminated by the heating unit 113 differs depending on the temperature state of the heating unit 113.

表示装置114は、例えば、筐体本体121の前面に設けられている。表示装置114は、種々の情報を表示可能な表示画面を有する。表示装置114は、例えば、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイであるが、これらに限定されない。表示装置114は、「表示部」の一例である。 The display device 114 is provided, for example, on the front surface of the housing body 121. The display device 114 has a display screen capable of displaying various information. The display device 114 is, for example, a liquid crystal display or an organic EL (Electro Luminescence) display, but is not limited to these. The display device 114 is an example of a "display unit."

操作部115は、例えば、筐体本体121の表面に設けられている。操作部115は、ユーザUの操作を受け付け可能である。操作部115は、例えば、表示装置114の表示画面に重ねて設けられたタッチセンサである。ただし、操作部115は、筐体本体121の表面に設けられた物理的なボタンなどでもよい。ユーザUは、操作部115に対する操作を通じて、調理対象Oの種類を入力することができる。「調理対象の種類」とは、食材の種類(例えば、食パン、マフィン、小麦パンなどパンの種類)、調理対象の数(食パンが1枚/2枚/3枚…など)、調理対象の大きさまたは厚さ(6枚切りの食パン/8枚切りの食パン…など)などのうち1つ以上を含む。 The operation unit 115 is provided, for example, on the surface of the housing body 121. The operation unit 115 can accept operations by the user U. The operation unit 115 is, for example, a touch sensor superimposed on the display screen of the display device 114. However, the operation unit 115 may also be a physical button provided on the surface of the housing body 121. The user U can input the type of cooking object O through an operation on the operation unit 115. The "type of cooking object" includes one or more of the following: type of food ingredient (for example, types of bread such as white bread, muffin, wheat bread, etc.), number of cooking objects (1 slice/2 slices/3 slices of bread, etc.), size or thickness of the cooking object (6 slices of bread/8 slices of bread, etc.), etc.

カメラ116は、筐体111に設けられ、載置部112に載置された調理対象Oを撮影する。カメラ116は、調理対象Oの表面(例えば上面)の画像を撮影する。本出願で「画像」とは静止画に限定されず、動画(映像)も含む。カメラ116により撮影される画像は、調理対象Oの焼き具合を示す内容を含む。例えば、カメラ116は、調理対象Oの表面のカラー画像を撮影する。本実施形態では、カメラ116によって撮影される画像に含まれる調理対象Oの色は、加熱部113の温度の状態に応じて異なる。すなわち、加熱部113が上記第1温度状態にある場合、調理対象Oの表面は加熱部113によって黄色またはオレンジ色に照らされている。一方で、加熱部113が上記第2温度状態にある場合、調理対象Oの表面は加熱部113によって、より強いオレンジ色に照らされている。カメラ116は、撮像素子を含むカメラ本体116aと、カメラ本体116aと被写体(調理対象O)との間に位置するレンズ116bとを含む。カメラ116は、「撮像部」の一例である。 The camera 116 is provided in the housing 111 and captures the cooking object O placed on the placement unit 112. The camera 116 captures an image of the surface (e.g., the top surface) of the cooking object O. In this application, "image" is not limited to a still image, but also includes a video (video). The image captured by the camera 116 includes content showing the degree of doneness of the cooking object O. For example, the camera 116 captures a color image of the surface of the cooking object O. In this embodiment, the color of the cooking object O included in the image captured by the camera 116 differs depending on the temperature state of the heating unit 113. That is, when the heating unit 113 is in the first temperature state, the surface of the cooking object O is illuminated in yellow or orange by the heating unit 113. On the other hand, when the heating unit 113 is in the second temperature state, the surface of the cooking object O is illuminated in a stronger orange color by the heating unit 113. The camera 116 includes a camera body 116a that includes an image sensor, and a lens 116b that is positioned between the camera body 116a and the subject (the object to be cooked O). The camera 116 is an example of an "imaging unit."

カメラ116は、例えば、筐体本体121の天井面121bに設けられ、調理対象Oの上方に位置する。カメラ116は、例えば、調理対象Oの大きさ(例えば上方から見た大きさ)に加え、調理対象Oの厚さが分かる角度で調理対象Oを撮影可能な場所に配置される。なお、カメラ116は、筐体本体121の天井面121bに代えて、扉本体131の内面に設けられてもよい。また、カメラ116は、筐体本体121の外部において、扉122の取手本体133aの後面に設けられてもよい。この場合、カメラ116は、扉122の窓部132を通じて、筐体本体121の内部に収容された調理対象Oの表面の画像を撮影する。 The camera 116 is provided, for example, on the ceiling surface 121b of the housing body 121 and is positioned above the cooking object O. The camera 116 is arranged in a location where it can capture an image of the cooking object O at an angle that allows the thickness of the cooking object O to be determined in addition to the size of the cooking object O (for example, the size when viewed from above). The camera 116 may be provided on the inner surface of the door body 131 instead of the ceiling surface 121b of the housing body 121. The camera 116 may also be provided on the rear surface of the handle body 133a of the door 122 outside the housing body 121. In this case, the camera 116 captures an image of the surface of the cooking object O contained inside the housing body 121 through the window portion 132 of the door 122.

温度センサ117は、筐体111内に設けられ、筐体111内の温度を検出する。
湿度センサ(水蒸気センサ)117は、筐体111内に設けられ、筐体111内の湿度を検出する。加熱調理器100は、例えば、給水部に給水された水を加熱することで水蒸気を発生させ、調理中の調理対象Oに対して水分を供給する水蒸気発生部(不図示)を有する。湿度センサ118は、例えば、水蒸気発生部を有する加熱調理器100に設けられ、調理対象Oに供給される水分を検出する。
The temperature sensor 117 is provided inside the housing 111 and detects the temperature inside the housing 111 .
Humidity sensor (water vapor sensor) 117 is provided in housing 111 and detects humidity within housing 111. Cooking appliance 100 has, for example, a water vapor generating unit (not shown) that generates water vapor by heating water supplied to a water supply unit and supplies moisture to cooking object O during cooking. Humidity sensor 118 is provided, for example, in cooking appliance 100 having a water vapor generating unit and detects moisture supplied to cooking object O.

本実施形態では、カメラ116、温度センサ117、および湿度センサ118によりセンサ部SUの一例が構成されている。以下の説明では、カメラ116により撮影された画像、温度センサ117の検出結果、および湿度センサ118による検出結果を纏めて、「センサ部SUの検出結果」と称する場合がある。なお、センサ部SUは、上述した以外のセンサを含んでもよい。また、温度センサ117および湿度センサ118のうち一方または両方は、省略されてもよい。 In this embodiment, an example of sensor unit SU is configured by camera 116, temperature sensor 117, and humidity sensor 118. In the following description, the image captured by camera 116, the detection result of temperature sensor 117, and the detection result of humidity sensor 118 may be collectively referred to as the "detection result of sensor unit SU." Note that sensor unit SU may include sensors other than those described above. Also, one or both of temperature sensor 117 and humidity sensor 118 may be omitted.

<2.2 加熱調理器のシステム構成>
図4は、加熱調理器100のシステム構成を示すブロック図である。
通信部102は、例えば、アンテナと高周波回路とを含む無線通信モジュールである。通信部102は、ネットワークNWを介してサーバ200と通信可能である。通信部102は、ネットワークNWを介して、または短距離無線通信(例えばBluetooth(登録商標))を用いて直接に、端末装置300と通信可能である。
2.2 System configuration of cooking appliance
FIG. 4 is a block diagram showing a system configuration of the cooking appliance 100. As shown in FIG.
The communication unit 102 is, for example, a wireless communication module including an antenna and a high-frequency circuit. The communication unit 102 can communicate with the server 200 via the network NW. The communication unit 102 can communicate with the terminal device 300 via the network NW or directly using short-range wireless communication (e.g., Bluetooth (registered trademark)).

制御ユニット103は、情報処理部PU1と、記憶部157とを含む。情報処理部PU1は、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、および学習部156を含む。情報処理部PU1に含まれる各機能部は、制御ユニット103に搭載されたCPU(Central Processing Unit)のようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、またはFPGA(Field Programmable Gate Array)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部157は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部157には、複数の学習済みモデルMAおよび閾値情報TIが記憶されている。 The control unit 103 includes an information processing unit PU1 and a memory unit 157. The information processing unit PU1 includes a type reception unit 151, an image processing unit 152, a cooking condition determination unit 153, a control unit 154, an evaluation reception unit 155, and a learning unit 156. Each functional unit included in the information processing unit PU1 is realized by a hardware processor such as a CPU (Central Processing Unit) mounted on the control unit 103 executing a program. However, some or all of these functional units may be realized by hardware (including circuitry) such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array), or may be realized by cooperation between software and hardware. The memory unit 157 is realized by a RAM (Random Access Memory), a ROM (Read Only Memory), a HDD (Hard Disk Drive), a flash memory, or a combination of a plurality of these. The memory unit 157 stores multiple trained models MA and threshold information TI.

種類受付部151は、加熱調理器100の操作部115または端末装置300の操作部302に対して行われたユーザUの操作に基づき、調理対象Oの種類を示すユーザUの入力を受け付ける。例えば、種類受付部151は、加熱調理器100の表示装置114または端末装置300の表示装置301に調理対象Oの種類の複数の候補を表示させ、複数の候補のなかから1つを選択するユーザUの入力を受け付ける。上述したように、「調理対象の種類」は、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち1つ以上を含む。本実施形態では、種類受付部151により、入力受付部IUの一例が構成されている。 The type reception unit 151 receives an input from the user U indicating the type of the cooking object O based on the user U's operation performed on the operation unit 115 of the cooking appliance 100 or the operation unit 302 of the terminal device 300. For example, the type reception unit 151 displays multiple candidates for the type of cooking object O on the display device 114 of the cooking appliance 100 or the display device 301 of the terminal device 300, and receives an input from the user U to select one from the multiple candidates. As described above, the "type of cooking object" includes one or more of the type of ingredient, the number of cooking objects, the size or thickness of the cooking object, etc. In this embodiment, the type reception unit 151 constitutes an example of the input reception unit IU.

画像処理部152は、カメラ116により撮影された画像に対して画像処理を行う。例えば、画像処理部152は、カメラ116により撮影されたカラー画像をモノクロ画像に変換する画像処理を行う。本出願で言う「モノクロ画像」とは、白黒画像(1画素を白と黒の2階調(1ビット)で表現した画像)でもよく、グレースケール画像(中間階調を含む画像)でもよい。本実施形態では、画像処理部152は、カメラ116により撮影されたカラー画像を白黒画像に変換する。ただし、画像処理部152は、カメラ116により撮影されたカラー画像をグレースケール画像に変換してもよい。 The image processing unit 152 performs image processing on the image captured by the camera 116. For example, the image processing unit 152 performs image processing to convert a color image captured by the camera 116 into a monochrome image. In this application, a "monochrome image" may be a black-and-white image (an image in which one pixel is expressed in two gradations (1 bit) of black and white) or a grayscale image (an image including intermediate gradations). In this embodiment, the image processing unit 152 converts a color image captured by the camera 116 into a black-and-white image. However, the image processing unit 152 may also convert a color image captured by the camera 116 into a grayscale image.

図5は、画像処理部152の処理を示す図である。図5中の(a)および(b)は、加熱部113の温度の状態が異なる場合を示す。図5中の(a)および(b)に示される「変換前」の画像IMは、カメラ116により撮影されたカラー画像であり、画像処理部152により処理が行われる前の画像である。上述したように、2つの画像IMに含まれる調理対象Oの色は、加熱部113の温度の状態に応じて異なる。 Figure 5 is a diagram showing the processing of the image processing unit 152. (a) and (b) in Figure 5 show cases where the temperature state of the heating unit 113 is different. The "before conversion" images IM shown in (a) and (b) in Figure 5 are color images taken by the camera 116, and are images before processing by the image processing unit 152. As described above, the color of the cooking object O contained in the two images IM differs depending on the temperature state of the heating unit 113.

一方で、図5中の(a)および(b)に示される「変換後」の画像IMAは、画像処理部152により処理が行われた後の画像であり、モノクロ画像である。2つの画像IMに含まれる調理対象Oの色は、ほぼ同じ色となる。すなわち、画像IMをモノクロ画像に変換することで、画像IMに含まれる調理対象Oの色の影響を小さくすることができる。 On the other hand, the "converted" image IMA shown in (a) and (b) in Figure 5 is an image after processing by the image processing unit 152, and is a monochrome image. The color of the cooking object O contained in the two images IM is approximately the same color. In other words, by converting the image IM into a monochrome image, the influence of the color of the cooking object O contained in the image IM can be reduced.

調理具合判定部153は、画像処理部152により変換されたモノクロ画像と、学習により内部変数が調整された学習済みモデルMAとに基づき、調理対象Oの調理具合を判定する。学習済みモデルMAは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。 The cooking degree determination unit 153 determines the cooking degree of the cooking object O based on the monochrome image converted by the image processing unit 152 and the trained model MA in which internal variables have been adjusted by learning. The trained model MA is a model that includes a neural network, and is trained by, for example, deep learning.

図6は、学習済みモデルMAの一例を示す図である。学習済みモデルMAは、入力層、隠れ層(中間層)、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルMAは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードnの間の重み付け係数w(内部変数)などが調整されることで学習が行われている。 Figure 6 shows an example of the trained model MA. The trained model MA is composed of a neural network including an input layer, a hidden layer (intermediate layer), and an output layer. For example, the trained model MA is trained by adjusting the weighting coefficient w (internal variable) between the nodes n included in the input layer, hidden layer, and output layer through deep learning using training data obtained from experiments conducted in advance.

学習済みモデルMAは、センサ部SUの検出結果(例えば、カメラ116の画像、温度センサ117の検出結果、湿度センサ118の検出結果)が入力情報として入力された場合に、調理対象Oの調理具合を示す判定結果を出力情報として出力するように学習が行われている。「調理具合を示す判定結果」とは、例えば、調理開始時の状態を「0」とし、焼き過ぎの状態(焦げた状態)を「1」とした場合における0~1の間の数値で表される。 The trained model MA is trained to output, as output information, a judgment result indicating the degree of cooking of the cooking object O when the detection results of the sensor unit SU (for example, the image from the camera 116, the detection results from the temperature sensor 117, and the detection results from the humidity sensor 118) are input as input information. The "judgment result indicating the degree of cooking" is expressed as a number between 0 and 1, where the state at the start of cooking is "0" and an overcooked state (burnt state) is "1", for example.

ここで、記憶部157に記憶された閾値情報TIには、丁度良い調理具合(例えば丁度良い焼き具合)に対応する閾値(例えば、「0.7」)が含まれる。本実施形態では、調理具合判定部153は、所定の周期(例えば5秒毎)にセンサ部SUの最新の検出結果を入力情報として学習済みモデルMAに入力する。そして、調理具合判定部153は、学習済みモデルMAから出力される判定結果としての数値が所定回数に亘り上記閾値を上回る場合(例えば5回連続で上記閾値を上回る場合)に、調理対象Oの調理具合が丁度良いと判定する。本実施形態では、画像処理部152と調理具合判定部153とにより判定部DUの一例が構成されている。調理具合判定部153は、「第1判定部」の一例である。 Here, the threshold information TI stored in the memory unit 157 includes a threshold value (e.g., "0.7") corresponding to just-right doneness (e.g., just-right browning). In this embodiment, the cooking degree judgment unit 153 inputs the latest detection result of the sensor unit SU as input information to the trained model MA at a predetermined period (e.g., every 5 seconds). Then, the cooking degree judgment unit 153 judges that the cooking degree of the cooking object O is just-right when the numerical value as the judgment result output from the trained model MA exceeds the threshold a predetermined number of times (e.g., exceeds the threshold five times in a row). In this embodiment, the image processing unit 152 and the cooking degree judgment unit 153 constitute an example of a judgment unit DU. The cooking degree judgment unit 153 is an example of a "first judgment unit".

本実施形態では、記憶部157には、調理対象Oの複数の種類に対応する複数の学習済みモデルMAが記憶されている。調理具合判定部153は、ユーザUにより入力されて種類受付部151により受け付けられた調理対象Oの種類に基づき複数の学習済みモデルMAのなかから1つの学習済みモデルMAを選択する。そして、調理具合判定部153は、選択した学習済みモデルMAに基づき調理対象Oの調理具合を判定する。 In this embodiment, the memory unit 157 stores multiple trained models MA corresponding to multiple types of cooking object O. The cooking degree judgment unit 153 selects one trained model MA from the multiple trained models MA based on the type of cooking object O input by the user U and accepted by the type acceptance unit 151. Then, the cooking degree judgment unit 153 judges the cooking degree of the cooking object O based on the selected trained model MA.

制御部154は、調理具合判定部153の判定結果に基づき加熱部113を制御する。例えば、制御部154は、加熱調理器100の操作部115または端末装置300の操作部302に対するユーザUの操作に基づき、加熱調理器100の運転を開始し、加熱部113を加熱させる。制御部154は、例えば、加熱部113に電力を供給するスイッチング素子をON/OFF制御することで、加熱部113の加熱状態を制御する。そして、制御部154は、調理具合判定部153により調理対象Oの調理具合が丁度良いと判定された場合に、加熱部113の加熱を終了し、加熱調理器100の運転を終了する。なお、制御部154は、加熱調理器100の運転の終了に代えて/加えて、調理具合判定部153の判定結果に基づき加熱部113の温度調整などを行ってもよい。 The control unit 154 controls the heating unit 113 based on the judgment result of the cooking degree judgment unit 153. For example, the control unit 154 starts the operation of the heating cooker 100 and heats the heating unit 113 based on the operation of the user U on the operation unit 115 of the heating cooker 100 or the operation unit 302 of the terminal device 300. The control unit 154 controls the heating state of the heating unit 113, for example, by controlling ON/OFF of a switching element that supplies power to the heating unit 113. Then, when the cooking degree judgment unit 153 judges that the cooking degree of the cooking object O is just right, the control unit 154 ends the heating of the heating unit 113 and ends the operation of the heating cooker 100. Note that the control unit 154 may adjust the temperature of the heating unit 113 based on the judgment result of the cooking degree judgment unit 153 instead of/in addition to ending the operation of the heating cooker 100.

評価受付部155は、加熱調理器100の運転終了後に、調理対象Oの調理具合に関するユーザUの評価を受け付ける。例えば、評価受付部155は、加熱調理器100の表示装置114または端末装置300の表示装置301に調理具合に関する質問をアンケート形式で表示させ、質問に対する回答を調理具合に関するユーザUの評価として受け付ける。 After the operation of the cooking appliance 100 is completed, the evaluation receiving unit 155 receives the user U's evaluation of the cooking condition of the cooking object O. For example, the evaluation receiving unit 155 displays questions about the cooking condition in the form of a questionnaire on the display device 114 of the cooking appliance 100 or the display device 301 of the terminal device 300, and receives the answers to the questions as the user U's evaluation of the cooking condition.

図7は、評価受付部155により表示される内容の一例を示す図である。評価受付部155は、例えば、焼き具合に関する5段階評価や、しっとり具合に関する5段階評価をユーザUに質問し、質問に対する5段階評価の選択をユーザUの評価として受け付ける。 Figure 7 is a diagram showing an example of the content displayed by the evaluation receiving unit 155. The evaluation receiving unit 155 asks the user U to, for example, rate the doneness on a five-point scale or the moistness on a five-point scale, and receives the user U's selection of a five-point scale in response to the question as his/her evaluation.

学習部156は、評価受付部155により受け付けられたユーザUの評価に基づき、学習済みモデルMAの追加学習を行う。例えば、学習部156は、ユーザUによって調理具合が良いと評価されたときの運転内容(センサ部SUの検出結果と調理具合判定部153の判定内容の組み合わせ)を新しい教師データとして、ユーザUの評価を最大化するように強化学習を行う。これにより、ユーザUの好みに合うように学習済みモデルMAの内部変数が調整される。 The learning unit 156 performs additional learning of the trained model MA based on the evaluation of the user U received by the evaluation receiving unit 155. For example, the learning unit 156 performs reinforcement learning to maximize the evaluation of the user U, using the operation details (a combination of the detection result of the sensor unit SU and the judgment details of the cooking degree judgment unit 153) when the user U evaluated the cooking degree as good as new training data. This adjusts the internal variables of the trained model MA to suit the preferences of the user U.

<3.処理の流れ>
図8は、制御ユニット103による処理の流れを示すフローチャートである。まず、種類受付部151は、加熱調理器100の操作部115(または端末装置300の操作部302)に対するユーザUの操作に基づき、調理対象Oの種類を受け付ける(S101)。そして、調理具合判定部153は、種類受付部151により受け付けられた調理対象Oの種類に基づき、複数の学習済みモデルMAのなかから使用する学習済みモデルMAを選択する(S102)。
<3. Processing flow>
8 is a flowchart showing the flow of processing by the control unit 103. First, the type receiving unit 151 receives the type of cooking object O based on the operation of the user U on the operation unit 115 of the cooking appliance 100 (or the operation unit 302 of the terminal device 300) (S101). Then, the cooking degree determination unit 153 selects a trained model MA to be used from among a plurality of trained models MA based on the type of cooking object O received by the type receiving unit 151 (S102).

次に、制御部154は、加熱調理器100の運転を開始する(S103)。すなわち、制御部154は、加熱部113を加熱させることで、調理対象Oの調理を開始する。そして、判定部DUは、所定の周期でセンサ部SUの検出結果を取得する(S104)。 Next, the control unit 154 starts the operation of the cooking appliance 100 (S103). That is, the control unit 154 starts cooking the cooking object O by heating the heating unit 113. Then, the determination unit DU acquires the detection result of the sensor unit SU at a predetermined period (S104).

画像処理部152は、センサ部SUの検出結果が入力される場合、センサ部SUの検出結果に含まれるカメラ116により撮影されたカラー画像をモノクロ画像に変換する(S105)。そして、調理具合判定部153は、画像処理部152により変換されたモノクロ画像と、選択された学習済みモデルMAとを用いて調理対象Oの調理具合の判定を行い、その判定結果を出力する(S106)。 When the detection result of the sensor unit SU is input, the image processing unit 152 converts the color image captured by the camera 116 included in the detection result of the sensor unit SU into a monochrome image (S105). The cooking degree determination unit 153 then determines the cooking degree of the cooking object O using the monochrome image converted by the image processing unit 152 and the selected trained model MA, and outputs the determination result (S106).

次に、制御部154は、調理具合判定部153により出力される判定結果が所定の終了条件を満たすか否かを判定する(S107)。例えば、制御部154は、調理具合判定部153により出力される判定結果に含まれる数値が所定回数に亘り所定の閾値を上回る場合に、所定の終了条件が満たされると判定する。 Next, the control unit 154 determines whether the judgment result output by the cooking degree judgment unit 153 satisfies a predetermined end condition (S107). For example, the control unit 154 determines that the predetermined end condition is satisfied when the numerical value included in the judgment result output by the cooking degree judgment unit 153 exceeds a predetermined threshold value a predetermined number of times.

制御部154は、所定の終了条件が満たされない場合(S107:NO)、S104に戻り、S104からS106の処理を繰り返す。一方で、制御部154は、所定の終了条件が満たされる場合(S107:YES)、加熱調理器100の運転を終了する(S108)。すなわち、制御部154は、加熱部113の加熱を終了させる。これにより、調理対象Oの調理が完了する。 If the predetermined end condition is not met (S107: NO), the control unit 154 returns to S104 and repeats the processes of S104 to S106. On the other hand, if the predetermined end condition is met (S107: YES), the control unit 154 ends the operation of the cooking device 100 (S108). That is, the control unit 154 ends the heating of the heating unit 113. This completes the cooking of the cooking object O.

<4.利点>
比較例として、タイマにより調理具合が調整される加熱調理器について考える。このような加熱調理器では、調理具合をユーザが都度確認する必要がある場合がある、または毎回の調理具合に差が生じる場合がある。また、カメラにより撮影された画像をそのまま利用して調理具合を判定する場合において、調理対象の表面の色が加熱部の温度の状態に応じて異なる場合、調理具合を精度良く判定することが難しい場合がある。
4. Advantages
As a comparative example, consider a cooking device in which the degree of cooking is adjusted by a timer. In such a cooking device, the user may need to check the degree of cooking each time, or the degree of cooking may vary each time. In addition, when the degree of cooking is judged by directly using an image captured by a camera, if the color of the surface of the object to be cooked varies depending on the temperature state of the heating section, it may be difficult to judge the degree of cooking with high accuracy.

一方で、本実施形態の加熱調理器システム1は、カメラ116により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習済みモデルMAとに基づき、調理対象Oの調理具合を判定する判定部DUと、判定部DUの判定結果に基づき加熱部113を制御する制御部154とを備える。このような構成によれば、まず、判定部DUにより調理具合が判定され、その判定結果に基づき加熱部113の制御が行われるため、調理具合をユーザUが都度確認する必要が無くなるか少なくなり、また毎回の調理具合の差が小さくなる。さらに、調理対象Oの表面の色が加熱部113の温度の状態に応じて異なる場合においてモノクロ画像に基づいて調理具合を判定することで、調理具合の判定精度を高めることができる。これにより、ユーザUの利便性の向上を図ることができる。 On the other hand, the cooking device system 1 of this embodiment includes a judgment unit DU that converts an image captured by the camera 116 into a monochrome image and judges the degree of cooking of the cooking object O based on the converted monochrome image and the trained model MA, and a control unit 154 that controls the heating unit 113 based on the judgment result of the judgment unit DU. With this configuration, the degree of cooking is first judged by the judgment unit DU and the heating unit 113 is controlled based on the judgment result, so that the user U does not need to check the degree of cooking each time or it is less necessary, and the difference in the degree of cooking each time is reduced. Furthermore, when the color of the surface of the cooking object O varies depending on the temperature state of the heating unit 113, the accuracy of the degree of cooking judgment can be improved by judging the degree of cooking based on the monochrome image. This can improve the convenience for the user U.

本実施形態では、加熱調理器システム1は、調理対象Oの種類を示すユーザの入力を受け付ける種類受付部151をさらに備える。判定部DUは、種類受付部151により受け付けられた調理対象Oの種類に基づき複数の学習済みモデルMAのなかから1つの学習済みモデルMAを選択し、選択した学習済みモデルMAに基づき調理対象Oの調理具合を判定する。このような構成によれば、調理対象毎に準備された学習済みモデルMAによって、調理具合の判定精度をさらに高めることができる。これにより、ユーザUの利便性を向上させることができる。 In this embodiment, the cooking device system 1 further includes a type receiving unit 151 that receives a user input indicating the type of cooking object O. The determination unit DU selects one trained model MA from among multiple trained models MA based on the type of cooking object O received by the type receiving unit 151, and determines the degree of cooking of the cooking object O based on the selected trained model MA. With this configuration, the accuracy of determining the degree of cooking can be further improved by the trained model MA prepared for each cooking object. This can improve the convenience for the user U.

本実施形態では、加熱調理器システム1は、運転終了後に調理具合に関するユーザUの評価を受け付ける評価受付部155と、評価受付部155により受け付けられたユーザUの評価に基づき学習済みモデルMAの追加学習を行う学習部156とをさらに備える。このような構成によれば、ユーザUによる評価が高くなるように学習済みモデルMAを更新することができる。これにより、ユーザUの利便性を向上させることができる。 In this embodiment, the cooking device system 1 further includes an evaluation receiving unit 155 that receives the user U's evaluation of the cooking state after the operation is completed, and a learning unit 156 that performs additional learning of the trained model MA based on the user U's evaluation received by the evaluation receiving unit 155. With this configuration, the trained model MA can be updated so that the evaluation by the user U is higher. This can improve the convenience for the user U.

(変形例)
上述した第1実施形態では、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、学習部156、および記憶部157は、加熱調理器100に設けられている。これに代えて、種類受付部151、画像処理部152、調理具合判定部153、制御部154、評価受付部155、学習部156、および記憶部157のうち1つ以上、サーバ200に設けられてもよい。また、評価受付部155および学習部156は、省略されてもよい。
(Modification)
In the above-described first embodiment, the type reception unit 151, the image processing unit 152, the cooking degree determination unit 153, the control unit 154, the evaluation reception unit 155, the learning unit 156, and the memory unit 157 are provided in the cooking appliance 100. Alternatively, one or more of the type reception unit 151, the image processing unit 152, the cooking degree determination unit 153, the control unit 154, the evaluation reception unit 155, the learning unit 156, and the memory unit 157 may be provided in the server 200. Furthermore, the evaluation reception unit 155 and the learning unit 156 may be omitted.

(第2実施形態)
次に、第2実施形態について説明する。第2実施形態は、加熱調理器システム1が調理具合に関するユーザUの好みを受け付ける嗜好受付部161を有する点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。
Second Embodiment
Next, a second embodiment will be described. The second embodiment is different from the first embodiment in that the cooking device system 1 has a preference receiving unit 161 that receives the preferences of the user U regarding the degree of cooking. Note that the configuration other than that described below is the same as the configuration of the first embodiment.

図9は、第2実施形態の加熱調理器100Aのシステム構成を示すブロック図である。本実施形態では、入力受付部IUは、嗜好受付部161を含む。嗜好受付部161は、加熱調理器100の操作部115または端末装置300の操作部302に対して行われたユーザUの操作に基づき、調理対象Oの調理具合に関するユーザUの好みを受け付ける。例えば、嗜好受付部161は、加熱調理器100の表示装置114または端末装置300の表示装置301に、調理具合の複数の候補を表示させ、複数の候補から1つを選択するユーザUの入力を受け付ける。調理具合に関するユーザUの好みは、例えば、「カリっとした食感」、「しっとりとした食感」、「よく焼けているのが好き」、「焼き過ぎは苦手」などである。 FIG. 9 is a block diagram showing the system configuration of the cooking device 100A of the second embodiment. In this embodiment, the input reception unit IU includes a preference reception unit 161. The preference reception unit 161 receives the user U's preference regarding the degree of cooking of the cooking object O based on the user U's operation performed on the operation unit 115 of the cooking device 100 or the operation unit 302 of the terminal device 300. For example, the preference reception unit 161 displays multiple candidates for the degree of cooking on the display device 114 of the cooking device 100 or the display device 301 of the terminal device 300, and receives the user U's input of selecting one from the multiple candidates. The user U's preferences regarding the degree of cooking are, for example, "crispy texture," "moist texture," "likes it well-done," and "doesn't like it overcooked."

本実施形態では、記憶部157には、調理具合の複数の好みに対応する複数の閾値情報TIが記憶されている。複数の閾値情報TIは、丁度良い調理具合と判定するための閾値(加熱調理器100Aの運転を終了させるための閾値)が互いに異なる。調理具合判定部153は、嗜好受付部161により受け付けられたユーザUの好みに応じて複数の閾値情報TIのなかから1つの閾値情報TIを選択し、選択した閾値情報TIを用いて加熱調理器100Aの運転の終了タイミングを決定する。言い換えると、調理具合判定部153は、嗜好受付部161により受け付けられたユーザUの好みに基づき、調理対象の調理具合に関する判定結果(例えば運転の終了タイミングを示す判定結果)を異ならせる。 In this embodiment, the memory unit 157 stores multiple pieces of threshold information TI corresponding to multiple preferences for the degree of cooking. The multiple pieces of threshold information TI have different thresholds for determining that the cooking is just right (thresholds for terminating the operation of the cooking appliance 100A). The cooking degree determination unit 153 selects one piece of threshold information TI from the multiple pieces of threshold information TI according to the preference of the user U accepted by the preference acceptance unit 161, and determines the timing for terminating the operation of the cooking appliance 100A using the selected threshold information TI. In other words, the cooking degree determination unit 153 varies the determination result regarding the degree of cooking of the cooking target (for example, the determination result indicating the timing for terminating the operation) based on the preference of the user U accepted by the preference acceptance unit 161.

このような構成によれば、ユーザUの好みに対してより適した調理具合で調理対象Oを調理することができる。これにより、ユーザUの利便性を向上させることができる。例えば、本実施形態の構成によれば、評価受付部155および学習部156が省略された場合でも、ユーザUの好みに対してより適した調理具合で調理対象Oを調理することができる。 According to such a configuration, the cooking target O can be cooked to a degree of doneness that is more suitable for the user U's preferences. This can improve the convenience for the user U. For example, according to the configuration of this embodiment, even if the evaluation receiving unit 155 and the learning unit 156 are omitted, the cooking target O can be cooked to a degree of doneness that is more suitable for the user U's preferences.

(第3実施形態)
次に、第3実施形態について説明する。第3実施形態は、カメラ116のレンズ116bに関する汚れの量も反映させて調理具合に関する判定が行われる点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。
Third Embodiment
Next, a third embodiment will be described. The third embodiment differs from the first embodiment in that the cooking doneness is determined by taking into account the amount of dirt on the lens 116b of the camera 116. Note that the configuration other than that described below is the same as that of the first embodiment.

図10は、第3実施形態の加熱調理器100Bのシステム構成を示すブロック図である。ここで、加熱調理器100Bは、冷蔵庫など他の家電機器と比べて清掃される頻度が少ない家電機器であり、カメラ116のレンズ116bに付着した汚れ(例えば油汚れ)が溜まることがある。レンズ116bに付着した汚れが溜まると、カメラ116により撮影される画像が変色する(例えば茶色くなる)場合がある。カメラ116により撮影される画像が変色すると、調理具合の判定精度が低下する可能性がある。 Figure 10 is a block diagram showing the system configuration of the cooking device 100B of the third embodiment. The cooking device 100B is a home appliance that is cleaned less frequently than other home appliances such as a refrigerator, and dirt (e.g., oily dirt) may accumulate on the lens 116b of the camera 116. When dirt accumulates on the lens 116b, the image captured by the camera 116 may discolor (e.g., turn brown). When the image captured by the camera 116 discolors, the accuracy of determining the degree of cooking may decrease.

本実施形態では、情報処理部PU1は、状態管理部171を含む。状態管理部171は、カメラ116のレンズ116bに付着した汚れの量を直接的または間接的に示す情報(以下「汚れ情報」と称する)を管理する。例えば、状態管理部171は、カメラ116のレンズ116bの汚れ情報を所定の周期(例えば1週間に1度)収集し、記憶部157に記憶される履歴情報HIの一部として保存する。 In this embodiment, the information processing unit PU1 includes a status management unit 171. The status management unit 171 manages information that directly or indirectly indicates the amount of dirt adhering to the lens 116b of the camera 116 (hereinafter referred to as "dirt information"). For example, the status management unit 171 collects dirt information on the lens 116b of the camera 116 at a predetermined cycle (e.g., once a week) and stores it as part of the history information HI stored in the memory unit 157.

図11は、カメラ116のレンズ116bの汚れ情報の一例を示す図である。カメラ116のレンズ116bの汚れ情報は、例えば、カメラ116のレンズ116bに付着した汚れの量を直接的に示す汚れ情報HIAと、カメラ116のレンズ116bに付着した汚れの量を間接的に示す汚れ情報HIBとのうち少なくとも一方を含む。汚れ情報HIAは、例えば、カメラ116により撮影された画像の履歴を含む。例えば、汚れ情報HIAは、加熱調理器100Bの使用初期時に撮影された画像1と、直近に撮影された画像Nとを含む。汚れ情報HIBは、加熱調理器100Bの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部113の加熱温度、加熱部113の加熱時間などのうち1つ以上の情報を含む。 11 is a diagram showing an example of dirt information on the lens 116b of the camera 116. The dirt information on the lens 116b of the camera 116 includes, for example, at least one of dirt information HIA that directly indicates the amount of dirt adhering to the lens 116b of the camera 116 and dirt information HIB that indirectly indicates the amount of dirt adhering to the lens 116b of the camera 116. The dirt information HIA includes, for example, a history of images taken by the camera 116. For example, the dirt information HIA includes an image 1 taken at the beginning of use of the cooking device 100B and an image N that was taken most recently. The dirt information HIB includes a usage history of the cooking device 100B. The usage history includes, for example, one or more pieces of information such as the type of food cooked, the heating temperature of the heating unit 113, and the heating time of the heating unit 113.

本実施形態では、学習済みモデルMAは、入力情報としてセンサ部SUの検出結果およびカメラ116のレンズ116bの汚れ情報が入力された場合に、調理対象Oの調理具合を示す判定結果を出力するように学習されている。入力情報として入力されるカメラ116のレンズ116bの汚れ情報は、例えば、直近に撮影した画像N(例えばカラー画像の画像N)でもよく、画像1と画像Nの組でもよく、画像1と画像Nの差分を示す情報でもよい。これに代えて/加えて、カメラ116のレンズ116bの汚れ情報は、調理した食材の履歴、加熱部113の加熱温度の積算値、または加熱部113の加熱時間の累積値などでもよい。本実施形態では、調理具合判定部153は、センサ部SUの検出結果およびカメラ116のレンズ116bの汚れ情報に基づき、調理具合を判定する。 In this embodiment, the trained model MA is trained to output a judgment result indicating the degree of cooking of the cooking object O when the detection result of the sensor unit SU and dirt information of the lens 116b of the camera 116 are input as input information. The dirt information of the lens 116b of the camera 116 input as input information may be, for example, the most recently captured image N (e.g., image N of a color image), a pair of image 1 and image N, or information indicating the difference between image 1 and image N. Alternatively/in addition to this, the dirt information of the lens 116b of the camera 116 may be the history of cooked ingredients, the integrated value of the heating temperature of the heating unit 113, or the accumulated value of the heating time of the heating unit 113. In this embodiment, the cooking degree judgment unit 153 judges the degree of cooking based on the detection result of the sensor unit SU and the dirt information of the lens 116b of the camera 116.

このような構成によれば、カメラ116のレンズ116bに付着した汚れも考慮して調理対象Oの調理具合を判定することができる。これにより、調理具合に関する判定精度を高めることができる。 With this configuration, it is possible to determine the degree of doneness of the cooking object O while taking into account dirt adhering to the lens 116b of the camera 116. This improves the accuracy of the determination of the degree of doneness.

(変形例)
カメラ116が筐体111の内部ではなく、扉122の取手133に設けられた場合、汚れが問題になるのはカメラ116のレンズ116bの汚れではなく、扉122の窓部132の汚れになる。このため、カメラ116が扉122の取手133に設けられた場合は、状態管理部171は、窓部132に付着した汚れの量を直接的または間接的に示す汚れ情報を管理する。本変形例における汚れ情報の内容の詳細は、第3実施形態で説明した汚れ情報の内容において、「カメラのレンズ」を「窓部」と読み替えればよい。例えば、本変形例の状態管理部171は、窓部132に付着した汚れの量を直接的または間接的に示す情報(汚れ情報HIA,HIB)を管理する。
(Modification)
If the camera 116 is provided on the handle 133 of the door 122, rather than inside the housing 111, the dirt problem will be dirt on the window 132 of the door 122, not dirt on the lens 116b of the camera 116. For this reason, if the camera 116 is provided on the handle 133 of the door 122, the status management unit 171 manages dirt information that directly or indirectly indicates the amount of dirt adhering to the window 132. For details of the dirt information in this modification, it is sufficient to read "camera lens" as "window" in the dirt information described in the third embodiment. For example, the status management unit 171 in this modification manages information (dirt information HIA, HIB) that directly or indirectly indicates the amount of dirt adhering to the window 132.

汚れ情報HIAは、例えば、カメラ116または別のカメラにより撮影された窓部132の画像の履歴を含む。例えば、汚れ情報HIAは、加熱調理器100Bの使用初期時に撮影された窓部132の画像1と、直近に撮影された窓部132の画像Nとを含む。汚れ情報HIBは、加熱調理器100Bの使用履歴を含む。使用履歴は、例えば、調理した食材の種類、加熱部113の加熱温度、加熱部113の加熱時間などのうち1つ以上の情報を含む。このような構成によっても、調理具合に関する判定精度を高めることができる。 The dirt information HIA includes, for example, a history of images of the window portion 132 taken by the camera 116 or another camera. For example, the dirt information HIA includes image 1 of the window portion 132 taken at the beginning of use of the cooking appliance 100B and image N of the window portion 132 taken most recently. The dirt information HIB includes the usage history of the cooking appliance 100B. The usage history includes, for example, one or more pieces of information such as the type of food cooked, the heating temperature of the heating section 113, and the heating time of the heating section 113. This configuration can also improve the accuracy of determining the degree of cooking.

(第4実施形態)
次に、第4実施形態について説明する。第4実施形態は、調理対象Oの種類の判定が加熱調理器システム1によって行われる点で、第1実施形態とは異なる。なお以下に説明する以外の構成は、第1実施形態の構成と同じである。本実施形態では区別のため、上述した学習済みモデルMAを「第1学習済みモデルMA」と称する。
Fourth Embodiment
Next, a fourth embodiment will be described. The fourth embodiment differs from the first embodiment in that the type of the cooking object O is determined by the cooking device system 1. Note that the configuration other than that described below is the same as that of the first embodiment. In this embodiment, for the sake of distinction, the trained model MA described above is referred to as the "first trained model MA."

図12は、第4実施形態のサーバ200Cのシステム構成を示すブロック図である。サーバ200Cは、例えば、情報処理部PU2と、記憶部206とを有する。情報処理部PU2は、例えば、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、および学習部205を含む。情報処理部PU2に含まれる各機能部は、サーバ200Cに搭載されたCPUのようなハードウェアプロセッサがプログラムを実行することにより実現される。ただし、これら機能部の一部または全部は、ASIC、PLD、またはFPGAなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。記憶部206は、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数の組み合わせにより実現される。記憶部206には、第2学習済みモデルMBが記憶されている。 12 is a block diagram showing the system configuration of the server 200C of the fourth embodiment. The server 200C has, for example, an information processing unit PU2 and a storage unit 206. The information processing unit PU2 includes, for example, an information acquisition unit 201, a type determination unit 202, an information output unit 203, a correction acceptance unit 204, and a learning unit 205. Each functional unit included in the information processing unit PU2 is realized by a hardware processor such as a CPU mounted on the server 200C executing a program. However, some or all of these functional units may be realized by hardware (including circuitry) such as an ASIC, PLD, or FPGA, or may be realized by cooperation between software and hardware. The storage unit 206 is realized by a RAM, a ROM, a HDD, a flash memory, or a combination of a plurality of these. The second trained model MB is stored in the storage unit 206.

情報取得部201は、加熱調理器100のカメラ116によって撮影されたカラー画像(または画像処理部152により変換されたモノクロ画像)を、加熱調理器100から取得する。以下では、カメラ116によって撮影されたカラー画像と、画像処理部152により変換されたモノクロ画像とを総称して「情報取得部により取得された画像」と称する。 The information acquisition unit 201 acquires a color image captured by the camera 116 of the cooking appliance 100 (or a monochrome image converted by the image processing unit 152) from the cooking appliance 100. Hereinafter, the color image captured by the camera 116 and the monochrome image converted by the image processing unit 152 are collectively referred to as "images acquired by the information acquisition unit."

種類判定部202は、情報取得部201により取得された画像(例えばカラー画像)と、第2学習済みモデルMBとに基づき、調理対象Oの種類を判定する。第2学習済みモデルMBは、ニューラルネットワークを含むモデルであり、例えばディープラーニングにより学習が行われている。種類判定部202は、「第2判定部」の一例である。本実施形態では、加熱調理器100に設けられた画像処理部152および調理具合判定部153と、サーバ200Cに設けられた種類判定部202とにより、判定部DUの一例が構成されている。 The type determination unit 202 determines the type of cooking object O based on the image (e.g., a color image) acquired by the information acquisition unit 201 and the second trained model MB. The second trained model MB is a model including a neural network, and is trained, for example, by deep learning. The type determination unit 202 is an example of a "second determination unit." In this embodiment, an example of a determination unit DU is configured by the image processing unit 152 and cooking degree determination unit 153 provided in the cooking appliance 100, and the type determination unit 202 provided in the server 200C.

例えば、第2学習済みモデルMBは、図6に示された第1学習済みモデルMAと同様に、入力層、隠れ層(中間層)、および出力層を含むニューラルネットワークによって構成される。例えば、学習済みモデルMBは、予め行われた実験により得られた教師データを用いたディープラーニングによって入力層、隠れ層、および出力層に含まれるノードnの間の重み付け係数w(内部変数)などが調整されることで学習が行われている。 For example, the second trained model MB is composed of a neural network including an input layer, a hidden layer (intermediate layer), and an output layer, similar to the first trained model MA shown in FIG. 6. For example, the trained model MB is trained by adjusting the weighting coefficients w (internal variables) between the nodes n included in the input layer, hidden layer, and output layer through deep learning using training data obtained from experiments conducted in advance.

第2学習済みモデルMBは、情報取得部201により取得された画像が入力情報として入力された場合に、調理対象Oの種類を示す判定結果を出力情報として出力するように学習が行われている。調理対象Oの種類は、上述したように、食材の種類、調理対象の数、調理対象の大きさまたは厚さなどのうち1つ以上を含む。第2学習済みモデルMBから出力される出力情報は、調理対象Oの種類の判定結果の尤度を示す情報(例えば、判定結果が正しい確率を示す情報を含む)を含む。 The second trained model MB has been trained to output, as output information, a determination result indicating the type of cooking object O when an image acquired by the information acquisition unit 201 is input as input information. As described above, the type of cooking object O includes one or more of the type of ingredients, the number of cooking objects, the size or thickness of the cooking object, etc. The output information output from the second trained model MB includes information indicating the likelihood of the determination result of the type of cooking object O (e.g., including information indicating the probability that the determination result is correct).

情報出力部203は、種類判定部202により判定された調理対象Oの種類を示す情報を加熱調理器100または端末装置300に出力させ、調理対象Oの種類を示す情報を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させる。 The information output unit 203 outputs information indicating the type of cooking object O determined by the type determination unit 202 to the cooking appliance 100 or the terminal device 300, and displays the information indicating the type of cooking object O on the display device 114 of the cooking appliance 100 or the display device 301 of the terminal device 300.

訂正受付部204は、種類判定部202により判定されて情報出力部203により出力された調理対象Oの種類の判定結果に対する訂正を受け付ける。例えば、訂正受付部204は、加熱調理器100の操作部115または端末装置300の操作部302に対するユーザUの操作に基づき、調理対象Oの種類の判定結果に対する訂正を受け付ける。 The correction accepting unit 204 accepts corrections to the determination result of the type of the cooking object O determined by the type determining unit 202 and output by the information output unit 203. For example, the correction accepting unit 204 accepts corrections to the determination result of the type of the cooking object O based on the operation of the user U on the operation unit 115 of the cooking appliance 100 or the operation unit 302 of the terminal device 300.

図13は、訂正受付部204により訂正を受け付ける画面の一例を示す図である。本実施形態では、種類判定部202による調理対象Oの種類の判定結果が加熱調理器100の表示装置114または端末装置300の表示装置301に表示される。そして、訂正受付部204は、まず、調理対象Oの種類の判定結果に対する訂正の有無を受け付ける。そして、訂正がある場合は、訂正受付部204は、訂正の具体的な内容を受け付ける。 FIG. 13 is a diagram showing an example of a screen on which the correction acceptance unit 204 accepts corrections. In this embodiment, the result of the determination of the type of cooking object O by the type determination unit 202 is displayed on the display device 114 of the cooking appliance 100 or the display device 301 of the terminal device 300. The correction acceptance unit 204 then first accepts whether or not there is a correction to the determination result of the type of cooking object O. If there is a correction, the correction acceptance unit 204 accepts the specific content of the correction.

学習部205は、訂正受付部204により受け付けられたユーザUの訂正内容に基づき、第2学習済みモデルMBの追加学習を行う。例えば、学習部205は、情報取得部201により取得された画像と、ユーザUによって訂正された調理対象Oの正しい種類との組み合わせを新しい教師データとして、第2学習済みモデルMBの追加学習を行う。これにより、種類判定部202の判定精度の向上を図ることができる。 The learning unit 205 performs additional learning of the second trained model MB based on the corrections made by the user U accepted by the correction accepting unit 204. For example, the learning unit 205 performs additional learning of the second trained model MB using a combination of the image acquired by the information acquiring unit 201 and the correct type of the cooking object O corrected by the user U as new teacher data. This can improve the determination accuracy of the type determining unit 202.

本実施形態では、加熱調理器100の制御部154は、加熱調理器100の運転の終了に代えて/加えて、種類判定部202の判定結果に基づき加熱部113の温度調整などを行ってもよい。 In this embodiment, the control unit 154 of the cooking device 100 may adjust the temperature of the heating unit 113 based on the determination result of the type determination unit 202 instead of/in addition to terminating the operation of the cooking device 100.

図14は、サーバ200Cによる処理の流れを示すフローチャートである。まず、種類判定部202は、情報取得部201により取得された画像と、第2学習済みモデルMBとに基づき、調理対象Oの種類を判定する(S201)。次に、種類判定部202は、判定結果に間違いがないか(判定結果が正しい確率が閾値以上であるか)を判定する(S202)。 Figure 14 is a flowchart showing the flow of processing by the server 200C. First, the type determination unit 202 determines the type of the cooking object O based on the image acquired by the information acquisition unit 201 and the second trained model MB (S201). Next, the type determination unit 202 determines whether the determination result is correct (whether the probability that the determination result is correct is equal to or greater than a threshold) (S202).

情報出力部203は、判定結果が間違っていない場合(判定結果が正しい確率が閾値以上である場合、S202:YES)、調理対象Oの種類の判定結果を加熱調理器100に出力する。この場合、加熱調理器100は、調理対象Oの種類の判定結果に基づき、加熱調理器100の運転条件(加熱部113の加熱温度および加熱時間など)を自動で選択(自動で設定)し、加熱調理器100の運転を開始する(S206)。なお、情報出力部203は、判定結果が間違っていない場合(判定結果が正しい確率が閾値以上である場合)であっても、調理対象Oの種類を示す判定結果を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させてもよい。 If the determination result is not incorrect (if the probability that the determination result is correct is equal to or greater than the threshold, S202: YES), the information output unit 203 outputs the determination result of the type of cooking object O to the cooking device 100. In this case, the cooking device 100 automatically selects (automatically sets) the operating conditions of the cooking device 100 (such as the heating temperature and heating time of the heating unit 113) based on the determination result of the type of cooking object O, and starts the operation of the cooking device 100 (S206). Note that the information output unit 203 may display the determination result indicating the type of cooking object O on the display device 114 of the cooking device 100 or the display device 301 of the terminal device 300, even if the determination result is not incorrect (if the probability that the determination result is correct is equal to or greater than the threshold).

一方で、情報出力部203は、判定結果が間違っている可能性がある場合(判定結果が正しい確率が閾値未満である場合、S202:NO)、調理対象Oの種類の判定結果を加熱調理器100の表示装置114または端末装置300の表示装置301に表示させる(S203)。次に、訂正受付部204は、調理対象Oの種類の判定結果に対する訂正を受け付ける(S204)。 On the other hand, if there is a possibility that the determination result is incorrect (if the probability that the determination result is correct is less than the threshold, S202: NO), the information output unit 203 displays the determination result of the type of cooking object O on the display device 114 of the cooking appliance 100 or the display device 301 of the terminal device 300 (S203). Next, the correction accepting unit 204 accepts a correction to the determination result of the type of cooking object O (S204).

情報出力部203は、訂正がないことを示すユーザUの入力を受け付けた場合(S204:NO)、調理対象Oの種類の判定結果を加熱調理器100に出力する。そして、S206の処理に進む。一方で、訂正受付部204は、調理対象Oの種類を訂正するユーザUの入力を受け付けた場合(S204:YES)は、調理対象Oの種類を訂正する(S205)。そして、情報出力部203は、訂正された調理対象Oの種類を加熱調理器100に出力する。そして、S206の処理に進む。以降の処理は、第1実施形態の処理と同様である。 When the information output unit 203 receives an input from the user U indicating that there is no correction (S204: NO), it outputs the determination result of the type of the cooking object O to the cooking appliance 100. Then, the process proceeds to S206. On the other hand, when the correction receiving unit 204 receives an input from the user U to correct the type of the cooking object O (S204: YES), it corrects the type of the cooking object O (S205). Then, the information output unit 203 outputs the corrected type of the cooking object O to the cooking appliance 100. Then, the process proceeds to S206. The subsequent processes are the same as those in the first embodiment.

このような構成によれば、第1実施形態と同様に、ユーザUの利便性の向上を図ることができる。さらに本実施形態では、種類判定部202により調理対象Oの種類が自動で判別される。これにより、ユーザUの利便性のさらなる向上を図ることができる。 With this configuration, as in the first embodiment, it is possible to improve the convenience for the user U. Furthermore, in this embodiment, the type determination unit 202 automatically determines the type of the cooking object O. This makes it possible to further improve the convenience for the user U.

本実施形態では、種類判定部202により判定された調理対象Oの種類を表示装置114,301に出力する情報出力部203と、調理対象Oの種類を訂正するユーザUの入力を受け付け可能である訂正受付部204とをさらに備える。このような構成によれば、調理対象Oの種類の判定が誤っている場合にユーザUによって訂正された正しい内容に基づいて調理を行うことができる。これにより、ユーザUの利便性のさらなる向上を図ることができる。 In this embodiment, the device further includes an information output unit 203 that outputs the type of cooking object O determined by the type determination unit 202 to the display device 114, 301, and a correction receiving unit 204 that can receive input from the user U to correct the type of cooking object O. With this configuration, when the type of cooking object O is incorrectly determined, cooking can be performed based on the correct content corrected by the user U. This can further improve convenience for the user U.

本実施形態では、調理具合判定部153は、加熱調理器100に設けられている。種類判定部202は、サーバ200Cに設けられている。これにより、速やかな判定が必要な調理具合については加熱調理器100で判定を行い、調理具合と比べて時間に余裕がある調理対象Oの種類はサーバ200Cで判定を行うことができる。これにより、加熱調理器100の記憶部157の必要容量を少なくすることができ、処理の安定性と加熱調理器100のコストダウンを図ることができる。 In this embodiment, the cooking degree determination unit 153 is provided in the cooking device 100. The type determination unit 202 is provided in the server 200C. This allows the cooking device 100 to determine the cooking degree that requires a quick determination, and the server 200C to determine the type of cooking object O for which there is more time than the cooking degree. This makes it possible to reduce the required capacity of the memory unit 157 of the cooking device 100, thereby achieving processing stability and reducing the cost of the cooking device 100.

本実施形態では、調理具合判定部153は、モノクロ画像に基づき調理具合を判定する。種類判定部202は、カラー画像に基づき調理対象Oの種類を判定する。このような構成によれば、加熱部113の温度に応じて異なる色になる場合において、加熱部113に照らされる調理対象Oの色の差の影響を小さくするとともに、調理対象Oの種類を判定ではカラー画像に基づいて高い精度の判定を行うことができる。 In this embodiment, the cooking degree determination unit 153 determines the cooking degree based on the monochrome image. The type determination unit 202 determines the type of the cooking object O based on the color image. With this configuration, when the cooking object O changes color depending on the temperature of the heating unit 113, the influence of the color difference of the cooking object O illuminated by the heating unit 113 is reduced, and the type of the cooking object O can be determined with high accuracy based on the color image.

(変形例)
上述した第4実施形態では、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、学習部205、および記憶部206は、サーバ200Cに設けられている。これに代えて、情報取得部201、種類判定部202、情報出力部203、訂正受付部204、学習部205、および記憶部206のうち1つ以上は、加熱調理器100に設けられてもよい。
(Modification)
In the above-described fourth embodiment, the information acquisition unit 201, the type determination unit 202, the information output unit 203, the correction acceptance unit 204, the learning unit 205, and the storage unit 206 are provided in the server 200C. Alternatively, one or more of the information acquisition unit 201, the type determination unit 202, the information output unit 203, the correction acceptance unit 204, the learning unit 205, and the storage unit 206 may be provided in the cooking appliance 100.

以上、いくつかの実施形態および変形例について説明した。ただし、実施形態および変形例は上記例に限定されない。例えば、上述した実施形態および変形例は、互いに組み合わされて実現されてもよい。本出願でいう「サーバ」は、クラウドサーバに限定されず、ユーザUの自宅に設けられたコンピュータなどでもよい。 A number of embodiments and variations have been described above. However, the embodiments and variations are not limited to the above examples. For example, the above-described embodiments and variations may be realized in combination with each other. The "server" referred to in this application is not limited to a cloud server, but may also be a computer installed in the home of user U.

以上説明した少なくともひとつの実施形態によれば、加熱調理器システムは、撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、調理対象の調理具合を判定する判定部を備える。このような構成によれば、利便性の向上を図ることができる。 According to at least one of the embodiments described above, the cooking device system includes a determination unit that converts an image captured by the imaging unit into a monochrome image and determines the degree of doneness of the food to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by learning. Such a configuration can improve convenience.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are within the scope of the invention and its equivalents as set forth in the claims, as well as the scope and gist of the invention.

1…加熱調理器システム、100,100A,100B…加熱調理器、111…筐体、112…載置部、113…加熱部、114…表示装置(表示部)、116…カメラ(撮像部)、151…種類受付部、152…画像処理部、153…調理具合判定部(第1判定部)、154…制御部、155…評価受付部、156…学習部、161…嗜好受付部、200,200C…サーバ、202…種類判定部(第2判定部)、204…訂正受付部、205…学習部、300…端末装置、301…表示装置(表示部)、DU…判定部、MA…第1学習済みモデル、MB…第2学習済みモデル、O…調理対象。 1...cooker system, 100, 100A, 100B...cooker, 111...housing, 112...placement section, 113...heating section, 114...display device (display section), 116...camera (imaging section), 151...type acceptance section, 152...image processing section, 153...cooking condition judgment section (first judgment section), 154...control section, 155...evaluation acceptance section, 156...learning section, 161...preference acceptance section, 200, 200C...server, 202...type judgment section (second judgment section), 204...correction acceptance section, 205...learning section, 300...terminal device, 301...display device (display section), DU...judgment section, MA...first trained model, MB...second trained model, O...cooking object.

Claims (11)

調理対象が載せられる載置部を含む筐体と、
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、
を備え、
前記筐体は、開口を有した筐体本体と、前記開口を閉じる扉とを有し、
前記撮像部は、前記筐体本体の天井または前記扉の内面に設けられ、
前記判定部は、前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、
前記撮像部のレンズに付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、
加熱調理器システム。
A housing including a placement section on which an object to be cooked is placed;
A heating unit provided in the housing for heating the object to be cooked;
an imaging unit that captures an image of the cooking target, the color of the cooking target included in the captured image being different depending on the temperature of the heating unit;
A determination unit that converts the image captured by the imaging unit into a monochrome image and determines the degree of doneness of the object to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by training;
A control unit that controls the heating unit based on a determination result of the determination unit;
Equipped with
The housing has a housing body having an opening and a door that closes the opening,
the imaging unit is provided on a ceiling of the housing body or on an inner surface of the door,
The determination unit determines the cooking state based on information directly or indirectly indicating an amount of dirt attached to the lens of the imaging unit, the monochrome image, and the trained model,
The information directly or indirectly indicating the amount of dirt adhering to the lens of the imaging unit includes a usage history indicating the types of ingredients previously cooked as the cooking target.
Heating cooker system.
調理対象が載せられる載置部を含む筐体と、A housing including a placement section on which an object to be cooked is placed;
前記筐体内に設けられ、前記調理対象を加熱する加熱部と、A heating unit provided in the housing for heating the object to be cooked;
前記調理対象を撮影し、前記加熱部の温度によって撮影される画像に含まれる前記調理対象の色が異なる撮像部と、an imaging unit that captures an image of the cooking target, the color of the cooking target included in the captured image being different depending on the temperature of the heating unit;
前記撮像部により撮影された画像をモノクロ画像に変換し、変換したモノクロ画像と、学習により内部変数が調整された学習済みモデルとに基づき、前記調理対象の調理具合を判定する判定部と、A determination unit that converts the image captured by the imaging unit into a monochrome image and determines the degree of doneness of the object to be cooked based on the converted monochrome image and a trained model in which internal variables have been adjusted by training;
前記判定部の判定結果に基づき前記加熱部を制御する制御部と、A control unit that controls the heating unit based on a determination result of the determination unit;
を備え、Equipped with
前記筐体は、開口を有した筐体本体と、前記開口を閉じるとともに前記筐体本体の内部を外部から視認可能な窓部と取手とを含む扉とを有し、The housing has a housing body having an opening, and a door that closes the opening and includes a window portion and a handle that allow the inside of the housing body to be viewed from the outside,
前記撮像部は、前記取手に設けられ、前記窓部を通じて前記筐体本体の内部に収容された前記調理対象を撮影し、The imaging unit is provided on the handle and captures an image of the cooking target contained inside the housing body through the window,
前記判定部は、前記窓部に付着した汚れの量を直接的または間接的に示す情報と、前記モノクロ画像と、前記学習済みモデルとに基づき、前記調理具合を判定し、The determination unit determines the cooking state based on information directly or indirectly indicating an amount of dirt attached to the window portion, the monochrome image, and the trained model,
前記窓部に付着した汚れの量を直接的または間接的に示す情報は、前記調理対象として過去に調理された食材の種類を示す使用履歴を含む、The information directly or indirectly indicating the amount of dirt adhering to the window portion includes a usage history indicating the types of ingredients previously cooked as the cooking target.
加熱調理器システム。Heating cooker system.
前記調理対象の種類を示すユーザの入力を受け付ける種類受付部をさらに備え、
前記学習済みモデルは、前記調理対象の種類に対応する複数の学習済みモデルを含み、 前記判定部は、前記種類受付部により受け付けられた前記調理対象の種類に基づき前記複数の学習済みモデルのなかから1つの学習済みモデルを選択し、選択した学習済みモデルに基づき前記調理対象の調理具合を判定する、
請求項1または請求項2に記載の加熱調理器システム。
A type receiving unit is further provided for receiving a user's input indicating a type of the object to be cooked,
the trained model includes a plurality of trained models corresponding to the type of the object to be cooked, and the determination unit selects one trained model from the plurality of trained models based on the type of the object to be cooked accepted by the type acceptance unit, and determines the cooking doneness of the object to be cooked based on the selected trained model.
The cooking device system according to claim 1 or 2 .
前記学習済みモデルは、前記調理具合の判定に用いられる第1学習済みモデルと、前記調理対象の種類の判定に用いられる第2学習済みモデルとを含み、
前記判定部は、前記モノクロ画像と前記第1学習済みモデルとに基づき前記調理具合を判定する第1判定部と、前記撮像部により撮影された画像または前記モノクロ画像と、前記第2学習済みモデルとに基づき前記調理対象の種類を判定する第2判定部と、を含む、 請求項1または請求項2に記載の加熱調理器システム。
The trained model includes a first trained model used to determine the degree of cooking and a second trained model used to determine the type of the object to be cooked,
3. The heating cooker system according to claim 1 or 2, wherein the determination unit includes: a first determination unit that determines the cooking state based on the monochrome image and the first trained model; and a second determination unit that determines the type of the object to be cooked based on an image captured by the imaging unit or the monochrome image and the second trained model.
前記第2判定部により判定された前記調理対象の種類を表示部に出力する情報出力部と、
前記表示部に表示された前記調理対象の種類が誤っている場合に、前記調理対象の種類を訂正するユーザの入力を受け付け可能である訂正受付部と、
をさらに備えた、
請求項に記載の加熱調理器システム。
An information output unit that outputs the type of the cooking object determined by the second determination unit to a display unit;
a correction receiving unit capable of receiving a user's input for correcting the type of the cooking object displayed on the display unit when the type of the cooking object is incorrect;
Further equipped with
The cooking system according to claim 4 .
前記筐体、前記加熱部、前記撮像部、および前記制御部を含む加熱調理器と、
前記加熱調理器とネットワークを介して接続可能であるサーバと、
を備え、
前記第1判定部は、前記加熱調理器に設けられ、
前記第2判定部は、前記サーバに設けられている、
請求項または請求項に記載の加熱調理器システム。
A cooking device including the housing, the heating unit, the imaging unit, and the control unit;
A server connectable to the cooking device via a network;
Equipped with
The first determination unit is provided in the cooking appliance,
The second determination unit is provided in the server.
The cooking device system according to claim 4 or 5 .
前記第1判定部は、前記モノクロ画像と前記第1学習済みモデルとに基づき前記調理具合を判定し、
前記第2判定部は、前記撮像部により撮影されたカラー画像と前記第2学習済みモデルとに基づき前記調理対象の種類を判定する、
請求項から請求項のうちいずれか1項に記載の加熱調理器システム。
The first determination unit determines the cooking state based on the monochrome image and the first trained model,
The second determination unit determines the type of the cooking object based on the color image captured by the imaging unit and the second trained model.
The cooking device system according to any one of claims 4 to 6 .
前記撮像部により撮影される画像は、前記調理対象の焼き具合を示す内容を含む、
請求項1から請求項のうちいずれか1項に記載の加熱調理器システム。
The image captured by the imaging unit includes content indicating the degree of doneness of the object to be cooked.
The cooking device system according to any one of claims 1 to 7 .
運転終了後に前記調理具合に関するユーザの評価を受け付ける評価受付部と、
前記評価受付部により受け付けられた前記ユーザの評価に基づき前記学習済みモデルの追加学習を行う学習部と、
をさらに備える、
請求項1から請求項のうちいずれか1項に記載の加熱調理器システム。
an evaluation receiving unit that receives a user's evaluation of the cooking state after the operation is completed;
A learning unit that performs additional learning of the trained model based on the user's evaluation accepted by the evaluation acceptance unit;
Further comprising:
The cooking device system according to any one of claims 1 to 8 .
前記調理具合に関するユーザの好みを受け付ける嗜好受付部をさらに備え、
前記判定部は、前記嗜好受付部により受け付けられた前記ユーザの好みに基づき、前記調理対象の調理具合に関する判定結果を異ならせる、
請求項1から請求項のうちいずれか1項に記載の加熱調理器システム。
A preference receiving unit is further provided for receiving a user's preference regarding the degree of cooking,
The determination unit changes a determination result regarding the doneness of the object to be cooked based on the user's preference accepted by the preference accepting unit.
The cooking device system according to any one of claims 1 to 9 .
前記筐体、前記加熱部、前記撮像部、および前記制御部を含む加熱調理器を備え、
前記加熱調理器は、トースターまたはオーブントースターである、
請求項1から請求項10のうちいずれか1項に記載の加熱調理器システム。
a cooking device including the housing, the heating unit, the imaging unit, and the control unit;
The cooking appliance is a toaster or a toaster oven.
The cooking device system according to any one of claims 1 to 10 .
JP2021064993A 2021-04-06 2021-04-06 Cooking System Active JP7577597B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021064993A JP7577597B2 (en) 2021-04-06 2021-04-06 Cooking System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021064993A JP7577597B2 (en) 2021-04-06 2021-04-06 Cooking System

Publications (2)

Publication Number Publication Date
JP2022160322A JP2022160322A (en) 2022-10-19
JP7577597B2 true JP7577597B2 (en) 2024-11-05

Family

ID=83657589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064993A Active JP7577597B2 (en) 2021-04-06 2021-04-06 Cooking System

Country Status (1)

Country Link
JP (1) JP7577597B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172267A (en) 2003-12-08 2005-06-30 Toshiba Corp Heating cooker
JP2008286466A (en) 2007-05-17 2008-11-27 Mitsubishi Electric Corp Heating device
US20190242584A1 (en) 2016-08-18 2019-08-08 BSH Hausgeräte GmbH Establishing a degree of browning of food to be cooked
JP2020139697A (en) 2019-02-28 2020-09-03 東京瓦斯株式会社 Cooking management method, system, program, and apparatus
JP2020153945A (en) 2019-03-22 2020-09-24 東京瓦斯株式会社 Method, system, program, and apparatus for managing cooking
JP2021508811A (en) 2017-12-30 2021-03-11 美的集団股▲フン▼有限公司Midea Group Co., Ltd. Food cooking methods and systems based on ingredient identification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172267A (en) 2003-12-08 2005-06-30 Toshiba Corp Heating cooker
JP2008286466A (en) 2007-05-17 2008-11-27 Mitsubishi Electric Corp Heating device
US20190242584A1 (en) 2016-08-18 2019-08-08 BSH Hausgeräte GmbH Establishing a degree of browning of food to be cooked
JP2021508811A (en) 2017-12-30 2021-03-11 美的集団股▲フン▼有限公司Midea Group Co., Ltd. Food cooking methods and systems based on ingredient identification
JP2020139697A (en) 2019-02-28 2020-09-03 東京瓦斯株式会社 Cooking management method, system, program, and apparatus
JP2020153945A (en) 2019-03-22 2020-09-24 東京瓦斯株式会社 Method, system, program, and apparatus for managing cooking

Also Published As

Publication number Publication date
JP2022160322A (en) 2022-10-19

Similar Documents

Publication Publication Date Title
EP3477206B1 (en) Cooking appliance with a user interface
JP6577365B2 (en) Nutrient amount calculation device and refrigerator equipped with the same
CN112040817B (en) Multipurpose intelligent electric cooker
EP3189507A1 (en) Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
CN108133743A (en) A kind of methods, devices and systems of information push
CN212159540U (en) Device for determining sugar content information of food and heating appliance for cooking food
CN111812989A (en) Food processing control method, device, equipment and storage medium
CN112704402A (en) Cooking appliance linkage control method and device, electronic equipment and storage medium
JP6255275B2 (en) Cooker
JP7577597B2 (en) Cooking System
CN209733642U (en) Intelligent cooking equipment
US11983643B2 (en) Cooking result inference system
JP7403044B2 (en) heating cooker
CN109691903B (en) Heating method of frying and baking machine, heating device, frying and baking machine and computer storage medium
CN115177158A (en) Cooking utensil
CN116687220A (en) Cooking method, cooking device, electronic equipment, cooking equipment and storage medium
JP7201510B2 (en) Cooking machine, server and cooking system
US20230154029A1 (en) Home appliance having interior space for accommodating tray at various heights and method of obtaining image by home appliance
US20220287508A1 (en) Vision system for a toaster
CN112965542B (en) Intelligent cooking equipment control method, control equipment and intelligent terminal
US20230018647A1 (en) Real-time automated cooking cycles system using computer vision and deep learning
JP2021143784A (en) Determination device, heating cooker
CN118542569A (en) Steam cooking method and steam oven
CN114376418A (en) Control method of cooking equipment and cooking equipment
KR20230073006A (en) Home appliance having an interior space for accommodating a tray at various heights and method for obtaining an image by the home appliance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241023

R150 Certificate of patent or registration of utility model

Ref document number: 7577597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150