JP6563118B2 - Air conditioning system - Google Patents
Air conditioning system Download PDFInfo
- Publication number
- JP6563118B2 JP6563118B2 JP2018511793A JP2018511793A JP6563118B2 JP 6563118 B2 JP6563118 B2 JP 6563118B2 JP 2018511793 A JP2018511793 A JP 2018511793A JP 2018511793 A JP2018511793 A JP 2018511793A JP 6563118 B2 JP6563118 B2 JP 6563118B2
- Authority
- JP
- Japan
- Prior art keywords
- air
- camera
- person
- image
- air conditioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004378 air conditioning Methods 0.000 title claims description 107
- 238000010191 image analysis Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 15
- 238000007664 blowing Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 239000003507 refrigerant Substances 0.000 description 25
- 230000004048 modification Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 239000007788 liquid Substances 0.000 description 9
- 238000009434 installation Methods 0.000 description 8
- 238000001816 cooling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010438 heat treatment Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000000481 breast Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000004060 metabolic process Effects 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000002503 metabolic effect Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 240000002132 Beaucarnea recurvata Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/89—Arrangement or mounting of control or safety devices
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Air Conditioning Control Device (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、カメラによって撮影された画像に基づいて空調対象空間の空気を調和する空気調和システムに関する。 The present invention relates to an air conditioning system that harmonizes air in an air-conditioning target space based on an image photographed by a camera.
従来、空気調和機とカメラと制御装置とがネットワークを介して接続された空気調和システムが知られている。特許文献1には、店内に設置されたカメラ、データ処理装置及び空調設備がネットワークを介して接続されたシステムが開示されている。特許文献1において、データ処理装置は、カメラによって撮影された店内の画像を解析する。そして、データ処理装置は、店内の顧客が上着を着ているか否かという着衣状況を判定し、判定結果を空調設備の空調動作に反映する。
Conventionally, an air conditioning system in which an air conditioner, a camera, and a control device are connected via a network is known.
しかしながら、特許文献1に開示されたシステムは、着衣状況のみで空調動作を制御している。このため、利用者の意にそぐわない空調動作が行われる可能性がある。
However, the system disclosed in
本発明は、上記のような課題を解決するためになされたもので、利用者に対し適切な空調動作が行われる空気調和システムを提供するものである。 The present invention has been made to solve the above problems, and provides an air conditioning system in which an appropriate air conditioning operation is performed for a user.
本発明に係る空気調和システムは、空調対象空間の空気を調整する空気調和機と、空調対象空間を撮影するカメラと、空気調和機及びカメラにネットワークを介して接続され、空気調和機の動作を制御する制御装置と、を備え、制御装置は、空調対象空間に在室する人の属性と、空気調和機の動作とが対応づけされたテーブルを記憶する記憶手段と、カメラによって撮影された画像に写っている人の属性及び位置を解析する画像解析手段と、画像解析手段によって解析された人の属性と、記憶手段に記憶されたテーブルと、画像解析手段によって解析された人の位置とに基づいて、空気調和機の動作を設定する設定手段と、空気調和機を、設定手段によって設定された動作で動作させる動作制御手段と、を有し、画像解析手段は、カメラから画像に写っている人又は物までの距離を測定する機能を有する。 An air conditioning system according to the present invention is connected to an air conditioner that adjusts air in an air-conditioning target space, a camera that images the air-conditioning target space, an air conditioner and a camera via a network, and operates the air conditioner. A control device for controlling, and the control device stores storage means for storing a table in which attributes of a person in the air-conditioning target space are associated with operations of the air conditioner, and an image photographed by the camera. Image analysis means for analyzing the attribute and position of the person shown in the image, the attribute of the person analyzed by the image analysis means, the table stored in the storage means, and the position of the person analyzed by the image analysis means based on a setting means for setting the operation of the air conditioner, the air conditioner, have a, an operation control means for operating the operating set by the setting means, image analysis means, a camera It has the function of measuring the distance to the person or object is reflected in the image.
本発明によれば、制御装置は、人の属性と空気調和機の動作とが対応づけされたテーブルを記憶する記憶手段を有している。このため、空気調和機において、在室する人の属性に適合した動作が行われる。従って、空気調和システムにおいて、コストをかけずに、利用者に対し適切な空調動作が行われる。 According to the present invention, the control device has storage means for storing a table in which human attributes are associated with operations of the air conditioner. For this reason, in an air conditioner, the operation | movement adapted to the attribute of the person who lives is performed. Therefore, in the air conditioning system, an appropriate air conditioning operation is performed on the user without cost.
実施の形態1.
以下、本発明に係る空気調和システム100の実施の形態について、図面を参照しながら説明する。図1は、本発明の実施の形態1に係る空気調和システム100を示す模式図である。この図1に基づいて、空気調和システム100について説明する。図1に示すように、空気調和システム100は、空気調和機1と、カメラ41と、制御装置42と、ルータ43とを備えている。空気調和機1は、空調対象空間Rの空気を調整するものであり、室外機3と室内機2とを有している。ここで、室内機2は、サーモセンサ44と室内制御部50とを有している。
Hereinafter, an embodiment of an
室内機2の室内制御部50と、カメラ41と、制御装置42とは、ルータ43を中継機としてインターネットを介して無線接続されている。なお、ルータ43は、無線でもよいし有線でもよい。また、空気調和機1と制御装置42が接続され、カメラ41と制御装置42が接続され、それぞれペアリングするように構成されてもよい。このように、本実施の形態1は、空気調和機1及び制御装置42、カメラ41及び制御装置42がネットワーク上で接続されていればよい。
The
図2は、本発明の実施の形態1における空気調和機1を示す回路図の一例である。図2に示すように、室外機3と室内機2とは、ガス側連絡配管11及び液側連絡配管12によって接続されている。室外機3は、空調対象空間R外に設置されるものであり、圧縮機8、流路切替部9、室外熱交換器6、室外送風機7及び膨張部10を有している。室内機2は、空調対象空間Rに設置されるものであり、室内熱交換器4及び室内送風機5を有している。ここで、流路切替部9と室内熱交換器4の一端側とがガス側連絡配管11によって接続されており、膨張部10と室内熱交換器4の他端側とが液側連絡配管12によって接続されている。そして、圧縮機8、流路切替部9、室外熱交換器6、膨張部10及び室内熱交換器4が配管により接続されて、冷媒が流れる冷媒回路13が構成されている。
FIG. 2 is an example of a circuit diagram showing the
圧縮機8は、冷媒を圧縮するものである。流路切替部9は、冷媒回路13において冷媒の流れる方向を切り替えるものである。流路切替部9は、圧縮機8から吐出された冷媒が室外熱交換器6に流れるか室内熱交換器4に流れるかを切り替えるものであり、例えば四方弁である。流路切替部9の切り替えによって、冷房運転又は暖房運転のいずれもが行われる。室外熱交換器6は、室外空気と冷媒とを熱交換するものである。室外送風機7は、モータ(図示せず)によって駆動し、室外熱交換器6に室外空気を送風するものである。膨張部10は、冷媒を膨張及び減圧するものであり、例えば開度が調整される電磁膨張弁である。室内熱交換器4は、室内空気と冷媒とを熱交換するものである。室内送風機5は、モータ(図示せず)によって駆動し、室内熱交換器4に室内空気を送風するものである。
The
図3は、本発明の実施の形態1における室内機2を示す斜視図の一例である。次に、室内機2について詳細に説明する。図3に示すように、室内機2は、筐体20とサーモセンサ44とを有している。筐体20は、幅方向(矢印X方向)に長い直方体状をなしており、前面パネル23、側面パネル24、背面パネル25、天面パネル27及び下面パネル26を有している。前面パネル23は、空調対象空間Rの内部に対向する前面に配置される部材である。側面パネル24は、前面パネル23の両側端部に取り付けられ、両側面に配置される部材である。背面パネル25は、前面パネル23と対向し、空調対象空間Rの壁Kに取り付けられる部材である。天面パネル27は、空調対象空間Rの天井Tに対向する天面に配置される部材である。下面パネル26は、天面パネル27と対向し、空調対象空間Rの床を向いている部材である。なお、前面パネル23の中央部には、幅方向(矢印X方向)に延びる室内空気の吸込み口21が形成され、下面パネル26の一部には、幅方向(矢印X方向)に延びる室内空気の吹出し口22が形成されている。
FIG. 3 is an example of a perspective view showing the
なお、室内機2には、吹出し口22を塞ぐように、上下風向板28が設けられている。また、サーモセンサ44は、下面パネル26に設けられており、空調対象空間Rの内部の温度を測定するものである。サーモセンサ44は、センサ部が上下方向(矢印Z方向)に可動するサーモパイルであり、図2では、サーモセンサ44のセンサ部が収納されている場合について例示している。このように、室内機2が、幅方向(矢印X方向)に長い直方体状をなしており、吹出し口22が下面パネル26に形成されているため、運転停止時において、正面視で吹出し口22が視認されない。このため、室内機2の意匠性が向上する。なお、室内機2は、幅方向(矢印X方向)に長い直方体状をなしておらず、吸込み口21と吹出し口22とがそれぞれ1個以上形成されている箱体であれば、形状は問わない。
The
図4は、本発明の実施の形態1における室内機2を示す側面断面図の一例である。図4に示すように、筐体20の内部には、幅方向(矢印X方向)に長く、前面パネル23、天面パネル27及び背面パネル25に対向するように、折り曲げられた室内熱交換器4が設けられている。また、筐体20の内部には、室内熱交換器4に覆われるように配置された室内送風機5が設けられている。天面パネル27には、格子状の吸込み口21が形成されている。また、前面パネル23の内壁及び天面パネル27の内壁には、フィルタ37が設けられている。ここで、背面パネル25下端の内壁をケーシング下壁39と呼称し、前面パネル23下端から筐体20の内部に延びる内壁をケーシング上壁40と呼称する。なお、ケーシング上壁40の上面には、室内熱交換器4から落下するドレン水を回収するドレンパン38が設けられている。
FIG. 4 is an example of a side cross-sectional view showing the
また、筐体20の内部には、上下風向板支持部材29、上下風向板28、左右風向板36、第1の上下補助風向板31、第2の上下補助風向板支持部材34及び第2の上下補助風向板33が設けられている。上下風向板支持部材29は、ケーシング上壁40に取り付けられ、上下風向板28を支持するものである。上下風向板28は、前述の如く、吹出し口22を塞ぐようものであり、上下方向に傾動するものである。これにより、吹出し口22から吹き出す空気の上下方向の向きが変わる。また、左右風向板36は、ケーシング上壁40に取り付けられており、左右方向に揺動するものである。これにより、吹出し口22から吹き出す空気の左右方向の向きが変わる。
Further, inside the
第1の上下補助風向板31は、ケーシング上壁40に取り付けられており、第1の上下補助風向板軸32を中心として上下方向に揺動するものである。これにより、吹出し口22から吹き出す空気の上下方向の向きが変わる。第2の上下補助風向板支持部材34は、ケーシング上壁40に取り付けられており、第2の上補助風向板を支持し、第2の上下補助風向板33と共に揺動するものである。第2の上下補助風向板33は、第2の上下補助風向板支持部材34を介してケーシング上壁40に取り付けられており、第1の上下補助風向板軸32と同軸の第2の上下補助風向板軸35を中心として上下方向に揺動するものである。これにより、吹出し口22から吹き出す空気の上下方向の向きが変わる。なお、第1の上下補助風向板31及び第2の上下補助風向板33は、省略されてもよい。
The first vertical auxiliary
次に、室内機2の内部における空気の流れについて説明する。天面パネル27に形成された吸込み口21と、前面パネル23に形成された吸込み口21とから吸い込まれた室内空気は、フィルタ37によって、空気に含有する塵埃が除去される。塵埃が除去された空気は、室内熱交換器4を通過する際、室内熱交換器4の内部に流れる冷媒と熱交換され、室内送風機5に到達する。ここで、空気調和機1が冷房運転している場合、空気は冷却され、空気調和機1が暖房運転している場合、空気は加熱される。そして、室内送風機5に到達した空気は、室内送風機5の内部、又は、室内送風機5と背面パネル25との間の隙間を通過し、ケーシング下壁39とケーシング上壁40との間に流入する。ここで、空気は、左右風向板36によって左右方向の流れが調整され、上下風向板28、第1の上下補助風向板31及び第2の上下補助風向板33によって上下方向の流れが調整される。そして、吹き出し方向が調整された空気は、吹出し口22から前方又は下方に向かって吹き出す。
Next, the flow of air inside the
次に、室内制御部50について説明する。室内制御部50は、外部リモートコントローラ(図示せず)及びネットワークを介して送信された信号等に基づいて、上下風向板28、左右風向板36、第1の上下補助風向板31及び第2の上下補助風向板33の向きの調整、熱交換サイクルの能力の調整、室内送風機5の回転数の調整等を行うものである。
Next, the
図5は、本発明の実施の形態1における空調対象空間Rの一例を示す上面図である。図5に示すように、空調対象空間Rは、例えば四角形状の室であり、4.5畳、即ち、約2.3m四方、高さ約2.3mの立方体状の室である。空調対象空間Rには、2人の利用者が在室しており、掃除機が床に載置されている場合を仮定している。利用者及び掃除機は動くものの、柱、家具、机及び室内機2は、配置替えされない限り、不動である。室内機2は、空調対象空間Rの4つの壁のうち、1つの壁Kに設けられている。室内機2は、床から1.8mの高さに据え付けられている。
FIG. 5 is a top view showing an example of the air-conditioning target space R in the first embodiment of the present invention. As shown in FIG. 5, the air-conditioning target space R is, for example, a quadrangular room, which is 4.5 tatami mats, that is, a cubic room having a height of about 2.3 m and a height of about 2.3 m. It is assumed that there are two users in the air conditioning target space R and the vacuum cleaner is placed on the floor. Although the user and the vacuum cleaner move, the pillar, furniture, desk, and
カメラ41は、空調対象空間Rを撮影するものであり、空調対象空間Rの4つの壁のうち、室内機2が設けられた壁Kの隣の壁に設けられている。なお、カメラ41は、室内機2が設けられた壁Kと対向する壁に設けられてもよい。カメラ41は、床から1mの高さに設置されている。カメラ41は、例えば1m〜10m程度まで焦点が合う安価な固定フォーカスカメラである。カメラ41の種類は、空調対象空間Rの大きさ及び焦点深度を考慮して決定される。なお、カメラ41は、撮影対象を拡大又は縮小する機能を有している。このように、カメラ41は、空調対象空間R全体、室内機2及び人が一度に撮影することができる場所に設置される。
The
ここで、カメラ41は、人全体を撮影する必要があるため、床から人の身長の半分程度である約0.8mの高さに設置されてもよい。また、室内機2を撮影する必要があるため、室内機2の据え付け高さの半分程度である約1mの高さに設置されてもよい。カメラ41の視野角は、上下90°、左右90°である。また、カメラ41の光軸は、床と平行に設定される。なお、カメラ41の光軸は、床に比べて上向きでもよく下向きでもよいがここでは平行で説明する。なお、本発明では上記の部屋、設置位置、人位置及びカメラの角度で説明するが、それらに限定されるわけではない。例えば、設置位置が2mでも構わないし、カメラ角度が120°でも構わない。人の数は一人でも二人でも構わないし、人の位置は本例に依存せず、カメラに写る範囲でよい。
Here, since it is necessary to photograph the entire person, the
2人の利用者は、それぞれ子供U1、大人U2である。子供U1は、身長1mの女性で髪型はポニーテール、髪にリボンが付されている。大人U2は、身長1.6mの女性であり、髪型は流し髪、髪にカチューシャが付されている。なお、子供U1と大人U2とは若干離れた位置に立っている。なお、カメラ41で撮影された場合、空調対象空間Rに存在する位置によって、人の大きさは変わる。子供と大人とでは、概して身長差があるものの、子供の方が大人よりもカメラ41からの位置が極端に近い場合、子供の方が大きく、大人の方が小さく撮影されることもある。また、人の手、親指、足等には、符号を付さない。
The two users are a child U1 and an adult U2, respectively. Child U1 is a 1 meter tall woman with a ponytail hairstyle and a ribbon attached to her hair. The adult U2 is a woman with a height of 1.6 m, and the hairstyle is cast hair and the headband is attached to the hair. The child U1 and the adult U2 are standing slightly apart. In addition, when image | photographed with the
図6は、本発明の実施の形態1における制御装置42を示すブロック図である。制御装置42は、例えばサーバであり、空気調和機1の室内制御部50に、空調条件を送信するものである。制御装置42は、記憶手段61と、画像解析手段62と、設定手段63と、動作制御手段64とを有している。なお、制御装置42は、パーソナルコンピュータとしてもよくスマートフォンとしてもよい。又、本実施例で制御装置42は室内機2のある部屋、又はこの近傍にあることを前提としているが、制御装置42が携帯端末であれば、外出時に家の外から制御してもよい。又、制御装置42は、家とは全く別の建物に設置したり国外に存在する等、部屋よりも物理的に遠いがネットワーク上でつながっているサーバでもよい。但し、家の中でもそうだが、家以外は特にセキュリティを厳重にする必要がある。
FIG. 6 is a block diagram showing the
図7は、本発明の実施の形態1における記憶手段61が記憶するテーブルである。記憶手段61は、空調対象空間Rに在室する人の属性と、空気調和機1の動作とが対応づけされたテーブルを記憶している。ここで、人の属性は、例えば、性別及び年代である。図7に示すように、テーブルには、人を識別する認識番号、足元位置の座標、推定属性、室内温度からの制御判定結果といった項目が記載されている。足元位置の座標は、上下方向の上下角及び左右方向の左右角が項目とされている。推定属性は、身長、体重、性別及び基礎代謝基準値が項目とされている。
FIG. 7 is a table stored in the
テーブルにおいて、人が男性である場合の方が女性である場合よりも、空気調和機1の風を当てる割合が大きい。また、テーブルにおいて、人が子供である場合の方が大人である場合よりも、空気調和機1の風を当てる割合が大きい。これは、男性と女性、子供と大人では、基礎代謝基準値(kcal/kg/日)が異なることによる。大人の男女18〜29才において、男性が24.0kcal/kg/日、女性が22.1kcal/kg/日であり、男性の方が女性よりも基礎代謝、即ち体からの発熱量が多い。このため、男性の方が女性よりも冷却されることが望まれる。また、子供6〜7才において、44.3kcal/kg/日であり、子供の方が大人よりも基礎代謝が多い。このため、子供の方が大人よりも冷却されることが望まれる。出典は、日本厚生労働省の「日本人の食事摂取基準(2015年版)」66ページ、表6である。
In the table, the ratio of the
図8は、本発明の実施の形態1におけるカメラ41によって撮影された背景画像である。画像解析手段62は、カメラ41によって撮影された画像に写っている人の属性及び位置を解析するものである。解析時の人の位置の精度はあまり要らない。現在の技術では、風を送る場合、気流の関係でミリ単位のピンポイントで風を送れず、絞っても100mm単位の広い範囲になる。ここで、画像解析手段62は、室内機2の吹出し口22の位置を予め取得する。先ず、人がいないときの空調対象空間Rが撮影された背景画像を、実制御前に予め取得する。制御装置42は、空気調和機1に対し「上下風向板28を閉じろ」という指示を出す。これにより、空気調和機1の上下風向板28が閉じる。そして、制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、図8に示すように、人が不在で、空気調和機1の上下風向板28が閉じた状態の背景画像がカメラ41によって撮影される。なお、背景画像は、24時間の間に極力多く取得されることが好ましい。これにより、日射の状況、夜間に電灯をつけている場合等に空調対象空間の様子が変わっても、画像解析手段62は、そのときに適した背景画像を使用することができる。
FIG. 8 is a background image taken by the
図9は、本発明の実施の形態1におけるカメラ41によって撮影された背景画像である。次に、制御装置42は、空気調和機1に対し「上下風向板を全開にしろ」という指示を出す。これにより、空気調和機1の上下風向板28が全開となる。そして、制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、図9に示すように、人が不在で、空気調和機1の上下風向板28が全開となった状態の背景画像がカメラ41によって撮影される。なお、本実施の形態1では、空気調和システム100がルータ43を備えている。実際の通信において、制御装置42から画像データを要求する場合、「画像データを送れ」という情報に、「カメラ41のIPアドレス宛て」という行先情報を付加してルータ43に送信し、受信したルータ43が、カメラ41に対し「画像データを送れ」という情報を送信する。本実施の形態1では、上記内容を、制御装置42がカメラ41に対し「画像データを送れ」という指示を出すという内容に簡略化して説明する。
FIG. 9 is a background image taken by the
図10は、本発明の実施の形態1における差分画像である。画像解析手段62は、図8に示す背景画像と図9に示す背景画像との差分を求める。具体的には、画像解析手段62は、二つの画像データの各画素の値の差分を取る。これにより、図10に示すように、室内機2の吹出し口22が強調表示(斜線部)して抽出された差分画像が取得される。
FIG. 10 is a difference image according to
画像解析手段62は、カメラ41の位置を原点として、抽出された吹出し口22の幅方向の一端A1及び他端A2の座標を取得し、吹出し口22の中心位置Oの座標を求める。A1の座標を、上下角αa1=32°,左右角βa1=−40°とし、A2の座標を、上下角αa2=20°,左右角βa2=−22°とする。また、室内機2の設置高さをLa=1.8m、カメラ41の設置高さをLc=1mとする。吹出し口22の中心位置Oの座標xa,ya,zaは、下記式(1)、式(2)、式(3)から求まる。The image analysis means 62 acquires the coordinates of the extracted one end A1 and the other end A2 in the width direction of the
[数1]
xa=ya×tan((βa2+βa1)/2)・・・・(1)[Equation 1]
x a = y a × tan ((β a2 + β a1 ) / 2) (1)
[数2]
ya=za/tan((αa2+αa1)/2)・・・・(2)[Equation 2]
y a = z a / tan ((α a2 + α a1 ) / 2) (2)
[数3]
za=La−Lc・・・・(3)[Equation 3]
z a = L a −L c (3)
式(3)より、za=1.8−1=0.8である。From formula (3), z a = 1.8-1 = 0.8.
図11は、本発明の実施の形態1におけるカメラ41によって撮影された画像である。画像解析手段62は、実制御時に、人がいるときの空調対象空間Rが撮影された画像を取得する。制御装置42は、空気調和機1に対し「上下風向板を全開にしろ」という指示を出す。これにより、空気調和機1の上下風向板28が全開となる。そして、制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、図11に示すように、空気調和機1の上下風向板28が全開となり、人がいる画像がカメラ41によって撮影される。
FIG. 11 is an image taken by the
図12は、本発明の実施の形態1における差分画像である。画像解析手段62は、図9に示す背景画像と図11に示す画像との差分を求める。具体的には、画像解析手段62は、二つの画像データの各画素の値の差分を取る。これにより、図12に示すように、子供U1、大人U2及び掃除機U9といった背景画像には写っていない動くものが強調表示して抽出された差分画像が取得される。なお、差分画像は、図11に示す画像と図8に示す背景画像とから取得されてもよく、図11に示す画像と図9に示す差分画像とから取得されてもよい。
FIG. 12 is a difference image according to
画像解析手段62は、図12に示す画像を解析して、人の認識を行う。画像解析手段62は、例えば画像と、予め記憶手段61が記憶する顔パターンとを照合して、画像内の顔を探索する。これをパターンマッチングと呼称する。このとき、顔が認識される子供U1及び大人U2が人の候補に挙がり、顔が認識されない掃除機U9が人の候補から外れる。なお、人の認識において、顔を探索し、順次体を認識する場合について例示しているが、体全体を探索してもよいし、顔の目、鼻、口の各部位を探索するようにしてもよい。
The image analysis means 62 analyzes the image shown in FIG. 12 and recognizes a person. The
図13及び図14は、本発明の実施の形態1における顔モデルを示す説明図である。パターンマッチングに使用される顔モデルは、人の年代、性別、方向によって多岐にわたるため、極めて多く存在する。顔モデルは、少なくとも、「属性(年代、性別)」、「方向(横顔等の正面からみた顔の方向)」を有する。顔モデルは、図13に示すように、例えば女性20代A、女性20代B、女性20代Cというように、性別及び年齢が一致するなかでも、複数作成される。更に、顔モデルは、図14に示すように、正面からの角度0°、角度10°、角度30°、角度90°というように、角度によっても複数される。
13 and 14 are explanatory diagrams showing a face model according to
顔モデルは、カメラ41からの距離が所定の距離、例えば1mである場合の顔を想定して作成される。ここで、性別によって目及び鼻の位置はあまり変化しないものの、年代によって目及び鼻の位置は大きく変化する。これは、概して、子供と大人とでは、顔の大きさが変わっても眼球の大きさはほぼ変わらないため、子供の方が大人よりも相対的に目が大きく見えることによる。このため、子供と大人とでは、別々の顔モデルが作成される。ここで、パターンマッチングは、制御装置42が実施するため、顔モデルは記憶手段61が記憶していれば済む。
The face model is created assuming a face when the distance from the
顔モデルは、主に、目、鼻、口及び下顎付近が登録されたものである。顔モデルは、耳及び髪は登録されていない。これは、髪及び髪型は人によって大きく変わることによる。図12に示す子供U1は、髪を結わいているが、髪をほどいている場合もある。また、耳は、髪に隠れている場合があることによる。図12に示す大人U2は、微かに耳が見えているものの、髪型が変われば見えなくなる場合もある。なお、人がマスク又はサングラス等を身に着けている場合、パターンマッチングが正しく行われない場合がある。また、人が背を向けている場合も、パターンマッチングが正しく行われない場合がある。 The face model is mainly registered in the vicinity of eyes, nose, mouth and lower jaw. In the face model, ears and hair are not registered. This is because hair and hairstyle vary greatly from person to person. The child U1 shown in FIG. 12 has tied hair, but may have unraveled hair. In addition, the ears may be hidden in the hair. The adult U2 shown in FIG. 12 may slightly see the ear, but may disappear if the hairstyle changes. When a person wears a mask or sunglasses, pattern matching may not be performed correctly. In addition, pattern matching may not be performed correctly even when a person is turned away.
図15は、本発明の実施の形態1における顔モデルを示す説明図である。図15に示すように、パターンマッチングにおいて、画像内での人の顔の大きさに合わせて、比較画像である顔モデルが画像解析手段62によって拡大又は縮小されながら検索が行われる。また、顔が横になっている場合もあるため、顔モデルが随時回転されながら検索が行われる。画像の全画面において、パターンマッチングが行われるが、本実施の形態1では、図12に示す差分画像において、パターンマッチングが行われる。このように、予め取得された背景画像との差分画像において、パターンマッチングが行われることによって、パターンマッチングが行われる画素数が減るため、制御装置42の処理負担が減る。
FIG. 15 is an explanatory diagram showing a face model according to
図16は、本発明の実施の形態1における顔認識率を示すグラフである。図16において、横軸は、水平角(α)及び垂直角(β)であり、縦軸は、顔の認識率である。パターンマッチングによって顔モデルとの一致率が算出される。そして、顔モデルが、画面上で地形の如く分散する。図12に示す画像では、人が2人いるため、図16に示すように、山の頂点が二つになり、顔の判定をすることができる。図12に示す画像では、子供U1の顔の位置は、αh1=−10°、βh1=−10°付近である。大人U2の顔の位置は、αh2=+15°、βh2=+3°である。一致率が高い顔モデルに付属される属性情報に基づいて、一致した顔を有する人の属性のうち、少なくとも子供又は大人の推定が可能である。これにより、子供U1が子供と推定され、大人U2が大人と推定される。FIG. 16 is a graph showing the face recognition rate in
顔モデルの拡大率に基づいて、カメラ41から頭までの距離が求められる。顔モデル作成時のカメラ41から顔までの距離が1mであるため、例えば子供U1の顔モデルの拡大率が0.9倍でパターンマッチングされた場合、カメラ41から顔までの距離yh1は、1m/0.9=1.11mである。カメラ41から顔までの距離yh1が求められた後、子供U1の頭の位置xh1,zh1は、下記式(4)、(5)から求められる。Based on the enlargement ratio of the face model, the distance from the
[数4]
xh1=yh1×tan(βh1)・・・・(4)[Equation 4]
x h1 = y h1 × tan (β h1 ) (4)
[数5]
zh1=yh1×tan(αh1)・・・・(5)[Equation 5]
z h1 = y h1 × tan (α h1 ) (5)
また、大人U2の顔の位置xh2,zh2は、下記式(6)、(7)から求められる。Further, the positions x h2 and z h2 of the face of the adult U2 can be obtained from the following formulas (6) and (7).
[数6]
xh2=yh2×tan(βh2)・・・・(6)[Equation 6]
x h2 = y h2 × tan (β h2 ) (6)
[数7]
zh2=yh2×tan(αh2)・・・・(7)[Equation 7]
z h2 = y h2 × tan (α h2 ) (7)
図17は、本発明の実施の形態1における身体モデルを示す説明図である。次に、顔認識後の体全体の探索について説明する。先ず、図17に示すように、人が正面を向いている場合について説明する。顔以外の体については、以前認識された部位に基づいて、パターンマッチングが行われる。例えば、顔と首が極端に離れていたり、曲がっていたりすることは通常起こり得ないため、下顎の下端を起点として角度範囲がおよそ45°以内とされる。また、顔の認識によって顔の大きさがある程度判明するため、首の大きさもある程度推測可能である。このため、首以降の首モデル等のパターンマッチングが行われても、マッチングの回数は少なくて済み、方向及び拡大率も限定される。
FIG. 17 is an explanatory diagram showing a body model according to
そして、パターンマッチングが、首、胸、腹、太腿、膝及び足元の順に実施される。なお、腹及び太腿等は、服装によって変化するため、補完処理又は補正処理が行われる。また、胸は、性別で異なるため、男性用の胸モデルと女性用の胸モデルとが作成される。足元の位置が求められると、モデルの拡大率に基づいて、各部位の接点の大体の位置が算出され、身長が推測される。足元まで特定された場合、その際のカメラ41上の角度αu1、βu1、αu2、βu2等が求められる。また、身長に基づいて、年齢と体重が推測され、基礎代謝量が求められる。また、パターンマッチングが順次行われるため、立位、座位、臥位等の姿勢が推測される。Then, pattern matching is performed in the order of neck, chest, abdomen, thigh, knee and foot. Note that the abdomen, thighs, and the like change depending on clothes, and therefore, complementation processing or correction processing is performed. In addition, since the breasts differ by gender, a male breast model and a female breast model are created. When the position of the foot is obtained, the approximate position of the contact point of each part is calculated based on the magnification of the model, and the height is estimated. When the foot is specified, angles α u1 , β u1 , α u2 , β u2 and the like on the
図18は、本発明の実施の形態1における身体モデルを示す説明図である。図18に示すように、人が横を向いている場合についても、正面を向いている場合と同様に、パターンマッチングが、首、胸、腹、太腿、膝及び足元の順に実施される。
FIG. 18 is an explanatory diagram showing a body model according to
カメラ41の設置高さをLc=1mとすると、子供U1の足元の位置の座標xu1,yu1,zu1は、下記式(8)、(9)、(10)から求められる。Assuming that the installation height of the
[数8]
xu1=yu1×tan(βu1)・・・・(8)[Equation 8]
x u1 = y u1 × tan (β u1 ) (8)
[数9]
yu1=−zu1/tan(αu1)・・・・(9)[Equation 9]
y u1 = −z u1 / tan (α u1 ) (9)
[数10]
zu1=−Lc・・・・(10)[Equation 10]
z u1 = −L c (10)
また、大人U2の足元の位置の座標xu2,yu2,zu2は、下記式(11)、(12)、(13)から求められる。Further, the coordinates x u2 , y u2 , and z u2 of the position of the foot of the adult U2 are obtained from the following formulas (11), (12), and (13).
[数11]
xu2=yu2×tan(βu2)・・・・(11)[Equation 11]
x u2 = y u2 × tan (β u2 ) (11)
[数12]
yu2=−zu2/tan(αu2)・・・・(12)[Equation 12]
y u2 = −z u2 / tan (α u2 ) (12)
[数13]
zu2=−Lc・・・・(13)[Equation 13]
z u2 = −L c (13)
画像解析手段62は、室内機2から見た場合の人の位置を算出する。室内機2から見た子供U1の足元の位置の左右角は、左右角γu1=atan((ya−yu1)/(xa−xu1))であり、上下角は、上下角θu1=atan((za−zu1)/(xa−xu1))である。室内機2から見た大人U2の足元の位置の左右角は、左右角γu2=atan((ya−yu2)/(xa−xu2))であり、上下角は、上下角θu2=atan((za−zu2)/(xa−xu2))である。The image analysis means 62 calculates the position of the person when viewed from the
設定手段63は、画像解析手段62によって解析された人の属性と、記憶手段61に記憶されたテーブルと、画像解析手段62によって解析された人の位置とに基づいて、空気調和機1の動作を設定するものである。設定手段63は、画像解析手段62の解析結果に基づいて、図7に示すテーブルの空欄を埋めていき、属性に適合するように空気調和機1の動作を設定する。例えば、認識番号が子供U1の場合、足元の位置の上下角−45°、左右角−5°、身長1000mm、体重22kg、性別不明、基礎代謝基準値41.9kcal/kg/日であり、室内温度からの制御判定は、風当て及び風量強である。認識番号が大人U2の場合、足元の位置の上下角−35°、左右角+5°、身長1600mm、体重53kg、性別女性、基礎代謝基準値21.7kcal/kg/日であり、室内温度からの制御判定は、風除けである。
The setting
動作制御手段64は、空気調和機1を、設定手段63によって設定された動作で動作させるものである。具体的には、動作制御手段64は、室内機2に対し「風向を左右角γu1、上下角θu1に設定せよ」という指示を出す。これにより、室内機2は、左右角γu1、上下角θu1に風を送るように、上下風向板28、第1の上下補助風向板31、第2の上下補助風向板33及び左右風向板36を調整する。これにより、子供U1の足元に風が送られる。また、動作制御手段64は、室内機2に対し「風向を左右角γu2、上下角θu2に設定せよ」という指示を出す。これにより、室内機2は、左右角γu2、上下角θu2に風を送るように、上下風向板28、第1の上下補助風向板31、第2の上下補助風向板33及び左右風向板36を調整する。これにより、大人U2の足元に風が送られる。なお、室内機2の風向が2方向に分けることができる場合、子供U1及び大人U2のいずれもの足元に風を送ることができる。また、動作制御手段64は、室内機2に対し顔の位置に風を送るように指示を出してもよい。The
次に、空気調和機1の運転モードについて説明する。空気調和機1は、運転モードとして、冷房運転及び暖房運転を有している。冷房運転は、圧縮機8、流路切替部9、室外熱交換器6、膨張部10、室内熱交換器4の順に冷媒が流れ(図2の実線矢印)、室内熱交換器4において室内空気が冷媒と熱交換されて冷却されるものである。暖房運転は、圧縮機8、流路切替部9、室内熱交換器4、膨張部10、室外熱交換器6の順に冷媒が流れ(図2の破線矢印)、室内熱交換器4において室内空気が冷媒と熱交換されて加熱されるものである。
Next, the operation mode of the
次に、空気調和装置の各運転モードの動作について説明する。先ず、冷房運転について説明する。冷房運転において、圧縮機8に吸入された冷媒は、圧縮機8によって圧縮されて高温高圧のガス状態で吐出する。圧縮機8から吐出された高温高圧のガス状態の冷媒は、流路切替部9を通過して、室外熱交換器6に流入し、室外熱交換器6において、室外送風機7によって送風された室外空気と熱交換されて凝縮液化する。凝縮された液状態の冷媒は、膨張部10に流入し、膨張部10において膨張及び減圧されて気液二相状態となる。そして、気液二相状態の冷媒は、室内熱交換器4に流入し、室内熱交換器4において、室内空気と熱交換されて蒸発ガス化する。このとき、室内空気が冷やされ、冷房が実施される。蒸発したガス状態の冷媒は、流路切替部9を通過して、圧縮機8に吸入される。
Next, the operation in each operation mode of the air conditioner will be described. First, the cooling operation will be described. In the cooling operation, the refrigerant sucked into the
次に、暖房運転について説明する。暖房運転において、圧縮機8に吸入された冷媒は、圧縮機8によって圧縮されて高温高圧のガス状態で吐出する。圧縮機8から吐出された高温高圧のガス状態の冷媒は、流路切替部9を通過して、室内熱交換器4に流入し、室内熱交換器4において、室内送風機5によって送風された室内空気と熱交換されて凝縮液化する。このとき、室内空気が暖められ、暖房が実施される。凝縮された液状態の冷媒は、膨張部10に流入し、膨張部10において膨張及び減圧されて気液二相状態となる。そして、気液二相状態の冷媒は、室外熱交換器6に流入し、室外熱交換器6において、室外空気と熱交換されて蒸発ガス化する。蒸発したガス状態の冷媒は、流路切替部9を通過して、圧縮機8に吸入される。
Next, the heating operation will be described. In the heating operation, the refrigerant sucked into the
図19は、本発明の実施の形態1に係る空気調和システム100の動作を示すフローチャートである。次に、本実施の形態1に係る空気調和装置の制御装置42の動作について説明する。図19に示すように、先ず、実制御前に予め図8及び図9に示す背景画像が取得される(ステップST1)。次に、図8に示す背景画像と図9に示す背景画像との差分画像(図10)が取得される(ステップST2)。そして、室内機2の吹出し口22の中心位置Oの座標xa,ya,zaが求められる(ステップST3)。そして、室内機2が起動されているか否かが判断される(ステップST4)。室内機2が起動されていない場合(ステップST4のNo)、ステップST1に戻る。FIG. 19 is a flowchart showing the operation of the air-
一方、室内機2が起動されている場合(ステップST4のYes)、人がいる図11に示す画像が取得される(ステップST5)。そして、図8又は図9に示す背景画像と図11に示す画像との差分画像(図12)が取得される(ステップST6)。次に、顔のパターンマッチングが行われる(ステップST7)。そして、足元までの体のパターンマッチングが行われる(ステップST8)。ここで、人の足元の位置の座標xu,yu,zuが求められる(ステップST9)。その後、足元の位置の座標が、室内機2から見た場合の位置座標に変換される(ステップST10)。そして、室内機2の風向が調整され、足元の位置に風が送られる(ステップST11)。その後、ステップST4に戻る。On the other hand, when the
本実施の形態1によれば、制御装置42は、人の属性と空気調和機1の動作とが対応づけされたテーブルを記憶する記憶手段61を有している。このため、空気調和機1において、在室する人の属性に適合した動作が行われる。従って、空気調和システム100において、コストをかけずに、利用者に対し適切な空調動作が行われる。
According to the first embodiment, the
従来、店内に設置されたカメラ41、データ処理装置及び空調設備がネットワークを介して接続されたシステムが知られている。しかし、従来のシステムは、年代及び性別によってどのように風向が制御されるか考慮されていない。また、従来のシステムは、画像に基づいて人の位置を求めていない。これでは、利用者に適合する風が送られない。また、従来、在室者の数に基づいて空調機の能力を調整する技術が知られているが、人の属性については配慮されていない。更に、従来、予測平均申告(PMV)と活動量とから快適指数値を判定する技術が知られているが、人の属性については配慮されていない。これに対し、本実施の形態1は、制御装置42が、人の属性と空気調和機1の動作とが対応づけされたテーブルを記憶する記憶手段61を有している。このため、空気調和機1において、在室する人の属性に適合した動作が行われる。
2. Description of the Related Art Conventionally, a system in which a
また、人の顔の認識は、予め準備された複数の顔モデルと照合して、一致率を判定するパターンマッチングが一般的に用いられる。顔モデルは、人の年代、性別、方向によって多岐にわたるため、極めて多くのモデルが存在する。パターンマッチングは、画像内の全ての画素において全ての顔モデルと照合することによって行われる。また、画像内の顔の大きさは、距離によって異なるため、顔モデルの拡大又は縮小が必要である。例えば、1000個の顔モデル、1000画素×1000画素の画像、10回の拡大縮小によって、パターンマッチングが行われるとすると、10億回繰り返す必要がある。仮に、室内機2の室内制御部50でパターンマッチングが行われるとすると、極めて高価な制御回路が必要であり、室内機2の製造コストが上昇する。
For the recognition of a human face, pattern matching is generally used in which a matching rate is determined by collating with a plurality of face models prepared in advance. Since face models vary widely depending on the age, gender, and direction of a person, there are numerous models. Pattern matching is performed by matching with all face models at all pixels in the image. Further, since the size of the face in the image varies depending on the distance, it is necessary to enlarge or reduce the face model. For example, if pattern matching is performed by 1000 face models, 1000 pixel × 1000 pixel images, and 10 enlargements / reductions, it is necessary to repeat 1 billion times. If pattern matching is performed in the
これに対し、本実施の形態1では、空気調和機1とネットワークで接続された制御装置42が、パターンマッチングを実施する。そして、空気調和機1は、制御装置42の処理結果に基づいて、風向を変更して送風するだけで済む。このため、空気調和機1の制御処理が簡易となる。従って、空気調和機1及びカメラ41には、高価な制御回路が不要となるため、コストを削減することができる。
On the other hand, in this
更に、制御装置42は、人の属性として、身長に基づいて、性別及び年代を認識する。例えば、制御装置42は、大人の男性、大人の女性、子供を認識する。なお、顔モデルに大人の男性等のタグが付されている場合、制御装置42は、それのみをもって大人の男性と認識することができる。また、性別によって胸パターンが異なるため、性別を区別することもできる。これにより、人の属性における風の吹き分けが実現される。図7に示すテーブルと、現在の室内温度等の各種パラメータとに基づいて、人の暑さ寒さが個別に判定される。これにより、人毎に、最適な風を送ることができる。従って、利用者の快適性が向上する。
Further, the
(第1変形例)
第1変形例は、カメラ41が自動的に人に焦点を合わせるオートフォーカス機能を有しており、画像解析手段62が、カメラ41における焦点距離から画像に写っている人までの距離を測定する機能を有するものである。画像解析手段62は、図12に示す画像に基づいて顔の位置αh1=−10°、βh1=−10°を算出する。そして、制御装置42は、カメラ41に対し「αh1=−10°、βh1=−10°の位置に焦点を合わせ、距離を測定せよ」という指示を出す。カメラ41は、絞りを最大で開放し、顔の位置αh1=−10°、βh1=−10°に焦点が合うようにレンズを調整する。そして、焦点が合った距離、例えば1mを取得する。その後、カメラ41は、制御装置42に対し「距離が1m」という情報を送信する。これにより、足元の位置までの認識が、遮蔽物等によって妨げられても、カメラ41から人までの距離を測定することができる。(First modification)
In the first modification, the
カメラ41は、焦点が合っていない場合、像がぼける。これは、カメラ41の絞りが開放されているときに、顕著である。利用者は、広範囲の距離にわたって焦点を合わせようとすると、絞りをかなり狭くする必要がある。即ち、絞りを開放すれば、所定の範囲の距離だけに焦点が合う。第1変形例では、これを利用して距離を測定している。このように、空気調和システム100は、カメラ41から顔までの距離が直接取得されるものであってもよい。なお、細かい座標にまで焦点を合わせることができない場合、離散的に焦点を合わせて、制御装置42が適宜位置を計算してもよい。例えば制御装置42は、カメラ41に対し「0.5mの位置に焦点を合わせ、距離を測定せよ」、「1mの位置に焦点を合わせ、距離を測定せよ」、「1.5mの位置に焦点を合わせ、距離を測定せよ」という指示を出し、複数の画像に基づいて、位置を計算してもよい。この場合、認識手段があれば掃除機などの物の位置や部屋の大きさなども測定することが出来る。更に、空気調和システム100は、カメラ41の近傍に、距離を測定する測距儀を備えてもよい。この場合も、拡大率に基づいて距離を測定する実施の形態1と同様の効果を奏する。また、測距儀は、カメラ41及び画像解析手段62であってもよい。
When the
(第2変形例)
図20は、本発明の実施の形態1の第2変形例におけるサーモセンサ44によって撮影された温度分布画像である。第2変形例は、サーモセンサ44を用いて、画像に写っている人型が人であることを認識するものである。サーモセンサ44は、空調対象空間Rの温度分布を撮影し、温度分布画像を取得するものである。温度分布画像は、即ち熱画像である。サーモセンサ44は、前述の如く、室内機2の吹出し口22の隣の下面に設けられており、センサ本体が室内機2の下面から突出して、前方を向く。即ち、吹出し口22から空調対象空間Rを見た方向と、サーモセンサ44から空調対象空間Rを見た方向とは、若干の誤差があるものの概ね一致する。顔の認識が終了した後、画像解析手段62は、室内機2から見た場合の人の位置を算出する。そして、制御装置42は、室内機2のサーモセンサ44に対し「温度分布画像を送れ」という指示を出す。サーモセンサ44は、温度分布を撮影する。これにより、図20に示すように、温度が高い部分が強調表示された温度分布画像が取得される。(Second modification)
FIG. 20 is a temperature distribution image photographed by the
なお、サーモセンサ44は、予め温度分布を撮影しておいてもよい。冬期において、人の温度は着衣の温度よりも高い。よって、肌が露出している部分(図20の塗りつぶし部)が温度が高い。なお、図20に示す温度分布画像の上部の斜線部2vは、室内機2が発する熱によるものである。画像解析手段62は、温度分布画像において、顔であると推測される位置の室内機2からの左右角γh及び上下角θhの温度を取得する。概して、顔の付近は、36℃程度となる。取得した温度が36℃付近である場合、画像解析手段62は、顔が人の顔であると認識する。これにより、周辺温度に依存する等身大ポスター、テレビ又はPCモニタに写る人、人の顔をしたロボット等が、人の顔であると誤認されることを抑制することができる。なお、温度分布画像を撮影する機能を有するカメラ41を使用してもよいが、温度分布画像を撮影する機能を有するカメラ41は高価であるため、室内機2のサーモセンサ44を利用することが好ましい。
The
実施の形態2.
図21は、本発明の実施の形態2における空調対象空間Rを示す図である。本実施の形態2は、室内機2の吹出し口22の吹出し方向とカメラ41の光軸とが一致している点で、実施の形態1と相違する。本実施の形態2では、実施の形態1と同一の部分は同一の符号を付して説明を省略し、実施の形態1との相違点を中心に説明する。
FIG. 21 is a diagram showing the air conditioning target space R in the second embodiment of the present invention. The second embodiment is different from the first embodiment in that the blowing direction of the blowing
図21に示すように、カメラ41は、室内機2が取り付けられた壁Kのうち、室内機2の直下に取り付けられている。即ち、カメラ41の光軸は、室内機2の吹出し口22の吹出し方向と一致している。カメラ41の設置高さLcは1mであり、室内機2の設置高さLaは1.8mである。As shown in FIG. 21, the
図22は、本発明の実施の形態2におけるカメラ41によって撮影された背景画像である。画像解析手段62は、人がいないときの空調対象空間Rが撮影された背景画像を、実制御前に予め取得する。制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、図22に示すように、人が不在の背景画像がカメラ41によって撮影される。なお、空調対象空間Rには、タンスが載置されている。ここで、背景画像には、室内機2が写っていない。なお、カメラ41は、室内機2の直下に取り付けられているため、カメラ41の位置の座標xc,yc,zcは、xc=xa,yc=ya,zc=za−Lc+Laである。このように、室内機2の吹出し口22の位置とカメラ41の光軸とが一致しているため、吹出し口22の位置の取得は不要である。FIG. 22 is a background image taken by the
図23は、本発明の実施の形態2におけるカメラ41によって撮影された画像である。画像解析手段62は、実制御時に、人がいるときの空調対象空間Rが撮影された画像を取得する。制御装置42は、空気調和機1に対し「上下風向板を全開にしろ」という指示を出す。これにより、空気調和機1の上下風向板28が全開となる。そして、制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、図23に示すように、人がいる画像がカメラ41によって撮影される。
FIG. 23 is an image taken by the
図24は、本発明の実施の形態2における差分画像である。画像解析手段62は、図22に示す背景画像と図23に示す画像との差分を求める。具体的には、画像解析手段62は、二つの画像データの各画素の値の差分を取る。これにより、図24に示すように、子供U1、大人U2及び掃除機U9といった背景画像には写っていない動くものが強調表示して抽出され、不動のタンス等が除去された差分画像が取得される。
FIG. 24 is a difference image according to
その後、顔のパターンマッチング、足元までのパターンマッチングが行われ、足元の位置の座標が取得される。画像解析手段62は、室内機2から見た場合の人の位置を算出する。室内機2から見た子供U1の足元の位置の左右角は、左右角γu1=atan((xa−xu1)/(ya−yu1))であり、上下角は、上下角θu1=atan((za−zu1)/(ya−yu1))である。そして、室内機2から見たときの左右角γu1は、カメラ41から見たときの左右角βu1と一致し、γu1=βu1である。室内機2から見た大人U2の足元の位置の左右角は、左右角γu2=atan((xa−xu2)/(ya−yu2))であり、上下角は、上下角θu2=atan((za−zu2)/(ya−yu2))である。そして、室内機2から見たときの左右角γu2は、カメラ41から見たときの左右角βu2と一致し、γu2=βu2である。その後、設定手段63によって空気調和機1の動作が設定され、動作制御手段64によって空気調和機1の動作が制御される。Thereafter, face pattern matching and pattern matching up to the foot are performed, and the coordinates of the foot position are acquired. The image analysis means 62 calculates the position of the person when viewed from the
図25は、本発明の実施の形態2に係る空気調和システム100の動作を示すフローチャートである。次に、本実施の形態2に係る空気調和装置の制御装置42の動作について説明する。図25に示すように、先ず、実制御前に予め図22に示す背景画像が取得される(ステップST21)。次に、室内機2が起動されているか否かが判断される(ステップST22)。室内機2が起動されていない場合(ステップST22のNo)、ステップST21に戻る。一方、室内機2が起動されている場合(ステップST22のYes)、人がいる図23に示す画像が取得される(ステップST23)。そして、図22に示す背景画像と図23に示す画像との差分画像(図24)が取得される(ステップST24)。次に、顔のパターンマッチングが行われる(ステップST25)。そして、足元までの体のパターンマッチングが行われる(ステップST26)。ここで、人の足元の位置の座標xu,yu,zuが求められる(ステップST27)。その後、足元の位置の座標が、室内機2から見た場合の位置座標に変換される(ステップST28)。そして、室内機2の風向が調整され、足元の位置に風が送られる(ステップST29)。その後、ステップST22に戻る。FIG. 25 is a flowchart showing the operation of the air-
本実施の形態2によれば、室内機2の吹出し口22の位置とカメラ41の光軸とが一致しているため、吹出し口22の位置の取得は不要である。また、室内機2の左右方向と画像の左右方向とが一致している。このため、室内機2から見たときの左右角は、カメラ41から見たときの左右角と一致する。従って、左右角の換算が不要である。なお、これは、室内機2の風向が2方向に分けることができる場合も同様に、2個の左右角の換算が不要となる。従って、本実施の形態2は、実施の形態1で得られる効果に加え、制御装置42の処理負担が軽減される。なお、カメラ41は、室内機2の直下に限らず、室内機2の右方又は室内機2の左方に取り付けられてもよく、室内機2の前面パネル23、側面パネル24又は天面パネル27に取り付けられてもよい。室内機2の吹出し口22とカメラ41との位置関係がわかればよい。
According to the second embodiment, since the position of the
本実施の形態2においても、実施の形態1の第1変形例のようにオートフォーカス機能を用いて距離を測定してもよく、測距儀を用いて距離を測定してもよい。また、実施の形態2においても、実施の形態1の第2変形例のようにサーモセンサ44によって人の顔を認識してもよい。
Also in the second embodiment, the distance may be measured using an autofocus function as in the first modification of the first embodiment, or the distance may be measured using a distance measuring instrument. Also in the second embodiment, a human face may be recognized by the
実施の形態3.
図26は、本発明の実施の形態3における空調対象空間Rを示す側面図である。本実施の形態3は、利用者の個人を特定する点で、実施の形態1と相違する。本実施の形態3では、実施の形態1と同一の部分は同一の符号を付して説明を省略し、実施の形態1との相違点を中心に説明する。
FIG. 26 is a side view showing the air-conditioning target space R in the third embodiment of the present invention. The third embodiment is different from the first embodiment in that a user's individual is specified. In the third embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted. The description will focus on differences from the first embodiment.
本実施の形態3では、制御装置42は、空調対象空間Rの利用者の個人を特定するために、予め個人の顔を記憶手段61に登録する。登録対象は、例えば空調対象空間Rに在室する家族等である。その際、空気調和機1は使用されない。図26に示すように、制御装置42は、利用者のうち例えば子供U1に、カメラ41の正面に立つように指示を出す。なお、立ち位置は、顔モデルが作成される場合の所定の距離1mとする。これにより、拡大縮小率を用いて、距離を測定することができる。制御装置42は、子供U1に対し「首を少し下げてください」、「少し右を向いてください」、「真横になってください」等の指示を出す。そして、制御装置42は、カメラ41に対し「撮影し画像を送れ」という指示を出す。これにより、カメラ41は、子供U1の顔を撮影し、画像を制御装置42に送信する。
In the present third embodiment, the
制御装置42は、顔の認識を行い、一致した領域をトリミングして、子供U1専用の新しい顔モデルを作成する。この一連の動作が、所定の条件の回数繰り返され、全ての条件が揃った段階で、顔モデル群に名称が付され、顔モデル群を記憶手段61が記憶する。大人U2においても、子供U1と同様に、顔モデル群を記憶手段61が記憶する。
The
図27は、本発明の実施の形態3における記憶手段61が記憶するテーブルである。図27に示すように、テーブルは、予めカメラ41で撮影された空調対象空間Rに在室する人の顔と、空調対象空間Rに在室する人の属性とが対応づけされたものである。これにより、個人を特定することができる。名称は、子供U1をSAEとし、大人U2をANZUとする。また、テーブルには、個人の趣向が記憶されている。例えば、子供U1の趣向を暑がりとすれば、より風が当たり易いように空気調和機1が制御される。また、大人U2の趣向を寒がりとすれば、より風が当たり難いように空気調和機1が制御される。これにより、個人間で趣向が異なっても、同一の空調対象空間Rにおいて、それぞれ快適な環境を得ることができる。
FIG. 27 is a table stored in the
図28は、本発明の実施の形態3に係る空気調和システム100の動作を示すフローチャートである。次に、本実施の形態3に係る空気調和装置の制御装置42の動作について説明する。図28に示すように、先ず、子供U1がカメラ41の前に立つ(ステップST31)。次に、制御装置42が子供U1に撮影姿勢を指示する(ステップST32)。そして、カメラ41によって撮影された画像に基づいて顔を認識し、顔が認識された部分を、新しい顔モデルとして作成する(ステップST33)。そして、全ての姿勢で顔モデルが作成されたか否かが判断される(ステップST34)。ほかの姿勢の顔モデル作成の作業が残っている場合(ステップST34のNo)、ステップST32に戻る。全ての姿勢の顔モデル作成の作業が終了した場合(ステップST34のYes)、顔モデルに名称を付して記憶される(ステップST35)。
FIG. 28 is a flowchart showing the operation of the air-
本実施の形態3によれば、顔のパターンマッチングにおいて、登録された子供U1及び登録された大人U2の顔モデルが優先して用いられる。専用の顔モデルは、本人をモデル化したものであるため、顔の認識率が向上する。これにより、個人を特定することができる。また、個人の趣向を反映して、個人に対して快適な空調を行うことができる。例えば、子供U1が暑がりであれば、夏期に集中的に風を送り、大人U2が寒がりであれば、夏期に風を避ける。 According to the third embodiment, in face pattern matching, the registered child U1 and registered adult U2 face models are preferentially used. Since the dedicated face model is a model of the person, the face recognition rate is improved. Thereby, an individual can be specified. In addition, it is possible to perform comfortable air conditioning for an individual reflecting the personal taste. For example, if the child U1 is hot, the wind is intensively sent in the summer, and if the adult U2 is cold, the wind is avoided in the summer.
実施の形態4.
図29は、本発明の実施の形態4における空調対象空間Rを示す上面図である。本実施の形態4は、カメラ41が2台設けられている点で、実施の形態1と相違する。本実施の形態4では、実施の形態1と同一の部分は同一の符号を付して説明を省略し、実施の形態1との相違点を中心に説明する。
FIG. 29 is a top view showing an air-conditioning target space R in the fourth embodiment of the present invention. The fourth embodiment is different from the first embodiment in that two
図29に示すように、2台のカメラ41は、空調対象空間Rをそれぞれ異なる角度から撮影するものである。例えば、一方のカメラ41は、室内機2が設けられた壁Kの隣の壁に設けられており、他方のカメラ41は、室内機2が設けられた壁Kと対向する壁に設けられている。これにより、一方のカメラ41において、人が背を向けて顔が認識されないとしても、他方のカメラ41において、顔が認識される。従って、人の認識率が向上する。なお、カメラ41の台数は、2台に限らず、3台以上でもよく、複数設けられていればよい。
As shown in FIG. 29, the two
(第1変形例)
図30は、本発明の実施の形態4の第1変形例における空調対象空間Rを示す上面図である。図30に示すように、第1変形例において、一方のカメラ41は、室内機2が設けられた壁Kの隣の壁に設けられており、他方のカメラ41は、室内機2が取り付けられた壁Kのうち、室内機2の直下に取り付けられている。この場合も、一方のカメラ41において、人が背を向けて顔が認識されないとしても、他方のカメラ41において、顔が認識される。従って、人の認識率が向上する。(First modification)
FIG. 30 is a top view showing the air-conditioning target space R in the first modification of the fourth embodiment of the present invention. As shown in FIG. 30, in the first modification, one
(第2変形例)
図31は、本発明の実施の形態4の第2変形例における空調対象空間Rを示す上面図である。図31に示すように、第2変形例において、一方のカメラ41は、室内機2が設けられた壁Kの一方の隣の壁に設けられており、他方のカメラ41は、室内機2が設けられた壁Kの他方の隣の壁に設けられている。この場合も、一方のカメラ41において、人が背を向けて顔が認識されないとしても、他方のカメラ41において、顔が認識される。従って、人の認識率が向上する。(Second modification)
FIG. 31 is a top view showing an air-conditioning target space R in the second modification of the fourth embodiment of the present invention. As shown in FIG. 31, in the second modification, one
(第3変形例)
図32は、本発明の実施の形態4の第3変形例における空調対象空間Rを示す上面図である。図32に示すように、第3変形例において、カメラ41が3台設けられている。1台目のカメラ41は、室内機2が設けられた壁Kの隣の壁に設けられており、2台目のカメラ41は、室内機2が取り付けられた壁Kのうち、室内機2の直下に取り付けられており、3台目のカメラ41は、室内機2が設けられた壁Kと対向する壁に設けられている。この場合も、いずれかのカメラ41において、顔が認識されればよいため、人の認識率が向上する。(Third Modification)
FIG. 32 is a top view showing air conditioning target space R in the third modification of the fourth embodiment of the present invention. As shown in FIG. 32, three
1 空気調和機、2 室内機、2v 斜線部、3 室外機、4 室内熱交換器、5 室内送風機、6 室外熱交換器、7 室外送風機、8 圧縮機、9 流路切替部、10 膨張部、11 ガス側連絡配管、12 液側連絡配管、13 冷媒回路、20 筐体、21 吸込み口、22 吹出し口、23 前面パネル、24 側面パネル、25 背面パネル、26 下面パネル、27 天面パネル、28 上下風向板、29 上下風向板支持部材、31 第1の上下補助風向板、32 第1の上下補助風向板軸、33 第2の上下補助風向板、34 第2の上下補助風向板支持部材、35 第2の上下補助風向板軸、36 左右風向板、37 フィルタ、38 ドレンパン、39 ケーシング下壁、40 ケーシング上壁、41 カメラ、42 制御装置、43 ルータ、44 サーモセンサ、50 室内制御部、61 記憶手段、62 画像解析手段、63 設定手段、64 動作制御手段、100 空気調和システム、K 壁、R 空調対象空間、T 天井、U1 子供、U2 大人、U8 タンス、U9 掃除機。
DESCRIPTION OF
Claims (9)
前記空調対象空間を撮影するカメラと、
前記空気調和機及び前記カメラにネットワークを介して接続され、前記空気調和機の動作を制御する制御装置と、を備え、
前記制御装置は、
前記空調対象空間に在室する人の属性と、前記空気調和機の動作とが対応づけされたテーブルを記憶する記憶手段と、
前記カメラによって撮影された画像に写っている人の属性及び位置を解析する画像解析手段と、
前記画像解析手段によって解析された人の属性と、前記記憶手段に記憶された前記テーブルと、前記画像解析手段によって解析された人の位置とに基づいて、前記空気調和機の動作を設定する設定手段と、
前記空気調和機を、前記設定手段によって設定された動作で動作させる動作制御手段と、
を有し、
前記画像解析手段は、
前記カメラから前記画像に写っている人又は物までの距離を測定する機能を有する
空気調和システム。 An air conditioner for adjusting the air in the air-conditioned space;
A camera for photographing the air-conditioned space;
A controller connected to the air conditioner and the camera via a network and controlling the operation of the air conditioner, and
The controller is
Storage means for storing a table in which attributes of persons in the air-conditioning target space are associated with operations of the air conditioner;
Image analysis means for analyzing the attribute and position of a person shown in the image taken by the camera;
Setting for setting the operation of the air conditioner based on the attributes of the person analyzed by the image analysis means, the table stored in the storage means, and the position of the person analyzed by the image analysis means Means,
Operation control means for operating the air conditioner with the operation set by the setting means;
I have a,
The image analysis means includes
An air conditioning system having a function of measuring a distance from the camera to a person or an object shown in the image .
前記画像解析手段は、
前記カメラの拡大率に基づいて、前記カメラから前記画像に写っている人までの距離を測定する機能を有する
請求項1記載の空気調和システム。 Before Symbol image analysis means has a function of enlarging or reducing the comparison image,
The image analysis means includes
The air conditioning system according to claim 1 , wherein the air conditioning system has a function of measuring a distance from the camera to a person shown in the image based on an enlargement ratio of the camera.
自動的に人又は物に焦点を合わせる機能を有しており、
前記画像解析手段は、
前記カメラにおける焦点距離から前記画像に写っている人又は物までの距離を測定する機能を有する
請求項1又は2に記載の空気調和システム。 The camera
It has a function to automatically focus on people or things,
The image analysis means includes
The air conditioning system according to claim 1 , wherein the air conditioning system has a function of measuring a distance from a focal length of the camera to a person or an object shown in the image.
前記テーブルは、
前記空調対象空間に在室する人が男性である場合の方が女性である場合よりも、前記空気調和機の風を当てる割合が大きい
請求項1〜3のいずれか1項に記載の空気調和システム。 The attribute of the person in the air-conditioned space is gender,
The table is
The air conditioning according to any one of claims 1 to 3 , wherein a ratio of the wind of the air conditioner is higher when a person in the air conditioning target space is a male than when a person is a female. system.
前記テーブルは、
前記空調対象空間に在室する人が子供である場合の方が大人である場合よりも、前記空気調和機の風を当てる割合が大きい
請求項1〜4のいずれか1項に記載の空気調和システム。 The attribute of the person in the air-conditioned space is the age,
The table is
The air conditioning according to any one of claims 1 to 4 , wherein a ratio of the wind of the air conditioner is higher when a person in the air conditioning target space is a child than when an adult is a child. system.
前記画像解析手段は、
前記サーモセンサによって撮影された温度分布画像に基づいて、前記画像に写っている人型が人であることを認識する機能を有する
請求項1〜5のいずれか1項に記載の空気調和システム。 It further comprises a thermosensor that images the temperature distribution of the air conditioning target space,
The image analysis means includes
The air conditioning system according to any one of claims 1 to 5 , wherein the air conditioning system has a function of recognizing that a human figure in the image is a person based on a temperature distribution image photographed by the thermosensor.
前記空調対象空間に空気を吹き出す吹出し口が形成されており、
前記カメラの光軸は、
前記空気調和機の前記吹出し口の吹出し方向と一致している
請求項1〜6のいずれか1項に記載の空気調和システム。 In the air conditioner,
A blowout opening for blowing air into the air-conditioned space is formed,
The optical axis of the camera is
The air conditioning system according to any one of claims 1 to 6 , wherein the air conditioning system matches an outlet direction of the outlet of the air conditioner.
複数の前記カメラは、
前記空調対象空間をそれぞれ異なる角度から撮影するものである
請求項1〜6のいずれか1項に記載の空気調和システム。 A plurality of the cameras are provided,
The plurality of cameras are
The air conditioning system according to any one of claims 1 to 6 , wherein the air-conditioning target space is photographed from different angles.
前記カメラで撮影された前記空調対象空間に在室する人の顔と、前記空調対象空間に在室する人の属性とが対応づけされたテーブルを記憶する機能を有する
請求項1〜8のいずれか1項に記載の空気調和システム。 The storage means
Any of claims 1-8 having a function of storing a table in which the face of the person occupancy in the air conditioning target space taken by the camera, and human attributes occupancy in the air conditioning target space is correspondence The air conditioning system according to claim 1.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/061770 WO2017179116A1 (en) | 2016-04-12 | 2016-04-12 | Air-conditioning system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017179116A1 JPWO2017179116A1 (en) | 2018-11-08 |
JP6563118B2 true JP6563118B2 (en) | 2019-08-21 |
Family
ID=60042500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018511793A Active JP6563118B2 (en) | 2016-04-12 | 2016-04-12 | Air conditioning system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6563118B2 (en) |
WO (1) | WO2017179116A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020222341A1 (en) * | 2019-05-02 | 2020-11-05 | 엘지전자 주식회사 | Method for controlling operation of air conditioner by analyzing user behavior patterns, and air conditioner |
JP7355974B2 (en) * | 2019-10-17 | 2023-10-04 | 清水建設株式会社 | Distance estimation device and method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010025359A (en) * | 2008-07-15 | 2010-02-04 | Fujitsu General Ltd | Air conditioner |
JPWO2012157573A1 (en) * | 2011-05-13 | 2014-07-31 | 株式会社東芝 | Energy management system |
US20130085609A1 (en) * | 2011-09-30 | 2013-04-04 | Siemens Industry, Inc. | Occupancy driven patient room environmental control |
US9530060B2 (en) * | 2012-01-17 | 2016-12-27 | Avigilon Fortress Corporation | System and method for building automation using video content analysis with depth sensing |
US20130325196A1 (en) * | 2012-05-31 | 2013-12-05 | International Business Machines Corporation | Personalized heating and cooling systems |
TWI512247B (en) * | 2012-12-20 | 2015-12-11 | Ind Tech Res Inst | System for controlling the comfort level of an environment, a user-end apparatus, and a system-end apparatus thereof |
JP6448180B2 (en) * | 2013-08-23 | 2019-01-09 | 株式会社東芝 | Air conditioning control system and air conditioning control device |
JP6216596B2 (en) * | 2013-10-02 | 2017-10-18 | 株式会社関電エネルギーソリューション | Image processing apparatus, imaging apparatus, air conditioning system, and program |
JP6104151B2 (en) * | 2013-12-26 | 2017-03-29 | 三菱電機株式会社 | Air conditioner indoor unit |
-
2016
- 2016-04-12 WO PCT/JP2016/061770 patent/WO2017179116A1/en active Application Filing
- 2016-04-12 JP JP2018511793A patent/JP6563118B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017179116A1 (en) | 2017-10-19 |
JPWO2017179116A1 (en) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576568B2 (en) | Air conditioning system | |
JP4487809B2 (en) | Air conditioner | |
JP2010025359A (en) | Air conditioner | |
KR20090115586A (en) | Air conditioner and controlling method thereof | |
JP6046579B2 (en) | Air conditioner | |
JP5478075B2 (en) | Air conditioner | |
WO2008066311A1 (en) | Air conditioner and method of controlling airflow having the same | |
JP5788037B2 (en) | Air conditioner | |
KR20090085895A (en) | Air conditioner and controlling method thereof | |
JP6596269B2 (en) | Air conditioner | |
JP2005172288A (en) | Controlling system for air conditioner | |
JP6249647B2 (en) | Air conditioner indoor unit | |
JP6627982B2 (en) | Air conditioner | |
JP6271294B2 (en) | Air conditioner | |
JP6368571B2 (en) | Air conditioner | |
JP6368552B2 (en) | Air conditioner | |
CN108361928B (en) | Air conditioner control method and system based on image recognition | |
JP2016217709A (en) | Air conditioner | |
JP2016048128A (en) | Air conditioner | |
JP2012037102A (en) | Device and method for identifying person and air conditioner with person identification device | |
JP6563118B2 (en) | Air conditioning system | |
JP6128925B2 (en) | Air conditioner indoor unit | |
JP2013024534A (en) | Situation recognition device | |
JPWO2020089996A1 (en) | Remote control terminal and air conditioning system | |
KR20090087366A (en) | Air conditioner and controlling method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180702 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6563118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |