[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017209089A1 - 機器制御装置及び機器制御方法 - Google Patents

機器制御装置及び機器制御方法 Download PDF

Info

Publication number
WO2017209089A1
WO2017209089A1 PCT/JP2017/020000 JP2017020000W WO2017209089A1 WO 2017209089 A1 WO2017209089 A1 WO 2017209089A1 JP 2017020000 W JP2017020000 W JP 2017020000W WO 2017209089 A1 WO2017209089 A1 WO 2017209089A1
Authority
WO
WIPO (PCT)
Prior art keywords
human
region
unit
device control
thermal image
Prior art date
Application number
PCT/JP2017/020000
Other languages
English (en)
French (fr)
Inventor
由佳 津田
亜紀 木村
智子 三木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/091,806 priority Critical patent/US10982871B2/en
Priority to CN201780032995.1A priority patent/CN109196516B/zh
Priority to DE112017002805.1T priority patent/DE112017002805T5/de
Priority to JP2017553447A priority patent/JP6333486B2/ja
Publication of WO2017209089A1 publication Critical patent/WO2017209089A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1917—Control of temperature characterised by the use of electric means using digital means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a device control device and a device control method for detecting a human feature and controlling the device according to the detected feature.
  • Patent Document 1 calculates a basal metabolic rate of a user at the time of air conditioning based on the weight of the user and a date at the time of air conditioning, and detecting means for detecting the calculated basal metabolic rate and the state of the air-conditioned space Describes an air conditioner that includes a control unit that calculates a comfort index based on the detection result from the sensor and performs control based on the calculated comfort index.
  • Patent Document 2 is a vending machine equipped with a camera, a thermography, a temperature sensor, and a watch.
  • the gender and age group of the purchaser are obtained based on the face image taken by the camera, and the thermography is used.
  • the body temperature is obtained based on the measured purchaser's face temperature and the ambient temperature measured by the temperature sensor, and the season and time zone are obtained based on the time obtained from the clock, and the purchaser's gender, age group, body temperature and
  • a vending machine is described that preferentially displays products to be displayed according to the external environment and purchaser's individual condition, by determining products for displaying images on a display device based on seasons and time zones.
  • Patent Document 3 extracts the moving object in the image by comparing the initial image in the elevator with the current image, and determines the crowd of the number of people and the place from the size and number of the moving object mass.
  • An elevator operation control device that identifies and efficiently controls an elevator based on the information is described.
  • Patent Document 4 obtains a body center of gravity by performing distance conversion on a human region obtained by photographing a human body with an infrared camera and thresholding a thermal image with an image processing device. After obtaining the upper body tilt angle from the upper body principal axis of the upper part, the human body's top, hand, and toe features are obtained, and the position of the elbow and knee is learned using a genetic algorithm. Describes the method.
  • Patent Document 5 discloses a method for estimating a three-dimensional posture of a person by creating a binary image from a plurality of color images captured from different directions by a plurality of color cameras and detecting feature points based on the binary image. Is described.
  • JP-A-7-103544 for example, paragraph 0006
  • JP 2011-203952 A for example, paragraphs 0007-0012
  • JP-A-5-155539 for example, paragraphs 0005-0006
  • Japanese Patent Laid-Open No. 10-258044 for example, paragraphs 0006-0008
  • Japanese Patent Laid-Open No. 2001-5993 for example, paragraph 0006
  • the air conditioner described in Patent Document 1 inputs the body weight and calculates the basal metabolism from only the body weight, the basal metabolism cannot be accurately calculated, and the device cannot be optimally controlled by the user. was there.
  • the vending machine described in Patent Document 2 has a problem that when the body temperature is obtained from thermography, the user needs to stand at a position where the user's face is reflected in a size larger than a specific size.
  • the elevator operation control device described in Patent Document 3 has a problem that it requires a large amount of calculation and memory in order to compare the initial image and the image at the time of control.
  • the human body posture estimation method described in Patent Document 4 has a problem in that it requires a large amount of calculation and memory because it sequentially estimates body parts in order to extract a human region.
  • the method for estimating the three-dimensional posture of a person described in Patent Document 5 requires a plurality of cameras for photographing from different directions with a plurality of color cameras, and uses a plurality of color images, so that a large amount of calculation is required. In addition, there is a problem of requiring memory.
  • the present invention has been made to solve the above-described problems, and an apparatus control device capable of improving the detection accuracy while reducing the amount of calculation and the storage capacity required for the memory, and An object is to provide a device control method.
  • An apparatus control apparatus is provided with a human region detection unit that receives a thermal image corresponding to an object to be photographed and detects a human region that is a region occupied by a person in the thermal image, and the human region in the thermal image.
  • a human feature detection unit that calculates a basal metabolism of a person from a thermal image portion; and a first device control unit that controls a device based on the basal metabolism of the person detected by the human feature detection unit.
  • the apparatus control method includes a human region detection step of detecting a human region, which is a region occupied by a person in the thermal image, by inputting a thermal image corresponding to an object to be photographed, and the human region in the thermal image.
  • a human feature detection step for calculating a human basal metabolism from the thermal image portion; and a device control step for controlling the device based on the human basal metabolism detected by the human feature detection step.
  • the device control apparatus and the device control method according to the present invention it is possible to obtain the effect of improving the detection accuracy while reducing the amount of calculation and the storage capacity required for the memory.
  • FIG. 1 It is a block diagram which shows the structure of the apparatus control apparatus which concerns on Embodiment 1 of this invention.
  • A is a figure which shows the face candidate area
  • (b) is a body temperature area
  • (c) is the human area which the human area
  • D is a figure which shows the information which a human area extraction part outputs to a human feature detection part in the thermal image produced
  • FIG. 3 is a flowchart showing an operation of a human region detection unit in the first embodiment. It is a block diagram which shows the structure of the apparatus control apparatus which concerns on Embodiment 2 of this invention.
  • 10 is a flowchart showing the operation of the human feature detection unit in the second embodiment.
  • FIG. 10 is a diagram for illustrating an operation of a posture estimation unit in the second embodiment.
  • 10 is a flowchart showing an operation of a height and weight estimation unit in the second embodiment.
  • FIG. 11 is a diagram for illustrating an operation of a clothing amount estimation unit in the second embodiment.
  • FIG. It is a block diagram which shows the structure of the apparatus control apparatus which concerns on Embodiment 3 of this invention.
  • It is a hardware block diagram which shows the structure of the modification of the apparatus control apparatus which concerns on Embodiment 1-3.
  • the device control apparatus detects a region of a predetermined part of a human body from a visible light image acquired by a visible light camera.
  • the predetermined portion is described as a “face”, but the predetermined portion is not limited to this, and the head, that is, a portion above the neck, and a portion where the skin is not exposed, such as hair. It may be a part of a person's body including or a hand. Further, it may be a non-human animal such as a pet. However, in the case of a pet, calculation of basal metabolism, which will be described later, needs to specify the type of animal that is a pet from a visible light image and use the basal metabolism calculation formula of the animal.
  • FIG. 1 is a block diagram showing a configuration of device control apparatus 100 according to Embodiment 1 of the present invention.
  • the device control apparatus 100 includes a thermal image camera 1, a visible light camera 2, a human region detection unit 3, a human feature detection unit 4, and a first device.
  • a device control unit 5 as a control unit.
  • the human region detection unit 3 includes a body temperature region detection unit 31, a face detection unit 32 as a predetermined part detection unit, a face coordinate conversion unit 33 as a predetermined part coordinate conversion unit, and a human region extraction unit 34.
  • the thermal image camera 1 captures an object to be photographed, generates a thermal image (thermal image data) D1 corresponding to the object to be photographed, and outputs the thermal image to the human region detection unit 3.
  • the visible light camera 2 captures an object to be photographed, generates a visible light image (visible light image data) D2 corresponding to the object to be photographed, and outputs the visible light image D2 to the human region detection unit 3.
  • the human region detection unit 3 detects a person from the thermal image D1 input from the thermal image camera 1 and the visible light image D2 input from the visible light camera 2, and a thermal image of the human region that is a region where the person exists.
  • D34, the face coordinates C34 as the predetermined part coordinates in the thermal image D1, and the face image (face image data) D32 of the visible light image D2 are output to the human feature detection unit 4.
  • the thermal image D1 generated by the thermal image camera 1 is input to the body temperature region detection unit 31 of the human region detection unit 3, and the visible light image D2 generated by the visible light camera 2 is the face detection of the human region detection unit 3. Input to the unit 32.
  • the body temperature region detection unit 31 detects the face candidate region D31a and the human candidate region D31b as predetermined region candidate regions from the temperature distribution in the thermal image D1 input from the thermal image camera 1, and outputs them to the human region extraction unit 34.
  • the face candidate area D31a is an area that is a candidate for an area occupied by a human face in the thermal image D1.
  • the person candidate area D31b is an area that is a candidate for an area occupied by a person in the thermal image D1.
  • the face detection unit 32 detects a face from the visible light image D2 input from the visible light camera 2, outputs face coordinates C32 indicating the detected face position to the face coordinate conversion unit 33, and also from the visible light image D2.
  • the face image D32 obtained by cutting out only the detected face area is output to the human feature detection unit 4.
  • the face coordinate conversion unit 33 uses the stored coordinate conversion formula or conversion table or the like to store the facial coordinate C32 in the visible light image D2 input from the face detection unit 32 using the thermal image camera 1.
  • the face image C1 is converted into face coordinates C34 in the acquired thermal image D1, and output to the human area extraction unit 34 as face area information.
  • the human region extraction unit 34 extracts a human region in the thermal image D1 from the human candidate region D31b and the face candidate region D31a input from the body temperature region detection unit 31 and the face coordinates C34 input from the face coordinate conversion unit 33. Then, the thermal image D34 of the human region is cut out and output to the human feature detection unit 4, and the face coordinates C34 in the thermal image D1 are output to the human feature detection unit 4.
  • the human feature detection unit 4 detects a human feature from the face image D32 of the visible light image D2 input from the human region detection unit 3, the thermal image D34 of the human region, and the facial coordinates C34 in the thermal image D1,
  • the human characteristic value D4 is output to the device control unit 5.
  • the device control unit 5 determines a control method for the device to be controlled based on the human feature value D4 input from the human feature detection unit 4, and outputs a control signal for controlling the device.
  • the thermal image camera 1 and the visible light camera 2 are installed in a device provided in a room, for example, and are arranged at a position where a space such as a room where a user of the device is present can be taken from the same direction.
  • the thermal image camera 1 includes a sensor for detecting heat, such as an infrared sensor, and generates a thermal image D1 indicating the temperature distribution of the photographed space.
  • the visible light camera 2 includes a sensor that senses visible light, such as a CCD (Charge-Coupled Device) sensor, and captures a visible light image D2 by photographing the same space as that captured by the thermal image camera 1. Generate.
  • the thermal image D1 generated by the thermal image camera 1 and the visible light image D2 generated by the visible light camera 2 are input to the human region detection unit 3.
  • the thermal imaging camera 1 and the visible light camera 2 have the same timing.
  • an error in the photographing timing is allowed for a time (for example, about 1 second) that does not significantly change the orientation and position of the person who is the object to be photographed.
  • FIG. 2A is a diagram showing a face candidate region D31a detected by the body temperature region detection unit 31 in the thermal image D1 generated by the thermal image camera 1.
  • FIG. 2B is a diagram showing a candidate human region D31b detected by the body temperature region detection unit 31 in the thermal image D1 generated by the thermal image camera 1.
  • the hatching in the figure represents the temperature of the object to be photographed. The higher the temperature, the thinner the hatched area (the area close to white), and the lower the temperature, the darker the hatched area (the area close to black). .
  • the areas a1, a2, a3, and a4 in FIG. 2A indicate the face candidate area D31a detected by the body temperature area detection unit 31 from the thermal image D1.
  • the face candidate area D31a is an area that is a candidate for an area occupied by a human face in the thermal image D1.
  • the area a1 is an area occupied by illumination (lighting equipment) provided on the ceiling
  • the areas a2, a3, and a4 are areas occupied by human faces. That is, in the example shown in FIG. 2A, the regions that are correctly detected as the face candidate region D31a by the body temperature region detection unit 31 are the regions a2, a3, and a4.
  • regions b1, b2, b3, b4, and b5 indicate human candidate regions D31b detected by the body temperature region detection unit 31.
  • the person candidate area D31b is an area that is a candidate for an area occupied by a person in the thermal image D1.
  • the area b1 is an area occupied by lighting provided on the ceiling
  • the areas b2, b4, and b5 are areas occupied by people
  • the area b3 is an area occupied by windows. It is. That is, in FIG. 2B, the regions correctly detected as the human candidate region D31b by the body temperature region detection unit 31 are the regions b2, b4, and b5.
  • FIG. 2C is a diagram showing the face area indicated by the face area information and the human area extracted by the human area extracting unit 34 in the thermal image D1 generated by the thermal image camera 1.
  • Areas c1, c2, and c3 indicated by broken lines in FIG. 2C are face areas indicated by face area information (face coordinates C34) input from the face coordinate conversion unit 33.
  • Regions d1, d2, and d3 indicated by solid lines in FIG. 2C are thermal images D34 of the human region extracted by the human region extraction unit 34.
  • the human area extracting unit 34 inputs the face area (area c1, c2, c3), the face candidate area D31a (area a1, a2, a3, a4), and the human candidate area D31b (area b1, b2, b3, b4). Based on b5), the human regions shown in the regions d1, d2, and d3 in FIG. 2C are extracted. As shown in FIG. 2 (c), the face candidate area D31a and the human candidate area D31b detected in FIGS. 2 (a) and 2 (b), which are areas that are not correctly detected (the above-mentioned a1, b1, b3) ) Is not detected as a human area.
  • FIG. 2 (d) is a diagram showing information that the human region extraction unit 34 outputs to the human feature detection unit 4 in the thermal image D ⁇ b> 1 generated by the thermal image camera 1.
  • Regions d1, d2, and d3 in FIG. 2D are the same as the regions d1, d2, and d3 in FIG. 2C, and indicate the human regions extracted by the human region extraction unit 34.
  • e1, e2, e3 indicate the face areas specified by the human area extracting unit 34.
  • the human area extracting unit 34 specifies the face area in the human area using the face candidate area D31a.
  • the human region extraction unit 34 uses the identified thermal image of the human region and the facial region and information (face coordinates C34) indicating the position of the facial region, for example, the upper right and lower left corner coordinates of the facial region. Output to 4.
  • FIG. 3 is a flowchart showing the operation of the human area detection unit 3 in the first embodiment.
  • the operation of the human region detection unit 3 will be described with reference to FIG.
  • the visible light image D2 generated by the visible light camera 2 is input to the face detection unit 32, and the face detection unit 32 detects the human face region from the visible light image D2.
  • the face detection unit 32 detects face coordinates C32 (for example, the upper left corner of the face area) indicating the position of the face area in which the circumscribed rectangle (the broken line rectangle in FIG. 2C) including the face is detected from the visible light image D2.
  • step S1 the face detection unit 32 outputs information indicating that the face coordinate C32 does not exist to the face coordinate conversion unit 33, or outputs nothing.
  • the face coordinate conversion unit 33 checks whether or not there is an input of the face coordinate C32 of the visible light image D2 (step S2). If the input of face coordinate C32 of visible light image D2 is confirmed (YES in step S2), the process proceeds to step S3, and the input of face coordinate C32 of visible light image D2 is not confirmed (NO in step S2). The process proceeds to step S4. In step S3, the face coordinate conversion unit 33 converts the face coordinates C32 of the visible light image D2 into the face coordinates C34 of the thermal image D1, and the process proceeds to step S4.
  • the face coordinate conversion unit 33 holds in advance information on the imaging range of the thermal image camera 1 and the imaging range of the visible light camera 2, and each pixel of the visible light image D2 obtained by capturing the visible light image D2 is a thermal image. It can be calculated which pixel of the thermal image D1 photographed by the camera 1 corresponds.
  • the body temperature region detection unit 31 detects the face candidate region D31a and the human candidate region D31b from the thermal image D1 input from the thermal image camera 1.
  • the human body surface temperature varies somewhat with room temperature, but is within a certain range.
  • the center of the body is almost constant at 37 degrees, the temperature of the body surface (body surface) is slightly lower than that of the center of the body, and the surface of the face is 30 ° C. to 37 ° C.
  • the temperature at the end of the limb with the lowest body surface temperature is about 28 ° C.
  • the room temperature is high, the temperature difference between the body surface temperature and the temperature at the center of the body is small, and when the room temperature is low, the temperature difference is large.
  • the body temperature region detection unit 31 detects the temperature range from 30 ° C. to 37 ° C. as the face candidate region D 31 a. In addition, the body temperature region detection unit 31 detects a region having a temperature (for example, 20 ° C. to 37 ° C.) in consideration of the surface temperature lowered by the clothing as the body surface temperature from 28 ° C. to 37 ° C. as the human candidate region D31b.
  • the body temperature region detection unit 31 performs processing on the detected face candidate region D31a in the order of expansion processing and contraction processing (step S5). Thereby, it is possible to prevent the detection accuracy of the face area from being lowered due to the influence of an object mounted on the face such as glasses or uneven temperature of the face surface. Furthermore, the body temperature region detection unit 31 excludes a shape that is clearly not a face from the face candidate region D31a in step S6. When the face shape is reflected in the thermal image D1 so that both eyes can be seen, the shape is round. Using this, the body temperature region detection unit 31 determines that the face candidate region D31a that is not round is not a face.
  • Whether or not the shape of the face shown in the face candidate area D31a detected from the thermal image D1 is round is determined by, for example, the method described below. That is, the ratio of the region indicating the face temperature (30 ° C. to 37 ° C.) to the area of the circumscribed rectangle including the face candidate region D31a is 75% or more, and the aspect ratio of the circumscribed rectangle is 1: 2 to 2: 1. If it is within the range, it is determined to be round, and otherwise it is not round. In addition, the numerical value used for determining whether it is round is only an example, and it is not limited to this as long as it does not deviate significantly from these values.
  • the determination that the face shape is round may be made from the unevenness of the face contour shape.
  • the body temperature area detecting unit 31 performs the expansion process and the contraction process on the human candidate area D31b in the order of the expansion process and the contraction process (step S7).
  • the human candidate area D31b to be processed at this time is limited to the human candidate area D31b including the face candidate area D31a after the process of step S6.
  • the human region extraction unit 34 extracts a human region in the thermal image D1 from the human candidate region D31b and the face candidate region D31a input from the body temperature region detection unit 31 and the face coordinate C34 input from the face coordinate conversion unit 33. Then, the thermal image D34 of the human region cut out from the thermal image D1 and the face coordinates C34 in the thermal image are output to the human feature detection unit 4 (from step S8 to step S11). The processing from step S8 to step S11 is performed one by one for all the human candidate regions input from the body temperature region detection unit 31.
  • the human area extracting unit 34 determines whether or not there is an area indicating the human candidate area D31b and the face area information (face coordinates C34) in step S8. If there is a person candidate area D31b and an area indicating face area information (YES in step S8), the human area extraction unit 34 determines that the person candidate area D31b may be a person showing a face. Then, the process proceeds to step S9. When there is no person candidate area D31b and no area indicating face area information (NO in step S8), the human area extraction unit 34 cannot detect a face from the visible light image D2, but the human candidate area D31b is human-capable. The process proceeds to step S11.
  • the face area information is information obtained by converting information on the position of the face area detected from the visible light image D2 into information on the position of the face area in the thermal image D1, for example, the upper right corner of the circumscribed rectangle including the face.
  • the information related to the position of the face area may be the coordinates of one corner of the circumscribed rectangle including the face, and the vertical and horizontal lengths.
  • step S9 the human region extraction unit 34 determines whether the face candidate region D31a in the human candidate region D31b matches the position of the face detected from the visible light image D2, and thus the face candidate region D31a and the face region. It is determined whether there is an area indicating information.
  • the human area extracting unit 34 determines that the human candidate area D31b is a person who has a face and performs the process in step S10. Proceed to
  • the human area extracting unit 34 When the face candidate area D31a and the area indicating the face area information do not exist (NO in step S9), the human area extracting unit 34 has an object in the shape of a human face, but the body temperature is the temperature of the human face. Therefore, it is determined that the person is not a person, and the process proceeds to step S12.
  • the case where the face is detected from the visible light image D2 and the face candidate area D31a is not detected from the thermal image D1 is a doll. If the face is similar to the face and the face is detected incorrectly, most of the face is covered. For example, the face candidate region D31a may not be detected from the thermal image D1 with a hat, goggles, and a mask.
  • the human area extraction unit 34 selects the face candidate area D31a detected from the thermal image D1 in step S11. It is determined whether the person is a person from the person candidate area D31b. Therefore, the human region extraction unit 34 uses the area ratio of the face candidate region D31a in the human candidate region D31b. The ratio of the face size to the body size of the person including the face is included in a certain range.
  • the human region extraction unit 34 indicates that the human candidate region D31b is a region where a person exists. And the process proceeds to step S10.
  • the human area extracting unit 34 determines that the human candidate area D31b is a person. It is determined that the area does not exist, and the process proceeds to step S12.
  • the numerical value given as the area ratio between the human candidate region D31b and the facial candidate region D31a is merely an example, and other numerical ranges are adopted as the ratio of the face size to the human body size including the face. Also good.
  • the human region extraction unit 34 uses the human candidate region D31b determined to be a region where a person exists in steps S9 and S11 as a human region, cuts out the human region from the thermal image D1, and cuts out the human region Is output to the human feature detection unit 4, and the face candidate region D 31 a is set as the face region, and information indicating the face region is output to the human feature detection unit 4.
  • the information indicating the face area is information indicating the position of a circumscribed rectangle that includes the face area. For example, the face coordinates of the upper right corner and the lower left corner of the circumscribed rectangle are used. Further, the coordinates of one corner of the circumscribed rectangle and the vertical and horizontal lengths of the circumscribed rectangle may be used.
  • step S12 the human region extraction unit 34 determines whether there is a human candidate region D31b in which the processing from step S8 to step S11 has not been completed, and if there is an unprocessed human candidate region D31b (step S12). In step S8, the process returns to step S8. If there is no unprocessed human candidate region D31b (NO in step S12), the operation of the human region detection unit 3 is completed, and the human region detection unit 3 determines that the next thermal image D1 and visible light image D2 are Wait for input.
  • the human feature detection unit 4 detects the human feature using the thermal image D34 of the human region output from the human region detection unit 3, the information indicating the facial region, and the facial image D32 of the visible light image D2.
  • the characteristics of a person are, for example, sex, age, basal metabolism, body fat percentage, posture, body temperature, and amount of clothes. These feature values are input to the device control unit 5.
  • the device control unit 5 determines a device control method based on the human characteristics input from the human feature detection unit 4 and controls the device according to the control method.
  • the visible camera and the thermal image camera are images obtained by respectively obtaining images in which the vertical direction is perpendicular to the ground and the horizontal direction is horizontal to the ground.
  • the image and the thermal image camera are installed in the position and the direction in which the image shown in FIG.
  • an image may be acquired with a lens capable of photographing a wide angle, for example, a fisheye lens.
  • a lens capable of photographing a wide angle for example, a fisheye lens.
  • the way the face is reflected is different from the case described in the first embodiment.
  • ⁇ 1-3 Effect According to the device control apparatus 100 and the device control method according to the first embodiment, since a person is detected using one thermal image and one visible light image D2, the thermal image D1 Compared with the case where a person is detected from only one of the visible light image D2 and the amount of calculation required for detection can be reduced, and the memory capacity for storing thermal image data and visible light image data is reduced. The effect that a small thing can be used is acquired.
  • the face candidate region D31a detected from the thermal image D1 using the face temperature characteristic and the face region detected from the visible light image D2 are used. Therefore, since the human area is detected, an effect that the area occupied by the person in the thermal image D1 can be accurately detected is obtained.
  • FIG. 4 is a block diagram showing a configuration of device control apparatus 200 according to Embodiment 2 of the present invention. 4, components that are the same as or correspond to the components shown in FIG. 1 (Embodiment 1) are assigned the same reference numerals as those shown in FIG.
  • the device control apparatus 200 according to the second embodiment is different from the device control apparatus 100 according to the first embodiment in the configuration of the human feature detection unit 4a.
  • the device control apparatus 200 includes a thermal image camera 1, a visible light camera 2, a human region detection unit 3, a human feature detection unit 4 a, and a device control unit 5.
  • the human feature detection unit 4a includes a posture estimation unit 41, a height and weight estimation unit 42, a gender age estimation unit 43, a basal metabolism calculation unit 44, a body fat percentage estimation unit 45, a clothing amount estimation unit 46, and a body temperature.
  • An estimation unit 47 and a human feature management unit 48 are provided.
  • the thermal image camera 1 captures an object to be photographed, generates a thermal image D1 corresponding to the object to be photographed, and outputs the thermal image D1 to the human region detection unit 3.
  • the visible light camera 2 captures an object to be photographed, generates a visible light image D2 corresponding to the object to be photographed, and outputs the visible light image D2 to the human region detection unit 3.
  • the human region detection unit 3 detects a human region that is a region occupied by a person in the thermal image D1, based on the thermal image D1 input from the thermal image camera 1 and the visible light image D2 input from the visible light camera 2. Then, the thermal image D34 of the human region, information indicating the position of the facial region (face coordinates C34), and the facial image D32 of the visible light image D2 are input to the human feature detection unit 4a.
  • the human region thermal image D34 and the facial coordinates C34 output from the human region detection unit 3 are the posture estimation unit 41, the height / weight estimation unit 42, the basal metabolism calculation unit 44, and the body fat percentage estimation unit 45 of the human feature detection unit 4a. Are input to the clothing amount estimation unit 46 and the body temperature estimation unit 47.
  • the face image D32 of the visible light image D2 output from the human region detection unit 3 is input to the gender age estimation unit 43 of the human feature detection unit 4a.
  • the posture estimation unit 41 estimates the posture based on the thermal image D34 of the human region and the face coordinates C34 in the thermal image, and the posture D41 that is the estimation result is used for the height / weight estimation unit 42, the clothing amount estimation unit 46, and the body temperature estimation unit 47. And to the human feature management unit 48.
  • the height / weight estimation unit 42 is input from the human region thermal image D 34 input from the human region detection unit 3, facial coordinates C 34 in the thermal image, posture D 41 input from the posture estimation unit 41, and gender age estimation unit 43. Based on the sex and age D43, the height and weight are estimated, and the height and weight D42 are output to the body fat percentage estimation unit 45 and the basal metabolism calculation unit 44.
  • the gender age estimation unit 43 estimates gender and age from the face image D32 of the visible light image D2, and outputs the estimated gender and age D43 to the height weight estimation unit 42, the basal metabolism calculation unit 44, and the human feature management unit 48. To do.
  • the basal metabolism calculation unit 44 calculates the basal metabolism D44 using the gender and age D43 input from the gender age estimation unit 43 and the height and weight D42 input from the height and weight estimation unit 42, and calculates the calculated basal metabolism.
  • the amount D44 is output to the human feature manager 48.
  • the body fat percentage estimation unit 45 calculates the body fat percentage D45 from the height and weight D42 input from the height weight estimation section 42, and outputs the body fat percentage D45 to the human feature management section 48.
  • the clothing amount estimation unit 46 estimates the clothing amount D46 based on the input thermal image D34 of the human region, the face coordinates C34 in the thermal image, and the posture D41 input from the posture estimation unit 41, and determines the clothing amount D46.
  • the data is output to the human feature management unit 48.
  • the body temperature estimation unit 47 estimates the body temperature D47 on the basis of the input thermal image D34 of the human region, the face coordinates C34 in the thermal image, and the posture D41 input from the posture estimation unit 41, and the body temperature D47 is subjected to human feature management. To the unit 48.
  • the human feature management unit 48 includes a posture D41 input from the posture estimation unit 41, a gender and age D43 input from the gender age estimation unit 43, a basal metabolism D44 input from the basal metabolism calculation unit 44, The body fat percentage D45 input from the fat percentage estimation unit 45, the clothing amount D46 input from the clothing amount estimation unit 46, and the body temperature D47 input from the body temperature estimation unit 47 are used as a human feature D5, and the device control unit Enter 5.
  • the device control unit 5 determines a device control method based on the human feature D5 input from the human feature detection unit 4a, and controls the device.
  • FIG. 5 is a flowchart showing the operation of the human feature detection unit 4a in the second embodiment.
  • the operation of the human feature detection unit 4a will be described with reference to the flowchart of FIG.
  • the same operations as those of the human feature detection unit 4 of the first embodiment are not described in the second embodiment.
  • the gender age estimation unit 43 estimates the posture of the person from the thermal image D34 of the human region and the face coordinates C34 (step S22). Details of the posture estimation method will be described later with reference to FIG.
  • the height and weight estimation unit 42 estimates the height and weight using the thermal image D34 of the human region, the face coordinates C34, the posture D41 estimated by the posture estimation unit 41, and the age estimated by the gender age estimation unit 43. (Step S23). Details of the height and weight estimation methods will be described later using the flowchart of FIG.
  • the basal metabolism calculation unit 44 calculates the basal metabolism D44 using the gender and age D43 estimated in step S21 and the height and weight D42 estimated in step S23 (step S24).
  • a generally known basal metabolism calculation formula is used. For example, the Harris Benedict equation is used.
  • Basal metabolism depends not only on body weight but also on height, age and gender.
  • the basal metabolic rate cannot be accurately calculated. For example, even if the body weight is the same 60 kg, the height of 175 cm, age 20 years, male basal metabolism is 1618 kcal, the height of 155 cm, age 60 years, female basal metabolism is 1222 kcal. This difference of about 400 kcal is the same as the difference in basal metabolic rate of a person whose weight is 30 kg different if the male is the same in height, age, and gender. Therefore, it is necessary to use not only body weight but also height, age, and gender for calculation of basal metabolism.
  • the body fat percentage estimation unit 45 calculates the body fat percentage D45 using the height and weight D42 estimated in step S23 (step S25).
  • a generally known calculation formula is also used to calculate the body fat percentage D45.
  • a BMI calculation formula is used.
  • the clothing amount estimation unit 46 estimates the clothing amount D46 from the thermal image D34 of the human region, the face coordinates C34, and the posture D41 estimated by the posture estimation unit 41 (step S26). The details of the clothing amount estimation method will be described later with reference to FIG.
  • the body temperature estimation unit 47 estimates the body temperature D47 from the thermal image D34 of the human region, the face coordinates C34, and the posture D41 estimated by the posture estimation unit 41 (step S27).
  • the body temperature estimation unit 47 estimates the highest temperature among the regions indicated by the face coordinates C34 in the thermal image D34 of the human region as the human body temperature.
  • the estimation of the body temperature is not limited to this, and may be the average temperature of the region indicated by the face coordinates C34 in the thermal image D34 of the human region.
  • the processing from step S24 to step S27 may be performed in any order.
  • step S28 the estimated posture D41, body temperature D47, and clothing amount D46 are used as dynamic features, and body fat percentage D45, basal metabolic rate D44, sex and age D43, and height and weight D42 are used as static features.
  • body fat percentage D45, basal metabolic rate D44, sex and age D43, and height and weight D42 are used as static features.
  • FIG. 6 is a diagram for illustrating the operation of the posture estimation unit 41.
  • the operation of the posture estimation unit 41 will be described with reference to FIG.
  • FIG. 6 shows an example of a thermal image D34 of the human area input from the human area detection unit 3 to the human feature detection unit 4a.
  • What is indicated by reference numeral f1 is a circumscribed square that includes the human area
  • the point indicated by reference numeral f2 is the upper left corner of the circumscribed square f1
  • the point indicated by reference numeral f3 is the lower right corner of the circumscribed square f1. It is a corner.
  • the human region detection unit 3 inputs the thermal image of the circumscribed rectangle f1 as the thermal image D34 of the human region and the coordinates of the point f5 and the coordinates of the point f6 as the facial coordinates C34 to the human feature detection unit 4a, and the posture estimation unit 41 Is input.
  • the posture estimation unit 41 calculates the aspect ratio of the circumscribed rectangle f1. If the aspect ratio (height / width) of the circumscribed rectangle f1 is less than 1/2, the sleeping posture is assumed. If the circumscribed square f1 has an aspect ratio of 1 ⁇ 2 or more and less than 2, the sitting posture is set. If the aspect ratio of the circumscribed rectangle f1 is 2 or more, the standing posture is set.
  • L 1 and L 2 may be other values.
  • the position of the face in the human area can be known, The direction can be determined.
  • FIG. 7 is a flowchart showing the operation of the height and weight estimation unit 42 in the second embodiment.
  • the operation of the height / weight estimation unit 42 will be described with reference to the flowchart of FIG.
  • the human body region thermal image D ⁇ b> 34 and the face coordinates C ⁇ b> 34 are input to the height and weight estimation unit 42 from the human region detection unit 3.
  • the height and weight estimation unit 42 is input from the position of the lower end of the human area, that is, the y coordinate of the point f3 in FIG. 6 (where the horizontal direction of the image is the x direction and the vertical direction of the image is the y direction).
  • the length per pixel of the thermal image D34 of the human area is calculated (step S31).
  • the height / weight estimation unit 42 holds an expression that can calculate the relationship between the position in the acquired image of the thermal image camera 1 and the actual length in advance.
  • the position of the lower end of the human area corresponds to a position where the person is in contact with the ground. If the vertical position in the acquired image is determined by the angle of view and the installation position of the thermal image camera 1 and the orientation of the thermal image camera 1, The distance to the object reflected at the position is determined, and the actual length per pixel at that position is determined.
  • step S32 the number of pixels of the human body surface temperature is counted from the thermal image D34 of the human area (step S32). Then, based on the length per pixel obtained in step S31, the area calculated in step S32 is converted into an area occupied by a person (step S33). Subsequently, it is determined whether the posture is a standing posture, a sleeping posture, or a sitting posture (step S34). If it is a standing posture or a sleeping posture (YES in step S34), the process proceeds to step S35, and if it is a sitting position (NO in step S34), the process proceeds to step S36.
  • step S35 the length of the long side of the human area is calculated, and a value obtained by multiplying the length of the long side calculated in step S31 by the length of the long side is defined as the height.
  • step S36 the sum of the lengths of the long side and the short side of the human region is calculated, and a value obtained by multiplying the length of each long side calculated in step S31 by the calculated length of the long side is defined as the height. If the height is estimated in step S35 and step S36, the process proceeds to step S37.
  • step S36 the height is obtained from the sum of the lengths of the long side and the short side of the human area. This is because the person stretches his / her back in the direction perpendicular to the ground in a sitting state, and Height when stretched horizontally.
  • the ratio of the human body surface temperature area to the human area may be calculated, and the height estimation method may be changed according to the ratio. The larger the ratio of the human body surface temperature area to the human area, the more the knee is bent or the back is rounded.
  • the long side length (pixel) of the human region is L
  • the short side length (pixel) is S
  • the ratio of the human body surface temperature region to the human region is R
  • the height H (cm)
  • the height estimation method is not limited to these, and the following method may be used.
  • the center of gravity of the human area is calculated.
  • the farthest points are obtained from the center of gravity in the four directions, up, down, left, and right of the image, and the sum of the distances between the two points far from the center of gravity and the center of gravity is defined as the height.
  • step S37 the weight is estimated from the area obtained in step S33 and the height estimated in steps S35 and S36.
  • the volume of a person is calculated.
  • the volume is calculated as an ellipsoid whose cross-sectional area is the area obtained in step S33 and whose major axis is the estimated height. Using the fact that the specific gravity of a person is 1, the body weight is obtained from the volume.
  • step S38 the standard height and standard weight in age are used. It is determined whether the estimated height is N 10 % higher than the standard height, that is, (N 1 ⁇ 100)% or higher, or N 10 % or higher, and the estimated weight is N higher than the standard weight. It is judged whether it is 20% or more heavier or N 20 % or more lighter.
  • the estimation result of the height / weight estimation unit 42 sets the height as the standard height of the age and the weight as the standard weight of the age (step S39).
  • the estimated height and estimated weight greatly deviate from the standard height and standard weight of the age.
  • step S40 the process proceeds to step S40.
  • step S ⁇ b> 40 the height and weight estimation unit 42 outputs the estimated height and weight to the basal metabolism calculation unit 44 and the body fat percentage estimation unit 45.
  • the age is not input from the gender age estimator 43 to the height / weight estimator 42 for the human area determined not to be detected from the visible light image D2 but from the thermal image D1 as the step. S38 and step S39 cannot be processed. In this case, the height and weight D42 estimated from the thermal image D1 are used as the estimation results.
  • FIG. 8A shows an example of a thermal image D34 of a human region in a standing posture
  • FIG. 8B shows an example of a thermal image D34 of a human region in a sitting posture
  • FIG. 8C shows a human in a sleeping posture.
  • An example of the thermal image D34 of the area is shown.
  • a region g1 indicates a head region
  • a region g2 indicates a torso region
  • a region g3 indicates a foot region
  • a region g4 indicates a torso and foot region.
  • the regions g1, g2, g3, and g4 in each posture are determined from the position of the face region in the human region.
  • the hatching in the figure represents the temperature of the object to be photographed. The higher the temperature, the thinner the hatching, and the lower the temperature, the darker the hatching.
  • the lower end of the head area is the boundary between the head and the torso.
  • the side where the human region is located is defined as the boundary between the body and the torso of the right and left ends of the head region. Since the boundary between the torso and the foot is not clear in the sitting posture, the human region is divided into a head region g1 and a torso and foot region g4.
  • the position that bisects the boundary between the head and torso to the end of the person region is defined as the boundary between the torso and the foot, and thus the human region is the head region g1 and the torso region. Divide into g2 and foot region g3.
  • the clothing amount estimation unit 46 estimates the clothing amount for each divided region (regions g1, g2, g3, g4). In general, the greater the amount of clothing worn, the lower the temperature acquired in the thermal image D1.
  • the human body surface temperature is 28 ° C to 37 ° C. When the skin is exposed, such as short sleeves and short breads, the temperature of the thermal image D1 is the human body surface temperature itself. In the case of light clothing, the body temperature is transmitted to the surface of the clothing and falls slightly below the body surface temperature. When wearing thick clothes, body temperature is not easily transmitted to the surface of clothing, and the difference from body surface temperature is large. However, it is not the same as the ambient temperature.
  • the amount of clothing is estimated from the distribution of the thermal image D1 for each of the torso region g2, the foot region g3, and the torso and foot region g4.
  • the thickness and shape of the garment are estimated according to the percentage of how many regions in each region.
  • the shape of clothing is short sleeves or long sleeves in the case of the torso region, and short breads or long pants in the case of the foot region.
  • the ratio is 20%.
  • the thickness of the clothing is assumed to be thicker as the temperature is lower. For example, it is assumed that it is thin when it is 28 degrees, slightly thick when it is 25 degrees, and very thick when it is 22 degrees.
  • the human feature management unit 48 performs a posture estimation unit 41, a height weight estimation unit 42, a gender age estimation unit 43, a basal metabolism calculation unit 44, a body fat percentage estimation unit 45, a clothing amount for each thermal image D34 of each person region.
  • a numerical value D5 related to the human characteristics estimated by the estimation unit 46 and the body temperature estimation unit 47 is output to the device control unit 5.
  • FIG. 9 is another example of a block diagram showing the configuration of the device control apparatus 200 according to the second embodiment.
  • the human recognition information C31 is input from the outside to the human region detection unit 3a.
  • the person recognition information C31 is information such as a place where a person can exist in a shooting target area of the thermal image camera 1 and a place where a person is likely to exist.
  • the person recognition information C31 may be registered in advance in the human area detection unit 3a.
  • the face detection unit 32 and the face coordinate conversion unit 33 are not included in the functions of the human area detection unit 3 shown in FIG. 1, and the human recognition information C 31 is input to the human area extraction unit 34. Further, the human face extraction unit 34 calculates a human face coordinate C34.
  • the face candidate region D31a and the human candidate region D31b detected by the body temperature region detection unit 31 are compared with the human recognition information C31, and the object existing in the human candidate region D31b To determine if is a person.
  • the human region extraction unit 34 calculates the face coordinates C34 and the thermal image D34 of the human region from the face candidate region D31a and the human candidate region D31b for the candidate determined to be a person, and outputs it to the human feature detection unit 4.
  • the gender and age are estimated from the face image D32 of the visible light image D2, but the gender and age D43 are input to the human feature detection unit 4a from the outside without using the visible light image D2. May be. Gender and age D43 may be registered in the human feature detection unit 4a in advance. Moreover, you may input from the remote control of the apparatus used as control object. The entered gender and age D43 are input to the height and weight estimation unit 42, the basal metabolism calculation unit 44, and the human feature management unit 48.
  • the height and weight estimation unit 42 is based on the thermal image D34 of the human region input from the human region detection unit 3a, the facial coordinates C34 in the thermal image, the posture D41 input from the posture estimation unit 41, and the gender and age D43.
  • the height and weight are estimated, and the height and weight D42 are output to the body fat percentage estimation unit 45 and the basal metabolism calculation unit 44.
  • the basal metabolism calculation unit 44 calculates the basal metabolism D44 using the gender and age D43 and the height and weight D42 input from the height and weight estimation unit 42, and the calculated basal metabolism D44 to the human feature management unit 48. Output.
  • the human feature management unit 48 receives the posture D41 input from the posture estimation unit 41, the gender and age D43, the basal metabolism D44 input from the basal metabolism calculation unit 44, and the body fat rate estimation unit 45.
  • the body fat percentage D45, the clothing amount D46 input from the clothing amount estimation unit 46, and the body temperature D47 input from the body temperature estimation unit 47 are input to the device control unit 5 as a human feature D5.
  • the device control unit 5 determines a device control method based on the human feature D5 input from the human feature detection unit 4a, and controls the device.
  • ⁇ 2-3 Effects According to the device control apparatus 200 according to the second embodiment, the following effects are obtained in addition to the effects obtained by the device control apparatus 100 according to the first embodiment. That is, since the posture D41 such as the standing posture, the sitting posture, or the sleeping posture is estimated, an effect that the device can be controlled according to the posture of the person can be obtained.
  • the gender and age D43 and the basal metabolic rate D44 are calculated, so that the person's hot and cold tendency, resistance to heat and cold from the basal metabolic rate D44. It is possible to understand the constitution and to control the device according to gender, age and constitution.
  • the device control apparatus 200 since the clothing amount D46 and the body fat percentage D45 are estimated, the heat retention resistance of the person can be understood, and in particular, the device can be comfortably controlled by the user in the air conditioning control. can get.
  • the device control apparatus 200 since the body temperature D47 is estimated, it is possible to estimate the physical condition of a person and to obtain an effect that the device can be controlled in accordance with the physical condition.
  • the device control apparatus 200 since the device control method is determined based on the human feature D5, an effect that the device can be comfortably controlled by the user can be obtained.
  • FIG. 10 is a block diagram showing a configuration of device control apparatus 300 according to Embodiment 3 of the present invention.
  • 10, components that are the same as or correspond to the components shown in FIG. 1 (Embodiment 1) are assigned the same reference numerals as those shown in FIG.
  • the device control apparatus 300 according to Embodiment 3 does not perform the process of determining the device control method from the point that the device control unit 5a refers to the past control history and the characteristics of the person, and the cloud 8 (cloud This is different from the device control apparatus 100 according to the first embodiment in that it is executed by a server.
  • the device control apparatus 300 includes a first device 10, a second device 11 as another device, a network 7, and a cloud 8.
  • the first device 10 includes a thermal imaging camera 1, a visible light camera 2, a human region detection unit 3, a human feature detection unit 4, a device control unit 5a as a first device control unit, and a first device A communication unit 6 as a communication unit is provided.
  • the 2nd apparatus 11 is provided with the apparatus control part 12 as a 2nd apparatus control part, and the communication part 13 as a 2nd communication part.
  • the thermal imaging camera 1 of the first device 10 generates a thermal image D1 and outputs it to the human region detection unit 3 of the first device 10.
  • the visible light camera 2 of the first device 10 generates a visible light image D2 and outputs it to the human region detection unit 3 of the first device 10.
  • the human region detection unit 3 of the first device 10 includes a thermal image D1 input from the thermal image camera 1 of the first device 10 and a visible light image D2 input from the visible light camera 2 of the first device 10. The person is detected and the human image thermal image D34, the facial coordinate C34 in the thermal image, and the facial image D32 of the visible light image D2 are output to the human feature detection unit 4 of the first device 10.
  • the human feature detection unit 4 of the first device 10 detects the person from the thermal image D34 of the human region input from the human region detection unit 3 of the first device 10, the face coordinates C34, and the face image D32 of the visible light image D2. And the value of the human feature is output to the device control unit 5a of the first device 10.
  • the device control unit 5a of the first device 10 includes a device control method and a first device for a human feature input from the human feature detection unit 4 of the first device 10 and a human feature input from the communication unit 6.
  • the control method of the first device 10 and the control method of the other device are determined based on any one or more of the past control histories accumulated in the device control unit 5a of the ten devices. Is output to the communication unit 6 of the first device 10.
  • the communication unit 6 of the first device 10 transmits the characteristics of the person input from the device control unit 5a of the first device 10 to the cloud 8 via the network 7, and the device calculated by the cloud 8 from the cloud 8
  • the control method is received, and the device control method is output to the device control unit 5a of the first device 10.
  • the communication unit 6 of the first device 10 includes the control method of the second device 11 and the control method of the first device 10 among the control methods of other devices input from the device control unit 5 a of the first device 10.
  • the characteristics of the person input from the device control unit 5a are transmitted to the communication unit 13 of the second device 11 via the network 7, and the second device 11 actually transmits the communication from the communication unit 13 of the second device 11.
  • the performed device control method is received, and the device control method is output to the device control unit 5 a of the first device 10.
  • the cloud 8 calculates the optimum device control method for the value of the feature based on the feature of the person received from the communication unit 6 of the first device 10, and the optimum device control method is obtained via the network 7 as the first device. 10 communication units 6.
  • the communication unit 13 of the second device 11 outputs the characteristics of the person received from the communication unit 6 of the first device 10 and the control method of the second device 11 to the device control unit 12 of the second device 11.
  • the device control method actually performed by the second device 11 is input from the device control unit 12 of the second device 11, and the device control method actually performed by the second device 11 is transmitted via the network 7 to the first device control unit 12. To the communication unit 6 of the device 10.
  • the device control unit 12 of the second device 11 receives the human characteristics and the device control method of the second device 11 from the communication unit 13 of the second device 11, and uses the device control method of the second device 11. The device control method is determined, and the actually performed device control method is output to the communication unit 13 of the second device 11.
  • the thermal image camera 1 of the first device 10 the visible light camera 2 of the first device 10, the human area detection unit 3 of the first device 10, and the first
  • the human feature detection unit 4 of the device 10 performs the same operations as the thermal image camera 1, the visible light camera 2, the human region detection unit 3, and the human feature detection unit 4, which are components in the first embodiment. Therefore, the description is omitted in the third embodiment.
  • the device control unit 5a of the first device 10 determines a device control method in accordance with the human feature input from the human feature detection unit 4 of the first device 10. At that time, a control method that is optimized for the device with respect to human characteristics (one or a plurality of combinations) is calculated. For example, with respect to the feature of basal metabolism, people who have a basal metabolism above a predetermined value are hot, and people who have a basal metabolism below a predetermined value are cold. The air direction is controlled so that the cold air is directly applied during cooling, and the air direction is controlled so that the warm air is directly applied to a cold person during heating.
  • the volume of the television is lowered to a predetermined value or lower and the display luminance is lowered to a predetermined value.
  • the volume of the television is set to a predetermined value or more for the feature of a man over 60 years old.
  • the control method to calculate is limited to the apparatus which can control related to a characteristic.
  • the device control unit 5 a of the first device 10 may adopt a device control method calculated by the cloud 8 and input from the communication unit 6.
  • the device control unit 5a of the first device 10 refers to the past control history (personal characteristics and device control method history) stored in the device control unit 5a (storage unit) of the first device 10.
  • the most frequent device control method may be adopted among the device control methods having the same human characteristics.
  • the device control method determined by the device control unit 5a of the first device 10 is not limited to the control method of the first device 10, and determines the control method of other devices (for example, the second device 11). May be.
  • the device control unit 5a of the first device 10 also determines the control method of another device, for example, the second device 11, the communication unit 6 of the first device 10 changes to the communication unit 13 of the second device 11.
  • the control method and the characteristics of the person who becomes the reference of the control method are transmitted, and the device control unit 12 of the second device 11 controls the characteristics of the person and the second device 11 from the communication unit 13 of the second device 11.
  • the method is received, and the second device 11 is controlled by the control method.
  • ⁇ 3-3 Effects According to the device control apparatus 300 according to the third embodiment, in addition to the effects obtained by the device control apparatus 100 according to the first embodiment, the following effects can be obtained. In other words, since the process for determining the device control method from the human characteristics is not performed inside the device but is executed in the cloud 8, a device control method based on the human characteristics using the latest knowledge can be determined, and more comfortable devices The effect that control becomes possible is acquired.
  • the device control apparatus 300 when a device control method is determined based on human characteristics, a past control history is referred to, and thus device control that matches the user's preference is possible. An effect is obtained.
  • the device control apparatus 300 even if the device does not include the thermal image camera and the visible light camera, the human image obtained from the thermal image camera and the visible light camera included in the other devices can be obtained. By receiving the device control method based on the characteristics, an effect of enabling control can be obtained.
  • FIG. 11 is a hardware configuration diagram illustrating a configuration of a modified example of the device control apparatus according to the first to third embodiments.
  • the human area detection unit 3, the human feature detection unit 4, and the device control unit 5 of the device control apparatus shown in FIG. 1 can be configured by a semiconductor integrated circuit, but store a program as software.
  • a processor 92 as an information processing unit that executes a program stored in the memory 91 (for example, by a computer).
  • a part of the human area detection unit 3, the human feature detection unit 4, and the device control unit 5 of the device control apparatus shown in FIG. 1 is constituted by a memory 91 shown in FIG. 11 and a processor 92 that executes a program. It may be realized.
  • the device control apparatus includes the thermal image camera 1 and the visible light camera 2
  • thermal image data is obtained from the existing thermal image camera and the existing visible light camera.
  • the visible light image data can be acquired, the device control apparatus can not include the thermal image camera 1 and the visible light camera 2. Cost reduction is possible when using existing equipment.
  • the device control apparatus acquires thermal image data and visible light image data from one thermal image camera and one visible light camera 2
  • the number of thermal image cameras may be two or more, and the number of visible light cameras 2 may be two or more. By using multiple cameras, the detection accuracy is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Obesity (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

機器制御装置１００は、被撮影物に対応する熱画像が入力され、熱画像において人が占める領域である人領域を検出する人領域検出部３と、熱画像における人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部４と、人特徴検出部４により検出された人の基礎代謝に基づいて機器を制御する機器制御部５と、を備える。

Description

機器制御装置及び機器制御方法
　本発明は、人の特徴を検出し、検出された特徴に合わせて機器を制御する機器制御装置及び機器制御方法に関する。
　機器を使用する使用者を検知し、使用者の特徴を検出して、使用者にとって快適な状態を提供するように各種の機器を制御する機器制御装置が知られている。特許文献１は、使用者の体重と空気調和時の日付とに基づいて、空気調和時における使用者の基礎代謝量を算出し、算出した基礎代謝量と、空調空間の状態を検知する検知手段からの検知結果とに基づいて、快適指標を算出し、算出した快適指標に基づいて制御を行う制御手段を含む空気調和機を記載している。
　また、特許文献２は、カメラと、サーモグラフィと、温度センサと、時計とを備えた自動販売機であって、カメラで撮影した顔画像を基に購入者の性別と年齢層を求め、サーモグラフィで測定した購入者の顔温度と温度センサで測定した周囲の環境温度とを基に体温を求め、時計から取得した時刻を基に季節と時間帯を求め、購入者の性別と年齢層と体温及び季節と時間帯に基づいて表示装置に画像を表示する商品を割り出し、外的環境と購入者個々の状態に応じてアピールしたい商品を優先的に表示する自動販売機を記載している。
　また、特許文献３は、エレベータ内の初期画像と現時点の画像とを比較することによって画像中の動体を抽出し、動体の塊の大きさ及び数から、人の数及びその場所の混みぐあいを識別し、その情報に基づいてエレベータを効率的に運転制御するエレベータの運転制御装置を記載している。
　また、特許文献４は、赤外線カメラで人体を撮影し、画像処理装置によって熱画像をしきい値処理して得られた人物領域に距離変換を施して身体重心を求め、求めた身体重心よりも上部分の上半身主軸により上半身の傾き角を得た後、人体の頭頂，手先，足先の特徴部位を求め、遺伝的アルゴリズムを用いて肘と膝の位置を学習的に推定する人体姿勢の推定方法を記載している。
　また、特許文献５は、複数のカラーカメラでそれぞれ異なった方向から撮像した複数のカラー画像から２値画像を作成し、その２値画像に基づいて特徴点を検出する人物の３次元姿勢推定方法を記載している。
特開平７－１０３５４４号公報（例えば、段落０００６） 特開２０１１－２０３９５２号公報（例えば、段落０００７－００１２） 特開平５－１５５５３９号公報（例えば、段落０００５－０００６） 特開平１０－２５８０４４号公報（例えば、段落０００６－０００８） 特開２００１－５９７３号公報（例えば、段落０００６）
　しかしながら、特許文献１に記載の空気調和機は、体重を入力して体重のみから基礎代謝量を算出するため、基礎代謝量を正確に算出できず、使用者に最適な機器制御ができないという課題があった。また、特許文献２に記載の自動販売機は、サーモグラフィから体温を求める場合、使用者の顔が特定のサイズ以上の大きさに映る位置に使用者が立つ必要がある、という課題があった。
　また、特許文献３に記載のエレベータの運転制御装置は、初期画像と制御を行う時点の画像とを比較するため、多くの演算量及びメモリを要するという課題があった。特許文献４に記載の人体姿勢の推定方法は、人領域を抽出するために、体の部位を順に推定することから多くの演算量及びメモリを要するという課題があった。特許文献５に記載の人物の３次元姿勢推定方法は、複数のカラーカメラでそれぞれ異なった方向から撮影するためカメラが複数台必要であり、また、複数のカラー画像を使用するため多くの演算量及びメモリを要するという課題があった。
　本発明は、上述のような課題を解決するためになされたものであり、演算量を削減し、メモリに要求される記憶容量を低減しつつ、検出精度を向上することのできる機器制御装置及び機器制御方法を提供することを目的とする。
　本発明に係る機器制御装置は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出部と、前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部と、前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、を備える。
　本発明に係る機器制御方法は、被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出ステップと、前記人特徴検出ステップにより検出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと、を備える。
　本発明に係る機器制御装置及び機器制御方法によれば、演算量を削減し、メモリに要求される記憶容量を低減しつつ、検出精度を向上するという効果を得ることができる。
本発明の実施の形態１に係る機器制御装置の構成を示すブロック図である。 （ａ）は、熱画像カメラにより生成された熱画像において、体温領域検出部が検出した顔候補領域を示す図であり、（ｂ）は、熱画像カメラにより生成された熱画像において、体温領域検出部が検出した人候補領域を示す図であり、（ｃ）は、熱画像カメラにより生成された熱画像において、顔領域情報によって示された顔領域及び人領域抽出部が抽出した人領域を示す図であり、（ｄ）は、熱画像カメラにより生成された熱画像において、人領域抽出部が人特徴検出部へ出力する情報を示す図である。 実施の形態１における人領域検出部の動作を示すフローチャートである。 本発明の実施の形態２に係る機器制御装置の構成を示すブロック図である。 実施の形態２における人特徴検出部の動作を示すフローチャートである。 実施の形態２における姿勢推定部の動作を示すための図である。 実施の形態２における身長体重推定部の動作を示すフローチャートである。 実施の形態２における着衣量推定部の動作を示すための図である。 実施の形態２に係る機器制御装置の構成を示すブロック図の他の例である。 本発明の実施の形態３に係る機器制御装置の構成を示すブロック図である。 実施の形態１から３に係る機器制御装置の変形例の構成を示すハードウェア構成図である。
　以下、図面を参照しながら本発明の実施の形態に係る機器制御装置について説明する。なお、以下に記載する実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。また、以下に記載する各実施の形態の内容は適宜組み合わせることが可能である。さらに、以下で説明する本発明の実施の形態は、機器制御方法の実施の形態として捉えることも可能である。
　さらに、本発明の実施の形態に係る機器制御装置は、可視光カメラが取得した可視光画像から人の体の所定部位の領域を検出する。以下に記載する各実施の形態では、その所定部位を「顔」として説明するが、これに限らず、頭、すなわち、首から上の部位であり、かつ、髪の毛など肌が露出していない部分を含む人の体の部位であってもいいし、手であってもいい。また、ペットなど人ではない動物であってもよい。ただし、ペットの場合は、後に説明する基礎代謝の算出は、可視光画像からペットである動物の種類を特定し、その動物の基礎代謝算出式を用いる必要がある。
《１》実施の形態１
《１－１》構成
　まず、構成について説明する。図１は、本発明の実施の形態１に係る機器制御装置１００の構成を示すブロック図である。図１に示されるように、実施の形態１に係る機器制御装置１００は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４と、第１の機器制御部としての機器制御部５とを備える。人領域検出部３は、体温領域検出部３１と、所定部位検出部としての顔検出部３２と、所定部位座標変換部としての顔座標変換部３３と、人領域抽出部３４とを備える。
　図１に示されるように、熱画像カメラ１は、被撮影物を撮影して、この被撮影物に対応する熱画像（熱画像データ）Ｄ１を生成して人領域検出部３へ出力する。可視光カメラ２は、被撮影物を撮影して、この被撮影物に対応する可視光画像（可視光画像データ）Ｄ２を生成して人領域検出部３へ出力する。人領域検出部３は、熱画像カメラ１から入力された熱画像Ｄ１と可視光カメラ２から入力された可視光画像Ｄ２とから人を検出し、人が存在する領域である人領域の熱画像Ｄ３４と、熱画像Ｄ１における所定部位座標としての顔座標Ｃ３４と、可視光画像Ｄ２の顔画像（顔画像データ）Ｄ３２とを人特徴検出部４へ出力する。
　熱画像カメラ１で生成された熱画像Ｄ１は、人領域検出部３の体温領域検出部３１に入力され、可視光カメラ２で生成された可視光画像Ｄ２は、人領域検出部３の顔検出部３２に入力される。
　体温領域検出部３１は、熱画像カメラ１から入力された熱画像Ｄ１における温度分布から、所定部位候補領域としての顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂとを検出して人領域抽出部３４へ出力する。顔候補領域Ｄ３１ａとは、熱画像Ｄ１において人の顔が占める領域の候補となる領域である。人候補領域Ｄ３１ｂとは、熱画像Ｄ１において人が占める領域の候補となる領域である。顔検出部３２は、可視光カメラ２から入力された可視光画像Ｄ２から顔を検出し、検出した顔の位置を示す顔座標Ｃ３２を顔座標変換部３３へ出力するとともに、可視光画像Ｄ２から検出した顔の領域のみを切り出した顔画像Ｄ３２を人特徴検出部４へ出力する。
　顔座標変換部３３は、予め記憶している座標変換用の演算式又は変換テーブルなどを利用して、顔検出部３２から入力された可視光画像Ｄ２における顔座標Ｃ３２を、熱画像カメラ１が取得した熱画像Ｄ１における顔座標Ｃ３４に変換し、顔領域情報として人領域抽出部３４へ出力する。人領域抽出部３４は、体温領域検出部３１から入力された人候補領域Ｄ３１ｂ及び顔候補領域Ｄ３１ａと、顔座標変換部３３から入力された顔座標Ｃ３４とから、熱画像Ｄ１における人領域を抽出し、人領域の熱画像Ｄ３４を切り出して人特徴検出部４へ出力するとともに、熱画像Ｄ１における顔座標Ｃ３４を人特徴検出部４へ出力する。
　人特徴検出部４は、人領域検出部３から入力された可視光画像Ｄ２の顔画像Ｄ３２と、人領域の熱画像Ｄ３４と、熱画像Ｄ１における顔座標Ｃ３４とから人の特徴を検出し、人の特徴の値Ｄ４を機器制御部５へ出力する。機器制御部５は、人特徴検出部４から入力された人の特徴の値Ｄ４に基づき、制御対象となる機器の制御方法を決定し、この機器を制御するための制御信号を出力する。
《１－２》動作
　次に、動作について説明する。熱画像カメラ１と可視光カメラ２は、例えば、部屋に備えられている機器に設置され、この機器の使用者がいる部屋などの空間を、同じ向きから撮影できる位置に配置されている。熱画像カメラ１は、赤外線センサなどのような熱を感知するセンサを具備し、撮影した空間の温度分布を示す熱画像Ｄ１を生成する。一方、可視光カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサなどのような可視光を感知するセンサを具備し、熱画像カメラ１が撮影する空間と同じ空間を撮影して可視光画像Ｄ２を生成する。熱画像カメラ１で生成された熱画像Ｄ１と可視光カメラ２で生成された可視光画像Ｄ２は、人領域検出部３に入力される。
　ここで、熱画像カメラ１と可視光カメラ２が撮影するタイミングは、同じであることが望ましい。しかし、被撮影物である人の向き及び位置が大きく変化しない程度の時間（例えば、１秒程度）の撮影タイミングの誤差は許容される。
　熱画像Ｄ１と可視光画像Ｄ２から人領域を検出する人領域検出部３の動作を図２（ａ）から（ｄ）及び図３を用いて説明する。図２（ａ）は、熱画像カメラ１により生成された熱画像Ｄ１において、体温領域検出部３１が検出した顔候補領域Ｄ３１ａを示す図である。図２（ｂ）は、熱画像カメラ１により生成された熱画像Ｄ１において、体温領域検出部３１が検出した人候補領域Ｄ３１ｂを示す図である。なお、図中のハッチングは被撮影物の温度を表し、温度が高いほどハッチングが薄い領域（白に近い領域）として、温度が低いほどハッチングが濃い領域（黒に近い領域）として表現されている。
　図２（ａ）の領域ａ１，ａ２，ａ３，ａ４は、体温領域検出部３１が熱画像Ｄ１から検出した顔候補領域Ｄ３１ａを示している。顔候補領域Ｄ３１ａとは、熱画像Ｄ１において人の顔が占める領域の候補となる領域である。図２（ａ）に示されるように、領域ａ１は、天井に備えられた照明（照明機器）の占める領域であり、領域ａ２，ａ３，ａ４は、人の顔が占める領域である。つまり、図２（ａ）で示す例において、体温領域検出部３１により顔候補領域Ｄ３１ａとして正しく検出されている領域は、領域ａ２，ａ３，ａ４である。
　図２（ｂ）の領域ｂ１，ｂ２，ｂ３，ｂ４，ｂ５は、体温領域検出部３１が検出した人候補領域Ｄ３１ｂを示している。人候補領域Ｄ３１ｂとは、熱画像Ｄ１において人が占める領域の候補となる領域である。図２（ｂ）に示されるように、領域ｂ１は、天井に備えられた照明の占める領域であり、領域ｂ２，ｂ４，ｂ５は、人の占める領域であり、領域ｂ３は、窓の占める領域である。つまり、図２（ｂ）において体温領域検出部３１により人候補領域Ｄ３１ｂとして正しく検出されている領域は、領域ｂ２，ｂ４，ｂ５である。
　図２（ｃ）は、熱画像カメラ１により生成された熱画像Ｄ１において、顔領域情報によって示された顔領域及び人領域抽出部３４が抽出した人領域を示す図である。図２（ｃ）の破線で示された領域ｃ１，ｃ２，ｃ３は、顔座標変換部３３から入力された顔領域情報（顔座標Ｃ３４）によって示された顔領域である。図２（ｃ）の実線で示された領域ｄ１，ｄ２，ｄ３は、人領域抽出部３４が抽出した人領域の熱画像Ｄ３４である。人領域抽出部３４は、入力された顔領域（領域ｃ１，ｃ２，ｃ３）と顔候補領域Ｄ３１ａ（領域ａ１，ａ２，ａ３，ａ４）と人候補領域Ｄ３１ｂ（領域ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）とに基づき、図２（ｃ）の領域ｄ１，ｄ２，ｄ３に示される人領域を抽出する。図２（ｃ）に示されるように、図２（ａ）及び（ｂ）で検出された顔候補領域Ｄ３１ａ及び人候補領域Ｄ３１ｂであって、正しく検出されなかった領域（上記ａ１，ｂ１，ｂ３）は、人領域としては検出されていない。
　図２（ｄ）は、熱画像カメラ１により生成された熱画像Ｄ１において、人領域抽出部３４が人特徴検出部４へ出力する情報を示す図である。図２（ｄ）の領域ｄ１，ｄ２，ｄ３は、図２（ｃ）の領域ｄ１，ｄ２，ｄ３と同一であり、人領域抽出部３４が抽出した人領域を示している。図２（ｄ）のｅ１，ｅ２，ｅ３は人領域抽出部３４により特定された顔領域を示している。人領域抽出部３４は、人領域を抽出した後、顔候補領域Ｄ３１ａを用いて人領域内の顔領域を特定する。人領域抽出部３４は、特定した人領域及び顔領域の熱画像と、顔領域の位置を示す情報（顔座標Ｃ３４）、例えば、顔領域の右上と左下の角部座標とを人特徴検出部４へ出力する。
　図３は、実施の形態１における人領域検出部３の動作を示すフローチャートである。図３を用いて人領域検出部３の動作について説明する。人領域検出部３の動作が開始されると、顔検出部３２に可視光カメラ２により生成された可視光画像Ｄ２が入力され、顔検出部３２は、可視光画像Ｄ２から人の顔領域を検出する。可視光画像Ｄ２から人の顔を検出するアルゴリズムは、公知の方法を用いることができる。そして、顔検出部３２は、顔を包含する外接四角形（図２（ｃ）における破線四角形）を可視光画像Ｄ２から検出した顔領域の位置を示す顔座標Ｃ３２（例えば、顔領域の左上の角部と右下の角部の座標）を顔座標変換部３３へ出力する（ステップＳ１）。ステップＳ１において、顔の領域を検出しなかった場合は、顔検出部３２は、顔座標Ｃ３２がないことを示す情報を顔座標変換部３３へ出力する、もしくは、何も出力しない。
　次に、顔座標変換部３３は、可視光画像Ｄ２の顔座標Ｃ３２の入力があるか否かを確認する（ステップＳ２）。可視光画像Ｄ２の顔座標Ｃ３２の入力が確認された場合（ステップＳ２においてＹＥＳ）は、処理はステップＳ３に進み、可視光画像Ｄ２の顔座標Ｃ３２の入力が確認されない場合（ステップＳ２においてＮＯ）は、処理はステップＳ４に進む。ステップＳ３では、顔座標変換部３３は、可視光画像Ｄ２の顔座標Ｃ３２を、熱画像Ｄ１の顔座標Ｃ３４に変換し、処理をステップＳ４に進める。顔座標変換部３３は、予め熱画像カメラ１の撮影範囲及び可視光カメラ２の撮影範囲の情報を保持しており、可視光画像Ｄ２が撮影された可視光画像Ｄ２の各画素が、熱画像カメラ１で撮影された熱画像Ｄ１のいずれの画素に対応しているかを計算できる。
　続いて、ステップＳ４で体温領域検出部３１が、熱画像カメラ１から入力された熱画像Ｄ１から、顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂとを検出する。人の体表温度は室温によって多少変化するが、ある一定の範囲内である。体の中心部は、３７度でほぼ一定であり、体の表面（体表）は体の中心部よりも少し温度が下がり、顔の表面は３０℃から３７℃である。体表温度が最も低い手足の末端の温度は約２８℃である。室温が高いと、体表温度と体の中心部の温度との温度差が小さく、室温が低いと、この温度差が大きくなる。また、これらの体表温度は、衣類をまとっていない場合の温度であって、熱画像カメラ１が取得できる熱画像Ｄ１は衣類を着た状態の人の表面温度である。衣類を身にまとうと、衣類の量が多い程、衣類で覆われている場所の体表温度（衣類の表面の温度）は下がる傾向にある。これは、衣類の量が多い程、体温が衣類の表面まで伝わり難いためである。体温領域検出部３１は、３０℃から３７℃を顔温度として、この温度の領域を顔候補領域Ｄ３１ａとして検出する。また、体温領域検出部３１は、２８℃から３７℃を体表温度として、衣類によって下がった表面温度を考慮した温度（例えば、２０℃から３７℃）の領域を人候補領域Ｄ３１ｂとして検出する。
　次に、体温領域検出部３１は、検出した顔候補領域Ｄ３１ａについて、膨張処理、収縮処理の順に処理を施す（ステップＳ５）。これにより、メガネなど顔に装置した物又は顔表面の温度むらなどの影響により、顔領域の検出精度が低下することを防ぐ。さらに、体温領域検出部３１は、ステップＳ６で顔候補領域Ｄ３１ａから明らかに顔ではない形状のものを排除する。顔の形状は、両目が見える程度、正面を向いて熱画像Ｄ１に映っている場合、その形状は丸い。このことを利用し、体温領域検出部３１は、丸くない顔候補領域Ｄ３１ａは顔ではないと判断する。熱画像Ｄ１から検出した顔候補領域Ｄ３１ａに示された顔の形状が丸いか否かは、例えば、以下に記載する方法で判断する。すなわち、顔候補領域Ｄ３１ａを含む外接四角形の面積に対する顔温度（３０℃から３７℃）を示す領域の割合が７５％以上であり、かつ、外接四角形のアスペクト比が１：２から２：１の範囲内である場合に、丸いと判断し、これ以外の場合は丸くないとする。なお、丸いか否かを判断するために用いた数値は一例に過ぎず、これらの値から大きく外れなければ、これに限らない。
　なお、顔の形状が丸いことを判断するため、外接四角形のアスペクト比と外接四角形に対する顔候補領域Ｄ３１ａの面積比を用いた場合を説明したが、判断方法はこれに限らず、丸いか否かを判断できれば他の基準を用いてもよい。例えば、顔の形状が丸いことの判断は、顔の輪郭形状の凹凸から判断してもよい。
　続いて、体温領域検出部３１は、人候補領域Ｄ３１ｂについても顔候補領域Ｄ３１ａと同様に、膨張処理と収縮処理を、膨張処理、収縮処理の順に施す（ステップＳ７）。ただし、このときに処理対象とする人候補領域Ｄ３１ｂは、ステップＳ６の処理後の顔候補領域Ｄ３１ａを含む人候補領域Ｄ３１ｂに限る。
　人領域抽出部３４は、体温領域検出部３１から入力された人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａと、顔座標変換部３３から入力された顔座標Ｃ３４とから、熱画像Ｄ１における人領域を抽出し、熱画像Ｄ１から切り出した人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４とを人特徴検出部４へ出力する（ステップＳ８からステップＳ１１）。ステップＳ８からステップＳ１１までの処理は体温領域検出部３１から入力された全ての人候補領域に対し、１つずつ行う。
　まず、人領域抽出部３４は、ステップＳ８で人候補領域Ｄ３１ｂかつ顔領域情報（顔座標Ｃ３４）を示す領域があるか否かを判断する。人候補領域Ｄ３１ｂかつ顔領域情報を示す領域がある場合（ステップＳ８においてＹＥＳ）は、人領域抽出部３４は、人候補領域Ｄ３１ｂは顔が映っている人である可能性があると判断して、処理をステップＳ９に進める。人候補領域Ｄ３１ｂかつ顔領域情報を示す領域がない場合（ステップＳ８においてＮＯ）は、人領域抽出部３４は、可視光画像Ｄ２から顔を検出できなかったが、人候補領域Ｄ３１ｂは人の可能性があると判断して、処理をステップＳ１１に進める。ここで、顔領域情報とは、可視光画像Ｄ２から検出した顔領域の位置に関する情報を熱画像Ｄ１における顔領域の位置に関する情報に変換したものであり、例えば、顔を含む外接四角形の右上の角部と左下の角部の顔座標である。顔領域の位置に関する情報は、顔を含む外接四角形の１つの角部の座標と、縦及び横の長さであってもいい。
　ステップＳ９では、人領域抽出部３４は、人候補領域Ｄ３１ｂ内の顔候補領域Ｄ３１ａが可視光画像Ｄ２から検出した顔の位置と一致するか否かを判断するため、顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在するか否かを判断する。人領域抽出部３４は、顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在する場合（ステップＳ９においてＹＥＳ）、人候補領域Ｄ３１ｂは顔が映っている人であると判断し、処理をステップＳ１０に進める。
　顔候補領域Ｄ３１ａかつ顔領域情報を示す領域が存在しない場合（ステップＳ９においてＮＯ）、人領域抽出部３４は、人の顔の形状をした物体は存在するが、体温が人の顔の温度ではないため、人ではないと判断し、処理をステップＳ１２に進める。可視光画像Ｄ２から顔が検出され、熱画像Ｄ１から顔候補領域Ｄ３１ａが検出されないケースは、人形である場合、形状が顔に似ていて顔検出を誤った場合、顔の大部分が覆われている場合、例えば、帽子とゴーグルとマスクをしていて熱画像Ｄ１から顔候補領域Ｄ３１ａが検出されない場合などがある。
　一方、ステップＳ８において人候補領域Ｄ３１ｂかつ顔領域情報が示す領域がなく、処理がステップＳ１１に進んだ場合、人領域抽出部３４は、ステップＳ１１で、熱画像Ｄ１から検出した顔候補領域Ｄ３１ａと人候補領域Ｄ３１ｂから人であるか否かを判定する。そのために、人領域抽出部３４は、人候補領域Ｄ３１ｂにおける顔候補領域Ｄ３１ａの面積比を用いる。顔を含む人の体の大きさに対する顔の大きさの割合は、ある範囲に含まれる。例えば、人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比が４：１から１６：１の場合（ステップＳ１１においてＹＥＳ）、人領域抽出部３４は、人候補領域Ｄ３１ｂは人が存在する領域であると判断し、処理をステップＳ１０に進める。検出された人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比が４：１から１６：１の範囲外である場合（ステップＳ１１においてＮＯ）、人領域抽出部３４は、人候補領域Ｄ３１ｂは人が存在する領域ではないと判断し、処理をステップＳ１２に進める。なお、人候補領域Ｄ３１ｂと顔候補領域Ｄ３１ａの面積比として挙げた数値は一例に過ぎず、顔を含む人の体の大きさに対する顔の大きさの割合として、他の数値範囲を採用してもよい。
　ステップＳ１０では、人領域抽出部３４は、ステップＳ９及びステップＳ１１で人が存在する領域であると判断された人候補領域Ｄ３１ｂを人領域とし、熱画像Ｄ１から人領域を切り出し、切り出した人領域の熱画像Ｄ３４を人特徴検出部４へ出力するとともに、顔候補領域Ｄ３１ａを顔領域とし、顔領域を示す情報を人特徴検出部４へ出力する。顔領域を示す情報は、顔領域を包含する外接四角形の位置を示す情報とする。例えば、外接四角形の右上の角部と左下の角部の顔座標とする。また、外接四角形の１つの角部の座標及び外接四角形の縦及び横の長さであってもいい。
　ステップＳ１２では、人領域抽出部３４は、ステップＳ８からステップＳ１１の処理がまだ終わっていない人候補領域Ｄ３１ｂがあるか否かを判断し、未処理の人候補領域Ｄ３１ｂが存在すれば（ステップＳ１２においてＹＥＳ）、処理をステップＳ８に戻す。未処理の人候補領域Ｄ３１ｂが存在しなければ（ステップＳ１２においてＮＯ）、人領域検出部３の動作は全て終了し、人領域検出部３は、次の熱画像Ｄ１と可視光画像Ｄ２とが入力されるのを待つ。
　人領域検出部３から出力された人領域の熱画像Ｄ３４と顔領域を示す情報と可視光画像Ｄ２の顔画像Ｄ３２を用いて、人特徴検出部４は人の特徴を検出する。人の特徴は、例えば、性別、年齢、基礎代謝、体脂肪率、姿勢、体温、着衣量である。これらの特徴の値は、機器制御部５へ入力される。機器制御部５は、人特徴検出部４から入力された人の特徴に基づき、機器の制御方法を決定し、その制御方法に従って機器を制御する。
　なお、本実施の形態１においては、可視カメラと熱画像カメラとは、それぞれから取得される画像の縦方向が地面に垂直な向き、横方向が地面に水平な向きとなる画像、例えば、図２に示すような画像が得られる位置と向きに設置された場合で説明したが、可視カメラと熱画像カメラの設置位置や向きはこれに限らない。可視カメラと熱画像カメラを空調機器などの家電機器の横の位置で、部屋内を俯瞰する向きに設置してもよい。また、可視カメラと熱画像カメラを天井の位置で、床を見下ろす向きに設置してもよい。
　また、可視カメラと熱画像カメラの台数を削減するため、広角を撮影可能なレンズ、たとえば魚眼レンズを付けて画像を取得してもよい。これらの場合、顔の映り方が、実施の形態１で説明した場合と異なる。顔の領域を検出する際、可視カメラと熱画像カメラの設置位置と、設置向きによる顔領域の形状の変化を予め算出し、顔領域の検出の際に、変化量を加味する必要がある。例えば、天井から撮影した場合、熱画像に顔が丸い形状で映ることは少なく、半円もしくは楕円になる。顔、髪の毛、手足の露出部分、着衣領域、人以外の周辺領域の順に温度が下がることに変わりはない。
《１－３》効果
　実施の形態１に係る機器制御装置１００及び機器制御方法によれば、１枚の熱画像と１枚の可視光画像Ｄ２とを用いて人を検出するため、熱画像Ｄ１と可視光画像Ｄ２のいずれか一方のみから人を検出する場合と比較して、検出に要する演算量を削減でき、また、熱画像データ及び可視光画像データを記憶するためのメモリとして記憶容量の小さなものを使用することができるという効果が得られる。
　実施の形態１に係る機器制御装置１００及び機器制御方法によれば、熱画像Ｄ１から顔の温度の特性を用いて検出した顔候補領域Ｄ３１ａと可視光画像Ｄ２から検出した顔の領域とを用いて人領域を検出するため、熱画像Ｄ１において人の占める領域を正確に検出できるという効果が得られる。
《２》実施の形態２
《２－１》構成
　図４は、本発明の実施の形態２に係る機器制御装置２００の構成を示すブロック図である。図４において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る機器制御装置２００は、人特徴検出部４ａの構成において実施の形態１に係る機器制御装置１００と異なる。
　まず、構成について説明する。図４に示されるように、実施の形態２に係る機器制御装置２００は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４ａと、機器制御部５とを備える。人特徴検出部４ａは、姿勢推定部４１と、身長体重推定部４２と、性別年齢推定部４３と、基礎代謝算出部４４と、体脂肪率推定部４５と、着衣量推定部４６と、体温推定部４７と、人特徴管理部４８とを備える。
　熱画像カメラ１は、被撮影物を撮影し、被撮影物に対応する熱画像Ｄ１を生成して人領域検出部３へ出力する。可視光カメラ２は、被撮影物を撮影し、被撮影物に対応する可視光画像Ｄ２を生成して人領域検出部３へ出力する。人領域検出部３は、熱画像カメラ１から入力された熱画像Ｄ１と可視光カメラ２から入力された可視光画像Ｄ２とに基づき、熱画像Ｄ１における人が占める領域である人領域を検出し、人領域の熱画像Ｄ３４と顔領域の位置を示す情報（顔座標Ｃ３４）と可視光画像Ｄ２の顔画像Ｄ３２とを人特徴検出部４ａへ入力する。
　人領域検出部３から出力された人領域の熱画像Ｄ３４と顔座標Ｃ３４は、人特徴検出部４ａの姿勢推定部４１、身長体重推定部４２、基礎代謝算出部４４、体脂肪率推定部４５、着衣量推定部４６、及び体温推定部４７に入力される。また、人領域検出部３から出力された可視光画像Ｄ２の顔画像Ｄ３２は、人特徴検出部４ａの性別年齢推定部４３に入力される。
　姿勢推定部４１は、人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４に基づいて姿勢を推定し、推定結果である姿勢Ｄ４１を身長体重推定部４２と着衣量推定部４６と体温推定部４７と人特徴管理部４８とへ出力する。身長体重推定部４２は、人領域検出部３から入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１と、性別年齢推定部４３から入力された性別及び年齢Ｄ４３とに基づき、身長と体重とを推定し、身長及び体重Ｄ４２を体脂肪率推定部４５と基礎代謝算出部４４とに出力する。
　性別年齢推定部４３は、可視光画像Ｄ２の顔画像Ｄ３２から性別と年齢を推定し、推定した性別及び年齢Ｄ４３を身長体重推定部４２と基礎代謝算出部４４と人特徴管理部４８とへ出力する。基礎代謝算出部４４は、性別年齢推定部４３から入力された性別及び年齢Ｄ４３と身長体重推定部４２から入力された身長及び体重Ｄ４２とを用いて基礎代謝量Ｄ４４を算出し、算出した基礎代謝量Ｄ４４を人特徴管理部４８へ出力する。
　体脂肪率推定部４５は、身長体重推定部４２から入力された身長及び体重Ｄ４２から体脂肪率Ｄ４５を算出し、体脂肪率Ｄ４５を人特徴管理部４８へ出力する。着衣量推定部４６は、入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１とに基づき、着衣量Ｄ４６を推定し、着衣量Ｄ４６を人特徴管理部４８へ出力する。体温推定部４７は、入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１とに基づき、体温Ｄ４７を推定し、体温Ｄ４７を人特徴管理部４８へ出力する。
　人特徴管理部４８は、姿勢推定部４１から入力された姿勢Ｄ４１と、性別年齢推定部４３から入力された性別及び年齢Ｄ４３と、基礎代謝算出部４４から入力された基礎代謝量Ｄ４４と、体脂肪率推定部４５から入力された体脂肪率Ｄ４５と、着衣量推定部４６から入力された着衣量Ｄ４６と、体温推定部４７から入力された体温Ｄ４７とを人の特徴Ｄ５として、機器制御部５に入力する。機器制御部５は、人特徴検出部４ａから入力された人の特徴Ｄ５に基づき、機器の制御方法を決定し、機器を制御する。
《２－２》動作
　次に、動作について説明する。図５は、実施の形態２における人特徴検出部４ａの動作を示すフローチャートである。以下、人特徴検出部４ａの動作を図５のフローチャートを用いて説明する。なお、実施の形態１の人特徴検出部４と同じ動作については、実施の形態２では説明を省略する。
　人領域の熱画像Ｄ３４と顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２が、人領域検出部３から人特徴検出部４ａの性別年齢推定部４３に入力されると、性別年齢推定部４３は、入力された可視光画像Ｄ２の顔画像Ｄ３２から公知の方法を用いて性別と年齢を推定する（ステップＳ２１）。次に、姿勢推定部４１が人領域の熱画像Ｄ３４と顔座標Ｃ３４とから人の姿勢を推定する（ステップＳ２２）。姿勢推定方法については、後で図６を用いて詳細を説明する。
　そして、身長体重推定部４２が、人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１と性別年齢推定部４３が推定した年齢とを用いて、身長と体重を推定する（ステップＳ２３）。身長及び体重の推定方法の詳細については、後で図７のフローチャートを用いて詳細を説明する。
　続いて、基礎代謝算出部４４が、ステップＳ２１で推定した性別及び年齢Ｄ４３とステップＳ２３で推定した身長及び体重Ｄ４２とを用いて、基礎代謝量Ｄ４４を算出する（ステップＳ２４）。基礎代謝の算出には一般に知られている基礎代謝算出式を用いる。例えば、ハリスベネディクト方程式を用いる。体重（ｋｇ）をＷ、身長（ｃｍ）をＨ、年齢（歳）をＡ、男性の基礎代謝量（ｋｃａｌ）をＭ１、女性の基礎代謝量（ｋｃａｌ）をＭ２とし、基礎代謝量Ｍ１、Ｍ２は、
Ｍ１＝　１３．３９７×Ｗ＋４．７９９９×Ｈ－５．６７７×Ａ＋８８．３６２
Ｍ２＝　９．２４７×Ｗ＋３．０９８　×Ｈ－４．３３　×Ａ＋４４７．５９３
で求められる。
　基礎代謝量は体重だけでなく、身長と年齢と性別にも依存する。先行文献１のように体重しか用いない場合は基礎代謝量を正確に算出できない。例えば、体重が同じ６０ｋｇでも、身長１７５ｃｍ、年齢２０歳、男性の基礎代謝量は１６１８ｋｃａｌであり、身長１５５ｃｍ、年齢６０歳、女性の基礎代謝量は１２２２ｋｃａｌである。この約４００ｋｃａｌの差は、身長と年齢と性別が同じ男性であれば体重が３０ｋｇ異なる人の基礎代謝量の差と同じである。したがって、基礎代謝量の算出には、体重のみならず、身長と年齢と性別も用いる必要がある。
　次に、体脂肪率推定部４５がステップＳ２３で推定した身長及び体重Ｄ４２を用いて、体脂肪率Ｄ４５を算出する（ステップＳ２５）。体脂肪率Ｄ４５の算出にも一般に知られている算出式を用いる。例えば、ＢＭＩの算出式を用いる。次に、着衣量推定部４６が、人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１から着衣量Ｄ４６を推定する（ステップＳ２６）。着衣量推定方法については、後に図８を用いて詳細を説明する。次に、体温推定部４７が人領域の熱画像Ｄ３４と顔座標Ｃ３４と姿勢推定部４１が推定した姿勢Ｄ４１から体温Ｄ４７を推定する（ステップＳ２７）。
　体温推定部４７は、人領域の熱画像Ｄ３４における顔座標Ｃ３４が示す領域のうち、最も高い温度を人の体温と推定する。ただし、体温の推定はこれに限らず、人領域の熱画像Ｄ３４における顔座標Ｃ３４が示す領域の平均温度としてもいい。また、人領域の熱画像と姿勢推定部４１が推定した姿勢Ｄ４１から、人領域のうち人の胴体にあたる領域のうち最も高い温度としてもよい。また、ステップＳ２４からステップＳ２７の処理はいずれの順であっても構わない。最後に、ステップＳ２８において、推定された姿勢Ｄ４１、体温Ｄ４７、着衣量Ｄ４６を動的特徴として、また、体脂肪率Ｄ４５、基礎代謝量Ｄ４４、性別及び年齢Ｄ４３、身長及び体重Ｄ４２を静的特徴として機器制御部５に出力する。
　図６は、姿勢推定部４１の動作を示すための図である。図６を用いて、姿勢推定部４１の動作を説明する。図６は、人領域検出部３から人特徴検出部４ａに入力される人領域の熱画像Ｄ３４の一例を示している。符号ｆ１で示されるのは、人領域を包含する外接四角形であり、符号ｆ２で示される点は外接四角形ｆ１の左上の角部であり、符号ｆ３で示される点は外接四角形ｆ１の右下の角部である。また、符号ｆ４で示されるのは、顔領域を包含する外接四角形であり、符号ｆ５で示される点は外接四角形ｆ４の左上の角部であり、符号ｆ６で示される点は外接四角形ｆ４の右下の角部である。人領域検出部３から、人領域の熱画像Ｄ３４として外接四角形ｆ１の熱画像が、顔座標Ｃ３４として点ｆ５の座標と点ｆ６の座標が、人特徴検出部４ａに入力され、姿勢推定部４１に入力される。
　姿勢推定部４１は、外接四角形ｆ１のアスペクト比を算出する。外接四角形ｆ１のアスペクト比（高さ／幅）が１／２未満であれば、寝姿勢とする。外接四角形ｆ１のアスペクト比が１／２以上、かつ、２未満であれば、座り姿勢とする。外接四角形ｆ１のアスペクト比が２以上であれば、立ち姿勢とする。
　なお、姿勢の判定に用いたアスペクト比の閾値は一例に過ぎず、寝姿勢と座り姿勢の閾値をＬ１とし、座り姿勢と寝姿勢の閾値をＬ２として、Ｌ１＜１＜Ｌ２であれば、Ｌ１とＬ２は他の値でもよい。
　なお、外接四角形ｆ１のアスペクト比から姿勢を求めたあと、点ｆ２の座標と点ｆ３の座標と、点ｆ５の座標と点ｆ６の座標を用いると、人領域における顔の位置が分かり、人の向きを求めることができる。
　図７は、実施の形態２における身長体重推定部４２の動作を示すフローチャートである。以下、図７のフローチャートを用いて、身長体重推定部４２の動作を説明する。身長体重推定部４２には、姿勢推定部４１と同様に、人領域検出部３から人領域の熱画像Ｄ３４と顔座標Ｃ３４が入力される。身長体重推定部４２は、人領域の下端の位置、すなわち、図６の点ｆ３のｙ座標（ただし、画像の横方向をｘ方向とし、画像の縦方向をｙ方向とする）から、入力された人領域の熱画像Ｄ３４の１画素あたりの長さを算出する（ステップＳ３１）。
　身長体重推定部４２は、予め熱画像カメラ１の取得画像における位置と実際の長さとの関係を算出できる式を保持しているものとする。人領域の下端の位置は、人が地面と接地している位置にあたり、熱画像カメラ１の画角と設置位置及び熱画像カメラ１の向きにより、取得画像における縦方向の位置が決まれば、その位置に映る物体までの距離が求まり、その位置での１画素あたり実際の長さが決まる。
　次に、人領域の熱画像Ｄ３４から人の体表温度の画素数を計数する（ステップＳ３２）。そして、ステップＳ３１で求めた１画素あたりの長さに基づき、ステップＳ３２で算出した面積を人の占める面積に換算する（ステップＳ３３）。続いて、姿勢が立ち姿勢又は寝姿勢、もしくは、座り姿勢であるかを判定する（ステップＳ３４）。立ち姿勢又は寝姿勢であれば（ステップＳ３４においてＹＥＳ）、ステップＳ３５に進み、座り姿勢であれば（ステップＳ３４においてＮＯ）、ステップＳ３６に進む。
　ステップＳ３５では、人領域の長辺の長さを算出し、ステップＳ３１で算出した１画素あたりの長さを算出した長辺の長さに乗じた値を身長とする。ステップＳ３６では、人領域の長辺と短辺の長さの和を算出し、ステップＳ３１で算出した１画素あたりの長さを算出した長辺の長さに乗じた値を身長とする。ステップＳ３５及びステップＳ３６で身長を推定したら、ステップＳ３７に進む。
　なお、ステップＳ３６では人領域の長辺と短辺の長さの和から身長を求めているが、これは、人が座った状態で地面と垂直方向に背中を伸ばし、かつ、足を地面と水平方向に伸ばした場合の身長である。より正確に身長を算出するために、人領域に対する人の体表温度の領域の割合を算出し、その割合に応じて身長の推定方法を変更してもよい。人領域に対する人の体表温度の領域の割合が大きい程、膝を曲げたり、背中を丸めたりしている状態である。例えば、人領域の長辺の長さ（画素）をＬ、短辺の長さ（画素）をＳ、人領域に対する人の体表温度の領域の割合をＲ、身長をＨ（ｃｍ）、１画素あたりの長さ（ｃｍ）をｐとして、
０＜Ｒ＜０．４のとき、　　　　Ｈ＝（Ｌ＋Ｓ）×ｐ
０．４≦Ｒ＜０．７のとき、　　Ｈ＝（Ｌ＋Ｓ×√２）×ｐ
０．７≦Ｒ＜１のとき、　　　　Ｈ＝（Ｌ＋Ｓ×２）×ｐ
としてもよい。
　なお、身長の推定方法はこれらに限らず、次の方法を用いても良い。まず人領域の重心を算出する。人領域のうち、重心から画像の上下左右の４方向について、それぞれ最も遠い点を求め、そのうち重心からの距離が遠い２点と重心との各距離の和を身長とする。
　ステップＳ３７では、ステップＳ３３で求めた面積とステップＳ３５及びステップＳ３６で推定した身長から体重を推定する。まず人の体積を算出する。例えば、断面積がステップＳ３３で求めた面積であり、かつ、長軸が推定身長である楕円体として体積を算出する。人の比重が１であることを利用して、体積から体重を求める。
　なお、１方向から撮影された可視光画像１枚ではなく、異なる２方向から撮影された可視光画像２枚を用いると、楕円体ではなくより正確に人の形状を求めることが可能になり、体重をより正しく推定することができる。
　そして、性別年齢推定部４３が推定した年齢を用いて、ステップＳ３７までに推定した身長及び体重が妥当かどうかを確認する（ステップＳ３８）。この確認には、年齢における標準身長と標準体重を用いる。推定された身長が標準身長よりもＮ１割、すなわち、（Ｎ１×１００）％以上高い、もしくは、Ｎ１割以上低いか否かを判定するとともに、推定された体重が標準体重よりもＮ２割以上重い、もしくは、Ｎ２割以上軽いか否かを判定する。Ｎ１とＮ２の値は、例えば、Ｎ１＝２、Ｎ２＝５とする。ただし、これに限らない。Ｎ１及びＮ２の値を年齢によって変更してもよい。
　推定された身長が標準身長よりもＮ１割以上高い、もしくは、Ｎ１割以上低い、かつ、推定された体重が標準体重よりもＮ２割以上重い、もしくは、Ｎ２割以上軽い場合（ステップＳ３８においてＹＥＳ）、推定された身長及び体重は妥当ではないと判断し、身長体重推定部４２の推定結果は、身長を年齢の標準身長とし、体重を年齢の標準体重とする（ステップＳ３９）。体の一部が物体に隠れて熱画像Ｄ１に映っていない場合などが、推定身長ならびに推定体重が年齢の標準身長ならびに標準体重と大きくずれが生じる。
　ステップＳ３８の判定で条件に該当しない場合（ステップＳ３８においてＮＯ）、ステップＳ４０に進む。またステップＳ３９のあと、ステップＳ４０に進む。ステップＳ４０では、身長体重推定部４２は、推定した身長及び体重を、基礎代謝算出部４４及び体脂肪率推定部４５へ出力する。
　なお、可視光画像Ｄ２から顔が検出されなかったが、熱画像Ｄ１から人であると判断された人領域については、性別年齢推定部４３から身長体重推定部４２に年齢が入力されないため、ステップＳ３８及びステップＳ３９の処理ができない。この場合は熱画像Ｄ１から推定した身長及び体重Ｄ４２を推定結果とする。
　図８（ａ）から（ｃ）を用いて、着衣量推定部４６の動作を説明する。図８（ａ）は立ち姿勢の人領域の熱画像Ｄ３４の一例を示し、図８（ｂ）は座り姿勢の人領域の熱画像Ｄ３４の一例を示し、図８（ｃ）は寝姿勢の人領域の熱画像Ｄ３４の一例を示している。図中の領域ｇ１は頭の領域を示し、領域ｇ２は胴体の領域を示し、領域ｇ３は足の領域を示し、領域ｇ４は胴体及び足の領域を示す。各姿勢における領域ｇ１，ｇ２，ｇ３，ｇ４は、人領域における顔領域の位置より決定する。なお、図中のハッチングは被撮影物の温度を表し、温度が高いほどハッチングが薄く、温度が低いほどハッチングが濃く表現している。
　立ち姿勢及び座り姿勢の場合、頭の領域の下端を、頭と胴体との境界とする。寝姿勢の場合、頭の領域の右端ないし左端のうち、人領域がある側を体と胴体との境界とする。胴体と足との境界は、座り姿勢の場合、明確ではないため、人領域は頭の領域ｇ１と胴体及び足の領域ｇ４に分割する。立ち姿勢及び寝姿勢の場合、頭と胴体との境界から人領域の終端までを２等分する位置を胴体と足との境界とし、このようにして人領域を頭の領域ｇ１と胴体の領域ｇ２と足の領域ｇ３とに分割する。
　着衣量推定部４６は、分割した人領域の領域（領域ｇ１，ｇ２，ｇ３，ｇ４）毎に着衣量を推定する。一般的に、身にまとう衣類の量が多い程、熱画像Ｄ１で取得される温度は下がる。人の体表温度は２８℃から３７℃である。半袖及び短パンなど、肌が露出している場合、熱画像Ｄ１の温度は人の体表温度そのものである。薄着の場合は体温が衣類の表面まで伝わり、体表温度より少し下がる。厚着をしている場合、体温は衣類の表面まで伝わりにくく、体表温度との差は大きい。ただし、周辺気温と同じになる程ではない。
　着衣量は、胴体の領域ｇ２と足の領域ｇ３と胴体及び足の領域ｇ４のそれぞれについて、熱画像Ｄ１の分布によって推定する。各領域において何度の領域が何パーセントを占めるかにより、衣類の厚さと形状を推定する。例えば、衣類の形状は、胴体の領域の場合は半袖もしくは長袖とし、足の領域の場合は短パンもしくは長ズボンとする。３０度に近い温度の領域の割合が大きいほど、肌が露出していると判断して、胴体の領域の場合は半袖とし、足の領域の場合は短パンとする。割合は例えば２０％とする。また、衣類の厚さは、温度が低い程分厚いとする。例えば、２８度のときは薄手、２５度のときは少し厚め、２２度のときは非常に厚手であるとする。
　最後に人特徴管理部４８は、各人領域の熱画像Ｄ３４ごとに姿勢推定部４１、身長体重推定部４２、性別年齢推定部４３、基礎代謝算出部４４、体脂肪率推定部４５、着衣量推定部４６、体温推定部４７で推定した人の特徴に関する数値Ｄ５を、機器制御部５へ出力する。
　本実施の形態では、可視光カメラ２から入力された可視光画像Ｄ２を用いて、熱画像Ｄ１における人が占める領域である人領域を検出していたが、可視光画像Ｄ２を用いずに人領域を検出することもできる。図９は、実施の形態２に係る機器制御装置２００の構成を示すブロック図の他の例である。人認識情報Ｃ３１を外部から人領域検出部３ａへ入力する。人認識情報Ｃ３１は、熱画像カメラ１の撮影対象エリアにおいて人が存在できる場所、人が存在しそうな場所等の情報である。人認識情報Ｃ３１を人領域検出部３ａに予め登録しておいてもよい。人領域検出部３ａでは、図１に示した人領域検出部３の機能のうち、顔検出部３２と顔座標変換部３３が無く、人認識情報Ｃ３１が人領域抽出部３４に入力される。また、人領域抽出部３４において、人の顔座標Ｃ３４が算出される。
　人領域検出部３ａの人領域抽出部３４において、体温領域検出部３１で検出された顔候補領域Ｄ３１ａおよび人候補領域Ｄ３１ｂと人認識情報Ｃ３１とを照らし合わせて、人候補領域Ｄ３１ｂに存在する物体が人であるかどうかを判断する。人領域抽出部３４は、人であると判断した候補を対象として顔候補領域Ｄ３１ａおよび人候補領域Ｄ３１ｂから顔座標Ｃ３４、人領域の熱画像Ｄ３４を算出し、人特徴検出部４へ出力する。
　また、本実施の形態では、可視光画像Ｄ２の顔画像Ｄ３２から性別と年齢を推定しているが、可視光画像Ｄ２を用いずに外部から性別及び年齢Ｄ４３を人特徴検出部４ａに入力してもよい。性別及び年齢Ｄ４３を予め人特徴検出部４ａに登録しておいても良い。また、制御対象となる機器のリモコンから入力しても良い。入力された性別及び年齢Ｄ４３を身長体重推定部４２と基礎代謝算出部４４と人特徴管理部４８とへ入力する。
　身長体重推定部４２は、人領域検出部３ａから入力された人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と、姿勢推定部４１から入力された姿勢Ｄ４１と、性別及び年齢Ｄ４３とに基づき、身長と体重とを推定し、身長及び体重Ｄ４２を体脂肪率推定部４５と基礎代謝算出部４４とに出力する。基礎代謝算出部４４は、性別及び年齢Ｄ４３と身長体重推定部４２から入力された身長及び体重Ｄ４２とを用いて基礎代謝量Ｄ４４を算出し、算出した基礎代謝量Ｄ４４を人特徴管理部４８へ出力する。
　人特徴管理部４８は、姿勢推定部４１から入力された姿勢Ｄ４１と、性別及び年齢Ｄ４３と、基礎代謝算出部４４から入力された基礎代謝量Ｄ４４と、体脂肪率推定部４５から入力された体脂肪率Ｄ４５と、着衣量推定部４６から入力された着衣量Ｄ４６と、体温推定部４７から入力された体温Ｄ４７とを人の特徴Ｄ５として、機器制御部５に入力する。機器制御部５は、人特徴検出部４ａから入力された人の特徴Ｄ５に基づき、機器の制御方法を決定し、機器を制御する。
《２－３》効果
　実施の形態２に係る機器制御装置２００によれば、実施の形態１に係る機器制御装置１００により得られる効果に加えて以下の効果が得られる。すなわち、立ち姿勢か座り姿勢か寝姿勢かといった姿勢Ｄ４１を推定するため、人の姿勢に合わせた機器制御ができるという効果が得られる。
　実施の形態２に係る機器制御装置２００によれば、性別及び年齢Ｄ４３と基礎代謝量Ｄ４４を算出するため、基礎代謝量Ｄ４４からその人の暑がり及び寒がりの傾向、暑さ及び寒さへの耐性といった体質が分かり、性別と年齢と体質に合わせた機器制御ができるという効果が得られる。
　実施の形態２に係る機器制御装置２００によれば、着衣量Ｄ４６と体脂肪率Ｄ４５を推定するため、人の保温耐性が分かり、特に空調制御において使用者に快適な機器制御ができるという効果が得られる。
　実施の形態２に係る機器制御装置２００によれば、体温Ｄ４７を推定するため、人の体調が推測でき、体調に合わせた機器制御ができるという効果が得られる。
　実施の形態２に係る機器制御装置２００によれば、人の特徴Ｄ５に基づき機器制御方法を決定するため、使用者に快適な機器制御ができるという効果が得られる。
《３》実施の形態３
《３－１》構成
　図１０は、本発明の実施の形態３に係る機器制御装置３００の構成を示すブロック図である。図１０において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態３に係る機器制御装置３００は、機器制御部５ａが過去の制御履歴を参照する点、及び、人の特徴から機器制御方法を決定する処理を機器内部で行わず、クラウド８（クラウドサーバ）で実行する点において実施の形態１に係る機器制御装置１００と異なる。
　まず、構成について説明する。図１０に示されるように、実施の形態３に係る機器制御装置３００は、第１の機器１０と、他の機器としての第２の機器１１と、ネットワーク７と、クラウド８とを備える。第１の機器１０は、熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４と、第１の機器制御部としての機器制御部５ａと、第１の通信部としての通信部６を備える。第２の機器１１は、第２の機器制御部としての機器制御部１２と、第２の通信部としての通信部１３とを備える。
　第１の機器１０の熱画像カメラ１は、熱画像Ｄ１を生成して第１の機器１０の人領域検出部３へ出力する。第１の機器１０の可視光カメラ２は、可視光画像Ｄ２を生成して第１の機器１０の人領域検出部３へ出力する。第１の機器１０の人領域検出部３は、第１の機器１０の熱画像カメラ１から入力された熱画像Ｄ１と第１の機器１０の可視光カメラ２から入力された可視光画像Ｄ２とに基づき、人を検出し、人領域の熱画像Ｄ３４と熱画像における顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２とを第１の機器１０の人特徴検出部４へ出力する。
　第１の機器１０の人特徴検出部４は、第１の機器１０の人領域検出部３から入力された人領域の熱画像Ｄ３４と顔座標Ｃ３４と可視光画像Ｄ２の顔画像Ｄ３２とから人の特徴を検出し、人の特徴の値を第１の機器１０の機器制御部５ａへ出力する。第１の機器１０の機器制御部５ａは、第１の機器１０の人特徴検出部４から入力された人の特徴と通信部６から入力される人の特徴に対する機器制御方法と第１の機器１０の機器制御部５ａの内部に蓄積した過去の制御履歴のいずれか１つないし複数に基づき、第１の機器１０の制御方法と他の機器の制御方法とを決定し、人の特徴と他の機器の制御方法を第１の機器１０の通信部６へ出力する。
　第１の機器１０の通信部６は、第１の機器１０の機器制御部５ａから入力された人の特徴を、ネットワーク７を介してクラウド８へ送信し、クラウド８からクラウド８が算出した機器制御方法を受信し、機器制御方法を第１の機器１０の機器制御部５ａへ出力する。また、第１の機器１０の通信部６は、第１の機器１０の機器制御部５ａから入力された他の機器の制御方法のうち第２の機器１１の制御方法と第１の機器１０の機器制御部５ａから入力された人の特徴とを、ネットワーク７を介して第２の機器１１の通信部１３へ送信し、第２の機器１１の通信部１３から第２の機器１１が実際に行った機器制御方法を受信して、機器制御方法を第１の機器１０の機器制御部５ａへ出力する。
　クラウド８は第１の機器１０の通信部６から受信した人の特徴に基づき、その特徴の値に最適な機器制御方法を算出し、ネットワーク７を介して最適な機器制御方法を第１の機器１０の通信部６へ送信する。第２の機器１１の通信部１３は、第１の機器１０の通信部６から受信した人の特徴と第２の機器１１の制御方法とを第２の機器１１の機器制御部１２へ出力し、第２の機器１１の機器制御部１２から第２の機器１１が実際に行った機器制御方法が入力され、第２の機器１１が実際に行った機器制御方法をネットワーク７を介して第１の機器１０の通信部６に送信する。第２の機器１１の機器制御部１２は、第２の機器１１の通信部１３から人の特徴と第２の機器１１の機器制御方法が入力され、第２の機器１１の機器制御方法を用いて、機器制御方法を決定し、実際に行った機器制御方法を第２の機器１１の通信部１３へ出力する。
《３－２》動作
　次に、動作について説明する。本実施の形態における構成要素のうち、第１の機器１０の熱画像カメラ１と、第１の機器１０の可視光カメラ２と、第１の機器１０の人領域検出部３と、第１の機器１０の人特徴検出部４とは、実施の形態１における構成要素である熱画像カメラ１と、可視光カメラ２と、人領域検出部３と、人特徴検出部４とそれぞれ同様の動作をするため、実施の形態３では説明を省略する。
　第１の機器１０の機器制御部５ａは、第１の機器１０の人特徴検出部４から入力された人の特徴に合わせた機器制御方法を決定する。その際、人の特徴（１つ、もしくは、複数の組合せ）に対する機器の最適とされる制御方法を計算する。例えば、基礎代謝量という特徴に対して、基礎代謝が所定の値以上の人は暑がりであるとし、基礎代謝が所定の値未満の人は寒がりであるとして、空調機器を暑がりの人には冷房時に冷風が直接あたるように風向を制御し、寒がりの人には暖房時に温風が直接あたるように風向を制御する。例えば、被撮影物である人が、１０歳未満の子供であるという特徴に対して、テレビの音量を所定値以下及び表示輝度を所定値に下げる。また、例えば、６０歳以上の男性という特徴に対して、テレビの音量を所定値以上にする。また、例えば、室内に乳幼児だけがいる場合、洗濯機の扉、ドア、及び窓をロックする。なお、計算する制御方法は特徴に関連する制御ができる機器に限定する。
　また、第１の機器１０の機器制御部５ａは、クラウド８で計算され、通信部６から入力された機器制御方法を採用してもよい。また、第１の機器１０の機器制御部５ａは、第１の機器１０の機器制御部５ａの内部（蓄積部）に蓄積した過去の制御履歴（人の特徴と機器制御方法の履歴）を参照し、人の特徴が同じである機器制御方法のうち最も頻度の高い機器制御方法を採用してもよい。
　また、第１の機器１０の機器制御部５ａが決定した機器制御方法は、第１の機器１０の制御方法に限らず、他の機器（例えば、第２の機器１１）の制御方法を決定してもよい。第１の機器１０の機器制御部５ａが他の機器、例えば第２の機器１１の制御方法も決定する場合は、第１の機器１０の通信部６から第２の機器１１の通信部１３にその制御方法ならびに制御方法の基準となった人の特徴を送信し、第２の機器１１の機器制御部１２は第２の機器１１の通信部１３から人の特徴と第２の機器１１の制御方法を受け取り、その制御方法で第２の機器１１の制御を行う。
《３－３》効果
　実施の形態３に係る機器制御装置３００によれば、実施の形態１に係る機器制御装置１００により得られる効果に加えて以下の効果が得られる。すなわち、人の特徴から機器制御方法を決定する処理を、機器内部で行わず、クラウド８で実行するため、最新の知見を用いた人の特徴に基づく機器制御方法を決定でき、より快適な機器制御が可能となる効果が得られる。
　実施の形態３に係る機器制御装置３００によれば、人の特徴から機器制御方法を決定する際に、過去の制御履歴を参照するため、より使用者の嗜好に合わせた機器制御が可能となる効果が得られる。
　実施の形態３に係る機器制御装置３００によれば、熱画像カメラと可視光カメラを備えない機器であっても、他の機器に備えられた熱画像カメラと可視光カメラから得られた人の特徴に基づいた機器制御方法を受信することで制御が可能となる効果が得られる。
《４》変形例
　図１１は、上記実施の形態１から３に係る機器制御装置の変形例の構成を示すハードウェア構成図である。図１に示される機器制御装置の人領域検出部３、人特徴検出部４、及び機器制御部５は、半導体集積回路によって構成することが可能であるが、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現してもよい。なお、図１に示される機器制御装置の人領域検出部３、人特徴検出部４、及び機器制御部５の一部を、図１１に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。
　また、上記実施の形態１から３においては、機器制御装置が熱画像カメラ１と可視光カメラ２とを含む場合を説明したが、既存の熱画像カメラと既存の可視光カメラとから熱画像データと可視光画像データとを取得可能な場合には、機器制御装置は、熱画像カメラ１と可視光カメラ２とを含まないことができる。既存の設備を利用する場合には、コスト削減が可能になる。
　また、上記実施の形態１から３においては、機器制御装置が１台の熱画像カメラと１台の可視光カメラ２とから熱画像データと可視光画像データとを取得する場合を説明したが、熱画像カメラの台数は２台以上であってもよく、また、可視光カメラ２の台数は２台以上であってもよい。複数台のカメラを使用することで、検知精度が向上する。
　１　熱画像カメラ、　２　可視光カメラ、　３　人領域検出部、　４　人特徴検出部、　５　機器制御部、　５ａ　第１の機器の機器制御部、　６　第１の機器の通信部、　７　ネットワーク、　８　クラウド、　１０　第１の機器、　１１　第２の機器、　１２　第２の機器の機器制御部、　１３　第２の機器の通信部、　３１　体温領域検出部、　３２　顔検出部、　３３　顔座標変換部、　３４　人領域抽出部、　４１　姿勢推定部、　４２　身長体重推定部、　４３　性別年齢推定部、　４４　基礎代謝算出部、　４５　体脂肪率推定部、　４６　着衣量推定部、　４７　体温推定部、　４８　人特徴管理部、　１００，２００，３００　機器制御装置。

Claims (13)

  1. 　被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出部と、
    　前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出部と、
    　前記人特徴検出部により検出された前記人の基礎代謝に基づいて機器を制御する第１の機器制御部と、
    　を備える機器制御装置。
  2. 　前記被撮影物を撮影して、前記被撮影物に対応する前記熱画像を生成する熱画像カメラと、
    　前記被撮影物を撮影して、前記被撮影物に対応する可視光画像を生成する可視光カメラと、
    　をさらに備え、
    　前記人領域検出部は、前記可視光画像から検出された人の体における所定部位の領域と前記熱画像とに基づき前記人領域を検出する
    　ことを特徴とする請求項１に記載の機器制御装置。
  3. 　前記人領域検出部は、
    　前記熱画像における温度分布から人の領域の候補である人候補領域と人の体における所定部位の領域の候補である所定部位候補領域とを検出する体温領域検出部と、
    　前記可視光画像における前記所定部位の領域の位置を示す座標を検出する所定部位検出部と、
    　前記座標を、前記熱画像における前記所定部位の領域の位置を示す所定部位座標に変換する所定部位座標変換部と、
    　前記人候補領域と前記所定部位候補領域と前記所定部位座標とに基づき、前記人領域を抽出する人領域抽出部と、
    　を有することを特徴とする請求項２に記載の機器制御装置。
  4. 　前記所定部位は、顔であることを特徴とする請求項２又は３に記載の機器制御装置。
  5. 　前記人特徴検出部は、
    　前記人領域におけるアスペクト比から前記人領域を占める人の姿勢を推定する姿勢推定部を有すること
    　を特徴とする請求項３に記載の機器制御装置。
  6. 　前記人特徴検出部は、
    　前記可視光画像から、前記人領域を占める人の性別及び年齢を推定する性別年齢推定部と、
    　前記人領域と、前記所定部位座標と、前記姿勢推定部が推定した前記姿勢と、前記性別年齢推定部から入力された前記性別及び年齢から、前記人領域を占める人の身長及び体重を推定する身長体重推定部と、を更に備え、
    　前記性別年齢推定部が推定した前記性別及び年齢と、前記身長体重推定部が推定した前記身長及び体重とから、前記人領域を占める前記人の基礎代謝を算出すること
    　を特徴とする請求項５に記載の機器制御装置。
  7. 　前記人特徴検出部は、
    　前記人領域及び前記所定部位座標から、前記人領域を占める人の着衣量を推定する着衣量推定部と、
    　前記身長体重推定部が推定した前記身長及び体重から、前記人領域を占める人の体脂肪率を推定する体脂肪率推定部とを更に有すること
    　を特徴とする請求項６に記載の機器制御装置。
  8. 　前記人特徴検出部は、
    　前記人領域及び前記所定部位座標から、前記人領域を占める人の体温を推定する体温推定部を更に有すること
    　を特徴とする請求項５又は６に記載の機器制御装置。
  9. 　前記人特徴検出部は、
    　人の性別及び年齢と、人の身長及び体重とから、前記人の基礎代謝を算出すること
    　を特徴とする請求項１から５のいずれか１項に記載の機器制御装置。
  10. 　前記第１の機器制御部は、過去に行った制御及び制御時の人の特徴を制御履歴として蓄積して記録する蓄積部を更に備え、
    　前記第１の機器制御部は、機器の制御方法を決定する際に前記制御履歴を用いること
    　を特徴とする請求項１から９のいずれか１項に記載の機器制御装置。
  11. 　前記人の特徴を、ネットワークを介してクラウドサーバに送信し、前記クラウドサーバが算出した機器制御方法を受信し、受信した前記機器制御方法を前記第１の機器制御部に出力する第１の通信部を更に備え、
    　前記第１の機器制御部は、前記第１の通信部から入力された前記機器制御方法に従って機器を制御すること
    　を特徴とする請求項１から１０のいずれか１項に記載の機器制御装置。
  12. 　前記第１の通信部は、前記ネットワークを介して、前記ネットワークに接続された他の機器の第２の通信部に、前記第１の機器制御部が算出した前記機器制御方法を送信し、
    　前記他の機器の第２の機器制御部は、前記第２の通信部が受信した前記機器制御方法に基づき、機器を制御すること
    　を特徴とする請求項１１に記載の機器制御装置。
  13. 　被撮影物に対応する熱画像が入力され、前記熱画像において人が占める領域である人領域を検出する人領域検出ステップと、
    　前記熱画像における前記人領域の熱画像部分から人の基礎代謝を算出する人特徴検出ステップと、
    　前記人特徴検出ステップにより検出された前記人の基礎代謝に基づいて機器を制御する機器制御ステップと、
    　を備えた機器制御方法。
PCT/JP2017/020000 2016-06-03 2017-05-30 機器制御装置及び機器制御方法 WO2017209089A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/091,806 US10982871B2 (en) 2016-06-03 2017-05-30 Equipment control device and method, utilizing basal metabolism data calculated from estimated characteristics of a person based on detected visible light image data and corresponding thermal image data
CN201780032995.1A CN109196516B (zh) 2016-06-03 2017-05-30 设备控制装置和设备控制方法
DE112017002805.1T DE112017002805T5 (de) 2016-06-03 2017-05-30 Ausrüstungssteuerungseinrichtung und Ausrüstungssteuerungsverfahren
JP2017553447A JP6333486B2 (ja) 2016-06-03 2017-05-30 機器制御装置及び機器制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016111529 2016-06-03
JP2016-111529 2016-06-03

Publications (1)

Publication Number Publication Date
WO2017209089A1 true WO2017209089A1 (ja) 2017-12-07

Family

ID=60478509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020000 WO2017209089A1 (ja) 2016-06-03 2017-05-30 機器制御装置及び機器制御方法

Country Status (5)

Country Link
US (1) US10982871B2 (ja)
JP (1) JP6333486B2 (ja)
CN (1) CN109196516B (ja)
DE (1) DE112017002805T5 (ja)
WO (1) WO2017209089A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084777A1 (ja) * 2018-10-26 2020-04-30 三菱電機株式会社 推定装置、空調システム及び推定方法
JP2021089082A (ja) * 2019-12-02 2021-06-10 シャープ株式会社 空気調和システム、サーバ、および空気調和機
JP2022046326A (ja) * 2020-09-10 2022-03-23 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2022070301A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
JP2022081282A (ja) * 2020-11-19 2022-05-31 ソフトバンク株式会社 情報処理装置、情報処理プログラム及び情報処理システム
WO2022176411A1 (ja) * 2021-02-17 2022-08-25 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、空調システム、温冷感推定方法及びプログラム
WO2022190590A1 (ja) * 2021-03-11 2022-09-15 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、チャイルドシート、温冷感推定方法及びプログラム
US11521422B2 (en) 2020-03-10 2022-12-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for detecting body temperature, electronic apparatus and storage medium
WO2023068106A1 (ja) * 2021-10-21 2023-04-27 パナソニックＩｐマネジメント株式会社 人体領域検知システム、人体領域検知方法およびプログラム
JP7448762B2 (ja) 2020-06-17 2024-03-13 株式会社ネツミル 温度監視システム、温度監視制御装置、温度監視端末装置、温度監視方法、及び温度監視プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627680B2 (ja) * 2016-07-27 2020-01-08 株式会社Ｊｖｃケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
US11836984B2 (en) * 2018-06-29 2023-12-05 Logistics and Supply Chain MultiTech R&D Centre Limited Electronic device and method for counting objects
US20200372743A1 (en) * 2019-05-20 2020-11-26 Popid, Inc. Face based door entry
JP7150190B2 (ja) * 2019-10-31 2022-10-07 三菱電機株式会社 空気調和機
WO2021184071A1 (en) * 2020-03-17 2021-09-23 Elenium Automation Pty Ltd "self-service station having thermal imaging camera"
US20230081256A1 (en) * 2020-03-25 2023-03-16 Nec Corporation Video display system and video display method
US20210344852A1 (en) * 2020-05-04 2021-11-04 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging
CN111784894B (zh) * 2020-06-02 2022-05-10 广州跨行网络科技有限公司 一种门禁数据处理方法和装置及介质
CN111914761A (zh) * 2020-08-04 2020-11-10 南京华图信息技术有限公司 一种热红外人脸识别的方法及系统
TW202207867A (zh) * 2020-08-24 2022-03-01 禾企電子股份有限公司 體溫異常個體快篩系統
KR102494633B1 (ko) * 2020-11-27 2023-02-07 (주)메쉬 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기
US20220327838A1 (en) * 2021-04-08 2022-10-13 Universal City Studios Llc Guest measurement systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05149725A (ja) * 1991-11-29 1993-06-15 Matsushita Electric Ind Co Ltd 姿勢判別装置とその応用機器
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
JP2015017728A (ja) * 2013-07-10 2015-01-29 日立アプライアンス株式会社 空気調和機
JP2015078802A (ja) * 2013-10-18 2015-04-23 日立アプライアンス株式会社 空気調和機の室内機及び空気調和機

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5155539A (ja) 1974-11-08 1976-05-15 Ichikoh Industries Ltd Koshikyotoritsukesochi
JPH05155539A (ja) 1991-12-09 1993-06-22 Matsushita Electric Ind Co Ltd エレベータの運転制御装置
JPH07103544A (ja) 1993-10-07 1995-04-18 Sharp Corp 空気調和機
JPH083544A (ja) 1994-06-20 1996-01-09 Nippon Telegr & Teleph Corp <Ntt> はっ水性処理剤および表面はっ水性処理部材
JP2952208B2 (ja) 1997-03-18 1999-09-20 株式会社エイ・ティ・アール知能映像通信研究所 人体姿勢の推定方法
JP2001005973A (ja) 1999-04-20 2001-01-12 Atr Media Integration & Communications Res Lab カラー画像による人物の３次元姿勢推定方法および装置
CA2517869C (en) * 2003-02-26 2013-09-10 Marcio Marc Aurelio Martins Abreu Apparatus and method for measuring biologic parameters
US7138905B2 (en) * 2004-11-18 2006-11-21 Honeywell International Inc. Controlled environment thermal image detection system and methods regarding same
US7457441B2 (en) * 2005-02-25 2008-11-25 Aptina Imaging Corporation System and method for detecting thermal anomalies
US20090204008A1 (en) * 2008-02-08 2009-08-13 Daniel Beilin Whole body infrared thermography systems and methods
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
JP5111445B2 (ja) * 2008-09-10 2013-01-09 三菱電機株式会社 空気調和機
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
EP2271073B1 (en) * 2009-07-01 2018-03-07 Fluke Corporation Thermography methods
JP2011203952A (ja) 2010-03-25 2011-10-13 Hitachi Solutions Ltd 自動販売機
US9031706B2 (en) * 2010-07-28 2015-05-12 Lg Electronics Inc. Air conditioner and method for controlling the same
JP5489915B2 (ja) 2010-08-19 2014-05-14 三菱電機株式会社 空気調和機
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
JP2012173118A (ja) * 2011-02-21 2012-09-10 Fujitsu Ltd 温度計測システムおよび温度計測方法
JP5851105B2 (ja) 2011-03-15 2016-02-03 株式会社東芝 エネルギー需要予測装置及びプログラム
US9633320B2 (en) 2011-03-15 2017-04-25 Kabushiki Kaisha Toshiba Energy demand prediction apparatus and method
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
DE102011077522A1 (de) * 2011-06-15 2012-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung der thermischen Behaglichkeit
KR101247497B1 (ko) * 2012-02-29 2013-03-27 주식회사 슈프리마 환경 적응형 얼굴 인식장치 및 그 방법
US9292250B2 (en) * 2012-09-27 2016-03-22 Intel Corporation Devices, methods, and systems for providing interactivity with digital signs
JP6348763B2 (ja) * 2014-04-18 2018-06-27 日立ジョンソンコントロールズ空調株式会社 空気調和機
KR20150131591A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 공기조화기 및 그 제어 방법
CN104279705B (zh) * 2014-10-08 2017-07-04 广东美的制冷设备有限公司 空调控制方法、系统及空调设备
CN104279706B (zh) * 2014-10-08 2017-03-22 广东美的制冷设备有限公司 基于图像识别的空调控制方法、系统及空调设备
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP2016164525A (ja) * 2015-03-06 2016-09-08 セイコーエプソン株式会社 温度測定装置及び温度測定方法
US10235690B2 (en) * 2015-03-11 2019-03-19 Admobilize Llc. Method and system for dynamically adjusting displayed content based on analysis of viewer attributes
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
WO2016201384A2 (en) * 2015-06-12 2016-12-15 University Of Maryland, College Park Comfort units and systems, methods, and devices for use thereof
FR3039461B1 (fr) * 2015-07-30 2018-12-07 Valeo Systemes Thermiques Systeme de commande pour installation de conditionnement d'air d'un vehicule automobile
CN105202718B (zh) * 2015-10-30 2018-02-06 广东美的制冷设备有限公司 一种基于基础代谢率的空调控制方法、系统及空调
CN105180385A (zh) * 2015-10-30 2015-12-23 广东美的制冷设备有限公司 一种基于脸部特征进行空调控制的方法、系统及空调
US9644857B1 (en) * 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
US20170156594A1 (en) * 2015-12-07 2017-06-08 Bodymedia, Inc. Systems, methods, and devices to determine and predict physilogical states of individuals and to administer therapy, reports, notifications, and the like therefor
US20170211838A1 (en) * 2016-01-21 2017-07-27 Vivint, Inc. Image based hvac
US10372990B2 (en) * 2016-03-18 2019-08-06 International Business Machines Corporation System and method for identification of personal thermal comfort
US20170330044A1 (en) * 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05149725A (ja) * 1991-11-29 1993-06-15 Matsushita Electric Ind Co Ltd 姿勢判別装置とその応用機器
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP2010136223A (ja) * 2008-12-05 2010-06-17 Sony Corp 撮像装置及び撮像方法
JP2015017728A (ja) * 2013-07-10 2015-01-29 日立アプライアンス株式会社 空気調和機
JP2015078802A (ja) * 2013-10-18 2015-04-23 日立アプライアンス株式会社 空気調和機の室内機及び空気調和機

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020084777A1 (ja) * 2018-10-26 2021-03-18 三菱電機株式会社 推定装置、空調システム及び推定方法
WO2020084777A1 (ja) * 2018-10-26 2020-04-30 三菱電機株式会社 推定装置、空調システム及び推定方法
JP2021089082A (ja) * 2019-12-02 2021-06-10 シャープ株式会社 空気調和システム、サーバ、および空気調和機
US11521422B2 (en) 2020-03-10 2022-12-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for detecting body temperature, electronic apparatus and storage medium
JP7448762B2 (ja) 2020-06-17 2024-03-13 株式会社ネツミル 温度監視システム、温度監視制御装置、温度監視端末装置、温度監視方法、及び温度監視プログラム
JP2022046326A (ja) * 2020-09-10 2022-03-23 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7311474B2 (ja) 2020-09-10 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2022070301A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
JP7533599B2 (ja) 2020-09-30 2024-08-14 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
JP7311478B2 (ja) 2020-11-19 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理プログラム及び情報処理システム
JP2022081282A (ja) * 2020-11-19 2022-05-31 ソフトバンク株式会社 情報処理装置、情報処理プログラム及び情報処理システム
WO2022176411A1 (ja) * 2021-02-17 2022-08-25 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、空調システム、温冷感推定方法及びプログラム
JP7511196B2 (ja) 2021-02-17 2024-07-05 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、空調システム、温冷感推定方法及びプログラム
WO2022190590A1 (ja) * 2021-03-11 2022-09-15 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、チャイルドシート、温冷感推定方法及びプログラム
WO2023068106A1 (ja) * 2021-10-21 2023-04-27 パナソニックＩｐマネジメント株式会社 人体領域検知システム、人体領域検知方法およびプログラム

Also Published As

Publication number Publication date
CN109196516A (zh) 2019-01-11
JPWO2017209089A1 (ja) 2018-06-21
JP6333486B2 (ja) 2018-05-30
DE112017002805T5 (de) 2019-02-28
CN109196516B (zh) 2022-04-19
US10982871B2 (en) 2021-04-20
US20190162439A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
JP6333486B2 (ja) 機器制御装置及び機器制御方法
EP3680568B1 (en) Air-conditioning control device
JP6050543B2 (ja) 空気調和機及び熱画像センサシステム
JP6505514B2 (ja) 空気調和機、センサシステムおよびその温冷感推定方法
US9464819B2 (en) Air conditioning control system and air conditioning control method
JP2013114595A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020239251A1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
JP6425821B2 (ja) 空気調和機
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112639365A (zh) 换气控制装置以及换气系统
US11200689B1 (en) Detailed 3D estimation from a single image
JP2004078297A (ja) 情報処理装置、情報処理方法及び環境制御装置
JP2019105924A (ja) 着用物データベース管理システム及び着用物情報提供システム
CN112923537A (zh) 空调控制方法、空调及计算机可读存储介质
CN109685042A (zh) 一种三维图像识别装置及其识别方法
CN114375177A (zh) 身体测量装置及其控制方法
KR102466408B1 (ko) 스타일링 장치 및 이의 구동 방법
JP5411092B2 (ja) 携帯端末を用いたファッションチェックシステム
JP7259313B2 (ja) 属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体
JP2017108259A (ja) 機器制御システム、及び、機器制御方法
WO2023088058A1 (zh) 用于控制空调的方法及装置、空调、存储介质
JP7311478B2 (ja) 情報処理装置、情報処理プログラム及び情報処理システム
JP2020064496A (ja) 情報処理システムおよびプログラム
CN106052034B (zh) 一种基于脸部特征进行空调控制的方法、系统及空调
JPWO2020084777A1 (ja) 推定装置、空調システム及び推定方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017553447

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806643

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806643

Country of ref document: EP

Kind code of ref document: A1