[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018078868A1 - コンピュータシステム、物体の診断方法及びプログラム - Google Patents

コンピュータシステム、物体の診断方法及びプログラム Download PDF

Info

Publication number
WO2018078868A1
WO2018078868A1 PCT/JP2016/082303 JP2016082303W WO2018078868A1 WO 2018078868 A1 WO2018078868 A1 WO 2018078868A1 JP 2016082303 W JP2016082303 W JP 2016082303W WO 2018078868 A1 WO2018078868 A1 WO 2018078868A1
Authority
WO
WIPO (PCT)
Prior art keywords
visible light
image
light image
acquired
diagnosis
Prior art date
Application number
PCT/JP2016/082303
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/082303 priority Critical patent/WO2018078868A1/ja
Priority to JP2018538657A priority patent/JP6441546B2/ja
Priority to US15/776,437 priority patent/US10643328B2/en
Publication of WO2018078868A1 publication Critical patent/WO2018078868A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to a computer system for diagnosing an object from an image, an object diagnosis method, and a program.
  • Patent Document 1 As a system for diagnosing such a building, a configuration is disclosed in which a state of a gap formed in a wall body is imaged by a camera unit (see Patent Document 1).
  • Patent Document 1 it is difficult to determine gas leaks, strange odors, and the like of the pipe from the image.
  • An object of the present invention is to provide a computer system, an object diagnosis method, and a program capable of improving the accuracy of object diagnosis.
  • the present invention provides the following solutions.
  • the present invention includes first image acquisition means for acquiring a visible light image of an object imaged by a camera; Image analysis means for performing image analysis by comparing the acquired visible light image with a normal visible light image of the object; As a result of the image analysis, an object specifying means for specifying the type of the object; As a result of the image analysis, an abnormal part specifying means for specifying an abnormal part of the object; Environmental data acquisition means for acquiring environmental data in which the object is placed; First diagnostic means for diagnosing the state of the object from the identified type, the identified abnormal portion, and the acquired environmental data; A computer system is provided.
  • the computer system acquires a visible light image of an object imaged by a camera, analyzes the acquired visible light image in comparison with a normal visible light image of the object, and As a result of image analysis, the type of the object is specified, and as a result of the image analysis, an abnormal portion of the object is specified, environment data in which the object is placed is obtained, and the specified type and the specified type are specified.
  • the state of the object is diagnosed from the abnormal part and the acquired environmental data.
  • the present invention is a category of a computer system, but also in other categories such as an object diagnosis method and program, the same actions and effects corresponding to the category are exhibited.
  • FIG. 1 is a diagram showing an outline of the object diagnostic system 1.
  • FIG. 2 is an overall configuration diagram of the object diagnostic system 1.
  • FIG. 3 is a functional block diagram of the computer 10.
  • FIG. 4 is a flowchart showing object diagnosis processing executed by the computer 10.
  • FIG. 5 is a flowchart illustrating object diagnosis processing executed by the computer 10.
  • FIG. 6 is a diagram schematically showing an example of visible light image data acquired by the computer 10.
  • FIG. 7 is a diagram schematically showing an example of infrared image data acquired by the computer 10.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the computer 10 specifies a predetermined part in a visible light image.
  • FIG. 9 is a diagram schematically illustrating an example in which the computer 10 specifies a region in an infrared image.
  • FIG. 10 is a diagram illustrating an example of a diagnostic database stored in the computer 10.
  • FIG. 1 is a diagram for explaining an outline of an object diagnosis system 1 which is a preferred embodiment of the present invention.
  • the object diagnosis system 1 includes a computer 10 and acquires an image obtained by capturing an object and diagnoses the state of the object.
  • the computer 10 is a computing device that is communicably connected to a camera (not shown) such as a visible light camera or an infrared camera, a sensor, or the like.
  • the object diagnostic system 1 acquires a visible light image from a visible light camera, acquires an infrared image from an infrared camera, acquires a visible light image and an infrared image from a sensor, and changes in the flow rate flowing through the pipe on this date.
  • At least one environmental data is acquired from the group consisting of the flow rate change data shown, the temperature data detected by the date temperature sensor, and the gas data detected by the date gas sensor.
  • the computer 10 acquires a visible light image captured by a camera (not shown) (step S01).
  • the computer 10 acquires a visible light image such as a moving image or a still image of an object captured by the visible light camera.
  • the computer 10 may acquire an infrared image such as a moving image or a still image of an object captured by the infrared camera.
  • the visible light camera and the infrared camera may be realized by the same imaging device, or the visible light camera and the infrared camera are the same by placing the visible light camera and the infrared camera side by side or in the vicinity thereof.
  • the subject may be imaged. That is, the visible light camera and the infrared camera image the same object from substantially the same imaging point.
  • the computer 10 performs image analysis by comparing the acquired visible light image with the normal visible light image of the object (step S02).
  • the computer 10 compares the characteristic amount and color of the acquired visible light image with the characteristic amount and color of the normal visible light image of the object.
  • the computer 10 compares the feature amount and color of the normal visible light image of the plurality of objects with the feature amount and color of the acquired visible light image.
  • Various information for identifying the object such as the type, classification, and name of the object is associated with the feature amount and color of the normal visible light image of the object.
  • the computer 10 may compare the temperature in addition to the feature amount and color of the acquired visible light image.
  • the computer 10 may acquire an infrared image in addition to the visible light image, extract the temperature of the infrared image, and compare the extracted temperature with the temperature of the normal infrared image of the object.
  • the computer 10 specifies the type of the object as a result of the image analysis (step S03).
  • the computer 10 identifies the characteristic amount and color of the normal visible light image of the object that matches the characteristic amount and color of the visible light image acquired this time by the image analysis described above, and is associated with the identified visible light image.
  • the type of the detected object is specified as the type of the object existing in the visible light image acquired this time.
  • the computer 10 specifies the feature amount or color of the normal visible light image of the object that approximates or matches the feature amount or color of the acquired visible light image.
  • the computer 10 identifies the abnormal part of the object as a result of the image analysis (step S04).
  • the computer 10 identifies, as an abnormal part, a part having a characteristic amount or color different from the normal state of the object, among the characteristic amount or color of the acquired visible light image, by the image analysis described above.
  • the computer 10 may specify the abnormal portion of the object based on the temperature of the acquired infrared image described above. In this case, the computer 10 compares the extracted temperature with the temperature of the normal infrared image of the object, based on whether the temperature difference is within a predetermined range, whether it matches the reference temperature, or the like.
  • the part where the temperature is abnormal may be specified as the abnormal part.
  • the computer 10 acquires the environmental data in which the object is placed (step S05).
  • the computer 10 acquires the date when the visible light image and the infrared image are acquired from the sensor, the flow rate change data indicating the change in the flow rate flowing through the pipe on this date, the temperature data detected by the temperature sensor on this date, and the gas detected by the date gas sensor.
  • Environmental data on the installation environment of at least one object in the group consisting of data is acquired.
  • the computer 10 diagnoses the state of the object from the identified object type, the identified abnormal portion, and the acquired environmental data (step S06).
  • the computer 10 diagnoses the state of the object by referring to a diagnosis database in which the object type, the abnormal part, the environmental data, and the diagnosis result are linked in advance.
  • the computer 10 executes diagnosis of the object by extracting a diagnosis result associated with the type of the object specified this time, the specified abnormal part, and the acquired environmental data in the diagnosis database. .
  • FIG. 2 is a diagram showing a system configuration of the object diagnostic system 1 which is a preferred embodiment of the present invention.
  • the object diagnosis system 1 includes a computer 10 and a public network (Internet network, third generation, fourth generation communication network, etc.) 5, acquires an image obtained by imaging an object, and diagnoses the object.
  • a public network Internet network, third generation, fourth generation communication network, etc.
  • the object diagnosis system 1 includes a visible light camera that captures a visible light image such as a moving image or still image of an object, a camera such as an infrared camera that captures an infrared image such as a moving image or still image of an object, a visible light image and an infrared image.
  • a visible light camera that captures a visible light image such as a moving image or still image of an object
  • a camera such as an infrared camera that captures an infrared image such as a moving image or still image of an object
  • a visible light image and an infrared image installation environment of at least one object from the group consisting of the acquired date, flow rate change data indicating the change in the flow rate flowing through the pipe on this date, temperature data detected by the temperature sensor of this date, and gas data detected by the date gas sensor It is connected so that data communication is possible with the sensor which detects environmental data about.
  • the computer 10 acquires various data from these.
  • the computer 10 is the above-described computing device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like as the control unit 11, and can communicate with other devices (cameras and sensors) as the communication unit 12.
  • a device compatible with WiFi (Wireless Fidelity) compliant with IEEE 802.11 The computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13.
  • the storage unit 13 stores various databases described later.
  • the computer 10 includes, as the processing unit 14, a device for executing various processes such as image processing and state diagnosis.
  • control unit 11 reads a predetermined program, thereby realizing the image data acquisition module 20 and the environment data acquisition module 21 in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. Further, in the computer 10, the control unit 11 reads a predetermined program, so that the visible light image analysis module 40, the infrared image analysis module 41, the temperature analysis module 42, the diagnosis module 43, learning, in cooperation with the processing unit 14. A module 44 is realized.
  • FIG.4 and FIG.5 are flowcharts showing object diagnosis processing executed by the computer 10. Processing executed by each module described above will be described together with this processing. In the following description, the object diagnosis system 1 will be described as diagnosing a factory facility having a pipe as an object.
  • the image data acquisition module 20 acquires image data of a visible light image and an infrared image of an object (step S10).
  • the image data acquisition module 20 acquires visible light image data that is a visible light image captured by the visible light camera.
  • the image data acquisition module 20 acquires infrared image data that is an infrared image captured by the infrared camera.
  • the image data acquisition module 20 acquires image data at a plurality of time points such as a predetermined time interval or a preset time.
  • the image data acquired by the image data acquisition module 20 is image data captured from the same imaging viewpoint and captured from the same target. In the following description, it is assumed that the computer 10 diagnoses an object based on image data at a predetermined time.
  • the image data acquisition module 20 may acquire only visible light image data. In this case, the process using infrared image data described later may be omitted and executed.
  • FIG. 6 is a diagram schematically showing an example of visible light image data of an object acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires the visible light image 100 indicated by the visible light image data.
  • an object 110 is shown.
  • the visible light image 100 may include scenery, natural objects, and artificial objects other than the object 110, but is omitted for the sake of simplicity of explanation.
  • the visible light image 100 may include a plurality of objects 110 and different types of objects from the object 110.
  • FIG. 7 is a diagram schematically showing an example of infrared image data of an object acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires an infrared image 200 indicated by the infrared image data.
  • An object 210 is shown in the infrared image 200.
  • each temperature is indicated by hatching for convenience.
  • the infrared image 200 may include scenery, natural objects, and artificial objects other than the object 210, but is omitted for the sake of simplicity of explanation. Further, the infrared image 200 may include a plurality of objects 210 and different types of objects from the object 210.
  • the visible light image analysis module 40 performs image analysis on the acquired visible light image (step S11).
  • step S ⁇ b> 11 the visible light image analysis module 40 compares the acquired visible light image with a visible light image in a normal state of an object stored in the storage module 30 in advance.
  • a visible light image of an object in a normal state is an image of a part or all of a part of the object, such as a wall surface, piping, support fixture, gantry, bracket, etc., in a normal state for each object type or individual. It is an image.
  • the storage module 30 stores various types of information for identifying an object such as the type of an object or an individual in association with the visible light image in a normal state of the object.
  • the visible light image analysis module 40 extracts feature quantities such as the shape and size of each part of the acquired visible light image and the color of each part. Further, the visible light image analysis module 40 extracts the feature amount and color of each part of the visible light image stored in the storage module 30. The visible light image analysis module 40 compares the feature amount and color extracted from the acquired visible light image with the feature amount and color extracted from the stored visible light image.
  • the visible light image analysis module 40 recognizes the shape of an object existing in the visible light image by performing edge analysis or the like on the acquired visible light image. Further, the visible light image analysis module 40 recognizes the shape of an object existing in the visible light image by performing edge analysis or the like on the visible light image stored in the storage module 30. The visible light image analysis module 40 compares these shapes. Further, the visible light image analysis module 40 recognizes the RGB value of the visible light image by performing color extraction or the like on the acquired visible light image. Further, the visible light image analysis module 40 recognizes the RGB value of the visible light image by performing color extraction or the like on the visible light image stored in the storage module 30. The visible light image analysis module 40 compares these RGB values.
  • the visible light image analysis module 40 identifies the type of the object based on the result of the image analysis (step S12).
  • step S12 a stored visible light image having a feature amount or color that matches or approximates the feature amount or color is specified based on the feature amount or color extracted from the acquired visible light image.
  • the visible light image analysis module 40 acquires various types of information for identifying the object associated with the visible light image.
  • the visible light image analysis module 40 When the visible light image analysis module 40 recognizes an individual of a plurality of objects in the visible light image, the visible light image analysis module 40 performs the above-described processing of step S11 and step S12 on each individual to identify the type of each individual. .
  • the computer 10 may specify the type of the object based on the acquired infrared image.
  • the computer 10 recognizes from the acquired infrared image by comparing the temperature of each part in the acquired infrared image with the temperature of each part in the normal state infrared image of the object stored in the storage module 30.
  • the stored infrared image having a temperature that matches or approximates the determined temperature may be specified, and the type of the object associated with the specified infrared image may be specified.
  • the computer 10 may execute this process for each individual.
  • the computer 10 may specify the type of the object based on both the acquired visible light image and infrared image. In this case, what is necessary is just to perform combining the process with respect to the visible light image which the computer 10 mentioned above performs, and the process with respect to an infrared image.
  • the visible light image analysis module 40 identifies regions corresponding to a plurality of predetermined parts of the object in the visible light image (step S13).
  • the predetermined part is, for example, a part of a structure such as a wall surface, piping, a support device, a gantry, a bracket, or a predetermined part.
  • the visible light image analysis module 40 recognizes the position of a part of the structure or a preset part in the visible light image from the feature amount, and specifies the recognized position as a region corresponding to the predetermined part.
  • the visible light image analysis module 40 recognizes a position in a visible light image of a part of the structure or a preset part from the color, and specifies the recognized position as an area corresponding to the predetermined part.
  • the visible light image analysis module 40 identifies a plurality of regions corresponding to each of a plurality of predetermined parts.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the visible light image analysis module 40 specifies a predetermined part.
  • the visible light image analysis module 40 identifies a region in the visible light image 100 where a predetermined part of the wall surface, piping, or support device is located based on the extracted feature amount or color. That is, the visible light image analysis module 40 identifies a region of the object 110 corresponding to the wall surface 300, the pipes 301 to 306, and the support devices 307 and 308.
  • the specified area is indicated by hatching for convenience. This area indicates a part of each part, but may indicate the entire corresponding part. Note that the number, type, and position of the parts to be specified can be changed as appropriate.
  • the visible light image analysis module 40 may perform this process for each individual. Further, the visible light image analysis module 40 may recognize each individual and also recognize the positional relationship of each individual. This may be achieved by recognizing the positional relationship based on the distance from the imaging point, the coordinates in the visible light image, and the like.
  • the infrared image analysis module 41 identifies a region in the infrared image corresponding to the region in the identified visible light image (step S14).
  • the infrared image analysis module 41 identifies a region of the infrared image corresponding to each region of the identified object by comparing the visible light image and the infrared image.
  • the infrared image analysis module 41 acquires the position of the region in the visible light image as a coordinate, and specifies the position that matches the acquired coordinate as the region in the infrared image corresponding to the region in the identified visible light image.
  • FIG. 9 is a diagram illustrating an example schematically showing a state in which the infrared image analysis module 41 specifies a region in the infrared image.
  • the region in the infrared image 200 corresponding to the wall surface 300 of the identified object 110, the pipes 301 to 306, and the parts of the support devices 307 and 308 is identified in the visible light image 100 described above. This is specified by comparing the position in the visible light image 100 and the position in the infrared image 200.
  • the infrared image analysis module 41 acquires the position coordinates of each part in the visible light image 100, and specifies the position in the infrared image corresponding to the acquired position coordinates as the region in the infrared image corresponding to the region in the visible light image. .
  • the infrared image analysis module 41 identifies the part of the wall surface 400 of the object 210, the pipes 401 to 406, and the support devices 407 and 408.
  • the specified area is indicated by hatching for convenience. This area refers to a part or the whole part depending on the part specified in the above-described visible light image. Note that the number, type, and position of the specified parts can be changed as appropriate in accordance with the visible light image.
  • the temperature analysis module 42 analyzes the temperature of the region in the identified infrared image (step S15). In step S15, the temperature analysis module 42 acquires the temperature of each region based on the infrared image, and specifies the temperature of each region.
  • the diagnosis module 43 diagnoses the object based on the temperature of the region in the identified infrared image and determines whether an abnormality has occurred (step S16).
  • the diagnosis module 43 diagnoses an object based on the acquired temperature of each region.
  • the diagnosis module 43 diagnoses an object based on a reference temperature that is a temperature in a normal state of the object corresponding to each part stored in the storage module 30.
  • the diagnostic module 43 calculates a temperature difference between the temperature of the area in the identified infrared image and the reference temperature corresponding to this area, and the calculated temperature difference is within a predetermined range (for example, within 0.5 ° C.). 1 ° C or less, 2 ° C or less, 10 ° C or less).
  • the diagnosis module 43 determines that no abnormality has occurred when this temperature difference is within a predetermined range, and determines that an abnormality has occurred when it is not within the predetermined range.
  • the diagnosis module 43 may diagnose the object by a method other than the diagnosis based on the reference temperature described above.
  • the object may be diagnosed based only on the temperature of the region in the specified infrared image, or when there are a plurality of individual objects, the diagnosis may be performed based on the temperature of each individual.
  • the diagnosis module 43 diagnoses that an abnormality has occurred when an abnormal temperature is specified as the temperature of the region in the specified infrared image.
  • the diagnostic module 43 compares the temperature of the region in the first individual and the temperature of the region in the second individual in the identified infrared image, calculates a temperature difference between them, and calculates the calculated temperature difference. Is an abnormal value, it is diagnosed that an abnormality has occurred in either or both of the first individual and the second individual.
  • the diagnosis module 43 diagnoses an object based on one visible light image and one infrared image, but the diagnostic module 43 applies to one or both of a plurality of visible light images and infrared images acquired within a predetermined period. Based on this, the object may be diagnosed. In this case, the diagnosis module 43 may diagnose the object based on the individual feature amount, color, temperature change amount, change width, or change itself acquired from either or both of the visible light image and the infrared image. Further, the diagnosis module 43 may diagnose this object based on an individual obtained from a plurality of infrared images and an average value of temperatures of each part.
  • the diagnosis module 43 calculates the temperature difference between the average value of the temperature and the reference temperature by comparing the average value of the temperature of the individual or each part with the reference temperature.
  • the object may be diagnosed based on whether or not is within a predetermined range.
  • the diagnosis module 43 is not limited to these methods, and may diagnose an object by other methods.
  • the diagnosis module 43 may diagnose an object based only on a visible light image without using an infrared image.
  • the diagnostic module 43 includes the feature quantity and color of each part existing in the visible light image extracted by the visible light image analysis module 40 described above, a preset part, and the feature quantity of the specified object type. It may be determined whether or not an abnormality has occurred by comparing the color and the color.
  • step S16 when the diagnosis module 43 determines that no abnormality has occurred (NO in step S16), the process ends.
  • the computer 10 may transmit a notification indicating that no abnormality has occurred in the object to an external terminal (not shown).
  • the external terminal may notify the user to that effect by displaying this notification on its own display unit or by outputting this notification by voice.
  • the diagnosis module 43 determines in step S16 that an abnormality has occurred (YES in step S16)
  • the diagnosis module 43 identifies an abnormal part of the object that is a part where the abnormality of the object has occurred. (Step S17).
  • the diagnosis module 43 identifies an abnormal part based on either or both of the feature amount and color of each part extracted from the visible light image or the temperature of each part specified from the infrared image.
  • the diagnosis module 43 identifies a part where the extracted feature quantity or color of each part is different from the normal feature quantity or color of the object as an abnormal part.
  • the diagnosis module 43 identifies a part where the temperature of each identified part is different from the normal temperature of the object as an abnormal part.
  • the environment data acquisition module 21 acquires environment data indicating the installation environment of the object (step S18).
  • the environment data acquisition module 21 obtains, as environment data, the date when the visible light image and the infrared image were acquired, the flow rate change data indicating the change in the flow rate flowing through the pipe on this date, and the temperature detected by the temperature sensor on this date.
  • At least one of a group consisting of data and gas data detected by a date gas sensor is acquired.
  • the environmental data acquisition module 21 acquires environmental data from sensors such as a clock, a flow meter, a gas detector, a thermometer, a hygrometer, and a barometer (not shown). These sensors are installed in the vicinity of the object or in the vicinity of the place where the object is planted.
  • the environmental data acquisition module 21 may acquire environmental data at other timings.
  • the environment data acquisition module 21 may acquire environment data simultaneously with acquiring image data of an object, or may acquire environment data after specifying the type of object. That is, the environment data acquisition module 21 may acquire the environment data before diagnosing the state of the object.
  • the sensor may detect environmental data other than the examples described above.
  • the installation position of the sensor is not limited to the above-described example, and can be appropriately changed to a position where the installation environment of the object can be detected.
  • the diagnosis module 43 diagnoses the state of the object from the specified type, the specified abnormal portion, and the acquired environmental data (step S19).
  • the diagnosis module 43 determines the state of the object based on a diagnosis database in which the type of the object stored in the storage module 30, the abnormal part of the object, the environment data of the object, and the diagnosis result are linked. Diagnose.
  • the diagnosis module 43 specifies a part corresponding to the combination of the type specified this time, the specified abnormal part, and the acquired environmental data by referring to the diagnosis database.
  • the diagnosis module 43 extracts a diagnosis result corresponding to this location.
  • the diagnosis module 43 diagnoses the extracted diagnosis result as the state of this object.
  • the diagnosis module 43 may diagnose the state of the object based on one or a combination of the specified type, the specified abnormal portion, or the acquired environmental data. In this case, the diagnosis module 43 may calculate a probability for each diagnosis result based on the information when extracting a plurality of corresponding diagnosis results. For example, when the diagnosis module 43 obtains a plurality of diagnosis results in the specified abnormal portion, the diagnosis module 43 calculates the probability of each diagnosis result based on the matching rate of the environmental data. In addition, when the diagnosis module 43 obtains a plurality of diagnosis results in the acquired environment data, the diagnosis module 43 sets a weight in advance for each data of the environment data, and associates this weight with the probability. The probability may be calculated for each diagnosis result. The diagnosis module 43 may calculate the probability by other methods.
  • FIG. 10 is a diagram illustrating an example of a diagnostic database stored in the storage module 30.
  • the storage module 30 includes information for identifying an object such as a type, environmental data indicating an installation environment of the object such as date, flow rate change data, temperature, and gas detection, and information indicating a diagnosis result.
  • the type is the type of object.
  • the date is the date when the visible light image is acquired.
  • the flow rate change data is the flow rate change data acquired on this date.
  • the temperature is temperature data on this date.
  • the gas detection is whether or not gas on this date has been detected.
  • Diagnosis is the state of an object when in these states.
  • each type is associated with a case where the object is in a normal state and a case where an abnormality has occurred.
  • the storage module 30 stores that the diagnosis result is not applicable in association with each other.
  • the storage module 30 stores contents corresponding to the diagnosis results in association with each other.
  • the information for identifying the object, the environmental data, and the information indicating the diagnosis result are not limited to the examples described above, and other information may be added, or some of the items described above may be included. It may be deleted. Further, the number of types of objects and the number of classifications are not limited to the examples described above, and at least may be at least higher than this. Moreover, the diagnostic database may be created for each object and each classification.
  • the learning module 44 learns the diagnosis result (step S20).
  • step S20 the learning module 44 learns the diagnosis result using the environment data and the visible light image or infrared image as the feature amount. That is, the environment data and the pair of the image and the diagnosis result in the diagnosis database stored in the storage module 30 are learned as “supervised data” to generate diagnosis determination data.
  • the storage module 30 stores the generated diagnosis determination data, and the diagnosis module 43 determines a diagnosis result based on the diagnosis determination data learned this time when a new image is acquired.
  • the above is the object diagnosis process.
  • the object is described as a factory facility having a pipe.
  • a mobile phone a portable information terminal, and a tablet terminal
  • a netbook terminal a slate Electric appliances such as terminals, electronic book terminals, portable music players, wearable terminals such as smart glasses and head mounted displays, various sensors, and IoT (Internet of Things) devices such as robots
  • factory equipment such as factory pipes, piping equipment, drainage equipment, power receiving / transforming equipment, power transmission equipment, pump equipment, fire fighting equipment, boiler equipment, high pressure gas equipment, high pressure air equipment may be used.
  • it may be a moving body such as a vehicle, an airplane, a ship, a bus, a house, a hospital, a clinic, a station, an airport, a building, a government office, a police station, a fire station, a police box, a stadium, a stadium, a hotel. It may be a building such as a warehouse, a school, a public toilet, a store or a restaurant.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体の診断の精度を向上させることが可能なコンピュータシステム、物体の診断方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、カメラにて撮像された物体の可視光画像を取得し、取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記物体の種類を特定し、前記画像解析の結果、前記物体の異常部分を特定し、前記物体がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する。

Description

コンピュータシステム、物体の診断方法及びプログラム
　本発明は、画像により物体を診断するコンピュータシステム、物体の診断方法及びプログラムに関する。
　近年、建築物等において、異常が発生しているか否かを、建築物の動画や静止画等の画像を撮像し、撮像した画像を画像解析することにより行われている。
　このような建築物を診断するシステムとして、壁体に生じた空隙部の状態を、カメラユニットにより撮像することにより行う構成が開示されている（特許文献１参照）。
特開２０１１－２５６６４１号公報
　しかしながら、特許文献１の構成では、配管のガス漏れ、異臭等を画像から判断することが困難であった。
　本発明は、物体の診断の精度を向上させることが可能なコンピュータシステム、物体の診断方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、カメラにて撮像された物体の可視光画像を取得する第１画像取得手段と、
　取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析する画像解析手段と、
　前記画像解析の結果、前記物体の種類を特定する物体特定手段と、
　前記画像解析の結果、前記物体の異常部分を特定する異常部分特定手段と、
　前記物体がおかれた環境データを取得する環境データ取得手段と、
　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する第１診断手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、コンピュータシステムは、カメラにて撮像された物体の可視光画像を取得し、取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記物体の種類を特定し、前記画像解析の結果、前記物体の異常部分を特定し、前記物体がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する。
　本発明は、コンピュータシステムのカテゴリであるが、物体の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、物体の診断の精度を向上させることが可能なコンピュータシステム、物体の診断方法及びプログラムを提供することが可能となる。
図１は、物体診断システム１の概要を示す図である。 図２は、物体診断システム１の全体構成図である。 図３は、コンピュータ１０の機能ブロック図である。 図４は、コンピュータ１０が実行する物体診断処理を示すフローチャートである。 図５は、コンピュータ１０が実行する物体診断処理を示すフローチャートである。 図６は、コンピュータ１０が取得した可視光画像データを模式的に示した一例を示す図である。 図７は、コンピュータ１０が取得した赤外線画像データを模式的に示した一例を示す図である。 図８は、コンピュータ１０が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。 図９は、コンピュータ１０が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。 図１０は、コンピュータ１０が記憶する診断データベースの一例を示す図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［物体診断システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である物体診断システム１の概要を説明するための図である。物体診断システム１は、コンピュータ１０から構成され、物体を撮像した画像を取得し、この物体の状態の診断を行う。
　コンピュータ１０は、図示していない可視光カメラや赤外線カメラ等のカメラ、センサ等に通信可能に接続された計算装置である。物体診断システム１は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの環境データを取得する。
　はじめに、コンピュータ１０は、図示していないカメラにて撮像された可視光画像を取得する（ステップＳ０１）。コンピュータ１０は、可視光カメラが撮像する物体の動画や静止画等の可視光画像を取得する。
　なお、コンピュータ１０は、可視光画像に加え、赤外線カメラが撮像する物体の動画や静止画等の赤外線画像を取得してもよい。このとき、可視光カメラと赤外線カメラとは、同一の撮像装置により実現されてもよいし、可視光カメラと赤外線カメラとを並置又は近傍に設置することにより、可視光カメラと赤外線カメラとが同一の対象を撮像してもよい。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。
　コンピュータ１０は、取得した可視光画像を、物体の通常の可視光画像と比較して画像解析する（ステップＳ０２）。コンピュータ１０は、取得した可視光画像の特徴量や色と、物体の通常の可視光画像の特徴量や色とを比較する。コンピュータ１０は、複数の物体の通常の可視光画像の特徴量や色と、取得した可視光画像の特徴量や色とを比較する。この物体の通常の可視光画像の特徴量や色には、物体の種類や分類や名称等の物体を識別するための各種情報が紐付けられている。
　なお、コンピュータ１０は、取得した可視光画像の特徴量や色に加え、温度を比較してもよい。この場合、コンピュータ１０は、可視光画像に加え、赤外線画像を取得し、この赤外線画像の温度を抽出し、抽出した温度と、物体の通常の赤外線画像の温度とを比較すればよい。
　コンピュータ１０は、画像解析の結果、物体の種類を特定する（ステップＳ０３）。コンピュータ１０は、上述した画像解析により、今回取得した可視光画像の特徴量や色が一致する物体の通常の可視光画像の特徴量や色を特定し、特定したこの可視光画像に紐付けられた物体の種類を、今回取得した可視光画像に存在する物体の種類として特定する。このとき、コンピュータ１０は、取得した可視光画像の特徴量や色と近似又は一致する物体の通常の可視光画像の特徴量や色を特定する。
　コンピュータ１０は、画像解析の結果、物体の異常部分を特定する（ステップＳ０４）。コンピュータ１０は、上述した画像解析により、取得した可視光画像の特徴量や色のうち、物体の通常の状態とは異なる特徴量や色を有する部分を、異常部分として特定する。
　なお、コンピュータ１０は、物体の異常部分を上述した取得した赤外線画像の温度に基づいて、特定してもよい。この場合、コンピュータ１０は、抽出した温度と、物体の通常の赤外線画像の温度とを比較し、温度差が所定の範囲内であるか否か、基準温度と一致するか否か等に基づいて、温度が異常である部分を、異常部分として特定すればよい。
　コンピュータ１０は、物体がおかれた環境データを取得する（ステップＳ０５）。コンピュータ１０は、センサから可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの物体の設置環境についての環境データを取得する。
　コンピュータ１０は、特定された物体の種類と、特定された異常部分と、取得された環境データとから物体の状態を診断する（ステップＳ０６）。コンピュータ１０は、物体の種類と、異常部分と、環境データと、診断結果とを予め紐付けた診断データベースを参照することにより、物体の状態を診断する。コンピュータ１０は、この診断データベースにおいて、今回特定された物体の種類と、特定された異常部分と、取得された環境データとに紐付けられた診断結果を抽出することにより、物体の診断を実行する。
　以上が、物体診断システム１の概要である。
　［物体診断システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である物体診断システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である物体診断システム１のシステム構成を示す図である。物体診断システム１は、コンピュータ１０、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成され、物体を撮像した画像を取得し、この物体の診断を行う。
　物体診断システム１は、物体の動画や静止画等の可視光画像を撮像する可視光カメラ及び物体の動画や静止画等の赤外線画像を撮像する赤外線カメラ等のカメラ、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの物体の設置環境についての環境データを検知するセンサとデータ通信可能に接続される。コンピュータ１０は、これらから各種データを取得する。
　コンピュータ１０は、後述の機能を備えた上述した計算装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である物体診断システム１の機能について説明する。図３は、コンピュータ１０の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器（カメラ・センサ）と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３には、後述する各種データベースが記憶される。また、コンピュータ１０は、処理部１４として、画像処理、状態診断等の各種処理を実行するためのデバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、画像データ取得モジュール２０、環境データ取得モジュール２１を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、可視光画像解析モジュール４０、赤外線画像解析モジュール４１、温度解析モジュール４２、診断モジュール４３、学習モジュール４４を実現する。
　［物体診断処理］
　図４及び図５に基づいて、物体診断システム１が実行する物体診断処理について説明する。図４及び図５は、コンピュータ１０が実行する物体診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、以下の説明において、物体診断システム１は、物体として配管を有する工場施設を診断するものとして説明する。
　はじめに、画像データ取得モジュール２０は、物体の可視光画像及び赤外線画像の画像データを取得する（ステップＳ１０）。ステップＳ１０において、画像データ取得モジュール２０は、可視光カメラが撮像した可視光画像である可視光画像データを取得する。また、画像データ取得モジュール２０は、赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール２０は、所定の時間間隔又は予め設定された時刻等の複数の時点における画像データを取得する。画像データ取得モジュール２０が取得する画像データは、同一の撮像視点により撮像されており、同一の対象を撮像した画像データである。なお、以下の説明において、所定の時点における画像データに基づいて、コンピュータ１０が物体を診断するものとして説明する。
　なお、画像データ取得モジュール２０は、可視光画像データのみを取得してもよい。この場合、後述する赤外線画像データを用いた処理を省略して、実行すればよい。
　図６に基づいて、画像データ取得モジュール２０が取得する物体の可視光画像データについて説明する。図６は、画像データ取得モジュール２０が取得する物体の可視光画像データを模式的に示した一例を示す図である。図６において、画像データ取得モジュール２０は、可視光画像データが示す可視光画像１００を取得する。この可視光画像１００には、物体１１０が写っている。なお、可視光画像１００には、物体１１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像１００に複数の物体１１０や物体１１０とは異なる種類の物体が写っていてもよい。
　図７に基づいて、画像データ取得モジュール２０が取得する物体の赤外線画像データについて説明する。図７は、画像データ取得モジュール２０が取得する物体の赤外線画像データを模式的に示した一例を示す図である。図７において、画像データ取得モジュール２０は、赤外線画像データが示す赤外線画像２００を取得する。赤外線画像２００には、物体２１０が写っている。赤外線画像２００において、各温度を便宜的にハッチングにより示している。なお、赤外線画像２００には、物体２１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、赤外線画像２００に複数の物体２１０や物体２１０とは異なる種類の物体が写っていてもよい。
　可視光画像解析モジュール４０は、取得した可視光画像を画像解析する（ステップＳ１１）。ステップＳ１１において、可視光画像解析モジュール４０は、取得した可視光画像と、予め記憶モジュール３０が記憶する物体の通常の状態の可視光画像とを比較する。物体の通常の状態の可視光画像とは、物体の種類や個体毎に、通常な状態の壁面、配管、支持器具、架台、ブラケット等の物体の部位の一部又は全部を可視光カメラにより撮像した画像である。記憶モジュール３０は、この物体の通常の状態の可視光画像に、物体の種類や個体等の物体を識別するための各種情報を紐付けて記憶する。可視光画像解析モジュール４０は、取得した可視光画像の各部位の形状やサイズ等の特徴量や各部位の色を抽出する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像の各部位の特徴量や色を抽出する。可視光画像解析モジュール４０は、取得した可視光画像から抽出した特徴量や色と、記憶した可視光画像から抽出した特徴量や色とを比較する。
　可視光画像解析モジュール４０は、取得した可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する物体の形状を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する物体の形状を認識する。可視光画像解析モジュール４０は、これらの形状を比較する。また、可視光画像解析モジュール４０は、取得した可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。可視光画像解析モジュール４０は、これらのＲＧＢ値を比較する。
　可視光画像解析モジュール４０は、画像解析の結果に基づいて、物体の種類を特定する（ステップＳ１２）。ステップＳ１２において、取得した可視光画像から抽出した特徴量や色に基づいて、この特徴量や色と一致又は近似する特徴量又は色を有する記憶した可視光画像を特定する。可視光画像解析モジュール４０は、この可視光画像に紐付けられた物体を識別する各種情報を取得する。
　なお、可視光画像解析モジュール４０は、可視光画像に複数の物体の個体を認識した場合、各個体に対して、上述したステップＳ１１及びステップＳ１２の処理を実行し、各個体の種類を特定する。
　また、コンピュータ１０は、取得した赤外線画像に基づいて、物体の種類を特定してもよい。この場合、コンピュータ１０は、取得した赤外線画像における各部位の温度と、記憶モジュール３０が記憶する物体の通常の状態の赤外線画像における各部位の温度とを比較することにより、取得した赤外線画像から認識した温度と、一致又は近似する温度を有する記憶した赤外線画像を特定し、この特定した赤外線画像に紐付けられた物体の種類を特定すればよい。コンピュータ１０は、赤外線画像に複数の物体の個体が存在する場合には、各個体に対してこの処理を実行すればよい。また、コンピュータ１０は、取得した可視光画像及び赤外線画像の両者に基づいて、物体の種類を特定してもよい。この場合、上述したコンピュータ１０が実行する可視光画像に対する処理と、赤外線画像に対する処理とを組み合わせて実行すればよい。
　可視光画像解析モジュール４０は、可視光画像における物体の複数の所定の部位に対応する領域を特定する（ステップＳ１３）。ステップＳ１３において、所定の部位とは、例えば、壁面、配管、支持器具、架台、ブラケット等の構造の一部や予め設定された部位等である。可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を特徴量から認識し、この認識した位置を、所定の部位に対応する領域として特定する。また、可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を色から認識し、この認識した位置を、所定の部位に対応する領域として特定する。可視光画像解析モジュール４０は、複数の所定の部位の各々に対応する複数の領域を特定する。
　図８に基づいて、可視光画像解析モジュール４０が特定する所定の部位に対応する領域について説明する。図８は、可視光画像解析モジュール４０が所定の部位を特定した状態を模式的に示した一例を示す図である。図８において、可視光画像解析モジュール４０は、抽出した特徴量や色に基づいて、壁面、配管、支持器具の所定の部位が位置する可視光画像１００における領域を特定する。すなわち、可視光画像解析モジュール４０は、物体１１０の、壁面３００、配管３０１～３０６、支持器具３０７，３０８の部位に対応する領域を特定する。図８において、特定した領域を便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。
　なお、可視光画像解析モジュール４０は、可視光画像に複数の物体の個体を認識した場合、各個体に対して、この処理を実行すればよい。また、可視光画像解析モジュール４０は、各個体を認識するとともに、各個体の位置関係を認識してもよい。これは、撮像地点からの距離、可視光画像における座標等に基づいて、位置関係を認識すればよい。
　赤外線画像解析モジュール４１は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する（ステップＳ１４）。ステップＳ１４において、赤外線画像解析モジュール４１は、可視光画像と、赤外線画像とを比較することにより、特定した物体の各部位の領域に対応する赤外線画像の領域を特定する。赤外線画像解析モジュール４１は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。
　図９に基づいて、赤外線画像解析モジュール４１が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図９は、赤外線画像解析モジュール４１が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図９において、上述した可視光画像１００において、特定した物体１１０の壁面３００、配管３０１～３０６、支持器具３０７，３０８の部位に対応する赤外線画像２００における領域を特定する。これは、可視光画像１００における位置と、赤外線画像２００における位置とを比較することにより特定する。赤外線画像解析モジュール４１は、可視光画像１００における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール４１は、物体２１０の壁面４００、配管４０１～４０６、支持器具４０７，４０８の部位を特定する。図９において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数、種類及びその位置は、可視光画像に併せて適宜変更可能である。
　温度解析モジュール４２は、特定した赤外線画像における領域の温度を解析する（ステップＳ１５）。ステップＳ１５において、温度解析モジュール４２は、赤外線画像に基づいて、各領域の温度を取得し、各領域の温度を特定する。
　診断モジュール４３は、特定された赤外線画像における領域の温度に基づいて、物体を診断し、異常が発生しているか否かを判断する（ステップＳ１６）。ステップＳ１６において、診断モジュール４３は、取得した各領域の温度に基づいて、物体を診断する。診断モジュール４３は、記憶モジュール３０が記憶する各部位に対応する物体の通常の状態における温度である基準温度に基づいて、物体を診断する。診断モジュール４３は、特定された赤外線画像における領域の温度と、この領域に対応する基準温度との間の温度差を算出し、算出した温度差が所定の範囲内（例えば、０．５℃以内、１℃以内、２℃以内、１０℃以内等）であるか否かを判断する。診断モジュール４３は、この温度差が所定の範囲内である場合、異常が発生していないと判断し、所定の範囲内ではない場合、異常が発生していると判断する。
　なお、診断モジュール４３は、上述した基準温度による診断以外の方法により、物体を診断してもよい。例えば、特定された赤外線画像における領域の温度のみにより、物体を診断してもよいし、複数の物体の個体が存在する場合、各個体の温度に基づいて診断してもよい。また、これらを複数組み合わせることにより、物体を診断してもよい。例えば、診断モジュール４３は、特定された赤外線画像における領域の温度として、異常な温度を特定した場合、異常が発生していると診断する。また、診断モジュール４３は、特定された赤外線画像における第一の個体における領域の温度と第二の個体における領域の温度とを比較し、これらの間の温度差を算出し、算出したこの温度差が異常な値である場合、第一の個体又は第二の個体のいずれか又は双方に異常が発生していると診断する。
　また、診断モジュール４３は、一の可視光画像及び一の赤外線画像に基づいて、物体を診断しているが、所定の期間内に取得した複数の可視光画像又は赤外線画像のいずれか又は双方に基づいて、物体を診断してもよい。この場合、診断モジュール４３は、可視光画像又は赤外線画像のいずれか又は双方から取得した個体の特徴量、色、温度の変化量、変化幅又は変化そのものに基づいて、物体を診断すればよい。また、診断モジュール４３は、複数の赤外線画像から取得した個体や各部位の温度の平均値により、この物体を診断してもよい。すなわち、診断モジュール４３は、この個体や各部位の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、物体を診断すればよい。また、診断モジュール４３は、これらの方法に限らず、その他の方法により物体を診断してもよい。
　また、診断モジュール４３は、赤外線画像を利用せずに、可視光画像のみに基づいて、物体を診断してもよい。この場合、診断モジュール４３は、上述した可視光画像解析モジュール４０が抽出した可視光画像に存在する各部位や予め設定された部位の特徴量や色等と、特定された物体の種類の特徴量や色等とを比較することにより、異常が発生しているか否かを判断すればよい。
　ステップＳ１６において、診断モジュール４３は、異常が発生していないと判断した場合（ステップＳ１６　ＮＯ）、本処理を終了する。なお、ステップＳ１６において、コンピュータ１０は、図示していない外部端末等に、物体に異常が発生していないことを示す通知を送信してもよい。外部端末は、この通知を自身の表示部により表示することやこの通知を音声出力することにより、その旨をユーザに通知してもよい。
　一方、ステップＳ１６において、診断モジュール４３は、異常が発生していると判断した場合（ステップＳ１６　ＹＥＳ）、診断モジュール４３は、物体の異常が発生している部位である物体の異常部分を特定する（ステップＳ１７）。ステップＳ１７において、診断モジュール４３は、可視光画像から抽出した各部位の特徴量や色又は赤外線画像から特定した各部位の温度のいずれか又は双方により、異常部分を特定する。診断モジュール４３は、抽出した各部位の特徴量や色が、物体の通常の状態の特徴量や色と異なっている部位を異常部分として特定する。また、診断モジュール４３は、特定した各部位の温度が、物体の通常の温度と異なっている部分を異常部分として特定する。
　環境データ取得モジュール２１は、物体の設置環境を示す環境データを取得する（ステップＳ１８）。ステップＳ１８において、環境データ取得モジュール２１は、環境データとして、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つを取得する。環境データ取得モジュール２１は、図示していない時計、流量計、ガス検知器、温度計、湿度計、気圧計等のセンサから、環境データを取得する。これらのセンサは、物体の近傍又はこの物体が植えられている場所の近傍に設置される。
　なお、環境データ取得モジュール２１は、環境データをこの他のタイミングにより取得してもよい。環境データ取得モジュール２１は、例えば、物体の画像データを取得すると同時に環境データを取得してもよいし、物体の種類を特定した後に環境データを取得してもよい。すなわち、環境データ取得モジュール２１は、環境データを、物体の状態を診断するよりも以前に取得すればよい。また、センサは、上述した例以外の環境データを検知してもよい。また、センサの設置位置は、上述した例に限らず、物体の設置環境を検知することが可能な位置に適宜変更可能である。
　診断モジュール４３は、特定された種類と、特定された異常部分と、取得された環境データとから物体の状態を診断する（ステップＳ１９）。ステップＳ１９において、診断モジュール４３は、記憶モジュール３０が記憶する物体の種類と、物体の異常部分と、物体の環境データと、診断結果とが紐付けられた診断データベースに基づいて、物体の状態を診断する。診断モジュール４３は、今回特定された種類と、特定された異常部分と、取得された環境データとの組み合わせに該当する箇所を、診断データベースを参照することにより特定する。診断モジュール４３は、この箇所に該当する診断結果を抽出する。診断モジュール４３は、抽出した診断結果を、この物体の状態として診断する。
　なお、診断モジュール４３は、特定された種類、特定された異常部分又は取得された環境データのいずれか又は複数の組み合わせにより、物体の状態を診断してもよい。この場合、診断モジュール４３は、該当する複数の診断結果を抽出した際、これらの情報に基づいて、各診断結果に対して、確率を算出してもよい。例えば、診断モジュール４３は、特定された異常部分において、複数の診断結果を得た場合、環境データの一致率に基づいて、各診断結果の確率を算出する。また、診断モジュール４３は、取得された環境データにおいて、複数の診断結果を得た場合、環境データの各データに、重みづけを予め設定し、この重みづけと確率とを対応付けておくことにより、各診断結果に対して確率を算出してもよい。また、診断モジュール４３は、その他の方法により、確率を算出してもよい。
　［診断データベース］
　図１０に基づいて、記憶モジュール３０が記憶する診断データベースについて説明する。図１０は、記憶モジュール３０が記憶する診断データベースの一例を示す図である。図１０において、記憶モジュール３０は、種類等の物体を識別するための情報と、日付、流量変化データ、温度、ガス検知等の物体の設置環境を示す環境データと、診断結果を示す情報とを対応付けて記憶する。種類は、物体の種類である。日付は、可視光画像を取得した日付である。流量変化データは、この日付における取得した流量変化データである。温度は、この日付における温度データである。ガス検知は、この日付におけるガスを検知したか否かである。診断は、これらの状態にあるときの物体の状態である。診断データベースにおいて、各種類に対して、物体が通常の状態である場合と、異常が発生している場合とをそれぞれ対応付けている。記憶モジュール３０は、物体が通常の状態である場合、診断結果が該当なしであることを対応付けて記憶する。記憶モジュール３０は、物体に異常が発生している状態である場合、診断結果にそれぞれ該当する内容を対応付けて記憶する。
　なお、診断データベースにおいて、物体を識別するための情報、環境データ、診断結果を示す情報は、上述した例に限らず、その他の情報が追加されていてもよいし、上述した項目の一部が削除されていてもよい。また、物体の種類や分類の数は、上述した例に限らず、これよりも多くとも少なくともよい。また、診断データベースは、物体毎、分類毎のそれぞれで作成されていてもよい。
　学習モジュール４４は、診断結果を学習する（ステップＳ２０）。ステップＳ２０において、学習モジュール４４は、環境データ及び可視光画像や赤外線画像の画像を特徴量として、診断結果を学習する。すなわち、記憶モジュール３０が記憶する診断データベースにおける環境データ及び画像と診断結果とのペアを、「教師ありデータ」として学習し、診断判断データを生成する。記憶モジュール３０は、この生成された診断判断データを記憶し、診断モジュール４３は、新たな画像を取得した際には、この今回学習した診断判断データに基づいて診断結果を判断する。
　以上が、物体診断処理である。
　なお、上述した実施形態において、物体は、配管を有する工場施設であるものとして説明しているが、それ以外の物体、例えば、携帯電話、携帯情報端末、タブレット端末に加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、各種センサや、ロボット等のＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）機器であってもよい。また、工場のパイプ、配管設備、排水設備、受変電設備、送電設備、ポンプ設備、消防設備、ボイラー設備、高圧ガス設備、高圧空気設備等の工場設備であってもよい。さらには、車両、飛行機、船、バス等の移動体であってもよいし、住宅、病院、診療所、駅、空港、ビル、官公庁舎、警察署、消防署、交番、競技場、球場、ホテル、倉庫、学校、公衆便所、店舗、飲食店等の建築物であってもよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　物体診断システム、１０　コンピュータ

Claims (5)

  1. 　カメラにて撮像された物体の可視光画像を取得する第１画像取得手段と、
    　取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析する画像解析手段と、
    　前記画像解析の結果、前記物体の種類を特定する物体特定手段と、
    　前記画像解析の結果、前記物体の異常部分を特定する異常部分特定手段と、
    　前記物体がおかれた環境データを取得する環境データ取得手段と、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する第１診断手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　前記カメラにて撮像された前記物体の赤外線画像を取得する第２画像取得手段と、
    　前記可視光画像において、前記カメラにて撮像された物体の処置の部位に対応する領域を特定する第１画像処理手段と、
    　特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第２画像処理手段と、
    　特定された前記赤外線画像における領域の温度に基づいて、前記物体を診断する第２診断手段と、
    　をさらに備え、
    　前記異常部分特定手段は、前記温度に基づいた診断の結果に基づいて、前記物体の異常部分を特定する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  3. 　診断する前記物体が、配管を有する工場施設であって、
    　前記環境データ取得手段は、前記可視光画像を取得した日付、当該日付の前記配管を流れる流量の変化を示す流量変化データ、当該日付の温度センサ、当該日付のガスセンサからなる群のうち少なくとも一つの環境データを取得する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  4. 　カメラにて撮像された物体の可視光画像を取得するステップと、
    　取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析するステップと、
    　前記画像解析の結果、前記物体の種類を特定するステップと、
    　前記画像解析の結果、前記物体の異常部分を特定するステップと、
    　前記物体がおかれた環境データを取得するステップと、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断するステップと、
    　を備えることを特徴とする物体の診断方法。
  5. 　コンピュータシステムに、
    　カメラにて撮像された物体の可視光画像を取得するステップ、
    　取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析するステップ、
    　前記画像解析の結果、前記物体の種類を特定するステップ、
    　前記画像解析の結果、前記物体の異常部分を特定するステップ、
    　前記物体がおかれた環境データを取得するステップ、
    　前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/082303 2016-10-31 2016-10-31 コンピュータシステム、物体の診断方法及びプログラム WO2018078868A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/082303 WO2018078868A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、物体の診断方法及びプログラム
JP2018538657A JP6441546B2 (ja) 2016-10-31 2016-10-31 コンピュータシステム、物体の診断方法及びプログラム
US15/776,437 US10643328B2 (en) 2016-10-31 2016-10-31 Computer system, and method and program for diagnosing objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082303 WO2018078868A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、物体の診断方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018078868A1 true WO2018078868A1 (ja) 2018-05-03

Family

ID=62023315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082303 WO2018078868A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、物体の診断方法及びプログラム

Country Status (3)

Country Link
US (1) US10643328B2 (ja)
JP (1) JP6441546B2 (ja)
WO (1) WO2018078868A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6560833B2 (ja) * 2016-10-18 2019-08-14 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
JP6592613B2 (ja) * 2016-10-31 2019-10-16 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
US11373286B2 (en) * 2016-11-07 2022-06-28 Nabtesco Corporation Status checking device for built-in object, operation checking device and method for checking built-in object
WO2018123196A1 (ja) * 2016-12-27 2018-07-05 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
WO2019090264A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Real time anomaly detection systems and methods
CN113812139A (zh) * 2019-05-21 2021-12-17 索尼集团公司 图像处理设备、图像处理方法和程序
CN110427961B (zh) * 2019-06-19 2022-04-05 华南农业大学 一种基于规则和样本融合的建筑信息提取方法及系统
CN110472510A (zh) * 2019-07-16 2019-11-19 上海电力学院 基于红外及可见图像的电力设备故障检测方法及评估设备
EP3816856A1 (en) * 2019-10-31 2021-05-05 Siemens Aktiengesellschaft Method and system for anomaly detection using multimodal knowledge graph
CN111127445A (zh) * 2019-12-26 2020-05-08 智洋创新科技股份有限公司 基于深度学习的配网线路高温区域检测方法与系统
CN113223035B (zh) * 2021-06-07 2023-08-22 南京农业大学 笼养鸡智能巡检系统
CN113837030B (zh) * 2021-09-06 2024-03-22 中国福利会国际和平妇幼保健院 用于疫情防控的人员智能管控方法、系统及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
JP2012168799A (ja) * 2011-02-15 2012-09-06 Hitachi Ltd プラント監視装置およびプラント監視方法
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478480B2 (en) * 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
US10044946B2 (en) * 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
US9843743B2 (en) * 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP2011256641A (ja) 2010-06-10 2011-12-22 Fs Technical Corp 壁体の診断方法および壁体診断報告書
JP5772272B2 (ja) * 2011-06-16 2015-09-02 富士通株式会社 情報処理装置、及び情報処理方法
US20130169816A1 (en) * 2011-12-28 2013-07-04 Jhen-Jia Hu Monitoring and managing device, monitoring and managing system and method of data center
WO2013104328A1 (zh) * 2012-01-12 2013-07-18 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
US10068337B2 (en) * 2012-09-21 2018-09-04 Mission Infrared Electro Optics Technology Co., Ltd Device and method for diagnosing thermal images
AU2014218525B2 (en) * 2013-02-25 2019-01-24 Commonwealth Scientific And Industrial Research Organisation 3D imaging method and system
CN110274355B (zh) * 2014-03-03 2022-01-11 松下电器（美国）知识产权公司 传感方法、传感系统及包含它们的空调设备
WO2016113963A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20180110416A1 (en) * 2015-04-20 2018-04-26 Sharp Kabushiki Kaisha Monitoring system, monitoring device, and monitoring method
US20170242104A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
TWI579581B (zh) * 2016-03-30 2017-04-21 漢科系統科技股份有限公司 熱源檢測裝置、系統及其方法
JP6758893B2 (ja) * 2016-04-19 2020-09-23 マクセル株式会社 作業支援装置及び作業支援システム
US10375325B2 (en) * 2016-06-23 2019-08-06 Fluke Corporation Thermal anomaly detection
WO2018025404A1 (ja) * 2016-08-05 2018-02-08 株式会社オプティム 診断装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
JP2012168799A (ja) * 2011-02-15 2012-09-06 Hitachi Ltd プラント監視装置およびプラント監視方法
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Also Published As

Publication number Publication date
JPWO2018078868A1 (ja) 2018-10-25
US10643328B2 (en) 2020-05-05
JP6441546B2 (ja) 2018-12-19
US20180350053A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6441546B2 (ja) コンピュータシステム、物体の診断方法及びプログラム
CN107223332B (zh) 基于声学相机的音频视觉场景分析
US10520329B2 (en) Method for providing parking location information of vehicle and electronic device thereof
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
CN111770427B (zh) 麦克风阵列的检测方法、装置、设备以及存储介质
US11295139B2 (en) Human presence detection in edge devices
US9141852B1 (en) Person detection and pose estimation system
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
US10796796B2 (en) Fault diagnosis apparatus, fault diagnosis method, and fault diagnosis program
CN111595450B (zh) 测量温度的方法、装置、电子设备和计算机可读存储介质
CN105574910A (zh) 电子设备和用于在电子设备中提供过滤器的方法
US11631306B2 (en) Methods and system for monitoring an environment
JPWO2018078866A1 (ja) コンピュータシステム、植物の診断方法及びプログラム
Zerrouki et al. Accelerometer and camera-based strategy for improved human fall detection
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互系统
US10645297B2 (en) System, method, and program for adjusting angle of camera
JP4111660B2 (ja) 火災検出装置
KR20170014919A (ko) 전자 장치 및 전자 장치에서 피부 상태 검출 방법
US11790505B2 (en) Information processing apparatus, information processing method, and information processing system
WO2018073900A1 (ja) コンピュータシステム、物体の診断方法及びプログラム
US10219127B2 (en) Information processing apparatus and information processing method
CN114463779A (zh) 吸烟识别方法、装置、设备及存储介质
WO2023032665A1 (ja) ラベル生成方法、モデル生成方法、ラベル生成装置、ラベル生成プログラム、モデル生成装置、及びモデル生成プログラム
Chen et al. An indoor video surveillance system with intelligent fall detection capability
CN106022306A (zh) 一种基于多角度识别目标异常行为视频系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018538657

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16919828

Country of ref document: EP

Kind code of ref document: A1