[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2018078867A1 - コンピュータシステム、動物の診断方法及びプログラム - Google Patents

コンピュータシステム、動物の診断方法及びプログラム Download PDF

Info

Publication number
JPWO2018078867A1
JPWO2018078867A1 JP2018547089A JP2018547089A JPWO2018078867A1 JP WO2018078867 A1 JPWO2018078867 A1 JP WO2018078867A1 JP 2018547089 A JP2018547089 A JP 2018547089A JP 2018547089 A JP2018547089 A JP 2018547089A JP WO2018078867 A1 JPWO2018078867 A1 JP WO2018078867A1
Authority
JP
Japan
Prior art keywords
animal
visible light
image
light image
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018547089A
Other languages
English (en)
Other versions
JP6618631B2 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2018078867A1 publication Critical patent/JPWO2018078867A1/ja
Application granted granted Critical
Publication of JP6618631B2 publication Critical patent/JP6618631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40Animals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】動物の診断の精度を向上させることが可能なコンピュータシステム、動物の診断方法及びプログラムを提供することを目的とする。【解決手段】コンピュータシステムは、カメラにて撮像された動物の可視光画像を取得し、取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記動物の種類を特定し、前記画像解析の結果、前記動物の異常部分を特定し、前記動物がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断する。【選択図】図1

Description

本発明は、画像により動物を診断するコンピュータシステム、動物の診断方法及びプログラムに関する。
近年、畜産などの分野において、家畜等に異常が発生しているか否かを、この家畜を撮像した画像に基づいて診断することが行われている。このような家畜の診断は、家畜の動画や静止画等の画像を撮像し、撮像した画像を画像解析することにより行われている。
このような家畜を診断するシステムとして、馬の歩行動作を撮像し、撮像した歩行動作の画像を画像解析することにより、跛行診断を行う構成が開示されている(特許文献1参照)。
特開2003−228701号公報
しかしながら、特許文献1の構成では、歩行動作により、診断を行うものであるため、歩行動作から判別がつきにくい動物の状態(例えば、動物が妊娠しているか否か、所定の部位が病気であるか否か)を診断することは困難であった。
本発明は、動物の診断の精度を向上させることが可能なコンピュータシステム、動物の診断方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
本発明は、カメラにて撮像された動物の可視光画像を取得する第1画像取得手段と、
取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析する画像解析手段と、
前記画像解析の結果、前記動物の種類を特定する動物特定手段と、
前記画像解析の結果、前記動物の異常部分を特定する異常部分特定手段と、
前記動物がおかれた環境データを取得する環境データ取得手段と、
前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断する第1診断手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、コンピュータシステムは、カメラにて撮像された動物の可視光画像を取得し、取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記動物の種類を特定し、前記画像解析の結果、前記動物の異常部分を特定し、前記動物がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断する。
本発明は、コンピュータシステムのカテゴリであるが、動物の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
本発明によれば、動物の診断の精度を向上させることが可能なコンピュータシステム、動物の診断方法及びプログラムを提供することが可能となる。
図1は、動物診断システム1の概要を示す図である。 図2は、動物診断システム1の全体構成図である。 図3は、コンピュータ10の機能ブロック図である。 図4は、コンピュータ10が実行する動物診断処理を示すフローチャートである。 図5は、コンピュータ10が実行する動物診断処理を示すフローチャートである。 図6は、コンピュータ10が取得した可視光画像データを模式的に示した一例を示す図である。 図7は、コンピュータ10が取得した赤外線画像データを模式的に示した一例を示す図である。 図8は、コンピュータ10が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。 図9は、コンピュータ10が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。 図10は、コンピュータ10が記憶する診断データベースの一例を示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[動物診断システム1の概要]
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である動物診断システム1の概要を説明するための図である。動物診断システム1は、コンピュータ10から構成され、動物を撮像した画像を取得し、この動物の状態の診断を行う。
コンピュータ10は、図示していない可視光カメラや赤外線カメラ等のカメラ、センサ等に通信可能に接続された計算装置である。動物診断システム1は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから可視光画像及び赤外線画像を取得した日付、この日付前に与えた飼料の種類及び量、この日付前に与えた水の量、動物の体温からなる群のうち少なくとも一つの環境データを取得する。
はじめに、コンピュータ10は、図示していないカメラにて撮像された可視光画像を取得する(ステップS01)。コンピュータ10は、可視光カメラが撮像する動物の動画や静止画等の可視光画像を取得する。
なお、コンピュータ10は、可視光画像に加え、赤外線カメラが撮像する動物の動画や静止画等の赤外線画像を取得してもよい。このとき、可視光カメラと赤外線カメラとは、同一の撮像装置により実現されてもよいし、可視光カメラと赤外線カメラとを並置又は近傍に設置することにより、可視光カメラと赤外線カメラとが同一の対象を撮像してもよい。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。
コンピュータ10は、取得した可視光画像を、動物の通常の可視光画像と比較して画像解析する(ステップS02)。コンピュータ10は、取得した可視光画像の特徴量や色と、動物の通常の可視光画像の特徴量や色とを比較する。コンピュータ10は、複数の動物の通常の可視光画像の特徴量や色と、取得した可視光画像の特徴量や色とを比較する。この動物の通常の可視光画像の特徴量や色には、動物の種類や分類や名称等の動物を識別するための各種情報が紐付けられている。
なお、コンピュータ10は、取得した可視光画像の特徴量や色に加え、温度を比較してもよい。この場合、コンピュータ10は、可視光画像に加え、赤外線画像を取得し、この赤外線画像の温度を抽出し、抽出した温度と、動物の通常の赤外線画像の温度とを比較すればよい。
コンピュータ10は、画像解析の結果、動物の種類を特定する(ステップS03)。コンピュータ10は、上述した画像解析により、今回取得した可視光画像の特徴量や色が一致する動物の通常の可視光画像の特徴量や色を特定し、特定したこの可視光画像に紐付けられた動物の種類を、今回取得した可視光画像に存在する動物の種類として特定する。このとき、コンピュータ10は、取得した可視光画像の特徴量や色と近似又は一致する動物の通常の可視光画像の特徴量や色を特定する。
コンピュータ10は、画像解析の結果、動物の異常部分を特定する(ステップS04)。コンピュータ10は、上述した画像解析により、取得した可視光画像の特徴量や色のうち、動物の通常の状態とは異なる特徴量や色を有する部分を、異常部分として特定する。
なお、コンピュータ10は、動物の異常部分を上述した取得した赤外線画像の温度に基づいて、特定してもよい。この場合、コンピュータ10は、抽出した温度と、動物の通常の赤外線画像の温度とを比較し、温度差が所定の範囲内であるか否か、基準温度と一致するか否か等に基づいて、温度が異常である部分を、異常部分として特定すればよい。
コンピュータ10は、動物がおかれた環境データを取得する(ステップS05)。コンピュータ10は、センサから可視光画像を取得した日付、この日付前に与えた飼料の種類及び量、この日付前に与えた水の量、動物の体温からなる群のうち少なくとも一つの動物の生活環境についての環境データを取得する。
コンピュータ10は、特定された動物の種類と、特定された異常部分と、取得された環境データとから動物の状態を診断する(ステップS06)。コンピュータ10は、動物の種類と、異常部分と、環境データと、診断結果とを予め紐付けた診断データベースを参照することにより、動物の状態を診断する。コンピュータ10は、この診断データベースにおいて、今回特定された動物の種類と、特定された異常部分と、取得された環境データとに紐付けられた診断結果を抽出することにより、動物の診断を実行する。
以上が、動物診断システム1の概要である。
[動物診断システム1のシステム構成]
図2に基づいて、本発明の好適な実施形態である動物診断システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である動物診断システム1のシステム構成を示す図である。動物診断システム1は、コンピュータ10、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、動物を撮像した画像を取得し、この動物の診断を行う。
動物診断システム1は、動物の動画や静止画等の可視光画像を撮像する可視光カメラ及び動物の動画や静止画等の赤外線画像を撮像する赤外線カメラ等のカメラ、可視光画像を取得した日付、この日付前に与えた飼料の種類及び量、この日付前に与えた水の量、動物の体温からなる群のうち少なくとも一つの動物の生活環境についての環境データを検知するセンサとデータ通信可能に接続される。コンピュータ10は、これらから各種データを取得する。
コンピュータ10は、後述の機能を備えた上述した計算装置である。
[各機能の説明]
図3に基づいて、本発明の好適な実施形態である動物診断システム1の機能について説明する。図3は、コンピュータ10の機能ブロック図を示す図である。
コンピュータ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器(カメラ・センサ)と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部13には、後述する各種データベースが記憶される。また、コンピュータ10は、処理部14として、画像処理、状態診断等の各種処理を実行するためのデバイス等を備える。
コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、画像データ取得モジュール20、環境データ取得モジュール21を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して、可視光画像解析モジュール40、赤外線画像解析モジュール41、温度解析モジュール42、診断モジュール43、学習モジュール44を実現する。
[動物診断処理]
図4及び図5に基づいて、動物診断システム1が実行する動物診断処理について説明する。図4及び図5は、コンピュータ10が実行する動物診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、以下の説明において、動物診断システム1は、動物として牛を診断するものとして説明する。
はじめに、画像データ取得モジュール20は、動物の可視光画像及び赤外線画像の画像データを取得する(ステップS10)。ステップS10において、画像データ取得モジュール20は、可視光カメラが撮像した可視光画像である可視光画像データを取得する。また、画像データ取得モジュール20は、赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール20は、所定の時間間隔又は予め設定された時刻等の複数の時点における画像データを取得する。画像データ取得モジュール20が取得する画像データは、同一の撮像視点により撮像されており、同一の対象を撮像した画像データである。なお、以下の説明において、所定の時点における画像データに基づいて、コンピュータ10が動物を診断するものとして説明する。
なお、画像データ取得モジュール20は、可視光画像データのみを取得してもよい。この場合、後述する赤外線画像データを用いた処理を省略して、実行すればよい。
図6に基づいて、画像データ取得モジュール20が取得する動物の可視光画像データについて説明する。図6は、画像データ取得モジュール20が取得する動物の可視光画像データを模式的に示した一例を示す図である。図6において、画像データ取得モジュール20は、可視光画像データが示す可視光画像100を取得する。この可視光画像100には、動物110が写っている。なお、可視光画像100には、動物110以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像100に複数の動物110や動物110とは異なる種類の動物が写っていてもよい。
図7に基づいて、画像データ取得モジュール20が取得する動物の赤外線画像データについて説明する。図7は、画像データ取得モジュール20が取得する動物の赤外線画像データを模式的に示した一例を示す図である。図7において、画像データ取得モジュール20は、赤外線画像データが示す赤外線画像200を取得する。赤外線画像200には、動物210が写っている。赤外線画像200において、各温度を便宜的にハッチングにより示している。なお、赤外線画像200には、動物210以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、赤外線画像200に複数の動物210や動物210とは異なる種類の動物が写っていてもよい。
可視光画像解析モジュール40は、取得した可視光画像を画像解析する(ステップS11)。ステップS11において、可視光画像解析モジュール40は、取得した可視光画像と、予め記憶モジュール30が記憶する動物の通常の状態の可視光画像とを比較する。動物の通常の状態の可視光画像とは、動物の種類や個体毎に、健康な状態の頭部、鼻部、肩部、臀部、肛門周囲部、腹部、足部等の動物の部位の一部又は全部を可視光カメラにより撮像した画像である。記憶モジュール30は、この動物の通常の状態の可視光画像に、動物の種類や個体等の動物を識別するための各種情報を紐付けて記憶する。可視光画像解析モジュール40は、取得した可視光画像の各部位の形状やサイズ等の特徴量や各部位の色を抽出する。また、可視光画像解析モジュール40は、記憶モジュール30が記憶する可視光画像の各部位の特徴量や色を抽出する。可視光画像解析モジュール40は、取得した可視光画像から抽出した特徴量や色と、記憶した可視光画像から抽出した特徴量や色とを比較する。
可視光画像解析モジュール40は、取得した可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する動物の形状を認識する。また、可視光画像解析モジュール40は、記憶モジュール30が記憶する可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する動物の形状を認識する。可視光画像解析モジュール40は、これらの形状を比較する。また、可視光画像解析モジュール40は、取得した可視光画像に対して色抽出等を実行することにより、この可視光画像のRGB値を認識する。また、可視光画像解析モジュール40は、記憶モジュール30が記憶する可視光画像に対して色抽出等を実行することにより、この可視光画像のRGB値を認識する。可視光画像解析モジュール40は、これらのRGB値を比較する。
可視光画像解析モジュール40は、画像解析の結果に基づいて、動物の種類を特定する(ステップS12)。ステップS12において、取得した可視光画像から抽出した特徴量や色に基づいて、この特徴量や色と一致又は近似する特徴量又は色を有する記憶した可視光画像を特定する。可視光画像解析モジュール40は、この可視光画像に紐付けられた動物を識別する各種情報を取得する。
なお、可視光画像解析モジュール40は、可視光画像に複数の動物の個体を認識した場合、各個体に対して、上述したステップS11及びステップS12の処理を実行し、各個体の種類を特定する。
また、コンピュータ10は、取得した赤外線画像に基づいて、動物の種類を特定してもよい。この場合、コンピュータ10は、取得した赤外線画像における各部位の温度と、記憶モジュール30が記憶する動物の通常の状態の赤外線画像における各部位の温度とを比較することにより、取得した赤外線画像から認識した温度と、一致又は近似する温度を有する記憶した赤外線画像を特定し、この特定した赤外線画像に紐付けられた動物の種類を特定すればよい。コンピュータ10は、赤外線画像に複数の動物の個体が存在する場合には、各個体に対してこの処理を実行すればよい。また、コンピュータ10は、取得した可視光画像及び赤外線画像の両者に基づいて、動物の種類を特定してもよい。この場合、上述したコンピュータ10が実行する可視光画像に対する処理と、赤外線画像に対する処理とを組み合わせて実行すればよい。
可視光画像解析モジュール40は、可視光画像における動物の複数の所定の部位に対応する領域を特定する(ステップS13)。ステップS13において、所定の部位とは、例えば、頭部、鼻部、肩部、臀部、肛門周囲部、腹部、足部等の構造の一部や予め設定された部位等である。可視光画像解析モジュール40は、構造の一部や予め設定された部位の可視光画像における位置を特徴量から認識し、この認識した位置を、所定の部位に対応する領域として特定する。また、可視光画像解析モジュール40は、構造の一部や予め設定された部位の可視光画像における位置を色から認識し、この認識した位置を、所定の部位に対応する領域として特定する。可視光画像解析モジュール40は、複数の所定の部位の各々に対応する複数の領域を特定する。
図8に基づいて、可視光画像解析モジュール40が特定する所定の部位に対応する領域について説明する。図8は、可視光画像解析モジュール40が所定の部位を特定した状態を模式的に示した一例を示す図である。図8において、可視光画像解析モジュール40は、抽出した特徴量や色に基づいて、頭部、鼻部、肩部、臀部、肛門周囲部、腹部、足部の所定の部位が位置する可視光画像100における領域を特定する。すなわち、可視光画像解析モジュール40は、動物110の、頭部300〜302、鼻部303、肩部304、臀部305、肛門周囲部306、腹部307、足部308〜311の部位に対応する領域を特定する。図8において、特定した領域を便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。
なお、可視光画像解析モジュール40は、可視光画像に複数の動物の個体を認識した場合、各個体に対して、この処理を実行すればよい。また、可視光画像解析モジュール40は、各個体を認識するとともに、各個体の位置関係を認識してもよい。これは、撮像地点からの距離、可視光画像における座標等に基づいて、位置関係を認識すればよい。
赤外線画像解析モジュール41は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する(ステップS14)。ステップS14において、赤外線画像解析モジュール41は、可視光画像と、赤外線画像とを比較することにより、特定した動物の各部位の領域に対応する赤外線画像の領域を特定する。赤外線画像解析モジュール41は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。
図9に基づいて、赤外線画像解析モジュール41が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図9は、赤外線画像解析モジュール41が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図9において、上述した可視光画像100において、特定した動物110の頭部300〜302、鼻部303、肩部304、臀部305、肛門周囲部306、腹部307、足部308〜311の部位に対応する赤外線画像200における領域を特定する。これは、可視光画像100における位置と、赤外線画像200における位置とを比較することにより特定する。赤外線画像解析モジュール41は、可視光画像100における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール41は、動物210の頭部400〜402、鼻部403、肩部404、臀部405、肛門周囲部406、腹部407、足部408〜411の部位を特定する。図9において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数、種類及びその位置は、可視光画像に併せて適宜変更可能である。
温度解析モジュール42は、特定した赤外線画像における領域の温度を解析する(ステップS15)。ステップS15において、温度解析モジュール42は、赤外線画像に基づいて、各領域の温度を取得し、各領域の温度を特定する。
診断モジュール43は、特定された赤外線画像における領域の温度に基づいて、動物を診断し、異常が発生しているか否かを判断する(ステップS16)。ステップS16において、診断モジュール43は、取得した各領域の温度に基づいて、動物を診断する。診断モジュール43は、記憶モジュール30が記憶する各部位に対応する動物の通常の状態における温度である基準温度に基づいて、動物を診断する。診断モジュール43は、特定された赤外線画像における領域の温度と、この領域に対応する基準温度との間の温度差を算出し、算出した温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断する。診断モジュール43は、この温度差が所定の範囲内である場合、異常が発生していないと判断し、所定の範囲内ではない場合、異常が発生していると判断する。
なお、診断モジュール43は、上述した基準温度による診断以外の方法により、動物を診断してもよい。例えば、特定された赤外線画像における領域の温度のみにより、動物を診断してもよいし、複数の動物の個体が存在する場合、各個体の位置関係や各個体の温度に基づいて診断してもよい。また、これらを複数組み合わせることにより、動物を診断してもよい。例えば、診断モジュール43は、特定された赤外線画像における領域の温度として、異常な温度を特定した場合、異常が発生していると診断する。また、診断モジュール43は、特定された赤外線画像における第一の個体における領域の温度と第二の個体における領域の温度とを比較し、これらの間の温度差を算出し、算出したこの温度差が異常な値である場合、第一の個体又は第二の個体のいずれか又は双方に異常が発生していると診断する。
また、診断モジュール43は、一の可視光画像及び一の赤外線画像に基づいて、動物を診断しているが、所定の期間内に取得した複数の可視光画像又は赤外線画像のいずれか又は双方に基づいて、動物を診断してもよい。この場合、診断モジュール43は、可視光画像又は赤外線画像のいずれか又は双方から取得した個体の特徴量、色、温度の変化量、変化幅又は変化そのものに基づいて、動物を診断すればよい。また、診断モジュール43は、複数の赤外線画像から取得した個体や各部位の温度の平均値により、この動物を診断してもよい。すなわち、診断モジュール43は、この個体や各部位の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、動物を診断すればよい。また、診断モジュール43は、これらの方法に限らず、その他の方法により動物を診断してもよい。
また、診断モジュール43は、赤外線画像を利用せずに、可視光画像のみに基づいて、動物を診断してもよい。この場合、診断モジュール43は、上述した可視光画像解析モジュール40が抽出した可視光画像に存在する各部位や予め設定された部位の特徴量や色等と、特定された動物の種類の特徴量や色等とを比較することにより、異常が発生しているか否かを判断すればよい。
ステップS16において、診断モジュール43は、異常が発生していないと判断した場合(ステップS16 NO)、本処理を終了する。なお、ステップS16において、コンピュータ10は、図示していない外部端末等に、動物に異常が発生していないことを示す通知を送信してもよい。外部端末は、この通知を自身の表示部により表示することやこの通知を音声出力することにより、その旨をユーザに通知してもよい。
一方、ステップS16において、診断モジュール43は、異常が発生していると判断した場合(ステップS16 YES)、診断モジュール43は、動物の異常が発生している部位である動物の異常部分を特定する(ステップS17)。ステップS17において、診断モジュール43は、可視光画像から抽出した各部位の特徴量や色又は赤外線画像から特定した各部位の温度のいずれか又は双方により、異常部分を特定する。診断モジュール43は、抽出した各部位の特徴量や色が、動物の通常の状態の特徴量や色と異なっている部位を異常部分として特定する。また、診断モジュール43は、特定した各部位の温度が、動物の通常の温度と異なっている部分を異常部分として特定する。
環境データ取得モジュール21は、動物の生活環境を示す環境データを取得する(ステップS18)。ステップS18において、環境データ取得モジュール21は、環境データとして、可視光画像を取得した日付、この日付前に与えた飼料の種類及び量、この日付前に与えた水の量、動物の体温からなる群のうち少なくとも一つを取得する。環境データ取得モジュール21は、図示していない時計、気象測器、雨量計、雨雪量計、温度計、風向風速計、湿度計、気圧計、日射計、日照計、視程計、歩数計、重量計、必要な情報の入力を受け付ける端末装置等のセンサから、環境データを取得する。これらのセンサは、動物の近傍又はこの動物が植えられている場所の近傍に設置される。
なお、環境データ取得モジュール21は、環境データをこの他のタイミングにより取得してもよい。環境データ取得モジュール21は、例えば、動物の画像データを取得すると同時に環境データを取得してもよいし、動物の種類を特定した後に環境データを取得してもよい。すなわち、環境データ取得モジュール21は、環境データを、動物の状態を診断するよりも以前に取得すればよい。また、センサは、上述した例以外の環境データを検知してもよい。また、センサの設置位置は、上述した例に限らず、動物の生活環境を検知することが可能な位置に適宜変更可能である。
診断モジュール43は、特定された種類と、特定された異常部分と、取得された環境データとから動物の状態を診断する(ステップS19)。ステップS19において、診断モジュール43は、記憶モジュール30が記憶する動物の種類と、動物の異常部分と、動物の環境データと、診断結果とが紐付けられた診断データベースに基づいて、動物の状態を診断する。診断モジュール43は、今回特定された種類と、特定された異常部分と、取得された環境データとの組み合わせに該当する箇所を、診断データベースを参照することにより特定する。診断モジュール43は、この箇所に該当する診断結果を抽出する。診断モジュール43は、抽出した診断結果を、この動物の状態として診断する。
なお、診断モジュール43は、特定された種類、特定された異常部分又は取得された環境データのいずれか又は複数の組み合わせにより、動物の状態を診断してもよい。この場合、診断モジュール43は、該当する複数の診断結果を抽出した際、これらの情報に基づいて、各診断結果に対して、確率を算出してもよい。例えば、診断モジュール43は、特定された異常部分において、複数の診断結果を得た場合、環境データの一致率に基づいて、各診断結果の確率を算出する。また、診断モジュール43は、取得された環境データにおいて、複数の診断結果を得た場合、環境データの各データに、重みづけを予め設定し、この重みづけと確率とを対応付けておくことにより、各診断結果に対して確率を算出してもよい。また、診断モジュール43は、その他の方法により、確率を算出してもよい。
[診断データベース]
図10に基づいて、記憶モジュール30が記憶する診断データベースについて説明する。図10は、記憶モジュール30が記憶する診断データベースの一例を示す図である。図10において、記憶モジュール30は、動物、分類等の動物を識別するための情報と、日付、飼料の種類、飼料の量、取水量、体温、歩行数等の動物の生活環境を示す環境データと、診断結果を示す情報とを対応付けて記憶する。動物は、動物の種類である。分類は、動物の品種である。日付は、可視光画像を取得した日付である。飼料の種類は、前回可視光画像を取得した日付前に動物に与えた飼料の内容である。飼料の量は、前回可視光画像を取得した日付前に動物に与えた飼料の量や、実際に動物が摂取した飼料の量である。取水量は、前回可視光画像を取得した日付前に動物に与えた水の量や、実際に動物が摂取した水の量である。体温は、現在の動物の体温である。歩行数は、前回可視光画像を取得した日付から今回可視光画像を取得するまでの間に動物が歩行した数である。診断は、これらの状態にあるときの動物の状態である。診断データベースにおいて、各品種に対して、動物が通常の状態である場合と、異常が発生している場合とをそれぞれ対応付けている。記憶モジュール30は、動物が通常の状態である場合、診断結果が該当なしであることを対応付けて記憶する。記憶モジュール30は、動物に異常が発生している状態である場合、診断結果にそれぞれ該当する内容を対応付けて記憶する。
なお、診断データベースにおいて、動物を識別するための情報、環境データ、診断結果を示す情報は、上述した例に限らず、その他の情報が追加されていてもよいし、上述した項目の一部が削除されていてもよい。また、動物の種類や分類の数は、上述した例に限らず、これよりも多くとも少なくともよい。また、診断データベースは、動物毎、分類毎のそれぞれで作成されていてもよい。
学習モジュール44は、診断結果を学習する(ステップS20)。ステップS20において、学習モジュール44は、環境データ及び可視光画像や赤外線画像の画像を特徴量として、診断結果を学習する。すなわち、記憶モジュール30が記憶する診断データベースにおける環境データ及び画像と診断結果とのペアを、「教師ありデータ」として学習し、診断判断データを生成する。記憶モジュール30は、この生成された診断判断データを記憶し、診断モジュール43は、新たな画像を取得した際には、この今回学習した診断判断データに基づいて診断結果を判断する。
以上が、動物診断処理である。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 動物診断システム、10 コンピュータ

Claims (5)

  1. カメラにて撮像された動物の可視光画像を取得する第1画像取得手段と、
    取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析する画像解析手段と、
    前記画像解析の結果、前記動物の種類を特定する動物特定手段と、
    前記画像解析の結果、前記動物の異常部分を特定する異常部分特定手段と、
    前記動物がおかれた環境データを取得する環境データ取得手段と、
    前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断する第1診断手段と、
    を備えることを特徴とするコンピュータシステム。
  2. 前記カメラにて撮像された前記動物の赤外線画像を取得する第2画像取得手段と、
    前記可視光画像において、前記カメラにて撮像された動物の所定の部位に対応する領域を特定する第1画像処理手段と、
    特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第2画像処理手段と、
    特定された前記赤外線画像における領域の温度に基づいて、前記動物を診断する第2診断手段と、
    をさらに備え、
    前記異常部分特定手段は、前記温度に基づいた診断の結果に基づいて、前記動物の異常部分を特定する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  3. 前記環境データ取得手段は、前記可視光画像を取得した日付、当該日付前に与えた飼料の種類及び量、当該日付前に与えた水の量、前記動物の体温からなる群のうち少なくとも一つの環境データを取得する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  4. カメラにて撮像された動物の可視光画像を取得するステップと、
    取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析するステップと、
    前記画像解析の結果、前記動物の種類を特定するステップと、
    前記画像解析の結果、前記動物の異常部分を特定するステップと、
    前記動物がおかれた環境データを取得するステップと、
    前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断するステップと、
    を備えることを特徴とする動物の診断方法。
  5. コンピュータシステムに、
    カメラにて撮像された動物の可視光画像を取得するステップ、
    取得した前記可視光画像を、前記動物の通常の可視光画像と比較して画像解析するステップ、
    前記画像解析の結果、前記動物の種類を特定するステップ、
    前記画像解析の結果、前記動物の異常部分を特定するステップ、
    前記動物がおかれた環境データを取得するステップ、
    前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記動物の状態を診断するステップ、
    を実行させるためのプログラム。
JP2018547089A 2016-10-31 2016-10-31 コンピュータシステム、動物の診断方法及びプログラム Active JP6618631B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082302 WO2018078867A1 (ja) 2016-10-31 2016-10-31 コンピュータシステム、動物の診断方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018078867A1 true JPWO2018078867A1 (ja) 2019-09-05
JP6618631B2 JP6618631B2 (ja) 2019-12-11

Family

ID=62024617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547089A Active JP6618631B2 (ja) 2016-10-31 2016-10-31 コンピュータシステム、動物の診断方法及びプログラム

Country Status (3)

Country Link
US (1) US11100642B2 (ja)
JP (1) JP6618631B2 (ja)
WO (1) WO2018078867A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127445A (zh) * 2019-12-26 2020-05-08 智洋创新科技股份有限公司 基于深度学习的配网线路高温区域检测方法与系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156311A1 (en) * 2019-03-08 2022-05-19 Semiconductor Energy Laboratory Co., Ltd. Image retrieval method and image retrieval system
US11109586B2 (en) * 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
JP7553971B2 (ja) 2021-09-10 2024-09-19 国立研究開発法人農業・食品産業技術総合研究機構 評価装置、評価方法、評価プログラム、及び記録媒体
CN115005156B (zh) * 2022-04-26 2023-06-16 深圳市中融数字科技有限公司 动物死亡的判别方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228701A (ja) 2002-02-05 2003-08-15 Japan Science & Technology Corp 跛行診断システム
US20160073614A1 (en) * 2013-09-13 2016-03-17 Kyle Douglas Lampe System and Method for Detection of Lameness in Sport Horses and other Quadrupeds

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
WO2006064635A1 (ja) * 2004-12-17 2006-06-22 Konica Minolta Holdings, Inc. 診断システム
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127445A (zh) * 2019-12-26 2020-05-08 智洋创新科技股份有限公司 基于深度学习的配网线路高温区域检测方法与系统

Also Published As

Publication number Publication date
US20200380678A1 (en) 2020-12-03
WO2018078867A1 (ja) 2018-05-03
US11100642B2 (en) 2021-08-24
JP6618631B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
JP6618631B2 (ja) コンピュータシステム、動物の診断方法及びプログラム
JP6592613B2 (ja) コンピュータシステム、植物の診断方法及びプログラム
US12016308B2 (en) System for high performance, AI-based dairy herd management and disease detection
US10895491B2 (en) Animal weight estimation system, animal weight estimation method, and program
US10687713B2 (en) Diagnostic apparatus
Lu et al. An automatic ear base temperature extraction method for top view piglet thermal image
WO2018078868A1 (ja) コンピュータシステム、物体の診断方法及びプログラム
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
US11516992B2 (en) System, client terminal, control method for system, and storage medium
US20210216758A1 (en) Animal information management system and animal information management method
Wang et al. A PCA-based frame selection method for applying CNN and LSTM to classify postural behaviour in sows
US10832410B2 (en) Computer system, method, and program for diagnosing subject
CN114155216A (zh) 猪只温度检测方法及装置
CN117373110A (zh) 可见光-热红外成像的婴幼儿行为识别方法、装置及设备
JPWO2018179219A1 (ja) コンピュータシステム、動物診断方法及びプログラム
CN115695734A (zh) 红外热成像防护监控方法、装置、设备、系统和介质
CN111583333A (zh) 基于视觉引导的测温方法、装置、电子设备及存储介质
Swarup et al. Giant panda behaviour recognition using images
US20230084267A1 (en) System and a control method thereof
Sumi et al. Framework of cow calving monitoring system using video images
Yang et al. Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision
US20240021005A1 (en) Determining apparatus, determining method and determining program
JP2014178935A (ja) 動物異常検知装置、動物異常検知方法、およびプログラム
JP7260922B2 (ja) 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体
CN117935163A (zh) 吐奶检测方法、装置、电子设备、存储介质和计算机程序产品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190529

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

R150 Certificate of patent or registration of utility model

Ref document number: 6618631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250