[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7090922B2 - 矯正診断のための歯科画像分析方法及びこれを用いた装置 - Google Patents

矯正診断のための歯科画像分析方法及びこれを用いた装置 Download PDF

Info

Publication number
JP7090922B2
JP7090922B2 JP2019563288A JP2019563288A JP7090922B2 JP 7090922 B2 JP7090922 B2 JP 7090922B2 JP 2019563288 A JP2019563288 A JP 2019563288A JP 2019563288 A JP2019563288 A JP 2019563288A JP 7090922 B2 JP7090922 B2 JP 7090922B2
Authority
JP
Japan
Prior art keywords
dental image
measurement point
standard
measurement points
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563288A
Other languages
English (en)
Other versions
JP2020534037A (ja
Inventor
ソク キム、ハン
ソン ユ、ヨン
ジェ イ、シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ddh Inc
Original Assignee
Ddh Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ddh Inc filed Critical Ddh Inc
Publication of JP2020534037A publication Critical patent/JP2020534037A/ja
Application granted granted Critical
Publication of JP7090922B2 publication Critical patent/JP7090922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Probability & Statistics with Applications (AREA)

Description

本発明は、矯正診断のための歯科画像分析方法及びこれを用いた装置に係り、より具体的には、機械学習モジュールにより、歯科画像から、矯正診断のための複数の計測点を正確かつ迅速に検出可能な歯科画像分析方法及びこれを用いた装置に関する。
一般的に、咬合とは、口を閉じたときに上顎と下顎の歯が噛み合った状態を意味する。また、不正咬合とは、ある原因によって上下歯の配列が不規則であるか、上下顎の歯が正常に噛み合っていない機能的、審美的に問題となる不正確な咬合関係を意味する。
ここで、前記不正咬合は、遺伝的な影響が大きいと知られているが、歯の形状や大きさの問題、環境的な影響、良くない習慣、間違った姿勢及び歯牙う蝕症(虫歯)などの先天性疾患などのさまざまな原因によって発生する。
不正咬合があると、歯列が乱れて歯と歯の間に食べ物が詰まりやすい。正確なブラッシングできれいに管理することも容易ではないので、口腔内プラークが増加して歯牙う蝕症(虫歯)や歯肉の炎症などの歯周病(歯肉疾患)が発生しやすい。また、正常な歯並びから大きく外れた歯牙があるか、顎の位置が正常ではないケースがあれば、外部からの衝撃が加わると、歯の破折などの損傷が生じる可能性が大きい。
そこで、不正咬合を治療するために矯正治療が行われている。ここで、歯列矯正治療は、歯が外力を受けると移動する性質を利用する。矯正治療には、原因や治療の時期に応じて様々な装置及び方法が利用でき、例えば、装置は、上下顎骨の発育を抑制するか促進させる装置や、歯を所望の位置に徐々に移動させる装置などに分類することができる。
このような矯正治療を患者に適切に実行するためには、患者の顔型の判断が優先されるべきである。このような顔型判断(すなわち、矯正診断)のために、図1に示されるセファロ分析(cephalometric analysis)方法が主に用いられている。
このようなセファロ分析は、顔面骨格、歯、顔の輪郭などの相対位置を指示する解剖学的基準点を用いて矯正治療のための顔型を判断する方法であって、従来は、矯正治療が必要な患者の頭部X線規格写真(セファログラム:cephalogram)を見ながら矯正医が直接手作業で自分が必要な基準点をマークし、基準点を結ぶ各直線の相対角度などに基づいて患者の顔型を判断した。
しかし、このような従来方式は、矯正医が自分の学風などに基づいて必要な基準点を任意にマークする方式であるため、顔型判断のために使用される基準点が矯正医ごとに異なっている。それゆえに、基準点の標準化及び共有が難しく、多数の基準点を矯正医が一々手作業でマークする必要があるので、結構時間がかかり、矯正医の熟練度に応じて精度のばらつきが発生するという問題があった。
したがって、従来のこのような問題を解決することのできる矯正診断用歯科画像分析方法が求められている。
本発明は、上記問題を解決するために案出されたものであり、機械学習モジュールにより、歯科画像から、矯正診断のための複数の計測点を正確かつ迅速に検出可能な矯正診断のための歯科画像分析方法及びこれを用いた装置を提供することを目的とする。
本発明の技術的課題は、上述した技術的課題に何ら制限されるものではなく、未言及の他の技術的課題は、次の記載から当業者にとって明らかに理解できる筈である。
本発明の一実施形態により、矯正診断のための歯科画像分析方法が提供される。前記方法は、受診者の歯科画像を取得するステップと、前記歯科画像から、計測点検出モジュールを用いて、矯正診断のための複数の計測点(landmark)のうちの少なくとも一部を検出するステップと、を含み、前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク(artificial neural network)に基づいた機械学習モジュールを含んでいてもよい。
好ましくは、蓄積された複数の比較歯科画像を含む学習データから前記機械学習モジュールを学習させるステップをさらに含み、前記比較歯科画像は、専門医によって前記計測点が読み取られた他の受診者の歯科画像であってもよい。
また、好ましくは、前記歯科画像は頭部X線規格写真(cephalogram)であってもよい。
さらに、好ましくは、前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク(single convolution network)に基づいて前記複数の計測点を検出することができる。
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記複数の計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス(boundary box)を検出するステップと、前記検出された境界ボックスのうちの少なくとも一部のそれぞれに対して、内部に含まれる所定の箇所を前記計測点として決定するステップと、を含んでいてもよい。
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記受信された歯科画像をリサイズ(resizing)するステップをさらに含み、前記検出するステップは、前記リサイズされた歯科画像に基づいて行われてもよい。
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記境界ボックスのそれぞれに対して、前記個々の解剖学的特徴の存在確率を算出するステップをさらに含み、前記決定するステップは、一つの個々の解剖学的特徴に対して複数の境界ボックスが検出される場合、前記存在確率に基づいて前記一つの個々の解剖学的特徴に対応する複数の境界ボックスのうちのいずれかをフィルタリングするステップと、前記フィルタリングされた境界ボックスに含まれる所定の箇所を前記計測点として決定するステップと、を含んでいてもよい。
さらにまた、好ましくは、前記決定するステップでは、前記検出された境界ボックスのうちの少なくとも一部に対して中心座標を前記計測点として決定してもよい。
さらにまた、好ましくは、前記検出された計測点を、既設定された前記複数の計測点と対比して検出が欠落した計測点を識別するステップと、標準計測点情報(standard landmark information)に基づいて、前記検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索するステップ-前記標準計測点情報は、複数の前記標準歯科画像及び複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点に関する情報を含む-と、前記探索された標準歯科画像及び前記探索された標準歯科画像の前記標準計測点を用いて、前記欠落した計測点の位置を決定するステップと、をさらに含んでいてもよい。
さらにまた、好ましくは、前記標準計測点情報は、前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報をさらに含み、前記標準歯科画像を探索するステップでは、前記隣接計測点に関する情報に基づいて、前記検出された計測点のうち前記欠落した計測点と隣接して配置される複数の計測点に対応する前記標準計測点を有する前記標準歯科画像を探索することができる。
さらにまた、好ましくは、前記標準歯科画像は、歯科画像原本から前記標準計測点の存在領域を抽出することにより生成され、前記標準計測点に関する情報は、前記標準歯科画像において前記標準計測点の相対座標に関する情報を含み、前記方法は、前記歯科画像から前記検出された計測点の存在領域を抽出し、前記抽出された領域を、前記標準歯科画像と同じスケールで正規化(normalizing)して、前記検出された計測点の相対座標を算出するステップをさらに含み、前記標準歯科画像を探索するステップ及び前記欠落した計測点の位置を決定するステップは、前記検出された計測点の相対座標及び前記標準計測点の相対座標に基づいて行われてもよい。
さらにまた、好ましくは、診断者の選好計測点の情報を受信するステップと、前記検出された計測点のうち前記選好計測点情報に対応する一部を強調して表示するステップと、をさらに含んでいてもよい。
さらにまた、好ましくは、前記検出された計測点に基づいてセファロ分析(cephalometric analysis)を行うことにより、矯正治療のための前記受診者の顔型を判断するステップをさらに含んでいてもよい。
本発明の一実施形態により、前記方法を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
本発明の一実施形態により、矯正診断のための歯科画像解析をサポートするコンピューティング装置が提供される。前記装置は、受診者の歯科画像を取得する通信部と、前記歯科画像から、矯正診断のための複数の計測点(landmark)のうちの少なくとも一部を検出する計測点検出モジュールを含むプロセッサと、を含み、前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク(artificial neural network)に基づいた機械学習モジュールを含んでいてもよい。
本発明によれば、人工ニューラルネットワークに基づく機械学習モジュールを用いて、受診者の歯科画像から80個以上の計測点(landmark)を熟練した専攻医作業レベルで一貫して自動的に提示することにより、矯正診断の正確性、利便性及び迅速性を増大させることができる。
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面についての簡単な説明が提供される。
従来のセファロ分析方法を概略的に示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置の例示的な構成を示す。 本発明に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示す。 図4のステップS420の一実施形態を示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示す。 図6のステップS630の一実施形態を示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、計測点の検出のための境界ボックスを例示的に示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、標準歯科画像の生成過程を例示的に示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、標準歯科画像の生成過程を例示的に示す。 本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を例示的に示す。
以下、添付図面に基づき、本発明に係る実施形態について説明する。各図面の構成要素に参照符号を付するに当たって、同じ構成要素に対しては、たとえ異なる図面の上に示されているとしても、できる限り同じ符号を有するようにしていることに留意すべきである。また、本発明の実施形態について説明するに当たって、関連する公知の構成又は機能についての具体的な説明が本発明の実施形態への理解を妨げると認められる場合には、その詳細な説明は省略する。さらに、以下において、本発明の実施形態について説明するが、本発明の技術的思想はこれに何等限定又は制限されるものではなく、当業者によって変形されて種々に実施され得る。
明細書の全般に亘って、ある部分が他の部分と「接続」されているとしたとき、これは、「直接的に接続」されている場合だけではなく、これらの間に他の素子を挟んで「間接的に接続」されている場合も含む。明細書の全般に亘って、ある部分がある構成要素を「含む」としたとき、これは、特に断りのない限り、他の構成要素を除外するものではなく、他の構成要素をさらに含んでいてもよいということを意味する。なお、本発明の実施形態の構成要素について説明するに当たって、第1、第2、A、B、(a)、(b)などの用語を使用することができる。これらの用語は、その構成要素を他の構成要素と区別するためのものに過ぎず、これらの用語によって当該構成要素の本質や順序又は順番などが限定されることはない。
図2は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置の例示的な構成を示す。
本発明の一実施形態に係るコンピューティング装置100は、通信部110、プロセッサ120及び記憶部130を含み、通信部110を介して外部のコンピューティング装置(図示せず)と直接または間接的に通信することができる。
具体的には、コンピューティング装置100は、、典型的なコンピュータハードウェア(例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の構成要素を含み得る装置;ルータ、スイッチなどの電子通信装置;ネットワーク接続ストレージ(NAS、Network-Attached Storage)及びストレージエリアネットワーク(SAN、Storage Area Network)などの電子情報ストレージシステム)と、コンピュータソフトウェア(すなわち、コンピューティング装置をして特定の方式で機能せしめるインストラクション)との組み合わせを用いて、所望のシステム性能を達成することができる。
このようなコンピューティング装置100の通信部110は、連動される他のコンピューティング装置と要請及び応答を送受信することができ、例えば、このような要請及び応答を、同じTCP(Transport Control Protocol)セッションによって行うことができるが、これに限定されず、例えば、UDP(User Datagram Protocol)データグラムとして送受信することもできる。なお、広い意味で通信部110は、コマンドまたは指示などを受けるためのキーボード、マウス、その他の外部入力装置を含んでいてもよい。
また、コンピューティング装置100のプロセッサ120は、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含んでいてもよい。また、オペレーティングシステム、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含んでいてもよい。
また、コンピューティング装置100の記憶部130には、コンピューティング装置100の動作に伴うさまざまなデータが保存できる。記憶部130は、通常の技術者に知られているように、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、CF(Compact Flash)カード、SD(Secure Digital)カード、SM(Smart Media(登録商標))カード、MMC(Multimedia)カードまたはメモリスティック(Memory Stick)などの情報の入出力が可能な様々な形態の記憶装置により実現可能であり、コンピューティング装置100の内部に備えか、別の装置に備えられてもよい。
図3は、本発明に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す。
図3を参照すると、本発明の一実施形態に係るコンピューティング装置100のプロセッサ120は、画像取得モジュール210、計測点検出モジュール220、計測点補正モジュール230、顔型判断モジュール240、及び保存及び転送モジュール250を含んでいてもよい。例えば、それぞれのモジュールは、プロセッサ120と通信部(110及び/または記憶部130の連動により動作するように実現されてもよい。
画像取得モジュール210は、通信部110を介して、外部の他のコンピューティング装置またはコンピューティング装置100に連動されている他の装置(歯科画像撮影装置など)から、受診者の歯科画像を取得することができる。ここで、歯科画像は、受診者の頭部の側面をX-rayで撮影した頭部X線規格写真(cephalogram)であり得る。
計測点検出モジュール220は、歯科画像から矯正診断に必要な複数の計測点(landmark)を検出することができる。ここで、複数の計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点を指すものであり、ユーザの設定によってまたはデフォルト(defalult)で定められたN個で構成されてもよく、好ましくは80個で構成されてもよい。
計測点検出モジュール220は、機械学習モジュール222、フィルタリングモジュール224及び計測点決定モジュール226を含んでいてもよい。
機械学習モジュール(machine learning module)222は、画像またはイメージから複数のオブジェクトを同時に検出できるように実現されたものであり、人工ニューラルネットワーク(artificial neural network)、特に、畳み込みニューラルネットワーク(CNN、convolution neural network)またはこれを変形/改良した人工ニューラルネットワークに基づいて実現されてもよい。
一実施形態において、機械学習モジュール222は、複数のオブジェクトに対する迅速な同時検出が可能なように、単一の畳み込みネットワーク(single convolution network)により実現されてもよい。例えば、YOLO(you only look once)アルゴリズムにより実現された人工ニューラルネットワークが適用可能であるが、これに限定されるものではなく、本発明が適用される実施形態により、SSD、R-CNNなど複数のオブジェクト検出に適した様々なアルゴリズムまたは人工ニューラルネットワークが適用可能である。
機械学習モジュール222は、複数の畳み込み層(convolutional layer)と完全接続層(fully connected layer)とを含んでいてもよい。ここで、複数の畳み込み層は、画像を抽象化して特徴を抽出し、完全接続層は、検出オブジェクトの出力確率とそれを検出する境界ボックスの座標とを予測するように実現されてもよい。
本発明において、機械学習モジュール222は、境界ボックス(boundary box)を介して、歯科画像から、複数の計測点に対応する個々の解剖学的特徴を識別(または、検出)することができる。例えば、機械学習モジュール222は、歯科画像を複数のセルに分割し、それぞれのセルに対して境界ボックスを所定の数だけ割り当てることができ、個々の解剖学的特徴が特定のセルに存在する場合、当該セルに割り当てられた境界ボックスがそれを識別するように実現されてもよい。
これを通じて、機械学習モジュール222は、歯科画像から、複数の計測点に対応する個々の解剖学的特徴が存在する境界ボックス(boundary box)とその境界ボックスの座標、サイズ、境界ボックス内の各個々の解剖学的特徴の存在確率などを予測することができる。
フィルタリングモジュール224は、個々の解剖学的特徴の存在確率に基づいて機械学習モジュール222が検出した境界ボックスをフィルタリングすることができる。具体的には、一つの個々の解剖学的特徴について2以上の境界ボックスが検出される場合、フィルタリングモジュール224は、存在確率に基づいて前記複数の境界ボックスのうちのいずれかを、当該個々の解剖学的特徴が存在する境界ボックスとして選択することができる。
計測点決定モジュール226は、フィルタリング結果を反映して、最終選択された境界ボックスのそれぞれの内部に含まれる所定の箇所を計測点として決定することができる。例えば、計測点決定モジュール226は、各境界ボックスの中心座標を計測点として決定するように実現されてもよい。
計測点補正モジュール230は、計測点検出モジュール220が欠落した計測点が存在するかどうかを識別し、標準計測点情報(standard landmark information)を利用して、欠落した計測点の位置(または座標)を予測することができる。ここで、標準計測点情報は、複数の前記標準歯科画像、複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点及び/または前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点などに関する情報を含み得る。
顔型判断モジュール240は、最終的に検出された計測点のうちの少なくとも一部に基づいてセファロ分析(cephalometric analysis)を行うことにより、矯正治療のための受診者の顔型を分類または判断することができる。このような顔型に基づいて、診断者は今後、受診者に対する矯正治療計画を立てることができる。
保存及び転送モジュール250は、機械学習モジュール222の学習(training)のための学習データ(例えば、比較歯科画像)、受診者の歯科画像及び計測点の検出結果を記憶部130に保存するか、それを、通信部110を介して外部のコンピューティング装置、ディスプレイ装置などに転送することができる。
図4は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示し、図5は、図4のステップS420の一実施形態を示す。
ステップS410において、画像取得モジュール210は、通信部110を介して、外部の他のコンピューティング装置またはコンピューティング装置100に連動されている他の装置(歯科画像撮影装置など)から受診者の歯科画像を取得することができる。上述したように、歯科画像は受診者の頭部X線規格写真であり得る。
ステップS420において、計測点検出モジュール220は、受診者の歯科画像から、矯正診断のための複数の計測点のうちの少なくとも一部を検出することができる。一実施形態において、ステップS420は、図5に示すように、ステップS510~ステップS540を含んでいてもよい。
ステップS510において、計測点検出モジュール220は、歯科画像をリサイズ(resizing)することができる。すなわち、計測点検出モジュール220は、受診者の歯科画像を、機械学習モジュール222が既学習した歯科画像と同じスケールまたは割合で拡大または縮小することができる。これにより、本発明に係る方法400は、機械学習モジュール222の検出精度をより向上させることができる。歯科画像は、好ましくは416×640ピクセル(pixel)にリサイズされるように実現されてもよい。
ステップS520において、機械学習モジュール222は、蓄積された複数の比較歯科画像の学習結果に基づいて、受診者の歯科画像から、複数の計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス(boundary box)を検出し、それぞれの境界ボックス内における個々の解剖学的特徴のそれぞれの存在確率を算出することができる。
一実施形態において、ステップS520は、画像の抽象化の程度に応じて3ステップの検出により行われてもよい。すなわち、受診者の歯科画像は、機械学習モジュール222に含まれる複数の畳み込み層(convolution layer)を通して異なるレベルで抽象化され、機械学習モジュール222は、異なる3つの抽象化レベルで個々の解剖学的特徴を含む境界ボックスに対する検出及び個々の解剖学的特徴の存在確率の算出を行うように実現されてもよい。
ステップS520の実行結果、境界ボックスのそれぞれに対して、境界ボックスの中心座標、大きさ、個々の解剖学的特徴の存在確率に関する情報が出力値として生成可能である。
ステップS530において、フィルタリングモジュール224は、個々の解剖学的特徴の存在確率に基づいて境界ボックスのフィルタリングを行うことができる。例えば、ステップS520で3ステップの検出を適用して一つの個々の解剖学的特徴に対して2以上の境界ボックスが検出される場合、フィルタリングモジュール224は、存在確率に基づいて前記複数の境界ボックスのうちのいずれかを、その個々の解剖学的特徴が存在する境界ボックスとして選択することができる。一実施形態において、フィルタリングモジュール224は、複数の境界ボックスの中から、当該個々の解剖学的特徴の存在確率が最も高いものを選択するように実現されてもよい。
ステップS540において、計測点決定モジュール226は、フィルタリングされた境界ボックス内のある箇所を計測点の座標として決定することができる。例えば、計測点決定モジュール226は、それぞれ個々の解剖学的特徴に対応して検出された境界ボックスの中心座標を計測点の座標として決定することができる。
続いて、ステップS430において、顔型判断モジュール240は、検出された計測点のうちの少なくとも一部に基づいてセファロ分析を行うことにより、矯正治療のための受診者の顔型を分類または判断することができる。例えば、顔型判断モジュール240は、検出された計測点からセファロ分析に必要な有意な直線または角度を算出するための一部を選択すると、選択された計測点に基づいてセファロ分析を自動的に実行することにより、矯正治療のための受診者の顔型を分類または判断する。ここで、矯正治療のための顔型にハイパーディバージェント・パターン(hyperdivergent pattern)、ノーモアディバージェント・パターン(normodivergent pattern)、ハイポディバージェント・パターン(hypodivergent pattern)などが含まれてもよいが、これらは例示的なものであり、本発明に適用される実施形態により、顔型は、上下顎の相対的な位置、突出程度などに応じてより多様に分類することができる。このように、顔型が判断されると、診断者は、これに基づいて矯正治療に関する全般的な計画を策定することができる。
一方、図4及び図5には示されていないが、一実施形態において、方法400は、機械学習モジュール222を学習させるステップをさらに含んでいてもよい。例えば、このような学習は、蓄積された複数の比較歯科画像を用いて行われてもよい。すなわち、専門医によって計測点が読み取られた他の受診者の歯科画像を蓄積して収集し、これらを学習データとして機械学習モジュール222に入力することにより、機械学習モジュール222を学習させるように実現されてもよい。このとき、学習される比較歯科画像のサイズは、例えば、416×640ピクセル(pixel)であってもよい。
また、一実施形態において、方法400は、検出された計測点を表示するステップをさらに含んでいてもよい。すなわち、ステップS420を経て計測点の検出を完了すると、保存及び転送モジュール250が、通信部110を介してディスプレイ装置またはそれが結合された他のコンピューティング装置に、検出された計測点のうちの少なくとも一部の情報を転送することにより、それを診断者などに表示することができる。一実施形態において、このような表示は、診断者の選好計測点情報に基づいて行われてもよい。ここで、選好計測点情報は、診断者の地域、出身学校、矯正診断に関する選好学風、受診者の地域のうちの少なくとも一つに関する情報を含んでいてもよい。例えば、計測点検出モジュール220または保存及び転送モジュール250は、診断者の選好計測点情報に基づいて一部の計測点を選択し、これらに関する情報のみをディスプレイ装置などに転送するか、選択された一部の計測点をディスプレイ装置に所定の方法で強調して表示するように実現されてもよい。
図6は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示し、図7は、図6のステップS630の一実施形態を示す。
方法600におけるステップS610、ステップS620及びステップS640は、図4及び図5に基づき、上述した方法400におけるステップS410~ステップS430と同じである。したがって、それらについての詳細な説明は省略する。
ステップS630において、計測点補正モジュール230は、ステップS620で複数の計測点のうち検出されていない計測点がある場合、欠落した計測点を標準計測点情報に基づいて補正することができる。
ここで、標準計測点情報は、複数の前記標準歯科画像、複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点及び/または前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報を含んでいてもよい。標準歯科画像は、例えば、専門医によって計測点が判断された歯科画像原本から計測点の存在領域を抽出することにより生成可能であり、この場合、標準計測点に関する情報は、それぞれの標準歯科画像において標準計測点の相対座標に関する情報をさらに含んでいてもよい。
一実施形態において、ステップS630は、図7に示すように、ステップS710~ステップS740を含んでいてもよい。
ステップS710において、計測点補正モジュール230は、ステップS620で検出が欠落した少なくとも一つの計測点を識別することができる。すなわち、計測点補正モジュール230は、ユーザによって設定されるか、デフォルトで設定された複数の計測点と検出された計測点とを互いに対比して、欠落した計測点を識別することができる。
一方、ステップS710において、欠落した計測点が識別されない場合、後術するステップS720~ステップS740を行わず、すぐにステップS640を行うこともできる。
ステップS720において、計測点補正モジュール230は、検出された計測点のうちの少なくとも一部の相対座標を算出することができる。例えば、ステップS720は、計測点が検出された受診者の歯科画像から計測点が存在する領域を抽出し、これを標準歯科画像と同じスケールで正規化(normalizing)することにより行われてもよい。すなわち、以下、図10~図11を参照して上述したように、計測点補正モジュール230は、歯科画像から計測点の存在領域を抽出した後、当該領域をスケール変換して計測点のうちの少なくとも一つの相対座標を(0、0)から(1、1)の間の座標として算出する。
一実施形態において、ステップS720は、欠落した計測点と隣接して配置される2以上の計測点に対して行われるように実現されてもよい。
ステップS730において、計測点補正モジュール230は、算出された相対座標を用いて、検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索することができる。例えば、計測点補正モジュール230は、欠落した計測点に隣接して配置される複数の周辺計測点(好ましくは、5~7個の計測点)と、それぞれの標準歯科画像において欠落した計測点に対応する標準計測点と隣接して配置される複数の隣接計測点との相対座標を比較して、欠落した計測点の周辺計測点と最も近い標準計測点を有する標準歯科画像を探索することができる。
ステップS740において、計測点補正モジュール230は、探索された標準歯科画像の標準計測点を用いて、欠落した計測点の位置(または、座標)を決定することができる。すなわち、計測点補正モジュール230は、探索された標準歯科画像において欠落した計測点に対応する標準計測点の相対座標を欠落計測点の相対座標として設定し、このような相対座標を歯科画像の原本に合わせてスケール変換することで、欠落した計測点の位置(または、座標)を決定することができる。
一方、図6及び図7には示されていないが、一実施形態において、方法600は、最終的に補正された計測点および受診者の歯科画像に関する情報に基づいて機械学習モジュール222を再学習させるステップをさらに含んでいてもよい。このように、欠落した計測点が補正された結果を、機械学習モジュール222をして再学習せしめることで、機械学習モジュール222の検出精度をより向上させることができる。
図8は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、計測点の検出のための境界ボックスを例示的に示す。
図8を参照すると、複数の境界ボックス810は、複数の計測点に対応する個々の解剖学的特徴が定義されている領域を歯科画像から識別することができる。ここで、それぞれの個々の解剖学的特徴を定義する領域(label size)の大きさは、検出精度を最大化するために、好ましくは30×30ピクセル(pixel)に設定されてもよい。
一実施形態において、機械学習モジュール222は、歯科画像を複数のセルに分割し、それぞれのセルに対して境界ボックスを所定の数だけ割り当てることができ、個々の解剖学的特徴が特定のセルに存在する場合、当該セルに割り当てられた境界ボックスがそれを検出するように実現されてもよい。
これにより、上述したように、機械学習モジュール222は、境界ボックスのそれぞれに対する中心座標(各セルにおける相対座標)、大きさ(幅、高さ)、それぞれの個々の解剖学的特徴の存在確率に関する情報を出力する。
図9及び図10は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、標準歯科画像の生成過程を例示的に示す。
図9及び図10を参照すると、標準歯科画像は、専門医によって計測点が読み取られた所定の歯科画像原本に基づいて生成可能である。ここで、歯科画像原本は、機械学習モジュール222の学習データとして提供される比較歯科画像の少なくとも一部であり得る。
すなわち、例えば、標準歯科画像において2以上の最外郭計測点に基づいて、標準計測点の存在領域を抽出し、抽出された領域を(0、0)から(1、1)に該当する座標領域にスケール変換させることで、標準歯科画像を生成することができる。これにより、変換された座標領域内でそれぞれの標準計測点は、(0、0)から(1、1)の間の相対座標を有することができる。
図11は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を例示的に示す。
図11を参照して、本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を整理すると、次の通りである。
画像取得モジュール210及び通信部110を介して取得された受診者の歯科画像が機械学習モジュール222に入力されると、機械学習モジュール222は、複数の畳み込み層を通して歯科画像を抽象化し、抽象化の程度に応じ3ステップのレベルでそれぞれ計測点に対応する個々の解剖学的特徴が存在すると予測される境界ボックスを検出する。
次いで、一つの個々の解剖学的特徴に対する複数の境界ボックスが検出された場合、フィルタリングモジュール224は、当該解剖学的特徴の存在確率に基づいて、存在確率が最も高い境界ボックスをフィルタリングし、計測点決定モジュール226は、フィルタリング結果に基づいて、最終的に検出された境界ボックスの中心座標を計測点として決定する。
その次、計測点補正モジュール230は、設定された複数の計測点のうち検出が欠落した計測点があるかどうかを識別し、欠落した計測点の位置(または、座標)を、標準計測点情報を参照して決定し、最終的に、設定されたすべての計測点が検出され、例えば、ディスプレイ装置に、歯科画像に重畳されて座標または点の形で出力できる。
一方、本明細書に記載の様々な実施形態は、ハードウェア、ソフトウェア及び/またはこれらの組み合わせなどによって実現可能である。例えば、様々な実施形態は、一つ以上のオンデマンド半導体(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、と、マイクロコントローラに、マイクロプロセッサ、ここで提示されている機能を実行するように設計される他の電子ユニットまたはこれらの組み合わせ内で実現可能である。
また、例えば、様々な実施形態は、コマンドを含むコンピュータ-読み取り可能な媒体に収録またはエンコードされてもよい。コンピュータ-読み取り可能な媒体に収録またはエンコードされたコマンドは、プログラム可能なプロセッサまたは他のプロセッサをして、例えば、コマンドが実行される際に方法を行わせることができる。コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってもよい。例えば、このようなコンピュータ読み取り可能な媒体は、RAM、ROM、EEPROM、CD-ROMまたはその他の光学ディスク記憶媒体、磁気ディスク記憶媒体または他の磁気記憶デバイス、または、所望のプログラムコードをコンピュータによってアクセス可能なコマンドまたはデータ構造の形式で保存するために使用することができる任意の他の媒体を含んでいてもよい。
このようなハードウェア、ソフトウェア等は本明細書に記載の様々な動作及び機能をサポートするように同一のデバイス内でまたは個別のデバイス内で実現されてもよい。なお、本発明において、「~部」と記載された構成要素、ユニット、モジュール、コンポーネント等は共に実現されてもよい。または、個別的であるが互いに運用可能なロジックデバイスとして個別的に実現されてもよい。モジュール、ユニット等に対する互いに異なる特徴の描写は互いに異なる機能的実施形態を強調するために意図されたものであり、これらが個別ハードウェアまたはソフトウェアコンポーネントによって実現されなければならないということを必ずしも意味するものではない。かえって、一つ以上のモジュールまたはユニットと関連した機能は、個別ハードウェアまたはソフトウェアコンポーネントによって実行されるか、または共通のまたは個別のハードウェアまたはソフトウェアコンポーネント内に統合されてもよい。
各動作は図面中で特定の順序で示されているが、これは、所望の結果を達成するために、このような動作が図示された特定の順序もしくは逐次的な順序で実行されること、または、図示された全ての動作が実行されることを必要とするとして理解されるべきではない。特定の状況では、マルチタスク処理及び並列処理を用いることが好ましい。さらに、上述した本実施形態における種々のシステム構成要素の区分は、このような区分が全ての実施形態で必要とされると理解すべきではなく、記載されたプログラム構成要素は、通常、単一のソフトウェア製品に一体化して統合することができ、または多数のソフトウェア製品にパッケージ化することができることを理解すべきである。
以上のように、図面と明細書で最適の実施形態が開示された。ここで特定の用語が使用されたが、これは単に本発明を説明するための目的で使用されたのであって意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。そのため、本技術分野の通常の知識を有する者であれば、そこから様々な変形及び均等な他の実施形態が可能であるという点を理解するだろう。したがって、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想によって定められなければならないだろう。

Claims (12)

  1. 少なくとも画像取得モジュールと計測点検出モジュールを含むコンピューティング装置のプロセッサが矯正診断のために行う歯科画像分析方法であって、
    前記コンピューティング装置のプロセッサが、歯科画像分析を行う各ステップとして、
    画像取得モジュールによって、受診者の歯科画像を取得するステップと、
    計測点検出モジュールによって、前記歯科画像から、矯正診断のための複数の計測点( landmark)を検出することである計測点のうちの少なくとも一部を検出するステップと、を含み、
    前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク(artificial neural network)に基づいた機械学習モジュールを含み、
    前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク(single convolution network)に基づいて、前記歯科画像から複数の前記計測点を同時に検出し、
    前記計測点のうちの少なくとも一部を検出するステップは、
    前記歯科画像を抽象化し、複数の前記計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス(boundary box)及び前記境界ボックスのそれぞれの中心座標を検出するステップと、
    前記検出された前記境界ボックスのうちの少なくとも一部に対して、中心座標を前記計測点として決定するステップと、を含む方法。
  2. 蓄積された複数の比較歯科画像を含む学習データから前記機械学習モジュールを学習させるステップをさらに含み、
    前記比較歯科画像は、専門医によって前記計測点が読み取られた他の受診者の歯科画像である、請求項1に記載の方法。
  3. 前記歯科画像は頭部X線規格写真(cephalogram)である、請求項1に記載の方法。
  4. 前記検出ステップは、
    前記受信された歯科画像をリサイズ(resizing)するステップをさらに含み、
    前記検出するステップは、前記リサイズされた歯科画像に基づいて行われる、請求項1に記載の方法。
  5. 前記検出ステップは、
    前記境界ボックスのそれぞれに対して、前記個々の解剖学的特徴の存在確率を算出するステップをさらに含み、
    前記決定するステップは、
    一つの個々の解剖学的特徴に対して複数の前記境界ボックスが検出される場合、前記存在確率に基づいて前記一つの個々の解剖学的特徴に対応する複数の前記境界ボックスのうちのいずれかをフィルタリングするステップと、
    前記フィルタリングされた前記境界ボックスの前記中心座標を前記計測点として決定するステップと、を含む、請求項1に記載の方法。
  6. 前記検出された計測点を、既設定された複数の計測点と対比して検出が欠落した計測点を識別するステップと、
    標準計測点情報(standard landmark information)に基づいて、前記検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索するステップ-前記標準計測点情報は、複数の前記標準歯科画像及び複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点に関する情報を含む-と、
    前記探索された標準歯科画像及び前記探索された標準歯科画像の前記標準計測点を用いて、前記欠落した計測点の位置を決定するステップと、をさらに含む、請求項1に記載の方法。
  7. 前記標準計測点情報は、前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報をさらに含み、
    前記標準歯科画像を探索するステップでは、前記隣接計測点に関する情報に基づいて、 前記検出された計測点のうち前記欠落した計測点と隣接して配置される複数の計測点に対応する前記標準計測点を有する前記標準歯科画像を探索する、請求項6に記載の方法。
  8. 前記標準歯科画像は、歯科画像原本から前記標準計測点の存在領域を抽出することにより生成され、前記標準計測点に関する情報は、前記標準歯科画像において前記標準計測点 の相対座標に関する情報を含み、
    前記方法は、
    前記歯科画像から前記検出された計測点の存在領域を抽出し、前記抽出された領域を、 前記標準歯科画像と同じスケールで正規化(normalizing)して、前記検出された計測点の相対座標を算出するステップをさらに含み、
    前記標準歯科画像を探索するステップ及び前記欠落した計測点の位置を決定するステップは、前記検出された計測点の相対座標及び前記標準計測点の相対座標に基づいて行われる、請求項6に記載の方法。
  9. 診断者の選好計測点の情報を受信するステップと、
    前記検出された計測点のうち前記選好計測点情報に対応する一部を強調して表示するス テップと、をさらに含む、請求項1に記載の方法。
  10. 前記検出された計測点に基づいてセファロ分析(cephalometric ana lysis)を行うことにより、矯正治療のための前記受診者の顔型を判断するステップ をさらに含む、請求項1に記載の方法。
  11. 請求項1ないし10のいずれか一項に記載の方法を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  12. 矯正診断のための歯科画像解析をサポートするコンピューティング装置であって、
    受診者の歯科画像を取得する通信部と、
    前記歯科画像から、矯正診断のための複数の計測点(landmark)のうちの少なくとも一部を検出する計測点検出モジュールを含むプロセッサと、を含み、
    前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク(artificial neural network)に基づいた機械学習モジュールを含み、
    前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク(single convolution network)に基づいて、前記歯科画像から複数の前記計測点を同時に検出し、
    前記歯科画像を抽象化し、複数の前記計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス(boundary box)及び前記境界ボックスのそれぞれの中心座標を検出し
    前記検出された前記境界ボックスのうちの少なくとも一部に対して、中心座標を前記計測点として決定する装置。
JP2019563288A 2018-08-21 2018-10-11 矯正診断のための歯科画像分析方法及びこれを用いた装置 Active JP7090922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0097713 2018-08-21
KR1020180097713A KR102099390B1 (ko) 2018-08-21 2018-08-21 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
PCT/KR2018/011969 WO2020040349A1 (ko) 2018-08-21 2018-10-11 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Publications (2)

Publication Number Publication Date
JP2020534037A JP2020534037A (ja) 2020-11-26
JP7090922B2 true JP7090922B2 (ja) 2022-06-27

Family

ID=69592826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563288A Active JP7090922B2 (ja) 2018-08-21 2018-10-11 矯正診断のための歯科画像分析方法及びこれを用いた装置

Country Status (6)

Country Link
US (1) US10991094B2 (ja)
EP (1) EP3842005A4 (ja)
JP (1) JP7090922B2 (ja)
KR (1) KR102099390B1 (ja)
CN (1) CN111083922B (ja)
WO (1) WO2020040349A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080819A1 (ko) * 2018-10-16 2020-04-23 주식회사 큐티티 기계학습 알고리즘을 이용한 구강건강 예측장치 및 방법
KR102459179B1 (ko) * 2020-03-13 2022-10-31 주식회사 인비전랩 인공 신경망을 이용한 의료용 이미지의 판독 장치
WO2021210966A1 (ko) * 2020-04-16 2021-10-21 이마고웍스 주식회사 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 데이터 위치 정렬 자동화 방법, 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법, 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102334519B1 (ko) 2020-12-14 2021-12-06 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 간소화된 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102331034B1 (ko) * 2020-12-10 2021-12-01 이마고웍스 주식회사 치과용 3차원 스캔 데이터의 랜드마크 자동 검출 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102334480B1 (ko) 2020-04-16 2021-12-06 이마고웍스 주식회사 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
US12008749B2 (en) * 2020-05-08 2024-06-11 Richard Ricci Dental images correlated to the human genome with artificial intelligence
CN111599432B (zh) * 2020-05-29 2024-04-02 上海优医基医疗影像设备有限公司 一种三维颅面影像特征点标记分析系统及方法
KR102377629B1 (ko) * 2020-06-22 2022-03-24 송언의 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법
KR102386828B1 (ko) 2020-10-28 2022-04-14 부산대학교 산학협력단 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법
KR20220100740A (ko) 2021-01-07 2022-07-18 디디에이치 주식회사 의료 영상 분석 방법 및 이를 이용한 장치
KR102438737B1 (ko) * 2021-02-16 2022-09-02 연세대학교 산학협력단 교합평면 제안 장치 및 제안 방법
CN113425440A (zh) * 2021-06-24 2021-09-24 广州华视光学科技有限公司 一种基于人工智能检测龋病及其位置的系统和方法
KR102372962B1 (ko) * 2021-08-04 2022-03-11 (주)아인사이트 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
CN113948190A (zh) * 2021-09-02 2022-01-18 上海健康医学院 X线头颅正位片头影测量标志点自动识别方法及设备
KR102522720B1 (ko) * 2022-03-04 2023-04-25 이마고웍스 주식회사 3차원 구강 스캔 데이터에 3차원 치아 라이브러리 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR102516945B1 (ko) * 2022-03-24 2023-04-03 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 랜드마크 검출 방법 및 장치
KR102469288B1 (ko) * 2022-05-13 2022-11-22 주식회사 쓰리디오엔에스 자동 치열 교정 계획 방법, 장치 및 프로그램
US12059316B2 (en) 2022-09-08 2024-08-13 Enamel Pure Systems and methods for dental treatment and verification
KR102653616B1 (ko) * 2022-12-22 2024-04-01 박선영 투명 교정 장치의 성공률 결정 방법, 장치 및 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003037204A1 (fr) 2001-10-31 2003-05-08 Imagnosis Inc. Appareil de simulation medical et procede de commande d'afficheur d'image en trois dimensions inclus dans cet appareil de simulation medical
JP2008253808A (ja) 2004-09-24 2008-10-23 Icat:Kk 人体情報抽出装置、人体撮影情報の基準面変換方法および断面情報検出装置
JP2014171702A (ja) 2013-03-11 2014-09-22 Miura:Kk 顎変形症術後顔貌予測方法及びシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184643A1 (en) * 2003-03-21 2004-09-23 Stantchev Gueorgui H. Methods and apparatus for imaging
GB0414277D0 (en) * 2004-06-25 2004-07-28 Leuven K U Res & Dev Orthognatic surgery
KR100825960B1 (ko) 2006-08-31 2008-05-06 오스템임플란트 주식회사 두부계측 방사선사진 상에 계측점을 지정하는 방법
TWI323171B (en) * 2007-06-27 2010-04-11 Univ Nat Cheng Kung Cephalogram image analysis method
US9020235B2 (en) * 2010-05-21 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for viewing and analyzing anatomical structures
KR101309013B1 (ko) * 2011-10-04 2013-09-17 주식회사 모르페우스 안면 영상과 엑스레이 영상을 이용한 형상진단기
RU2530220C1 (ru) * 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
WO2015179084A1 (en) * 2014-05-22 2015-11-26 Carestream Health, Inc. Method for 3-d cephalometric analysis
US9675305B2 (en) * 2014-06-03 2017-06-13 Ortho-Tain System and method for determining an orthodontic diagnostic analysis of a patient
US20160038092A1 (en) * 2014-08-11 2016-02-11 Douglas A. Golay Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
US10318839B2 (en) * 2015-01-13 2019-06-11 Council Of Scientific And Industrial Research Method for automatic detection of anatomical landmarks in volumetric data
KR101963358B1 (ko) * 2016-05-10 2019-03-28 (주)바텍이우홀딩스 3차원 두부 영상 정렬 장치 및 방법
KR101887198B1 (ko) * 2016-06-20 2018-09-06 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체
US10049457B2 (en) * 2016-08-29 2018-08-14 CephX Technologies Ltd. Automated cephalometric analysis using machine learning
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
US20190125295A1 (en) * 2017-10-30 2019-05-02 Siemens Medical Solutions Usa, Inc. Cardiac flow detection based on morphological modeling in medical diagnostic ultrasound imaging
US11049606B2 (en) * 2018-04-25 2021-06-29 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
CN110021021B (zh) * 2018-07-09 2024-06-07 乐人美德株式会社 头部图像分析装置及图像分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003037204A1 (fr) 2001-10-31 2003-05-08 Imagnosis Inc. Appareil de simulation medical et procede de commande d'afficheur d'image en trois dimensions inclus dans cet appareil de simulation medical
JP2008253808A (ja) 2004-09-24 2008-10-23 Icat:Kk 人体情報抽出装置、人体撮影情報の基準面変換方法および断面情報検出装置
JP2014171702A (ja) 2013-03-11 2014-09-22 Miura:Kk 顎変形症術後顔貌予測方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sercan O. Ar.k,Fully automated quantitativecephalometry using convolutionalneural networks,Journal of Medical Imaging,米国,SPIE,2017年01月,Vol.4 Issue 1,pp.01450-1~01450-3,第01450-1ページ左欄第5-7行、第01450-2ページ左欄第1-32行、第01450-2ページ左欄第43-第01450-3ページ左欄第24行,図1,表1

Also Published As

Publication number Publication date
CN111083922A (zh) 2020-04-28
WO2020040349A1 (ko) 2020-02-27
KR102099390B1 (ko) 2020-04-09
EP3842005A1 (en) 2021-06-30
CN111083922B (zh) 2021-10-26
EP3842005A4 (en) 2022-06-01
KR20200023703A (ko) 2020-03-06
US10991094B2 (en) 2021-04-27
US20200286223A1 (en) 2020-09-10
JP2020534037A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
JP7090922B2 (ja) 矯正診断のための歯科画像分析方法及びこれを用いた装置
KR20200083822A (ko) 교정 진단을 위한 치과 영상 분석을 지원하는 컴퓨팅 장치 및 치과 영상 분석 방법
WO2019141106A1 (zh) 基于c/s架构的牙齿美化ar智能辅助方法及装置
KR101723652B1 (ko) 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록 매체
KR101913586B1 (ko) 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체
US20180061054A1 (en) Automated Cephalometric Analysis Using Machine Learning
EP2682068B1 (en) System and method for generating profile change using cephalometric monitoring data
KR102142336B1 (ko) 치아 영상 제공 방법, 치아 영상 제공 장치 및 기록 매체
KR101723654B1 (ko) 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록매체
EP4248872A1 (en) Medical image analysis method and device using same
WO2024141074A1 (zh) 面中线的生成方法、矫治器及其制造方法
KR101145672B1 (ko) 미소 훈련을 위한 미소 분석 시스템
EP2443611A1 (en) Image analysis method
KR20220154471A (ko) 치아 영역을 확인하기 위한 재구성 영상 생성 방법
JP2009003842A (ja) 画像処理装置及び画像処理方法
KR20240068667A (ko) 치아 수복 작업 흐름에서 자동화된 치아 관리
TWI782269B (zh) 影像數據的預處理裝置
JP7073179B2 (ja) 画像抽出装置、画像抽出方法及び画像抽出プログラム
WO2018076142A1 (zh) 一种上颌中切牙分类方法及系统
CN118319489B (zh) 一种安全距离确定方法、装置、设备及介质
KR102690710B1 (ko) 멀티 인공지능을 이용한 인체 내 임플란트 종류 판독장치 및 그 방법
US20240032856A1 (en) Method and device for providing alopecia information
WO2023151549A1 (zh) 面中线及牙齿矫治位置的确定方法、制造方法及系统
WO2022173055A1 (ja) 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル
WO2021095867A1 (ja) 自動手術計画システムおよび手術計画方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7090922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150