JP2013128694A - Program and apparatus for orthodontic simulation - Google Patents
Program and apparatus for orthodontic simulation Download PDFInfo
- Publication number
- JP2013128694A JP2013128694A JP2011281222A JP2011281222A JP2013128694A JP 2013128694 A JP2013128694 A JP 2013128694A JP 2011281222 A JP2011281222 A JP 2011281222A JP 2011281222 A JP2011281222 A JP 2011281222A JP 2013128694 A JP2013128694 A JP 2013128694A
- Authority
- JP
- Japan
- Prior art keywords
- image
- simulation
- orthodontic
- tooth
- dentition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Dental Prosthetics (AREA)
Abstract
Description
本発明は、歯列矯正を行う患者に矯正後のイメージを伝えるために用いられる歯列矯正シミュレーションプログラムおよび歯列矯正シミュレーション装置に関する。 The present invention relates to an orthodontic simulation program and an orthodontic simulation apparatus used for transmitting a corrected image to a patient who performs orthodontics.
従来、矯正歯科では、既存の症例写真を患者に見せたり、あるいは、患者の歯とは異なる平均的な歯形の模型を使用して矯正後の歯の状態について患者に説明している。しかしながら、歯並びや口腔内の状態は患者によって個人差が大きく、他人の症例写真や平均的な歯形の模型によるシミュレーションでは、矯正後に患者の歯がどのような状態になるのかという正確なイメージを示すことができず、患者に矯正結果の正確なイメージが伝わりにくい。このため、矯正治療について十分な安心感を与えることができなかった。また、歯科医師と患者が同じイメージを共有できないため、明確な合意を得にくく、治療の方向性が定まりにくいという問題点があった。 Conventionally, in orthodontics, an existing case photograph is shown to the patient, or the tooth condition after correction is explained to the patient using an average tooth profile model different from the patient's teeth. However, tooth alignment and oral cavity conditions vary greatly from patient to patient, and simulations based on other people's case photos and average tooth profile models show an accurate image of the patient's teeth after correction. It is difficult to convey an accurate image of the correction result to the patient. For this reason, it was not possible to give a sufficient sense of security about orthodontic treatment. In addition, since the dentist and the patient cannot share the same image, there is a problem that it is difficult to obtain a clear agreement and the direction of treatment is difficult to determine.
特許文献1には、歯科治療(補綴治療や審美治療など)の治療結果を患者に正確に伝えるための歯科治療用イメージ確認システムが開示されている。このシステムでは、患者の顔写真と口腔写真をデジタルカメラで撮影して端末機に入力する。そして、口腔写真の中から治療部位を指定し、当該部位に対する治療内容を指定して、指定内容に基づき、口腔写真の中の治療対象の部位を加工編集して治療結果を示す加工イメージ画像を作成し、端末機に表示する。このような方法により、患者の顔写真および口腔写真における治療対象の部位だけを治療後のイメージに変えた加工イメージ画像を患者に提示できるため、治療後のイメージを従来よりも正確に伝えることができる。 Patent Document 1 discloses an image confirmation system for dental treatment for accurately transmitting a treatment result of dental treatment (such as prosthetic treatment or aesthetic treatment) to a patient. In this system, a face photograph of a patient and a mouth photograph are taken with a digital camera and input to a terminal. Then, a treatment part is designated from the oral photograph, treatment content for the part is designated, and based on the designated content, the treatment target part in the oral photograph is processed and edited to show the treatment image. Create and display on the terminal. In this way, the processed image can be presented to the patient after changing only the treatment target area in the patient's face photograph and oral photograph to the post-treatment image, so that the post-treatment image can be conveyed more accurately than before. it can.
特許文献1のシステムでは、治療結果を示す加工イメージ画像の作成は、端末機で入力された歯科医師の指示内容に基づいて画像加工者によって手動で行われており、画像加工者は、予め保存しておいた症例種別データ(例えば、保険補綴物、保険外補綴物、歯並び矯正、ホワイトニング等のサンプル画像)の中から今回の治療に該当するものを読み出して、これを画像編集ソフトウェアにより必要に応じて編集加工した後、編集対象の口腔写真に貼り付けると共に、治療対象の部位の色や艶を医師からの指定内容に従って変更している。 In the system of Patent Document 1, creation of a processed image showing a treatment result is manually performed by an image processor based on the instruction contents of a dentist input at a terminal, and the image processor stores in advance Read the case type data (for example, sample images of insurance prosthesis, non-insurance prosthesis, tooth alignment correction, whitening, etc.) that correspond to the current treatment and make it necessary by image editing software After editing and processing accordingly, the image is pasted on the oral photograph to be edited, and the color and gloss of the region to be treated are changed according to the contents designated by the doctor.
しかしながら、特許文献1の加工編集方法は、治療対象の部位をサンプル画像あるいはその編集画像に置き換えてしまうため、歯列矯正のように患者の歯をそのまま残して歯並びを矯正する治療に適した加工編集方法とはいえない。治療対象の部位を患者の歯とは異なる既存のサンプル画像に置き換えてしまうと、歯列矯正の場合には、治療後の正確なイメージを示す加工イメージ画像を作成するのが逆に困難になってしまう。 However, since the processing and editing method of Patent Document 1 replaces a site to be treated with a sample image or an edited image thereof, processing suitable for a treatment that corrects the alignment of the teeth while leaving the patient's teeth intact, such as orthodontic treatment. It is not an editing method. If the site to be treated is replaced with an existing sample image that is different from the patient's teeth, it will be difficult to create a processed image showing an accurate image after treatment in orthodontics. End up.
また、歯列矯正や抜歯、補綴などを行った場合、治療対象の歯だけでなく周囲の歯も連動して動くが、上記の加工編集方法では、治療対象の歯のみが加工編集されるため、このような周囲の歯への影響を反映させた加工イメージ画像を作成することはできない。周囲の歯への影響までも正確にシミュレーションするためには、治療対象以外の部分についても手動で細かく画像を変更する必要があり、このような作業には手間がかかる。また、周囲の歯への影響を手動で正確にシミュレーションするのは困難である。 In addition, when orthodontics, extraction, prosthesis, etc. are performed, not only the teeth to be treated but also the surrounding teeth move in conjunction with each other. It is not possible to create a processed image that reflects the influence on the surrounding teeth. In order to accurately simulate even the influence on the surrounding teeth, it is necessary to manually change the image of portions other than the treatment target, and such work is time-consuming. In addition, it is difficult to accurately simulate the influence on surrounding teeth manually.
本発明の課題は、このような点に鑑みて、矯正後のイメージを簡単に、且つ、正確に患者に把握させることができる歯列矯正シミュレーションプログラムおよび歯列矯正シミュレーション装置を提案することにある。 In view of these points, an object of the present invention is to propose an orthodontic simulation program and an orthodontic simulation apparatus that allow a patient to grasp an image after correction easily and accurately. .
上記の課題を解決するために、本発明の歯列矯正シミュレーションプログラムは、
患者の歯列画像をシミュレーションに用いる元画像に設定する初期画像設定処理と、
当該元画像に対する歯列矯正のシミュレーション設定を行うシミュレーション設定処理と、
矯正内容を指定する入力が行われると、前記シミュレーション設定に従って前記元画像を加工して、矯正後の患者の歯の予測画像を作成するシミュレーション実行処理とをコンピュータに実行させ、
前記シミュレーション実行処理において、
前記シミュレーション設定に基づき、前記元画像における矯正対象として指定された部分と他の部分を連動させて加工することを特徴としている。
In order to solve the above problems, the orthodontic simulation program of the present invention is:
An initial image setting process for setting a patient's dentition image as an original image used for simulation;
Simulation setting process for performing orthodontic simulation setting for the original image;
When an input for specifying the correction content is performed, the computer executes the simulation execution processing for processing the original image according to the simulation setting and creating a predicted image of the corrected patient's teeth,
In the simulation execution process,
Based on the simulation setting, a part designated as a correction target in the original image and another part are processed in conjunction with each other.
このように、本発明は、患者自身の歯列画像を利用してシミュレーションを行うため、予測画像を正確なイメージに近づけることができ、正確なイメージを患者に伝えることができる。特に、本発明では、シミュレーションにおいて、元画像の各部分と他の部分を連動させて加工することができる。例えば、予め、シミュレーション設定において、元画像における各歯と他の歯との連動設定を行っておくことにより、このような処理が可能になる。このようにすると、他の歯への影響を反映させた予測画像を作成でき、信頼性の高い予測画像を容易に作成できる。これにより、患者に歯列矯正後のイメージを正確に把握させることができ、矯正治療について十分な安心感を与えることができる。また、歯科医師と患者が正確なイメージを共有できるため、矯正治療の方向性を定めることが容易になり、矯正治療についてのコンサルティングの効果が高まる。 As described above, according to the present invention, since the simulation is performed using the patient's own dentition image, the predicted image can be brought close to an accurate image, and the accurate image can be transmitted to the patient. In particular, according to the present invention, each part of the original image can be processed in conjunction with another part in the simulation. For example, such a process can be performed by previously performing an interlocking setting between each tooth in the original image and another tooth in the simulation setting. In this way, a predicted image reflecting the influence on other teeth can be created, and a highly reliable predicted image can be easily created. Thereby, a patient can be made to correctly grasp the image after orthodontic treatment, and a sufficient sense of security can be given for the orthodontic treatment. In addition, since the dentist and the patient can share an accurate image, it is easy to determine the direction of orthodontic treatment, and the effectiveness of consulting on orthodontic treatment is enhanced.
本発明において、前記初期画像設定処理において、前記歯列画像および患者の顔の画像を前記元画像に設定し、前記シミュレーション設定処理において、前記元画像における前記顔の画像を前記歯列画像に連動させて動かすための設定を行うことが望ましい。例えば、歯列画像と顔の画像の連動ポイントを設定して、対応する連動ポイントを一致させるように両画像を加工する設定を行うことが望ましい。このようにすると、口腔写真の予測画像を自動的に顔写真に反映させることができ、顔写真の予測画像を精度良く容易に作成できる。 In the present invention, in the initial image setting process, the dentition image and a patient's face image are set as the original image, and in the simulation setting process, the face image in the original image is linked to the dentition image. It is desirable to make a setting to move it. For example, it is desirable to set an interlocking point between the dentition image and the face image and to process both images so that the corresponding interlocking points match. In this way, the predicted image of the oral photograph can be automatically reflected in the facial photograph, and the predicted image of the facial photograph can be easily created with high accuracy.
また、本発明において、前記元画像における各歯を歯式に対応づけて、歯式によって連動させる歯を設定することが望ましい。このようにすると、歯式を用いて正確かつ容易に連動設定を行うことができる。 In the present invention, it is desirable to associate each tooth in the original image with a tooth type and set a tooth to be interlocked according to the tooth type. If it does in this way, interlocking setting can be performed correctly and easily using a tooth type.
ここで、前記シミュレーション実行処理において、前記元画像における歯の輪郭形状を、前記元画像の画像解析によって自動抽出するか、あるいは、前記元画像への入力に基づいて決定する処理を行うことが望ましい。このようにすると、元画像の中から矯正する歯を容易にかつ正確に選択できる。 Here, in the simulation execution process, it is desirable to automatically extract a tooth contour shape in the original image by image analysis of the original image or to determine based on an input to the original image. . This makes it possible to easily and accurately select the tooth to be corrected from the original image.
また、前記シミュレーション実行処理において、前記輪郭形状における他の歯に隠れて見えない部分の形状を、前記元画像の他の部分あるいは予め蓄積されたデータに基づいて自動補完する処理を行うことが望ましい。このようにすると、矯正後の歯の形態を正確に表示できるため、より正確なシミュレーションを行うことができる。 In the simulation execution process, it is desirable to perform a process of automatically complementing the shape of a part of the contour shape that is hidden behind other teeth based on another part of the original image or prestored data. . If it does in this way, since the form of the tooth after correction can be displayed correctly, a more accurate simulation can be performed.
この場合に、前記シミュレーション設定処理において、前記元画像における歯列の中心線、歯列の右端線、歯列の左端線、歯列の上下分割線の少なくともいずれかを設定して、当該設定された各線に基づき、前記元画像における連動して動く部分を設定することが望ましい。このようにすると、歯の連動を正確にシミュレーションできる。 In this case, in the simulation setting process, at least one of the center line of the dentition, the right end line of the dentition, the left end line of the dentition, and the upper and lower division lines of the dentition in the original image is set and set. Based on each line, it is desirable to set a portion that moves in conjunction with the original image. In this way, tooth interlocking can be accurately simulated.
また、本発明において、前記予測画像に対する修正内容の入力を受け付けて、当該修正内容に従って前記予測画像を修正する修正処理をコンピュータに実行させることが望ましい。このようにすると、シミュレーション後の予測画像に対して任意の修正を行うことができるため、より詳細なシミュレーションを行うことができ、利便性も高い。 In the present invention, it is preferable that the computer receives a correction content input for the predicted image and causes the computer to execute a correction process for correcting the predicted image according to the correction content. In this way, since arbitrary correction can be performed on the predicted image after simulation, a more detailed simulation can be performed and convenience is high.
次に、本発明は、患者の歯列画像から矯正後の患者の歯の予測画像を作成する歯列矯正シミュレーション装置であって、
患者の歯列画像を入力するための画像入力手段と、
前記歯列画像を表示する表示手段と、
矯正内容を指定する入力を行うための入力手段と、
前記画像入力手段、前記表示手段、前記入力手段を制御する制御手段とを有し、
前記制御手段は、上記の歯列矯正シミュレーションプログラムに基づく各処理を実行することを特徴としている。
Next, the present invention is an orthodontic simulation apparatus for creating a predicted image of a patient's teeth after correction from a patient's dental image,
An image input means for inputting a dentition image of a patient;
Display means for displaying the dentition image;
An input means for performing input for designating correction content;
The image input means, the display means, and a control means for controlling the input means,
The control means executes each processing based on the orthodontic simulation program.
本発明によれば、患者自身の歯列画像を利用してシミュレーションを行うため、予測画像を正確なイメージに近づけることができる。また、シミュレーションにおいて、元画像の各部分と他の部分が連動して加工されるようになっているため、信頼性の高い予測画像を容易に作成できる。よって、患者に歯列矯正後のイメージを正確に把握させることができる。 According to the present invention, since the simulation is performed using the patient's own dentition image, the predicted image can be brought close to an accurate image. Further, since each part of the original image and other parts are processed in conjunction with each other in the simulation, a highly reliable predicted image can be easily created. Thus, the patient can accurately grasp the image after orthodontics.
以下に、図面を参照して、本発明を適用した歯列矯正シミュレーションプログラム、および、このプログラムに基づく処理を実行するための歯列矯正シミュレーション装置の実施の形態を説明する。 Embodiments of an orthodontic simulation program to which the present invention is applied and an orthodontic simulation apparatus for executing processing based on this program will be described below with reference to the drawings.
(歯列矯正シミュレーション装置の構成)
図1は歯列矯正シミュレーション装置の構成を示すブロック図である。歯列矯正シミュレーション装置1は、患者の顔および口腔内を撮影するためのデジタルカメラ2(画像入力手段)と、デジタルカメラ2を接続可能なコンピュータ装置3を備えている。コンピュータ装置3は汎用のパーソナルコンピュータであり、コンピュータ本体4と、コンピュータ本体4に接続された液晶モニタなどの表示装置5(表示手段)と、キーボードやマウス、あるいはタッチパネルなどの入力装置6(入力手段)と、コンピュータ本体4に接続されたプリンター7を備えている。
(Configuration of orthodontic simulator)
FIG. 1 is a block diagram showing a configuration of an orthodontic simulation apparatus. The orthodontic simulation apparatus 1 includes a digital camera 2 (image input means) for photographing a patient's face and oral cavity, and a computer device 3 to which the digital camera 2 can be connected. The computer device 3 is a general-purpose personal computer, and includes a computer main body 4, a display device 5 (display means) such as a liquid crystal monitor connected to the computer main body 4, and an input device 6 (input means) such as a keyboard, a mouse, or a touch panel. And a printer 7 connected to the computer main body 4.
コンピュータ本体4は、制御部41(制御手段)、記憶部42、および通信部43などを備えている。制御部41はCPU、MPUなどのプロセッサであり、各種演算処理を行う。記憶部42はROM、RAMなどのメモリおよびHDDなどの補助記憶装置を備えており、各種プログラムやデータが記憶される。通信部43は、コンピュータ本体4と他の装置あるいは外部通信回線との間で制御信号やデータの送受信を行うためのインターフェース装置である。デジタルカメラ2、表示装置5、入力装置6、およびプリンター7は、通信部43を介してコンピュータ本体4に接続されている。 The computer main body 4 includes a control unit 41 (control means), a storage unit 42, a communication unit 43, and the like. The control unit 41 is a processor such as a CPU or MPU and performs various arithmetic processes. The storage unit 42 includes a memory such as a ROM and a RAM, and an auxiliary storage device such as an HDD, and stores various programs and data. The communication unit 43 is an interface device for transmitting and receiving control signals and data between the computer main body 4 and another device or an external communication line. The digital camera 2, the display device 5, the input device 6, and the printer 7 are connected to the computer main body 4 via the communication unit 43.
コンピュータ本体4は汎用のOS(Operating System)によって制御されており、以下に説明する歯列矯正シミュレーションプログラムは、このOS上で動作する。コンピュータ本体4の記憶部42には、歯列矯正シミュレーションプログラムと、歯列矯正シミュレーションプログラムによる各種処理に用いる設定データや素材データを登録するためのデータベースが記憶されている。素材データは、シミュレーション前に蓄積しておくことが望ましいが、シミュレーション中に適宜必要なデータを読み込んで登録することもできる。また、シミュレーション中に患者の歯の画像から取り出したデータを登録したり、シミュレーションによって新たに作り出したデータを登録することもできる。また、記憶部42には、患者の顔写真および口腔写真などのデータを登録して管理するための治療経過管理データベースが記憶されている。 The computer body 4 is controlled by a general-purpose OS (Operating System), and an orthodontic simulation program described below operates on this OS. The storage unit 42 of the computer main body 4 stores an orthodontic simulation program and a database for registering setting data and material data used for various processes by the orthodontic simulation program. The material data is preferably stored before the simulation, but necessary data can be read and registered as appropriate during the simulation. It is also possible to register data extracted from an image of a patient's tooth during simulation, or register data newly created by simulation. The storage unit 42 also stores a treatment progress management database for registering and managing data such as a patient's face photograph and oral photograph.
(歯列矯正シミュレーション装置による矯正治療のコンサルティング)
図2は歯列矯正シミュレーション装置1による矯正治療のコンサルティングの流れを示すフローチャートである。また、図3はシミュレーション設定画面の説明図、図4はシミュレーション実行画面の説明図、図5は治療経過管理画面の説明図である。歯列矯正シミュレーション装置1では、図2に示すように、画像取り込みステップS1、シミュレーション設定ステップS2、シミュレーション実行ステップS3、治療経過管理ステップS4の4つのステップを行うことができる。以下の説明では、プログラムの操作をマウスを用いて行う例について説明するが、他の手段でプログラムを操作することもできる。例えば、タッチパネルを用いて、表示画面を指で操作することによってプログラムを操作することもできる。
(Consultation for orthodontic treatment using orthodontic simulator)
FIG. 2 is a flowchart showing a flow of consulting for orthodontic treatment by the orthodontic simulation apparatus 1. 3 is an explanatory diagram of a simulation setting screen, FIG. 4 is an explanatory diagram of a simulation execution screen, and FIG. 5 is an explanatory diagram of a treatment progress management screen. As shown in FIG. 2, the orthodontic simulation apparatus 1 can perform four steps of an image capturing step S1, a simulation setting step S2, a simulation execution step S3, and a treatment progress management step S4. In the following description, an example in which a program is operated using a mouse will be described, but the program can be operated by other means. For example, the program can be operated by operating the display screen with a finger using a touch panel.
画像取り込みステップS1では、ユーザーの操作に基づき、患者の顔写真および口腔写真(歯列画像)をデジタルカメラ2からコンピュータ装置3に取り込み、取り込んだ画像データをコンピュータ装置3の記憶部42に保存する。このステップは、歯列矯正シミュレーションプログラムとは別個に構成された汎用の画像取り込み用のプログラムなどを用いて行う。 In the image capturing step S <b> 1, the patient's face photograph and oral photograph (dental row image) are captured from the digital camera 2 to the computer device 3 based on the user's operation, and the captured image data is stored in the storage unit 42 of the computer device 3. . This step is performed by using a general-purpose image capturing program configured separately from the orthodontic simulation program.
ユーザーが歯列矯正シミュレーションプログラムを立ち上げると、コンピュータ本体4の制御部41は、表示装置5に図3〜5に示す各画面を表示する。各画面のタブを選択する操作により、図3〜5の各画面を切換表示することができる。シミュレーション設定ステップS2では、シミュレーション設定画面P1を表示させ、この画面上でユーザーが各種の入力を行うことにより、画像取り込みステップS1で取り込んだ画像データ(顔写真、口腔写真)をシミュレーションに用いる元画像として設定する。そして、設定した元画像に対し、歯列矯正のシミュレーションのための各種設定を行う。設定データは記憶部42に保存することができ、適宜読み出して使用することができる。 When the user starts up the orthodontic simulation program, the control unit 41 of the computer main body 4 displays each screen shown in FIGS. Each screen of FIGS. 3 to 5 can be switched and displayed by an operation of selecting a tab of each screen. In the simulation setting step S2, a simulation setting screen P1 is displayed, and the user performs various inputs on this screen, whereby the original image using the image data (face photograph, oral photograph) captured in the image capturing step S1 for the simulation. Set as. Various settings for orthodontic simulation are performed on the set original image. The setting data can be stored in the storage unit 42 and can be read and used as appropriate.
シミュレーション設定が完了すると、歯列矯正シミュレーション装置1では、この設定に基づいてシミュレーションを実行可能になる。シミュレーション実行ステップS3では、図4に示すシミュレーション実行画面P2に画面表示を切り換えて、シミュレーションする矯正内容、すなわち、患者の歯列のどの部分をどのように変えるかを入力する。そして、入力内容とシミュレーション設定に基づき、歯列矯正後の顔や口腔内の状態を示す予測画像を作成する。作成された予測画像は、リアルタイムで、あるいは、ユーザーがシミュレーション結果の表示を指示する入力を行うことにより、シミュレーション実行画面P2に表示される。例えば、ユーザーがマウス等を用いて患者の口腔写真における矯正すべき歯の部分を選択して矯正すべき位置に動かしたり、抜歯すべき歯を選択して削除すると、元画像である顔写真および口腔写真が加工され、矯正後の顔や口腔内の状態を示す予測画像が作成され、表示される。ユーザー(歯科医師など)は、予測画像を患者に見せて矯正後のイメージを把握させ、矯正治療のコンサルティングを行う。 When the simulation setting is completed, the orthodontic simulation apparatus 1 can execute a simulation based on this setting. In the simulation execution step S3, the screen display is switched to the simulation execution screen P2 shown in FIG. 4, and the correction content to be simulated, that is, which part of the patient's dentition is to be changed is input. Then, based on the input contents and the simulation settings, a prediction image indicating the face after the orthodontics and the state in the oral cavity is created. The created predicted image is displayed on the simulation execution screen P2 in real time or when the user inputs an instruction to display the simulation result. For example, when a user selects a tooth portion to be corrected in a mouth photograph of a patient using a mouse or the like and moves it to a position to be corrected, or selects and deletes a tooth to be extracted, the face photograph that is the original image and The oral photograph is processed, and a predicted image showing the corrected face and the state in the oral cavity is created and displayed. A user (such as a dentist) shows the predicted image to the patient to grasp the corrected image, and performs correction treatment consulting.
シミュレーション実行後、シミュレーション条件および結果を記憶部42に保存することができる。例えば、矯正前の元画像、シミュレーション設定、矯正内容(歯の移動方向、移動量、変形方法、変形量、色の変更など)、および予測画像のデータが記憶部42に保存される。あるいは、これらのデータの一部を省略して保存することもできる。また、予測画像および関連する情報を印刷した帳票をプリンター7から出力することもできる。例えば、シミュレーション設定や患者情報、矯正前の元画像などを予測画像と共に帳票に印刷することができる。 After executing the simulation, simulation conditions and results can be stored in the storage unit 42. For example, the original image before correction, simulation settings, correction content (tooth movement direction, movement amount, deformation method, deformation amount, color change, etc.), and predicted image data are stored in the storage unit 42. Alternatively, some of these data can be omitted and saved. In addition, a form on which a predicted image and related information are printed can be output from the printer 7. For example, simulation settings, patient information, an original image before correction, and the like can be printed on a form together with a predicted image.
ここで、歯列矯正シミュレーション装置1は、上述したように、患者の顔写真および口腔写真などのデータを登録して管理するための治療経過管理データベースを備えている。治療経過管理ステップS4では、治療経過管理データベースに登録したデータの管理や閲覧が行われる。本例では、治療経過管理データベースへのデータ登録機能やデータ管理機能、データ閲覧機能は、歯列矯正シミュレーションプログラムによって実現されており、シミュレーションに連動して治療経過管理データベースへのデータ登録が行われるようになっている。例えば、シミュレーション設定ステップS2においてシミュレーションの元画像として用いる画像データ(顔写真、口腔写真)を設定すると、この画像データが治療経過管理データベースに自動登録される。ユーザーは、図5に示す治療経過管理画面P3に画面表示を切り換えることにより、同一の患者についての登録済みのデータを時系列に沿って画面に一覧表示させることができる。この画面上にデータ管理のための各種操作ボタンを設けておくことにより、画像データや各種情報の追加登録、データ削除、データ出力などを行うことができる。 Here, as described above, the orthodontic simulation apparatus 1 includes a treatment progress management database for registering and managing data such as a patient's facial photograph and oral photograph. In the treatment progress management step S4, management and browsing of data registered in the treatment progress management database is performed. In this example, the data registration function, data management function, and data browsing function in the treatment progress management database are realized by the orthodontic simulation program, and data registration in the treatment progress management database is performed in conjunction with the simulation. It is like that. For example, when image data (face photograph, oral photograph) used as a simulation original image is set in the simulation setting step S2, this image data is automatically registered in the treatment progress management database. By switching the screen display to the treatment progress management screen P3 shown in FIG. 5, the user can display a list of registered data for the same patient in time series. By providing various operation buttons for data management on this screen, it is possible to perform additional registration of image data and various information, data deletion, data output, and the like.
また、シミュレーション実行ステップS3においてシミュレーション条件および結果のデータを保存するとき、保存データを治療経過管理データベースに登録することもできる。このようにすると、治療経過(未加工の顔写真や口腔写真)とシミュレーション結果(予測画像)とを関連付けて管理でき、治療経過とシミュレーション結果を並べて閲覧することができる。このような治療経過管理データベースを利用することにより、歯科医師と患者が治療経過を確認でき、治療の方向性を検討することができる。すなわち、治療経過管理データベースを矯正治療のコンサルティング用のツールとして用いることができる。 Further, when the simulation condition and result data are stored in the simulation execution step S3, the stored data can be registered in the treatment progress management database. If it does in this way, treatment progress (a raw face photograph or mouth photograph) and a simulation result (predicted image) can be managed in association, and a treatment progress and a simulation result can be browsed side by side. By using such a treatment progress management database, the dentist and the patient can confirm the treatment progress and the direction of treatment can be examined. In other words, the treatment progress management database can be used as a consulting tool for orthodontic treatment.
シミュレーション設定ステップS2およびシミュレーション実行ステップS3は、条件や矯正内容を変えて繰り返し実行できる。シミュレーション後、矯正治療を進める場合には、定期的に、あるいは希望するタイミングで顔写真や口腔写真を取り込んで治療経過管理データベースに登録することにより、経過を確認できる。治療途中に適宜シミュレーションを行って治療方針の見直しを検討することもできる。あるいは、シミュレーションを行うことなく、治療経過管理機能のみを利用することもできる。 The simulation setting step S2 and the simulation execution step S3 can be repeatedly executed by changing conditions and correction contents. When the orthodontic treatment is advanced after the simulation, the progress can be confirmed by taking a face photograph or an oral photograph and registering it in the treatment progress management database periodically or at a desired timing. It is also possible to consider reviewing the treatment policy by performing simulations appropriately during treatment. Alternatively, only the treatment progress management function can be used without performing a simulation.
(歯列矯正シミュレーション)
次に、上記のシミュレーション設定ステップS2、シミュレーション実行ステップS3において、歯列矯正シミュレーションプログラムに基づいて制御部41が行う処理について図6を参照しながら説明する。
(Orthodontic simulation)
Next, processing performed by the control unit 41 based on the orthodontic simulation program in the simulation setting step S2 and the simulation execution step S3 will be described with reference to FIG.
図6は歯列矯正シミュレーションの流れを示すフローチャートである。図6に示すように、制御部41は、シミュレーション設定ステップS2において、患者の顔写真及び口腔写真を読み込んで、シミュレーションに用いる元画像として設定する初期画像設定処理S21を行う。また、元画像の中の各部分を連動させて動かすためのリレーション設定処理S22(シミュレーション設定処理)と、元画像として設定された顔写真を口腔写真に連動させて変化させるための顔連動設定処理S23(シミュレーション設定処理)を行う。 FIG. 6 is a flowchart showing the flow of orthodontic simulation. As shown in FIG. 6, in the simulation setting step S <b> 2, the control unit 41 reads the patient's face photograph and oral photograph and performs an initial image setting process S <b> 21 for setting as an original image used for the simulation. Also, a relationship setting process S22 (simulation setting process) for moving each part in the original image in conjunction with each other, and a face interlocking setting process for changing the face photograph set as the original image in conjunction with the oral photograph. S23 (simulation setting process) is performed.
図3に示すように、シミュレーション設定画面P1には5つの画像表示欄が設けられている。各画像表示欄の下には参照ボタンおよびファイル名入力欄が設けられている。この参照ボタンを用いて、取り込み済みの画像データファイルの中から元画像として用いる画像データファイル名を入力できる。これにより、図3に示すように、予めデジタルカメラ2から取り込んでおいた顔正面写真A1、顔左側面写真A2、歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3の5つの画像を読み込んで各画像表示欄に表示させる。この状態で、画面右下に表示された設定ボタン群11の中の所定のボタンがクリックされると、制御部41は、歯列矯正シミュレーションプログラムに基づき、読み込んだ5つの画像をシミュレーション用の元画像に設定する(初期画像設定処理S21)。なお、顔写真や口腔写真のデータファイル名を指定するだけで、これらが自動的に元画像に設定されるようにしてもよい。 As shown in FIG. 3, the simulation setting screen P1 has five image display fields. Below each image display field, a reference button and a file name input field are provided. Using this reference button, an image data file name to be used as an original image can be input from among the captured image data files. As a result, as shown in FIG. 3, the front face photograph A1, the face left face photograph A2, the dentition front face photograph B1, the dentition left face photograph B2, and the dentition right face photograph B3 previously captured from the digital camera 2 are obtained. Five images are read and displayed in each image display column. In this state, when a predetermined button in the setting button group 11 displayed at the lower right of the screen is clicked, the control unit 41, based on the orthodontic simulation program, reads the five read images for simulation. An image is set (initial image setting process S21). Note that these may be automatically set to the original image simply by specifying the data file name of the face photograph or oral photograph.
次に、制御部41は、シミュレーションの際に基準となるべきラインや面、輪郭線、点などを設定する処理を行う。シミュレーション設定画面P1の左端には、リレーション設定ボタン群12が表示されている。これらがクリックされると、制御部41は、歯の中心線L1、歯の右端線L2、歯の左端線L3、歯の上下分割線L4の4つの基準線を3つの歯列画像(歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3)上のデフォルトの位置に表示する。これらの基準線はマウスの操作で移動させることができる。ユーザーは、3つの歯列画像のそれぞれについて、各基準線L1〜L4を患者の歯列における歯の中心位置、右端位置、左端位置、上下分割位置に移動させた後、画面右下に表示された設定ボタン群11の中の所定のボタンをクリックする。これにより、制御部41は、各基準線L1〜L4の位置を移動後の位置に再設定し、基準線L1〜L4で区画された各エリアを連動すべきエリアに設定する(リレーション設定処理S22)。 Next, the control unit 41 performs processing for setting a line, a surface, a contour line, a point, and the like to be a reference in the simulation. A relation setting button group 12 is displayed on the left end of the simulation setting screen P1. When these are clicked, the control unit 41 displays four reference lines including a tooth center line L1, a tooth right end line L2, a tooth left end line L3, and a tooth upper and lower dividing line L4 as three tooth row images (dentition row). Front view B1, dentition left side photo B2, and dentition right side photo B3) are displayed at default positions. These reference lines can be moved by operating the mouse. The user moves each of the reference lines L1 to L4 to the center position, right end position, left end position, and vertical division position of the patient's dentition for each of the three dentition images, and is displayed at the lower right of the screen. A predetermined button in the set button group 11 is clicked. Thereby, the control part 41 resets the position of each reference line L1-L4 to the position after movement, and sets each area divided by the reference lines L1-L4 to the area which should be interlocked (relation setting process S22). ).
シミュレーション設定画面P1の左端におけるリレーション設定ボタン群12の下側の位置には、顔写真と口腔写真の連動ポイントを設定するための設定ボタン群13が表示されている。顔正面写真A1および顔左側面写真A2上において口の輪郭線L5をマウスを使って描き、設定ボタン群13の中の所定のボタンをクリックすることにより、口の輪郭線L5を入力する。続いて、顔と歯列を正面から見た2つの写真(顔正面写真A1と歯列正面写真B1)において、歯列の中央上端のポイントを指定した後、設定ボタン群13の中の所定のボタンをクリックすることにより、これらの2つの写真における上側の連動ポイントR1を入力する。同様に、歯列の下端中央のポイントを指定した後、設定ボタン群13を用いて、これらの2つの写真における下側の連動ポイントR2を入力する。また、顔と歯列を左側面から見た2つの写真(顔左側面写真A2と歯列左側面写真B2)の2つの写真においても同様に、上側と下側の連動ポイントR1、R2を入力する。 A setting button group 13 for setting a linked point between a face photograph and an oral photograph is displayed at a position below the relation setting button group 12 at the left end of the simulation setting screen P1. The mouth outline L5 is drawn on the front face photograph A1 and the left face photograph A2 using the mouse, and a predetermined button in the setting button group 13 is clicked to input the mouth outline L5. Subsequently, in the two photographs (face front photograph A1 and dentition front photograph B1) of the face and dentition viewed from the front, the point at the upper center of the dentition is designated, and then a predetermined button in the setting button group 13 is selected. By clicking the button, the upper interlocking point R1 in these two photographs is input. Similarly, after designating the center point at the lower end of the dentition, the setting button group 13 is used to input the lower interlocking point R2 in these two photographs. Similarly, the upper and lower interlocking points R1 and R2 are input in the two photographs of the face and dentition as seen from the left side (face left side picture A2 and dentition left side picture B2). To do.
制御部41は、口の輪郭線L5および連動ポイントR1、R2の入力が終了すると、入力された連動ポイント同士を一致させるように、各顔写真における口の輪郭線L5内の領域の画像を、同じ方向から見た口腔写真を縮小した画像に置き換える。このような顔連動設定処理S23を行うことにより、シミュレーションによる口腔写真(歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3)の加工結果を顔写真(顔正面写真A1、顔左側面写真A2)に反映させることができる。 When the input of the mouth contour line L5 and the interlocking points R1 and R2 is completed, the control unit 41 displays the image of the area within the mouth contour line L5 in each facial photograph so as to match the input interlocking points. Replace the oral photograph seen from the same direction with a reduced image. By performing such face interlocking setting processing S23, the processing result of the oral photograph (dental front photograph B1, dental left side photograph B2, dental right side photograph B3) by simulation is converted into a facial photograph (face front photograph A1, It can be reflected in the left face photo A2).
なお、このリレーション設定処理S22および顔連動設定処理S23は、基準線L1〜L4や輪郭線L5、連動ポイントR1、R2の位置をユーザーが手動で入力することを前提にした処理であったが、制御部41が口腔写真を自動解析して基準となるべき平面や点を自動検出する機能を歯列矯正シミュレーションプログラムに持たせることもできる。この場合は、「自動検出」ボタンをクリックすることによって制御部41が自動検出処理を行い、その後、必要に応じて手動で基準線や輪郭線、点などの位置を手動で調整することができるように構成する。 The relationship setting process S22 and the face interlocking setting process S23 are processes based on the assumption that the user manually inputs the positions of the reference lines L1 to L4, the contour line L5, and the interlocking points R1 and R2. The orthodontic simulation program may have a function in which the control unit 41 automatically analyzes the oral photograph and automatically detects a plane or a point to be a reference. In this case, the control unit 41 performs an automatic detection process by clicking the “automatic detection” button, and then manually adjusts the positions of reference lines, contour lines, points, and the like as necessary. Configure as follows.
制御部41は、シミュレーション実行ステップS3において、シミュレーション用の元画像のうち、歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3の1つまたは複数の画像への矯正内容の入力を受け付ける。すなわち、これらの画像におけるどの部分をどのように矯正するのかを指示する入力を受け付けて、入力内容に基づいて元画像を加工して、矯正後の顔および口腔内の状態の予測画像を作成するシミュレーション実行処理を行う。シミュレーション実行処理では、以下の(1)〜(4)の手順に従って元画像を加工する。 In the simulation execution step S3, the control unit 41 sets the correction contents to one or a plurality of images of the dentition front photograph B1, the dentition left photograph B2, and the dentition right photograph B3 among the simulation original images. Accept input. That is, it accepts an input instructing which part of these images is to be corrected, and processes the original image based on the input content to create a predicted image of the corrected face and oral cavity state Perform simulation execution processing. In the simulation execution process, the original image is processed according to the following procedures (1) to (4).
(1)歯の選択
歯の選択処理S31では、制御部41は、歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3のいずれかの写真上において、マウスなどを用いて歯の領域を指定する入力を受け付けて、入力内容に基づいて矯正対象の歯の領域を選択する。歯の領域を指定するための入力方法としては、歯の左右の端をクリックする方法、歯の輪郭線に沿った他の複数のポイントをクリックする方法、あるいは、マウスを用いて歯の輪郭線をなぞる方法などを用いることができる。制御部41は、これらの入力に基づいて歯の輪郭線を決定し、画像上に表示すると共に、輪郭線に囲まれた領域を矯正する歯の領域として選択する。あるいは、「輪郭抽出」ボタンを設けてこれをマウスで操作することにより、制御部41が画像解析によって自動で画像内の全ての歯の輪郭線を抽出して表示し、目的の歯の輪郭線を自由に選択できるようにする。選択後には、選択した輪郭線をマウスの操作によって更に修正することもできる。なお、補綴の場合には、「歯」ではなく「歯を補綴すべき位置」を選択する。
(1) Teeth selection In the tooth selection process S31, the control unit 41 uses a mouse or the like on any one of the dentition front photograph B1, the dentition left side photograph B2, and the dentition right photograph B3. An input specifying a tooth region is received, and a tooth region to be corrected is selected based on the input content. Input methods for specifying the tooth area include clicking the left and right edges of the tooth, clicking other points along the tooth outline, or using the mouse to outline the tooth outline. The method of tracing can be used. The control unit 41 determines a tooth contour line based on these inputs, displays the tooth contour line on the image, and selects a region surrounded by the contour line as a tooth region to be corrected. Alternatively, by providing a “contour extraction” button and operating the button with the mouse, the control unit 41 automatically extracts and displays the contour lines of all the teeth in the image by image analysis and displays the contour lines of the target tooth. Can be freely selected. After selection, the selected contour line can be further modified by operating the mouse. In the case of prosthesis, “position where tooth should be prosthetic” is selected instead of “tooth”.
歯の輪郭線を自動抽出する場合には、取り込んだ画像の露出、コントラスト、明度、彩度、色温度、色調(色合い)、黒レベル、白レベル、ガンマなどの調整、ネガポジ反転などの各種画像処理を制御部41が自動で組み合わせて、あるいは反復して行うことにより、正確な輪郭線を抽出することができる。 When automatically extracting tooth outlines, various images such as exposure, contrast, brightness, saturation, color temperature, color tone (tone), black level, white level, gamma adjustment, negative / positive inversion, etc. An accurate contour line can be extracted when the control unit 41 automatically combines or repeats the processing.
ここで、歯の選択にあたって、歯列写真では、他の歯や歯茎などに隠れて歯の全体像が見えなくなっていることが多い。例えば、上の前歯に隠れて下の前歯の一部が見えなくなっていることがある。そこで、シミュレーションを実行するため、他の歯に隠れている部分の形状を修正する必要がある。本例の歯列矯正シミュレーションプログラムは、輪郭線の選択後にマウスで輪郭線の各部分を動かしてこの修正を行うことができるが、隠れている部分を自動で補完して、歯の全体形状を描く機能を持たせることもできる。この場合には、制御部41は、「欠損部位の補完」を指示する入力が行われると、現在選択している歯の輪郭線に基づき、欠損部分を自動で補完する処理を行う。 Here, in selecting a tooth, in the dentition photograph, it is often hidden behind other teeth or gums and the whole image of the tooth cannot be seen. For example, a part of the lower front tooth may be hidden behind the upper front tooth. Therefore, in order to execute the simulation, it is necessary to correct the shape of the portion hidden behind other teeth. The orthodontic simulation program of this example can correct this by moving each part of the contour line with the mouse after selecting the contour line, but it automatically complements the hidden part and changes the overall shape of the tooth. It can also have a drawing function. In this case, when an input for instructing “completion of missing part” is performed, the control unit 41 performs a process of automatically complementing the missing part based on the contour line of the currently selected tooth.
歯の形状の補完処理は、患者の写真の中に見えている他の歯の形状を参照して行うことができる。例えば、左右逆の歯列の同名の歯の形状を用いて補完することができる。この場合には、画像内の各歯に歯式を対応付けする処理を予め行っておき、歯式によって反対の歯列の同名の歯の形状を抽出することが望ましい。あるいは、素材データベースに予め登録しておいた歯の形状の中から、輪郭線が近似する歯の形状のデータを抽出し、これを用いて補完することもできる。もしくは、歯の形態に対する他の知見を補完のための情報としてデータベースに記憶させておき、これに基づいて形状を決定することもできる。あるいは、患者の歯のレントゲン画像やCT画像などを取り込んでおき、これらを画像解析して得られた輪郭線に基づいて補完することもできる。また、補完した部分の色については、隣在する歯の色に基づいて決定することができる。自動で形状を補完した後、再度手動で形状を修正することもできる。 Tooth shape complementation can be performed with reference to other tooth shapes visible in the patient's picture. For example, it is possible to complement using the shape of the tooth of the same name in the left and right dentition. In this case, it is desirable to perform a process of associating a dental formula with each tooth in the image in advance, and extract the shape of the tooth of the same name in the opposite dentition based on the dental formula. Alternatively, tooth shape data that approximates the contour line can be extracted from the tooth shapes registered in advance in the material database, and can be supplemented using this data. Alternatively, other knowledge about the tooth form can be stored in the database as information for complementation, and the shape can be determined based on this information. Alternatively, X-ray images or CT images of the patient's teeth can be captured, and these can be complemented based on the contour line obtained by image analysis. In addition, the color of the complemented part can be determined based on the color of the adjacent tooth. After automatically complementing the shape, the shape can be manually corrected again.
(2)歯の変形
シミュレーション実行画面P2の左端には、歯の変形や追加、削除などを入力するための歯列加工ツール21が表示されている。歯列加工ツール21の中のボタンやスライダをマウスで操作することにより、矯正対象の部分をどのように変形させるのかを入力する。例えば、歯の拡大、縮小、回転、変形(一部を削る、形を変える)などの加工内容を入力する。あるいは、補綴すべき部分への歯の追加や、抜歯すべき歯を削除するための入力を行う。例えば、非抜歯で歯を追加する場合に、スレンダライジング(不調和のある歯を必要に応じて削る)で隙間を確保する場合には、削る歯やその位置、および、何ミリ削るかを入力する。また、歯列の側方拡大によって隙間を確保する場合は、どの方向にどの寸法の隙間を形成するかを入力する。
(2) Teeth deformation At the left end of the simulation execution screen P2, a dentition processing tool 21 for inputting tooth deformation, addition, deletion, and the like is displayed. By operating the buttons and sliders in the dentition processing tool 21 with the mouse, it is input how the portion to be corrected is deformed. For example, processing details such as tooth enlargement, reduction, rotation, and deformation (partially cut, shape changed) are input. Alternatively, input for adding a tooth to a portion to be prosthetic or deleting a tooth to be extracted is performed. For example, when adding a tooth without tooth extraction, if you want to secure a gap by slenderizing (scraping inconsistent teeth as necessary), enter the tooth to be cut, its position, and how many millimeters to cut. To do. In addition, when a gap is secured by lateral expansion of the dentition, it is input which dimension of which gap is to be formed in which direction.
歯の変形処理S32では、制御部41は、このような入力を受け付けて、歯列画像の中の選択した歯や領域を入力したとおりに変形させる。欠損歯を追加する場合には、選択した位置に、そこにない歯の形状を新たに挿入してシミュレーションする。例えば、元画像の中から反対の歯列の同名の歯の形状をコピーして反転させたものを配置したり(ミラーリング)、あるいは、記憶部42から読み出したサンプル画像(予め、素材データベースに登録しておいた歯の形状)を配置するなどの処理を行う。このとき、新たに配置した歯の形状を必要に応じてマウスの操作に基づいて更に修正することができる。 In the tooth deformation process S32, the control unit 41 receives such an input and deforms the selected tooth or region in the dentition image as input. When a missing tooth is added, a simulation is performed by newly inserting a tooth shape that is not present at the selected position. For example, the original image can be placed by copying and inverting the shape of the tooth of the same name in the opposite dentition (mirroring), or a sample image read from the storage unit 42 (previously registered in the material database) For example, arranging the shape of the previously prepared tooth). At this time, the shape of the newly arranged tooth can be further corrected based on the operation of the mouse as necessary.
歯の変形を行うとき、制御部41は、リレーション設定処理S22や顔連動設定処理S23において矯正対象の部分と連動するものとして設定されている元画像の部分を全て連動させて加工する。例えば、連動するエリアにある歯群を矯正対象の歯の変形に伴って適宜移動させる。また、歯の変形に伴い、歯茎などの軟組織も適宜変形させる。軟組織の変形は、予め、データベースに歯の変形時や歯の追加、削除時の軟組織の変形の仕方を登録しておくことにより、そのデータを用いることができる。あるいは、反対の歯列の同部分の軟組織の形態をミラーリングしてもよい。 When the teeth are deformed, the control unit 41 processes all the parts of the original image that are set to be interlocked with the correction target part in the relationship setting process S22 and the face interlocking setting process S23. For example, the tooth group in the interlocking area is appropriately moved along with the deformation of the tooth to be corrected. Further, along with the deformation of the teeth, soft tissues such as gums are appropriately deformed. The soft tissue deformation can be used by registering in advance in the database how the soft tissue is deformed when the teeth are deformed or when teeth are added or deleted. Alternatively, the soft tissue morphology of the same part of the opposite dentition may be mirrored.
(3)歯の移動
矯正対象の部分(変形あるいは追加された歯)は、マウスを用いて移動量や移動方向を任意に入力し、設定することにより、任意の位置まで移動させることができる。歯の移動処理S33では、制御部41は、歯の移動についての入力を受け付けて、リレーション設定処理S22や顔連動設定処理S23において矯正対象の部分と連動するものとして設定されている元画像の部分を全て連動させて加工する。例えば、連動するエリアにある歯群を矯正対象の歯の移動に従って移動させる。また、歯の移動に伴い、歯茎などの軟組織も適宜変形させる。
(3) Tooth movement The portion to be corrected (deformed or added tooth) can be moved to an arbitrary position by arbitrarily inputting and setting the moving amount and moving direction using a mouse. In the tooth movement process S33, the control unit 41 receives an input regarding the movement of the tooth, and the part of the original image that is set to be linked to the correction target part in the relation setting process S22 or the face interlocking setting process S23. Process all of them together. For example, the tooth group in the interlocking area is moved according to the movement of the tooth to be corrected. Further, as the teeth move, soft tissues such as gums are appropriately deformed.
ここで、歯の連動設定を行うにあたって、元画像の中の1本1本の歯を示す部分に対して歯式のどの部分であるのかを対応付けしておき、歯式によって連動する歯を選択して、連動設定を行うこともできる。図4に示すように、シミュレーション実行画面P2の右下には、歯式設定ツール22が設けられている。歯式を用いる場合には、歯式設定ツール22からの入力内容に基づき、選択した歯と歯式との対応付けを行うと共に、連動する歯の設定を行うことができる。このような対応付けを行うため、全ての歯の輪郭線を自動抽出した後、各歯に自動で歯式を対応付けする機能を持たせることもできる。 Here, when performing the tooth interlocking setting, the part indicating the tooth in the original image is associated with which part of the tooth system, and the tooth interlocked by the tooth system is determined. You can also select and configure interlocking settings. As shown in FIG. 4, a tooth setting tool 22 is provided at the lower right of the simulation execution screen P2. When using a dental formula, it is possible to associate the selected tooth with the dental formula based on the input content from the dental formula setting tool 22 and to set the interlocking tooth. In order to perform such association, it is possible to provide a function of automatically associating a dental formula with each tooth after automatically extracting the outlines of all teeth.
歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3の全ての画像の中の全ての歯に対して歯式の対応付けを行った場合には、手順(2)(3)の歯の変形および歯の移動が行われたときに、全ての写真を連動させて加工することができる。この場合には、各写真の撮影方向を考慮して、入力した変形内容や移動方向、移動量を各画像上での変形内容、移動方向、移動量に置き換えることによって処理を実行する。 When the dental formulas are associated with all the teeth in all the images of the front dentition photograph B1, the left dentition photograph B2, and the right dentition photograph B3, the procedure (2) (3 ) When the teeth are deformed and moved, all photographs can be processed in conjunction with each other. In this case, the processing is executed by replacing the input deformation content, movement direction, and movement amount with the deformation content, movement direction, and movement amount on each image in consideration of the shooting direction of each photograph.
(4)修正
(1)〜(3)の手順に従って作業を進めると、シミュレーション用の元画像に対し、矯正対象の部分と、これに連動する口腔内の部分を加工する処理が行われ、シミュレーション結果を示す予測画像が作成される。すなわち、口腔写真(歯列正面写真B1、歯列左側面写真B2、歯列右側面写真B3)が矯正後の歯並びを示すように加工されると共に、顔写真(顔正面写真A1、顔左側面写真A2)に口腔写真の変更が反映され、歯並びの悪い状態の写真(元画像)が、歯並びのきれいな写真(予測画像)に置き換わる。ここで、歯列矯正シミュレーションプログラムは、シミュレーション実行処理において、作成した予測画像に対する修正処理S34を行うことができるようになっている。例えば、画面上の連動ボタンを用いて連動設定のオンオフを行い、連動設定をオフにすることにより、選択した部分のみを個別修正できる。制御部41は、連動設定をオフにする入力が行われ、予測画像に対してマウスなどを用いて個別修正箇所および修正内容が入力されると、入力内容どおりに画像を加工して予測画像を更新する処理を行う。例えば、歯の位置や形状を微調整するなどの修正や、歯茎の形状を変える修正、歯や歯茎の色を変更するなどの修正を行うことができる。
(4) Correction When the work is proceeded according to the procedures of (1) to (3), a process for processing the correction target part and the intraoral part linked to the correction is performed on the original image for simulation, and the simulation is performed. A predicted image showing the result is created. That is, the oral photograph (dental front photograph B1, dental left side photograph B2, dental right side photograph B3) is processed so as to show the corrected tooth arrangement, and the facial photograph (face front photograph A1, face left lateral) The change in the oral photograph is reflected in the photograph A2), and the photograph (original image) in a poorly aligned state is replaced with a beautiful photograph (predicted image) in which the teeth are aligned. Here, the orthodontic simulation program can perform the correction process S34 on the created predicted image in the simulation execution process. For example, only the selected portion can be individually corrected by turning on / off the interlock setting using the interlock button on the screen and turning off the interlock setting. When an input for turning off the interlock setting is performed and an individual correction portion and correction content are input to the predicted image using a mouse or the like, the control unit 41 processes the image according to the input content and converts the predicted image into the predicted image. Perform the update process. For example, corrections such as fine adjustment of the position and shape of the teeth, corrections that change the shape of the gums, and corrections such as changing the colors of the teeth and gums can be performed.
(発明の効果)
以上のように、本例の歯列矯正シミュレーションプログラムによる歯列矯正のシミュレーションでは、元画像の中の矯正対象として指定した歯だけでなく、他の部分についても連動して加工できるため、歯の連動を反映させた予測画像を容易に作成できる。例えば、元画像の中の特定の歯を選択し、回転させて傾きを変えた後、移動させることにより、選択した歯だけでなく、その周囲の連動エリアにある歯までも追従して動かした予測画像を作成できる。また、このとき、歯だけでなく歯茎も追従して動かすような設定も可能である。従って、信頼性の高い予測画像を容易に作成でき、患者に歯列矯正後のイメージを正確に把握させることができる。これにより、矯正治療について十分な安心感を与えることができる。また、歯科医師と患者が正確なイメージを共有できるため、矯正治療の方向性を定めることが容易になり、有効なコンサルティングを行うことができる。
(Effect of the invention)
As described above, in the orthodontic simulation using the orthodontic simulation program of this example, not only the tooth specified as the correction target in the original image but also other parts can be processed in conjunction with each other. Predictive images reflecting the linkage can be easily created. For example, select a specific tooth in the original image, rotate it to change its inclination, and then move it to move not only the selected tooth but also the teeth in the surrounding interlocking area. Predictive images can be created. At this time, not only the teeth but also the gums can be set to follow and move. Therefore, a highly reliable predicted image can be easily created, and the patient can accurately grasp the image after orthodontics. Thereby, sufficient reassurance can be given about orthodontic treatment. In addition, since the dentist and the patient can share an accurate image, it is easy to determine the direction of orthodontic treatment and effective consulting can be performed.
また、本例では、患者の口腔写真を元画像として用いており、矯正対象の歯の部分をサンプル画像に置き換えてしまうのでなく、患者自身の写真の歯の部分を変形、移動、コピーするなどして予測画像を作成することができる。このため、予測画像を正確なイメージに近づけることができる。 In this example, the patient's oral photograph is used as the original image. Instead of replacing the tooth part to be corrected with the sample image, the tooth part of the patient's own photograph is deformed, moved, copied, etc. Thus, a predicted image can be created. For this reason, a predicted image can be brought close to an accurate image.
更に、本例では、顔写真を口腔写真に連動させて加工することができるため、シミュレーション結果を精度良く顔写真に反映させることができる。従って、患者に対し、矯正後の自分の顔全体のイメージを正確に把握させることができる。 Furthermore, in this example, since the face photograph can be processed in conjunction with the mouth photograph, the simulation result can be accurately reflected in the face photograph. Therefore, the patient can accurately grasp the image of the entire face after correction.
また、本例では、作成した予測画像に対して任意の修正を行うことができるので、より詳細なシミュレーションを行うことができる。よって、患者に対し、より正確なイメージを把握させることができ、利便性も高い。 Moreover, in this example, since arbitrary correction can be performed with respect to the produced estimated image, a more detailed simulation can be performed. Therefore, the patient can grasp a more accurate image, and the convenience is high.
なお、上記実施形態は、2次元の画像データを加工してシミュレーションを行うものであったが、患者の歯の3次元形状のデータを作成して、3次元空間上で歯の変形や移動などのシミュレーションを行い、結果を2次元の写真に反映させることもできる。この場合には、正面、左右側面、上下顎咬合面などの複数の方向から撮影した写真から患者の歯の3次元形状のデータを作成する。また、CT画像やレントゲン画像などを用いることもでき、この場合には、より正確な3次元形状のデータを作成できると共に、歯茎から上の形状だけでなく、歯根部も含む歯の全体形状のデータを作成できる。従って、より精度の高いシミュレーションを行うことができる。 In the above embodiment, the simulation is performed by processing the two-dimensional image data. However, the three-dimensional shape data of the patient's teeth is created to deform or move the teeth in the three-dimensional space. And the result can be reflected in a two-dimensional photograph. In this case, the data of the three-dimensional shape of the patient's teeth is created from photographs taken from a plurality of directions such as the front, left and right sides, and upper and lower jaw occlusal surfaces. In addition, CT images and X-ray images can also be used. In this case, more accurate three-dimensional shape data can be created, and not only the shape above the gums but also the overall shape of the tooth including the root portion. Can create data. Therefore, a more accurate simulation can be performed.
1 歯列矯正シミュレーション装置
2 デジタルカメラ(画像入力手段)
3 コンピュータ装置
4 コンピュータ本体
5 表示装置(表示手段)
6 入力装置(入力手段)
7 プリンター
11 設定ボタン群
12 リレーション設定ボタン群
13 設定ボタン群
21 歯列加工ツール
22 歯式設定ツール
41 制御部(制御手段)
42 記憶部
43 通信部
A1 顔正面写真
A2 顔左側面写真
B1 歯列正面写真
B2 歯列左側面写真
B3 歯列右側面写真
L1 中心線
L2 右端線
L3 左端線
L4 上下分割線
L5 輪郭線
P1 シミュレーション設定画面
P2 シミュレーション実行画面
P3 治療経過管理画面
R1 連動ポイント
R2 連動ポイント
1 Orthodontic simulation device 2 Digital camera (image input means)
3 Computer device 4 Computer body 5 Display device (display means)
6 Input device (input means)
7 Printer 11 Setting Button Group 12 Relation Setting Button Group 13 Setting Button Group 21 Dental Processing Tool 22 Tooth Type Setting Tool 41 Control Unit (Control Unit)
42 storage unit 43 communication unit A1 face front photo A2 face left side photo B1 dentition front side photo B2 dentition left side photo B3 dentition right side photo L1 center line L2 right end line L3 left end line L4 vertical dividing line L5 contour line P1 simulation Setting screen P2 Simulation execution screen P3 Treatment progress management screen R1 Link point R2 Link point
Claims (8)
当該元画像に対する歯列矯正のシミュレーション設定を行うシミュレーション設定処理と、
矯正内容を指定する入力が行われると、前記シミュレーション設定に従って前記元画像を加工して、矯正後の患者の歯の予測画像を作成するシミュレーション実行処理とをコンピュータに実行させ、
前記シミュレーション実行処理において、
前記シミュレーション設定に基づき、前記元画像における矯正対象として指定された部分と他の部分を連動させて加工することを特徴とする歯列矯正シミュレーションプログラム。 An initial image setting process for setting a patient's dentition image as an original image used for simulation;
Simulation setting process for performing orthodontic simulation setting for the original image;
When an input for specifying the correction content is performed, the computer executes the simulation execution processing for processing the original image according to the simulation setting and creating a predicted image of the corrected patient's teeth,
In the simulation execution process,
An orthodontic simulation program characterized in that, based on the simulation setting, a part designated as an orthodontic target in the original image is processed in conjunction with another part.
前記初期画像設定処理において、
前記歯列画像および患者の顔の画像を前記元画像に設定し、
前記シミュレーション設定処理において、
前記元画像における前記顔の画像を前記歯列画像に連動させて動かすための設定を行うことを特徴とする歯列矯正シミュレーションプログラム。 In claim 1,
In the initial image setting process,
Set the dentition image and the patient's face image as the original image,
In the simulation setting process,
An orthodontic simulation program for performing settings for moving the face image in the original image in conjunction with the dental image.
前記元画像における各歯を歯式に対応づけて、歯式によって連動させる歯を設定することを特徴とする歯列矯正シミュレーションプログラム。 In claim 1 or 2,
An orthodontic simulation program, wherein each tooth in the original image is associated with a dental formula, and a tooth to be interlocked according to the dental formula is set.
前記シミュレーション実行処理において、
前記元画像における各歯の輪郭形状を、前記元画像の画像解析によって自動抽出するか、あるいは、前記元画像への入力に基づいて決定する処理を行うことを特徴とする歯列矯正シミュレーションプログラム。 In any one of claims 1 to 3,
In the simulation execution process,
An orthodontic simulation program, wherein the contour shape of each tooth in the original image is automatically extracted by image analysis of the original image, or a process of determining based on an input to the original image is performed.
前記シミュレーション実行処理において、
前記輪郭形状における他の歯に隠れて見えない部分の形状を、前記元画像の他の部分あるいは予め蓄積されたデータに基づいて自動補完する処理を行うことを特徴とする歯列矯正シミュレーションプログラム。 In claim 4,
In the simulation execution process,
An orthodontic simulation program for automatically complementing a shape of a portion of the contour shape that is hidden behind other teeth based on another portion of the original image or data accumulated in advance.
前記シミュレーション設定処理において、
前記元画像における歯列の中心線、歯列の右端線、歯列の左端線、歯列の上下分割線の少なくともいずれかを設定して、当該設定された各線に基づき、前記元画像における連動して動く部分を設定することを特徴とする歯列矯正シミュレーションプログラム。 In any one of claims 1 to 5,
In the simulation setting process,
Set at least one of the center line of the dentition in the original image, the right end line of the dentition, the left end line of the dentition, and the upper and lower dividing lines of the dentition, and based on each set line, the interlocking in the original image An orthodontic simulation program characterized by setting a moving part.
前記予測画像に対する修正内容の入力を受け付けて、当該修正内容に従って前記予測画像を修正する修正処理をコンピュータに実行させることを特徴とする歯列矯正シミュレーションプログラム。 In any one of claims 1 to 6,
An orthodontic simulation program that receives an input of correction content for the predicted image and causes a computer to execute a correction process for correcting the predicted image according to the correction content.
患者の歯列画像を入力するための画像入力手段と、
前記歯列画像を表示する表示手段と、
矯正内容を指定する入力を行うための入力手段と、
前記画像入力手段、前記表示手段、前記入力手段を制御する制御手段とを有し、
前記制御手段は、請求項1ないし7のいずれかの項に記載の歯列矯正シミュレーションプログラムに基づく各処理を実行することを特徴とする歯列矯正シミュレーション装置。 An orthodontic simulation device for creating a predicted image of a patient's teeth after correction from a patient's dental image,
An image input means for inputting a dentition image of a patient;
Display means for displaying the dentition image;
An input means for performing input for designating correction content;
The image input means, the display means, and a control means for controlling the input means,
The orthodontic simulation apparatus characterized in that the control means executes each process based on the orthodontic simulation program according to any one of claims 1 to 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011281222A JP2013128694A (en) | 2011-12-22 | 2011-12-22 | Program and apparatus for orthodontic simulation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011281222A JP2013128694A (en) | 2011-12-22 | 2011-12-22 | Program and apparatus for orthodontic simulation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013128694A true JP2013128694A (en) | 2013-07-04 |
Family
ID=48906790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011281222A Pending JP2013128694A (en) | 2011-12-22 | 2011-12-22 | Program and apparatus for orthodontic simulation |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013128694A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016148297A1 (en) * | 2015-03-18 | 2016-09-22 | 株式会社アドバンス | Dental medical treatment system and intraoral camera |
JP2016174895A (en) * | 2015-02-25 | 2016-10-06 | ジェームズ アール. グライドウェル デンタル セラミックス,インコーポレーテッド | Arch form placement for dental restoration design |
CN109473176A (en) * | 2017-09-08 | 2019-03-15 | 张秀珍 | The method of tooth whitening and denture simulating image |
TWI669106B (en) * | 2017-09-06 | 2019-08-21 | 張秀珍 | Method for whitening teeth and dentition simulation images |
WO2019215550A1 (en) * | 2018-05-10 | 2019-11-14 | 3M Innovative Properties Company | Simulated orthodontic treatment via augmented visualization in real-time |
KR20200046843A (en) * | 2018-10-25 | 2020-05-07 | 울산대학교 산학협력단 | Appratus, method and program for setting a tranparent orthodontic model using orthodontics clinical bigdata |
EP3660791A1 (en) * | 2018-11-27 | 2020-06-03 | a.tron3d GmbH | Computer-implemented method for detecting three-dimensional surface geometries |
WO2021020419A1 (en) * | 2019-07-29 | 2021-02-04 | 株式会社ニデック | Medical image processing device and medical image processing program |
WO2022092753A1 (en) * | 2020-10-28 | 2022-05-05 | 주식회사 메디트 | System for displaying orthodontic information regarding oral cavity |
KR20220056761A (en) * | 2020-10-28 | 2022-05-06 | 주식회사 메디트 | Orthodontic Information Display System |
US12141969B2 (en) | 2019-07-29 | 2024-11-12 | Nidek Co., Ltd. | Medical image processing device and medical image processing program |
-
2011
- 2011-12-22 JP JP2011281222A patent/JP2013128694A/en active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016174895A (en) * | 2015-02-25 | 2016-10-06 | ジェームズ アール. グライドウェル デンタル セラミックス,インコーポレーテッド | Arch form placement for dental restoration design |
US10327867B2 (en) | 2015-02-25 | 2019-06-25 | James R. Glidewell Dental Ceramics, Inc. | Arch form placement for dental restoration design |
US11617632B2 (en) | 2015-02-25 | 2023-04-04 | James R. Glidewell Dental Ceramics, Inc. | Arch form placement for dental restoration design |
WO2016148297A1 (en) * | 2015-03-18 | 2016-09-22 | 株式会社アドバンス | Dental medical treatment system and intraoral camera |
TWI669106B (en) * | 2017-09-06 | 2019-08-21 | 張秀珍 | Method for whitening teeth and dentition simulation images |
CN109473176A (en) * | 2017-09-08 | 2019-03-15 | 张秀珍 | The method of tooth whitening and denture simulating image |
WO2019215550A1 (en) * | 2018-05-10 | 2019-11-14 | 3M Innovative Properties Company | Simulated orthodontic treatment via augmented visualization in real-time |
US11517272B2 (en) | 2018-05-10 | 2022-12-06 | 3M Innovative Properties Company | Simulated orthodontic treatment via augmented visualization in real-time |
KR102121963B1 (en) | 2018-10-25 | 2020-06-11 | 울산대학교 산학협력단 | Appratus, method and program for setting a tranparent orthodontic model using orthodontics clinical bigdata |
KR20200046843A (en) * | 2018-10-25 | 2020-05-07 | 울산대학교 산학협력단 | Appratus, method and program for setting a tranparent orthodontic model using orthodontics clinical bigdata |
US11244501B2 (en) | 2018-11-27 | 2022-02-08 | A.Tron3D Gmbh | Computer-implemented method for detecting three-dimensional surface geometries |
EP3660791A1 (en) * | 2018-11-27 | 2020-06-03 | a.tron3d GmbH | Computer-implemented method for detecting three-dimensional surface geometries |
WO2021020419A1 (en) * | 2019-07-29 | 2021-02-04 | 株式会社ニデック | Medical image processing device and medical image processing program |
JP7563384B2 (en) | 2019-07-29 | 2024-10-08 | 株式会社ニデック | Medical image processing device and medical image processing program |
US12141969B2 (en) | 2019-07-29 | 2024-11-12 | Nidek Co., Ltd. | Medical image processing device and medical image processing program |
WO2022092753A1 (en) * | 2020-10-28 | 2022-05-05 | 주식회사 메디트 | System for displaying orthodontic information regarding oral cavity |
KR20220056761A (en) * | 2020-10-28 | 2022-05-06 | 주식회사 메디트 | Orthodontic Information Display System |
KR102401298B1 (en) | 2020-10-28 | 2022-05-25 | 주식회사 메디트 | Orthodontic Information Display System |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013128694A (en) | Program and apparatus for orthodontic simulation | |
RU2593741C2 (en) | Method and system for two-dimensional image arrangement | |
EP2164424B1 (en) | Graphical user interface for computer-assisted margin marking on dentition | |
US9262864B2 (en) | Synchronized views of video data and three-dimensional model data | |
JP2013531531A5 (en) | ||
KR102016018B1 (en) | Method for setting Gingival line to design prosthesis | |
JP6757671B2 (en) | Virtual secondary processing method for gingival model | |
US20150302581A1 (en) | Method and device for cosmetic dental analysis | |
KR20150039028A (en) | Simulation method and system for orthodontic treatment | |
WO2020073669A1 (en) | Tooth virtual editing method and system, computer device, and storage medium | |
EP3054891B1 (en) | Method and user interface for use in manufacturing multi-shaded dental restorations | |
KR20210048756A (en) | Teeth setup method for orthodontic treatment and orthodontic setup apparatus therefor | |
KR102138919B1 (en) | Method for adjusting prosthetic parameter and prosthetic CAD apparatus therefor | |
KR102085852B1 (en) | M method and apparatus for designing dental workpiece considering the occlusal relationship with an antagonistic teeth | |
JP5327928B1 (en) | Dental treatment simulation apparatus and dental treatment simulation program | |
JP2015126820A (en) | Intraoral display system | |
KR102446421B1 (en) | Device and method for providing scan data | |
KR20200140088A (en) | Method of inputting and generating natural tube path in dental radiographies | |
KR102702505B1 (en) | Method for establishing orthodontic treatment plan and apparatus thereof | |
KR102474298B1 (en) | Method for designing prosthetic model and apparatus thereof | |
KR102573908B1 (en) | Method for classifying facial shape and denture design apparatus therefor | |
KR20220024350A (en) | Method for guide design for implant surgery and apparatus thereof |