[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7570065B2 - 歯列画像撮影システムおよび歯列画像撮影方法 - Google Patents

歯列画像撮影システムおよび歯列画像撮影方法 Download PDF

Info

Publication number
JP7570065B2
JP7570065B2 JP2022565368A JP2022565368A JP7570065B2 JP 7570065 B2 JP7570065 B2 JP 7570065B2 JP 2022565368 A JP2022565368 A JP 2022565368A JP 2022565368 A JP2022565368 A JP 2022565368A JP 7570065 B2 JP7570065 B2 JP 7570065B2
Authority
JP
Japan
Prior art keywords
dentition
image
teeth
images
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022565368A
Other languages
English (en)
Other versions
JPWO2022113995A1 (ja
Inventor
泰雄 大塚
正人 伊澤
智輝 小川
俊幸 中嶋
雅之 粟飯原
和宏 船本
匡 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2022113995A1 publication Critical patent/JPWO2022113995A1/ja
Application granted granted Critical
Publication of JP7570065B2 publication Critical patent/JP7570065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0625—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
    • G03B15/0405—Non-electronic flash apparatus incorporated in photographic apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)

Description

本開示は、歯列画像撮影システムおよび歯列画像撮影方法に関する。
口腔内を観察する手段として、口腔内に光を照射する機能を備えた口腔内カメラ（特許文献１、特許文献２）が、特許文献１および２に開示されている。
特開２００４－２３７０８１号公報 特開２００７－２３６７０７号公報
ところで、口腔内に光を照射し、歯牙の撮影を行うとき、歯牙が白く光沢があることに加えて、歯牙が唾液や血液で濡れていたり、治療痕に使用された金属製のインレーにより、歯牙の表面で正反射が発生してハレーション（いわゆる「ホワイトアウト」）が発生する場合がある。ハレーションが発生するとの歯牙の画像が不鮮明となり、歯牙の状態を正しく確認できない可能性がある。
そこで、本開示は、歯牙を鮮明に撮影することを課題とする。
上述の課題を解決するために、本開示の一態様によれば、
撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、
前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、
前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、
前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、
前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、
前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、
画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含む歯列画像撮影システムが提供される。
また、本開示の別の態様によれば、
撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、
複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、
撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、
前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、
前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、
前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定し、
前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、
前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、
画像合成処理された前記第１の歯列画像を出力する、歯列画像撮影方法が提供される。
本開示によれば、歯牙を鮮明に撮影することができる。
本開示の実施の形態１に係る歯列画像撮影システムにおける口腔内カメラの斜視図 口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図 本開示の実施の形態１に係る歯列画像撮影システムの概略的構成図 歯牙の表面にハレーションが生じた状態の歯列画像の一例を示す図 ハレーションを取り除いた歯列画像の作成に必要な複数枚の歯列画像の撮影動作のタイミングチャート 図５に示す撮影動作によって得られた複数の歯列画像を示す図 ハレーション除去処理の流れを示す一例のフローチャート 抽出された高輝度領域を示す複数の輝度分布画像を示す図 類似度が所定の類似度しきい値に比べて小さい高輝度領域を示す輝度分布画像を示す図 トリミング処理および合成処理を示す図 ハレーションが除去された歯列画像を示す図 インレーを備える歯牙を含む歯列画像とその輝度分布とを示す図 キャリブレーション処理の流れを示すフローチャート 別の実施の形態の歯列画像撮影システムにおける口腔内カメラの一部の斜視図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
以下、本開示の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本開示の実施の形態１に係る歯列画像撮影システムにおける口腔内カメラの斜視図である。図２は、口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図である。
図１に示すように、本実施の形態１の場合、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
図２に示すように、本実施の形態１の場合、口腔内カメラ１０の撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズ１６とを含んでいる。
撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズ１６によって歯牙Ｄの像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。
レンズ１６は、例えば集光レンズであって、入射した歯牙Ｄの像を撮像素子１４に結像する。なお、レンズ１６は、１つのレンズであってもよいし、複数のレンズから構成されるレンズ群であってもよい。
本実施の形態１の場合、撮影光学系１２はさらに、歯牙Ｄの像をレンズ１６に向かって反射するミラー１８、ミラー１８とレンズ１６との間に配置された赤外線カットフィルタ２０と補色フィルタ２２、レンズ１６と撮像素子１４との間に配置された絞り２４とを含んでいる。
ミラー１８は、撮影光学系１２の入射口１２ａを通過した歯牙Ｄの像をレンズ１６に向かって反射するように、撮影光学系１２の光軸ＬＡ上に配置されている。
赤外線カットフィルタ２０は、撮像素子１４に入射する光に含まれる赤外線をカットするフィルタである。ＣＣＤ素子やＣ－ＭＯＳセンサなどの撮像素子１４の各色画素（ＲＧＢ）のフィルタが全透過性を備える場合、赤外線が白色光と認識される。この対処として、赤外線カットフィルタ２０が撮像素子１４に入射する前の光から赤外線をカットする。
補色フィルタ２２は、所定の波長の光が選択的に透過するフィルタである。補色フィルタ２２は、例えば４３０ｎｍ～４６０ｎｍの波長の光を選択的に透過し、それ以外の波長の光をカットする。
絞り２４は、撮影光学系１２の光軸ＬＡ上に貫通穴を備える板状部材であって、深い焦点深度を実現する。これにより、口腔内の奥行方向についてピントを合わせることができ、輪郭が明瞭な歯列画像を得ることができる。なお、本実施の形態１の場合、撮影光学系１２に補色フィルタ２２が含まれているので、絞り２４によって蛍光線が効果的に処理される。
また、口腔内カメラ１０は、撮影時に撮影対象の歯牙Ｄに対して光を照射する照明デバイスとして、複数の第１～第２のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば白色ＬＥＤである。また、図１に示すように、本実施の形態１の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄが、入射口１２ａを囲むように配置されている。なお、歯茎Ｇなどが第１～第４のＬＥＤ２６Ａ～２６Ｄに当接して照明光が不足しないように、第１～第４のＬＥＤ２６Ａ～２６Ｄと入射口１２ａとを覆う透光性のカバー２８がヘッド部１０ａに設けられている。
さらに、本実施の形態の場合、口腔内カメラ１０は、図２に示すように、構図調節機構３０と焦点調節機構３２とを有する。
構図調節機構３０は、撮像素子１４とレンズ１６とを保持する筺体３４と、筺体３４を光軸ＬＡの延在方向に移動させるアクチュエータ３６とから構成される。アクチュエータ３６が筺体３４の位置を調節することにより、画角が調節される、すなわち撮像素子１４に結像する歯列の大きさが調節される。なお、構図調節機構３０は、例えば１つの歯牙全体が撮影画像に写るように筺体３４の位置を自動的に調節する。また、構図調節機構３０は、ユーザの操作に基づいて、ユーザが所望する画角になるように筺体３４の位置を調節する。
焦点調節機構３２は、構図調節機構３０の筺体３４内に保持され、レンズ１６を保持するレンズホルダ３８と、レンズホルダ３８を光軸ＬＡの延在方向に移動させるアクチュエータ４０とから構成される。アクチュエータ４０が撮像素子１４に対するレンズホルダ３８の相対位置を調節することにより、焦点が調節される、すなわちピントが調節される。なお、焦点調節機構３２は、例えば撮影画像の中央に位置する歯牙にピントが合うようにレンズホルダ３８の位置を自動的に調節する。また、焦点調節機構３２は、ユーザの操作に基づいて、レンズホルダ３８の位置を調節する。
なお、ミラー１８を除く撮影光学系１２の構成要素は、口腔内カメラ１０のハンドル部１０ｂｃに設けられてもよい。
ここまでは、歯列画像撮影システムにおける口腔内カメラ１０の撮影光学系について説明してきた。ここからは、歯列画像撮影システムの構成について説明する。
図３は、本開示の一施の形態１に係る歯列画像撮影システムの概略的構成図である。
図３に示すように、本実施の形態１に係る歯列画像撮影システム１００は、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。
図３に示すように、本実施の形態１の場合、歯列画像撮影システム１００は、口腔内カメラ１０と、携帯端末７０と、クラウドサーバー８０とを含んでいる。携帯端末７０は、例えば、入力デバイスおよび出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備えている無線通信可能な携帯電話である。携帯端末７０は、歯列画像撮影システム１００のユーザインターフェースとして機能する。クラウドサーバー８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバーであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバー８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバー８０は、口腔内カメラ１０によって撮影された歯列画像を携帯端末７０を介して取得する。
歯列画像撮影システム１００は、システムの制御を行う主要部分として中央制御部５０と、撮像素子１４からの歯列画像を画像処理する画像処理部５２と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御するレンズドライバー５６と、を含んでいる。
また、歯列画像撮影システム１００は、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。
歯列画像撮影システム１００の中央制御部５０は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（データ）や種々の設定データなどが記憶される。
画像処理部５２は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、撮像素子１４が撮影した歯列画像（データ）を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像を中央制御部５０に出力する。画像処理部５２は、例えば回路で構成され、例えば歯列画像に対してノイズ除去、ＡＷＢ（Ａｕｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの画像処理を実行する。画像処理部５２から出力された歯列画像を、コントローラ６２は、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。
ＬＥＤ制御部５４は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、のコントローラ６２からの制御信号に基づいて、第1～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。
レンズドライバー５６は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０からのコントローラ６２からの制御信号に基づいて、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御する。レンズドライバー５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバー５６に制御信号を送信する。また例えば、コントローラ６２が画像処理部５２からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバー５６に送信される。
無線通信モジュール５８は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉやＢｌｕｅｔｏｏｔｈなどの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。
電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、画像処理部５２、ＬＥＤ制御部５４、レンズドライバー５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。
ここまでは、歯列画像撮影システム１００の構成について説明してきた。ここからは、歯列画像撮影システム１００が実行する歯列画像撮影について説明する。
図４は、歯牙の表面にハレーションが生じた状態の歯列画像の一例である。
図４の一例の歯列画像に示すように、歯牙Ｄの表面が唾液や濡れているなどして、第１～第４のＬＥＤ２６Ａ～２６Ｄからの照明光によって歯牙Ｄの表面でハレーションＨが生じうる。そのハレーションＨが生じた歯牙Ｄの表面部分は不鮮明でその状態を確認することができない。そこで、本実施の形態１に係る歯列画像撮影システム１００は、そのハレーションＨを取り除いた歯列画像を作成することができるように構成されている。
ハレーションＨを取り除いた歯列画像を作成するために、歯列画像撮影システム１００は、必要な複数枚の歯列画像を撮影するように構成されている。
図５は、ハレーションを取り除いた歯列画像の作成に必要な複数枚の歯列画像の撮影動作のタイミングチャートである。また、図６は、図５に示す撮影動作によって得られた複数の歯列画像を示している。
図５および図６に示すように、複数枚の歯列画像Ｐ１～Ｐ４それぞれは、異なる照明条件の下で撮影される。また、所定の露光時間ＴＥＸで、複数枚の歯列画像Ｐ１～Ｐ４は撮影される。
例えば、ユーザが、まず一方の手で口腔内カメラ１０を持ち、他方の手で携帯端末７０を持つ。次に、ユーザが、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯した状態で、撮影対象の歯牙Ｄが携帯端末７０のタッチスクリーン７２に映るように口腔内カメラ１０のヘッド部１０ａの位置を調節する。例えば、図２に示すように、口腔内カメラ１０のヘッド部１０ａを撮影対象の歯牙Ｄ近傍の歯茎Ｇに当接させることにより、口腔内カメラ１０を口腔内で固定する。その位置調節後、ユーザが、撮影開始に関する操作をタッチスクリーン７２に対して実行する。その操作に基づいて、撮影開始信号が、携帯端末７０から口腔内カメラ１０の中央制御部５０に送信される。
本実施の形態１の場合、中央制御部５０のコントローラ６２は、ＬＥＤ制御部５４を制御して第１～第４のＬＥＤ２６Ａ～２６Ｄを１つずつ順番に点灯させる。図５に示すように、一枚目の歯列画像Ｐ１を撮影するときは、第１のＬＥＤ２６Ａが点灯（ＯＮ）し、残りのＬＥＤが消灯（ＯＦＦ）する。一枚目の歯列画像Ｐ１を中央制御部５０が取得すると（メモリ６４に保存されると）、二枚目の歯列画像Ｐ２を撮影するために、第２のＬＥＤ２６Ｂが点灯し、残りのＬＥＤを消灯する。二枚目の歯列画像Ｐ２の取得後、第３のＬＥＤ２６Ｃが点灯し、残りのＬＥＤが消灯し、三枚目の歯列画像Ｐ３が撮影される。そして、三枚目の歯列画像Ｐ３の取得後、第４のＬＥＤ２６Ｄが点灯し、残りのＬＥＤが消灯し、四枚目の歯列画像Ｐ４が撮影される。これにより、照明条件が異なる、具体的には照明方向が異なり、所定の露光時間ＴＥＸで、構図が実質的に同一の複数の歯列画像Ｐ１～Ｐ４が撮影される（保存される）。その後、コントローラ６２は、ＬＥＤ制御部５４を介して第１～第４のＬＥＤ２６Ａ～２６Ｄを撮影開始前の状態に戻し、携帯端末７０を介してユーザに対して撮影終了の通知を実行する。
図６に示すように、構図は実質的に同一であって、照明方向が異なり、所定の露光時間ＴＥＸで撮影された複数枚（本実施の形態の場合は４枚）の歯列画像Ｐ１～Ｐ４を取得すると、中央制御部５０のコントローラ６２は、歯列画像Ｐ１のハレーションＨを除去する処理を実行する。その処理について、図７を参照しながら説明する。
図７は、ハレーション除去処理の流れを示す一例のフローチャートである。
まず、ステップＳ１００において、コントローラ６２は、複数の歯列画像Ｐ１～Ｐｎ（本実施の形態１の場合、ｎ＝４）それぞれにおいて、輝度が所定の輝度しきい値を超えている高輝度領域ＡＢを抽出する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の高輝度領域抽出部として機能する。なお、所定の輝度しきい値は、例えば予め実験的にまたは理論的に求められ、正反射が生じた歯牙の表面部分の輝度近傍の値である。
図８は、抽出された高輝度領域を示す複数の輝度分布画像を示す図である。
図８に示すように、複数の輝度分布画像ＢＰ１～ＢＰ４それぞれは、抽出された高輝度領域ＡＢ（クロスハッチング）を示している。なお、輝度分布画像ＢＰ１は歯列画像Ｐ１に対応し、ＢＰ２はＰ２、ＢＰ３はＰ３、そしてＢＰ４はＰ４に対応する。
なお、ステップＳ１００に続くステップＳ１１０において、複数の歯列画像全てにおいて高輝度領域ＡＢが存在するか否かが判定される。歯列画像の少なくとも１つに高輝度領域ＡＢが存在する場合、ステップＳ１２０に進む。そうでない場合、すなわち歯列画像全てにおいて高輝度領域ＡＢが存在しない場合、ステップＳ２００に進む。
ステップＳ１２０において、コントローラ６２により、パラメータｋが１に設定される。
ステップＳ１３０において、コントローラ６２は、歯列画像Ｐ１の高輝度領域ＡＢと歯列画像Ｐｋ＋１の高輝度領域ＡＢとの間の類似の程度を示す数字である類似度を算出する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の高輝度領域比較部として機能する。
高輝度領域ＡＢの類似度は、例えばテンプレートマッチングを用いて算出される。テンプレートマッチングとして、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などがある。
ＳＳＤを用いる場合は、下記の数式１を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の差分の二乗和を算出する。その算出した値ＲＳＳＤの逆数を高輝度領域間の類似度とする。
Figure 0007570065000001
数１において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
ＳＡＤを用いる場合は、下記の数式２を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の差分の絶対値の和を算出する。その算出した値ＲＳＡＤの逆数を高輝度領域間の類似度とする。
Figure 0007570065000002
数２において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
ＮＣＣＣを用いる場合は、下記の数式３を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の正規化相互相関を評価する。数式３を用いて算出される評価値ＲＮＣＣは、－１．０～＋１．０の範囲の数値であって、＋１．０に近いほど、類似度が高いことを示す。
Figure 0007570065000003
数３において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
ステップＳ１３０で歯列画像Ｐ１の高輝度領域ＡＢと歯列画像Ｐｋ＋１の高輝度領域ＡＢの間の類似度が算出されると、ステップＳ１４０において、コントローラ６２は、歯列画像Ｐ１に類似度が所定の類似度しきい値に比べて小さい高輝度領域ＡＢが存在するか否かを判定する。存在する場合には、ステップＳ１５０に進む。そうでない場合にはステップＳ１７０に進む。
図９は、類似度が所定の類似度しきい値に比べて小さい高輝度領域を示す輝度分布画像を示している。
図９に示すように、歯列画像Ｐ１に対応する輝度分布画像ＢＰ１において、類似度が所定の類似度しきい値に比べて小さい高輝度領域（斜線ハッチング）が存在する場合、ステップＳ１５０において、コントローラ６２は、当該領域を歯列画像Ｐ１においてハレーションが生じている領域ＡＨ（ハレーション領域）として特定する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００のハレーション領域特定部として機能する。
図１０は、トリミング処理および合成処理を示す図である。また、図１１は、トリミング処理および合成処理によってハレーションが部分的に除去された歯列画像を示している。
ステップＳ１６０において、コントローラ６２は、図１０に示すように、歯列画像Ｐ１のハレーション領域ＡＨに対応する歯列画像Ｐｋ＋１の領域Ａｔｒｉ（トリミング領域）を抽出する。そして、続くステップＳ１７０において、歯列画像Ｐ１のハレーション領域ＡＨを歯列画像Ｐｋ＋１のトリミング領域Ａｔｒｉに差し換える画像合成処理を実行する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の合成処理部として機能する。これらのステップＳ１６０およびＳ１７０の処理により、図１１に示すように、ハレーションＨの一部が除去された歯列画像Ｐ１が得られる（図６参照）。
ステップＳ１８０において、コントローラ６２により、パラメータｋが＋１だけインクリメントされる。続くステップＳ１９０において、コントローラ６２により、パラメータｋがｎ－１であるか否かが判定される。パラメータｎは歯列画像の枚数である。パラメータｋがｎ－１である場合（本実施の形態１の場合にはｋ＝３）には、ステップＳ２００に進む。そうでないステップＳ１３０に戻る。
ステップＳ１３０～Ｓ１９０の処理が繰り返されることにより、歯列画像Ｐ１と他の歯列画像Ｐ２～Ｐ４それぞれとの間で、高輝度領域ＡＨの類似度算出や画像合成処理（類似度算出結果によっては画像合成処理が実行されない歯列画像もありうる）が実行される。
歯列画像Ｐ１と他の歯列画像Ｐ２～Ｐ４それぞれとの間で高輝度領域ＡＨの類似度算出や画像合成処理が実行されると、ステップＳ２００において、コントローラ６２は、歯列画像Ｐ１を、携帯端末７０のタッチスクリーン７２を介して出力する（表示する）。すなわち、携帯端末７０のタッチスクリーン７２が、歯列画像撮影システム１００の歯列画像出力部として機能する。ステップＳ２００の処理が終了すると、ハレーション除去処理が完了する。
図１１は、ハレーションが除去された歯列画像を示している。
図１１に示すように、歯列画像Ｐ１において、一部を除いてハレーションＨが除去されている（図６参照）。残るハレーションＨＲは、照明方向を変えても生じるハレーションである。このハレーションＨＲは、歯牙Ｄに詰められたインレーが多重反射することによって生じていると推定できる。したがって、ハレーションＨＲにはハレーション除去処理が実行されず、歯列画像Ｐ１にはインレーが写る。
言い換えると、他の歯列画像Ｐ２～Ｐ４の高輝度領域ＡＢそれぞれとの間の類似度が所定の類似度しきい値に比べて大きい歯列画像Ｐ１の高輝度領域ＡＢは、インレーが存在しうる領域として推定され、その領域は画像合成処理されることなくそのまま残される。その結果、インレーを備える歯牙Ｄが写る歯列画像において、インレーが写らないという不自然な状況が起こることが抑制されている。
したがって、図１１に示すようにインレーを除く歯牙の部分のハレーションが除去された歯列画像を得ることができる。
以上のような本実施の形態１によれば、歯牙を鮮明に撮影することができる。
（実施の形態２）
本実施の形態２に係る歯列画像撮影システムは、上述の実施の形態１に係る歯列画像撮影システムの改良形態であって、特にインレーを備える歯牙を含む歯列画像の撮影に適した形態である。したがって、異なる点を中心にして、本実施の形態２について説明する。
インレー備える歯牙を含む歯列、特に金属製のインレーを備える歯牙を含む歯列を撮影すると、インレーの一部分が鏡面反射する場合がある。鏡面反射したインレーの部分は、対応する撮像素子の画素が飽和してホワイトアウトが発生しうるので、その状態を確認することができない。
図１２は、インレーを備える歯牙を含む歯列画像とその輝度分布とを示している。
図１２示す輝度分布は、歯牙画像Ｐ５において、歯肉、歯牙、インレー、歯牙、歯肉と順番に通過する直線Ｘ－Ｘ上の輝度分布を示している。歯肉の輝度が最も低く、インレーの輝度が最も高い。インレー内においても他の部分に比べて輝度が高い部分が存在し、このインレーの部分は、鏡面反射が発生していると推定される。したがって、歯肉や歯牙に比べて輝度が高いインレーの輝度を低下させれば、インレーを含む歯牙においてホワイトアウトの発生を抑制でき、歯牙全体が鮮明に映る歯列画像を得ることができる。
インレーの輝度を低下させるために、本実施の形態２の場合、図６に示すような、ハレーション除去処理に必要な複数枚の歯列画像の露光時間を所定の露光時間ＴＥＸから短縮させる。具体的には、ハレーション除去処理に必要な複数枚の歯列画像を撮影する前に、以下のキャリブレーション処理を、本実施の形態２に係る歯列画像撮影システムは実行する。
図１３は、キャリブレーション処理の流れを示すフローチャートである。
図１３に示すように、ステップＳ３００において、コントローラ６２は、キャリブレーション処理用の２枚の歯列画像を撮像素子１４から取得する。このとき、２枚の歯列画像は、異なる照明条件の下で、互いに異なる露光時間で撮影される。なお、これらの露光時間は、両方が所定の露光時間ＥＸと異なってもよいし、一方が同じであってもよい。一方の歯列画像は、例えば第１のＬＥＤ２６Ａのみが点灯した状態で撮影される。他方の歯列画像は、例えば第３のＬＥＤ２６Ｃのみが点灯した状態で撮影される。
ステップＳ３１０において、コントローラ６２は、２枚の歯列画像それぞれにおいて、所定の輝度しきい値を超える高輝度領域ＡＢを抽出する。
ステップＳ３２０において、コントローラ６２は、２枚の歯列画像に高輝度領域ＡＢが存在するか否かを判定する。存在する場合にはステップＳ３３０に進む。そうでない場合には、ハレーション除去処理に必要な複数枚の歯列画像を撮影したときに歯牙においてホワイトアウトが発生する確率が低いので、キャリブレーション処理を終了する。
ステップＳ３３０において、コントローラ６２は、２枚の歯列画像の高輝度領域ＡＢ間の類似度を算出する。
ステップＳ３４０において、コントローラ６２は、類似度が所定の類似度しきい値に比べて大きい高輝度領域ＡＢが存在するか否かを判定する。存在する場合、ステップＳ３５０に進む。そうでない場合、インレーが存在しない可能性が高いので、キャリブレーション処理を終了する。
ステップＳ３５０において、コントローラ６２は、２枚の歯列画像の高輝度領域ＡＢの輝度値が異なるか否かを判定する。異なる場合、ステップＳ３６０に進む。そうでない場合、ステップＳ４００に進み、コントローラ６２は、撮像素子１４に異常が発生していると判定する。すなわち、コントローラ６２が、歯列画像撮影システムの撮影デバイス異常判定部として機能する。このような異常判定が実行できる理由は、２枚の歯列画像が異なる露光時間で撮影されているにもかかわらず、それらの高輝度領域ＡＢの輝度値が異なっておらずに同一だからである。なお、この撮像素子の異常判定を高精度に行うためには、２枚の歯列画像の露光時間の差は大きい方が好ましい。
ステップＳ３６０において、コントローラ６２は、ハレーション除去処理に必要な複数枚の歯列画像を撮影するときの所定の露光時間ＴＥＸを短縮する。すなわち、類似度が大きく且つ輝度値が異なる高輝度領域ＡＢは、鏡面反射が起こりやすいインレーが存在する可能性が高い領域である。そこで、ハレーション除去処理に必要な複数枚の歯列画像に含まれるインレーでのホワイトアウトを抑制するために、所定の露光時間ＴＥＸを短縮する。
ステップＳ３７０において、コントローラ６２は、類似度が大きく且つ輝度値が異なる高輝度領域ＡＢをインレーが存在する領域と特定する。続くステップＳ３８０において、コントロ-ラ６２は、インレーが存在する領域として特定された高輝度領域ＡＢの色情報（色や光沢などの歯列画像から取得できる情報）に基づいてインレーの種類を特定する。そのために、メモリ６４には、予め用意された様々な種類のインレーの色や光沢などの色情報が記憶されている。メモリ６４内の情報を参照することにより、コント―ラ６２は、高輝度領域ＡＢ内のインレーの種類を特定する。
ステップＳ３９０において、コントローラ６２は、特定したインレーの種類の情報をメモリ６４に保存する。このインレーの種類の情報は、図１１に示すようにハレーションが除去された歯列画像にインレーが写るときに、その歯列画像とともに出力される。
このような本実施の形態２によれば、上述の実施の形態１と同様に、歯牙を鮮明に撮影することができる。特に、インレーを備える歯牙を鮮明に撮影することができる。
以上、上述の実施の形態１および２を挙げて本開示を説明したが、本開示の実施の形態は上述の実施の形態に限らない。
例えば、上述の実施の形態の場合、１本の歯牙に対してハレーション除去処理が実行されているが、本開示の実施の形態はこれに限らない。複数本の歯牙に対して同時にハレーション除去処理することも可能である。そのために、口腔内カメラを、例えば３６０度カメラで構成してもよい。また例えば、図１に示す口腔内カメラ１０のヘッド部１０ａをネック部１０ｃに対して３６０度回転可能に構成し、パノラマ画像状の歯列画像を取得してもよい。
また、上述の実施の形態１の場合、撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する照明デバイスである第１～第４のＬＥＤ２６Ａ～２６Ｄは、図５に示すように、１枚の歯列画像を撮影するときは１つのＬＥＤのみ点灯するが、本開示の実施の形態はこれに限らない。例えば、１枚の歯列画像を撮影するときの照明条件として、２つ以上の照明デバイスが点灯する照明条件があってもよい。また、全ての照明デバイスが光を照射する照明条件や全ての照明デバイスが消灯する照明条件があってもよい。これにより、歯牙を撮影するときの照明条件を増加させることができ、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を増加させることができる。多数の歯列画像を使用することにより、ハレーション除去処理の精度が向上する。
照明デバイスに関して、図５に示すように第１～第４のＬＥＤ２６Ａ～２６ＤはＯＮ／ＯＦＦ制御されるが、本開示の実施の形態はこれに限らない。照明デバイスは、例えば光量が調節可能な照明デバイスであってもよい。光量が調節可能な照明デバイスを用いれば、歯牙を撮影するときの照明条件をさらに増加させることができ、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を増加させることができる。多数の歯列画像を使用することにより、ハレーション除去精度が向上する。
照明デバイスの光量調節に関して、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を撮影する前に、照明デバイスの光量が自動的または手動で調節されてもよい。例えば、照度センサを用いて口腔内カメラの入射口周辺の明るさを測定し、その測定結果に基づいて照明デバイスの光量を調節してもよい。また例えば、測距センサを用いて口腔内カメラから撮影対象の歯牙までの距離を測定し、その測定結果に基づいて照明デバイスの光量を調節してもよい。さらに例えば、ユーザが、携帯端末７０のタッチスクリーン７２を介して歯列画像を確認しながら、そのタッチスクリーン７２を介して照明デバイスの光量を調節できるようにしてもよい。ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を撮影する前に、照明デバイスの光量を適当に調節することにより、ある程度ハレーションの発生が抑制された複数枚の歯列画像を取得することができる。そのある程度ハレーションの発生が抑制された複数枚の歯列画像を使用することにより、ハレーション除去精度が向上する。
複数の照明デバイスそれぞれの照射光に関して、上述の実施の形態１の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄの全てが白色光を出力する。これに代わって、一部の照明デバイスが紫外線光を照射してもよい。紫外線光を照射すると、歯列画像において歯垢が鮮明に写る。これにより、歯列画像を用いて歯垢チェックが可能になる。
照明デバイスが紫外線光を照射する場合、その紫外線光によって口腔内カメラ１０のヘッド部１０ａを紫外線殺菌してもよい。この場合、ヘッド部１０ａ全体を覆うヘッドカバーを用意する。そのヘッドカバーの内面は鏡面加工されている。ヘッドカバーに覆われた状態のヘッド部１０ａに設けられた照明デバイスが紫外線光を照射すると、その紫外線が鏡面加工されたヘッドカバーの内面で反射し、ヘッド部１０ａに照射される。その結果、ヘッド部１０ａが紫外線光によって殺菌される。
照明デバイスの照射光に関して、口腔内カメラ１０、特に口腔内に入るヘッド部１０ａおよびネック部１０ｃの一部は、光の反射を抑制するように、光の吸収性が高い膜（例えば黒色の塗料）で覆われているのが好ましい。これにより、口腔内カメラ１０で反射した光が歯牙に投射されることが抑制される、すなわちハレーションの発生が抑制される。
ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、ユーザが歯列画像のホワイトバランスを調節できるようにしてもよい。例えば、ユーザが、携帯端末７０のタッチスクリーン７２を介して歯列画像を確認しながら、そのタッチスクリーン７２を介してホワイトバランスを調節できるようにしてもよい。
ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、口腔内カメラに曇り止め処置を施してもよい。口腔内は湿度が高いため、撮像素子１４やレンズ１６などの撮影光学系１２の構成要素が湿気によって濡れる可能性がある。その対処として、例えば、レンズ１６の透過面やミラー１８の反射面を撥水加工してもよい。また例えば、撮像素子１４、レンズ１６などが濡れないように（結露が生じないように）、その周囲の空気を温めてもよい。その空気を温める熱源として、ヒータを使用してもよい。あるいは、電池６６から供給されて駆動する電子部品からの排熱によって空気を温めてもよい。代わりとして、歯列画像に部分的に不鮮明な部分が発生している場合にはレンズ１６やカバー２８が濡れていると判定し、そのことをユーザに通知してもよい。
ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、上述の実施の形態１の場合、図２に示すように、口腔内カメラ１０のヘッド部１０ａが歯茎Ｇに当接される。口腔内カメラ１０のヘッド部１０ａの口腔内での位置固定は、これに限らない。例えば、ネック部１０ｃに上唇または下唇が着座する平面や凹面などの着座面を設けてもよい。
ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、特に奥歯または奥歯に近い外側面を撮影しやすくするために、口腔内カメラ１０にスペーサを設けてもよい。
図１４は、別の実施の形態の歯列画像撮影システムにおける口腔内カメラの一部の斜視図である。
図１４に示すように、口腔内カメラ２１０のヘッド部２１０ａには、撮影光学系の光軸ＬＡの延在方向に延在して両端が丸いスペーサ２１０ｄが設けられている。このスペーサ２１０ｄが奥歯近傍の歯茎と対向する頬の内側部分との間に配置されることにより、頬と奥歯の外側面との間にスペースが形成される。その結果、撮影光学系の入射口２１２ａと奥歯の外側面との間に、撮影に適切な距離が確保される。なお、スペーサ２１０ｄは、奥歯以外の歯を撮影するときを考慮すると、ヘッド部２１０ａに対して着脱可能であることが好ましい。
また、複数の歯牙を撮影する場合、歯列画像撮影システムは、その撮影手順などのユーザに教示してもよい。例えば、携帯端末７０のタッチスクリーン７２に全ての歯牙を含む口腔内画像（例えばイラスト）を表示し、その口腔内画像を用いて次にユーザが撮影すべき対象の歯牙の位置を教示する。ユーザが教示された歯牙に口腔内カメラ１０のヘッド部１０ａを位置合わせすると、その歯列画像に基づいて歯牙の種類、撮影方向、画角などを判定し、適切な撮影方向や画角などをユーザに教示する。ユーザによって撮影方向や画角などが適切に調節されると、口腔内カメラ１０がその歯牙を撮影する。なお、ヘッド部１０ａをネック部１０ｃに対して回転可能に構成し、そのヘッド部１０ａを回転させるモータを口腔内カメラ１０に搭載することにより、ユーザを介することなく、撮影方向を調節することができる。歯牙の種類は、歯列画像に写る歯牙の像に対して画像認識を実行することにより、特定することができる。これにより、ユーザが次に撮影すべき歯牙と異なる歯牙に対してヘッド部１０ａを位置合わせした場合、その間違いをユーザに指摘することができる。
最後に、上述の実施の形態１の場合、歯列画像撮影システム１００は、図１および図３に示すように、歯ブラシ状の口腔内カメラ１０と携帯端末７０とで構成されている。また、口腔内カメラ１０に、照明デバイスであるＬＥＤ２６Ａ～２６Ｄ、撮像デバイスである撮像素子１４、ハレーション除去処理を実行するコントローラ６２などが搭載されている。そして、携帯端末７０が、歯列画像を出力する。しかしながら、本開示の実施の形態はこれに限らない。
例えば、ハレーション除去処理を実行するコント―ラは、携帯端末にあってもよい。すなわち、携帯端末に搭載されたＣＰＵやＭＰＵなどが歯列画像のハレーション除去処理を実行する。また例えば、携帯端末の代わりにパーソナルコンピュータを使用し、口腔内カメラをＵＳＢなどでそのパーソナルコンピュータに接続してもよい。
また、照明デバイスと撮影デバイスが搭載され、少なくとも一部が口腔内に進入するカメラは、歯ブラシ状の口腔内カメラに限らない。照明デバイスや撮影光学系の入射口が設けられた部分が口腔内で自由に移動可能であれば、カメラの形態は問わない。例えば、撮影デバイスを含む撮影光学系と照明デバイスとを、電動歯ブラシのヘッド部に搭載してもよい。
すなわち、本開示の実施の形態に係る歯列画像撮影システムは、広義には、撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含んでいる。
また、本開示の実施の形態に係る歯列画像撮影方法は、広義には、撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定し、前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、画像合成処理された前記第１の歯列画像を出力する。
以上のように、本開示における技術の例示として、上述の実施の形態を説明してきた。そのために、図面および詳細な説明を提供している。したがって、図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上述の技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
本開示は、歯列を撮影して歯列画像を出力する装置、システム、および方法に対して適用可能である。

Claims (8)

  1. 撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、
    前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、
    前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、
    前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、
    前記類似度が所定の類似度しきい値に比べて小さい場合、前記高輝度領域抽出部によって抽出された前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、
    前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、
    画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含む歯列画像撮影システム。
  2. 前記第１および第２の歯列画像に高輝度領域が含まれない場合、前記歯列画像出力部が前記第１の歯列画像を出力する、請求項１に記載の歯列画像撮影システム。
  3. 前記撮影デバイスが、異なる照明条件の下で且つ互いに異なる露光時間で第３および第４の歯列画像を撮影し、
    前記高輝度領域抽出部が、前記第３および第４の歯列画像の高輝度領域を抽出し、
    前記高輝度領域比較部が、前記第３および第４の歯列画像の高輝度領域の類似度を算出し、
    前記第３および第４の歯列画像の高輝度領域間の類似度が前記所定の類似度しきい値に比べて大きい場合、前記撮影デバイスが、前記所定の露光時間を短縮して前記第１および第２の歯列画像を撮影する、請求項１または２に記載の歯列画像撮影システム。
  4. 前記第３および第４の歯列画像の高輝度領域の輝度値が同一である場合、前記撮影デバイスに異常が生じていると判定する撮影デバイス異常判定部を、さらに含む、請求項３に記載の歯列画像撮影システム。
  5. 類似度が前記所定の類似度しきい値に比べて大きい高輝度領域をインレーが存在する領域と特定し、前記高輝度領域の色情報と予め用意された複数の種類のインレーの色情報とに基づいて、インレーの種類を特定するインレー種類特定部を、さらに含む、請求項１から４のいずれか一項に記載の歯列画像撮影システム。
  6. 前記照明デバイスと前記撮影デバイスが、歯ブラシ状の筺体に組み込まれている、請求項１から５のいずれか一項に記載の歯列画像撮影システム。
  7. 前記歯列画像出力部が、歯列画像を表示可能なスクリーンを備える携帯端末である、請求項６に記載の歯列画像撮影システム。
  8. 撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、
    複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、
    撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、
    前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、
    前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、
    前記類似度が所定の類似度しきい値に比べて小さい場合、抽出した前記第１の歯列画像の高輝度領域をハレーション領域として特定し、
    前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、
    前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、
    画像合成処理された前記第１の歯列画像を出力する、歯列画像撮影方法。
JP2022565368A 2020-11-27 2021-11-24 歯列画像撮影システムおよび歯列画像撮影方法 Active JP7570065B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020197574 2020-11-27
JP2020197574 2020-11-27
PCT/JP2021/042961 WO2022113995A1 (ja) 2020-11-27 2021-11-24 歯列画像撮影システムおよび歯列画像撮影方法

Publications (2)

Publication Number Publication Date
JPWO2022113995A1 JPWO2022113995A1 (ja) 2022-06-02
JP7570065B2 true JP7570065B2 (ja) 2024-10-21

Family

ID=81755582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022565368A Active JP7570065B2 (ja) 2020-11-27 2021-11-24 歯列画像撮影システムおよび歯列画像撮影方法

Country Status (4)

Country Link
EP (1) EP4254936A4 (ja)
JP (1) JP7570065B2 (ja)
CN (1) CN116507260A (ja)
WO (1) WO2022113995A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106391A1 (ja) * 2022-11-17 2024-05-23 パナソニックＩｐマネジメント株式会社 画像処理方法、画像処理装置、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160519A (ja) 2006-12-25 2008-07-10 Konica Minolta Opto Inc 撮像装置
JP2010124043A (ja) 2008-11-17 2010-06-03 Denso Corp 画像撮影装置および方法
US20140375787A1 (en) 2013-06-24 2014-12-25 Qioptiq Photonics Gmbh & Co. Kg Method for operating a dental camera
JP2018013740A (ja) 2016-07-22 2018-01-25 株式会社キーエンス 拡大観察装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475923B2 (ja) 2003-01-14 2010-06-09 株式会社モリタ製作所 診断用撮影器
JP4808515B2 (ja) 2006-03-09 2011-11-02 ライオン株式会社 携帯型口腔内観察器具
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
JP6790752B2 (ja) * 2015-11-20 2020-11-25 株式会社リコー 画像読取装置、画像形成装置および画像読取方法
US9629532B1 (en) * 2016-05-26 2017-04-25 Dental Smartmirror, Inc. System for in-room use of an intraoral mirror with an integrated camera, and applications thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160519A (ja) 2006-12-25 2008-07-10 Konica Minolta Opto Inc 撮像装置
JP2010124043A (ja) 2008-11-17 2010-06-03 Denso Corp 画像撮影装置および方法
US20140375787A1 (en) 2013-06-24 2014-12-25 Qioptiq Photonics Gmbh & Co. Kg Method for operating a dental camera
JP2018013740A (ja) 2016-07-22 2018-01-25 株式会社キーエンス 拡大観察装置

Also Published As

Publication number Publication date
JPWO2022113995A1 (ja) 2022-06-02
EP4254936A1 (en) 2023-10-04
WO2022113995A1 (ja) 2022-06-02
EP4254936A4 (en) 2024-05-22
US20230377101A1 (en) 2023-11-23
CN116507260A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
JP6935036B1 (ja) 統合されたカメラを有する歯科ミラーおよびそのアプリケーション
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
US10376141B2 (en) Fundus imaging system
KR101499649B1 (ko) 구강촬영용 트레이, 구강촬영용 트레이를 포함하는 구강촬영장치 및 구강촬영 시스템
WO2015029537A1 (ja) 器官画像撮影装置
US20140071328A1 (en) System and method for matching a camera aspect ratio and size to an illumination aspect ratio and size
JP2009000494A (ja) ポルフィリン検出方法、ポルフィリンの表示方法、およびポルフィリン検出装置
CN1685366A (zh) 摄影装置及个人识别系统
JP7570065B2 (ja) 歯列画像撮影システムおよび歯列画像撮影方法
JP2017102637A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2015034850A (ja) 撮影装置および撮影方法
KR101979311B1 (ko) 의료용 복합촬영장치
US12141948B2 (en) Dentition image capturing system and dentition image capturing method
JP2013074929A (ja) 口腔内観察装置、口腔内観察システム
JP7547856B2 (ja) 撮像制御装置、撮像装置、撮像制御方法及びプログラム
KR102470764B1 (ko) 구강 스캐너용 광학렌즈를 이용하여 구강 스캔 및 얼굴 스캔하는 방법
KR102445176B1 (ko) 스캐너 및 이를 이용한 스캔데이터 생성 방법
KR200296623Y1 (ko) 인체관찰용 카메라의 촬상구조
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
JP7218116B2 (ja) 撮像装置および撮像装置の制御方法
WO2024194430A1 (en) Intraoral scanner system and method for superimposing a 2d image on a 3d model
JP2023184520A (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JP2005052165A (ja) 設定入力歯科写真システム
JP2008061211A (ja) 近赤外線撮影装置
JP5298705B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240927

R150 Certificate of patent or registration of utility model

Ref document number: 7570065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150