[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7320856B2 - 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 - Google Patents

生体画像診断システム、生体画像診断方法、及びこれを行うための端末 Download PDF

Info

Publication number
JP7320856B2
JP7320856B2 JP2021505744A JP2021505744A JP7320856B2 JP 7320856 B2 JP7320856 B2 JP 7320856B2 JP 2021505744 A JP2021505744 A JP 2021505744A JP 2021505744 A JP2021505744 A JP 2021505744A JP 7320856 B2 JP7320856 B2 JP 7320856B2
Authority
JP
Japan
Prior art keywords
image
diagnosed
biometric
area
diagnostician
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021505744A
Other languages
English (en)
Other versions
JP2021532493A (ja
Inventor
ソン ワ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2021532493A publication Critical patent/JP2021532493A/ja
Application granted granted Critical
Publication of JP7320856B2 publication Critical patent/JP7320856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、生体画像診断システム、生体画像診断方法、及びこれを行うための端末に関する。さらに詳しくは、診断者が既存の診断履歴を参照して生体組織画像から疾病に対する診断を正確に行えるよう支援する生体画像診断システム、生体画像診断方法、及びこれを行うための端末に関する。
病理学または病理科において行う主な業務の一つは、患者の生体画像であるスライドあるいはその一部(例えば、タイル、パッチなど)を読み取って特定の疾病に対する状態または徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する方式である。一般に、生体画像を用いる疾病の診断方式では、当該生体画像に対して熟練された医療従事者が、特定の疾病の状態(例えば、癌が発現したか否か)をアノテーション(annotaion)する。
しかしながら、経験により判断することになる特性上、熟練された医療従事者であっても、判断する時期によって判断基準が少しずつ異なってくる可能性があり、診断者によって少しずつ異なる判断基準が適用される余地も大きい。このため、生体画像を用いた疾病の診断に一貫性を高めることのできる方策が切実に求められている。
本発明が解決しようとする技術的課題は、診断者が既存の診断履歴を参照して生体組織画像から疾病に対する診断を正確に行えるようにする技術的思想を提供することである。
本発明の一局面によれば、既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像を検索する第1の検索モジュールと、前記DBから、所定の診断者により既に診断された少なくとも一つの既診断生体画像を検索する第2の検索モジュールと、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送する通信モジュールと、前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納する格納モジュールと、を備え、前記診断者の端末は、前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示する生体画像診断システムが提供される。
一実施形態において、前記第2の検索モジュールは、前記DBから、前記診断者により既に診断された生体画像のうち、前記診断対象生体画像と類似した特徴を有する画像を検索してもよい。
一実施形態において、前記診断者の端末は、第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示し、前記第2の領域に前記少なくとも一つの類似生体画像を表示し、前記第3の領域に前記少なくとも一つの既診断生体画像を表示することを特徴としてもよい。
一実施形態において、前記診断UIは、第4の領域をさらに含み、前記診断者の端末は、前記診断対象生体画像、前記少なくとも一つの類似生体画像のうちのいずれか一つ、または前記少なくとも一つの既診断生体画像のうちのいずれか一つを拡大した拡大画像を前記第4の領域に表示してもよい。
一実施形態において、前記疾病は、癌であることを特徴としてもよい。
本発明の他の局面によれば、既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断者により既に診断された生体画像のうち、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの既診断生体画像を検索する検索モジュールと、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送する通信モジュールと、前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納する格納モジュールと、を備え、前記診断者の端末は、前記診断対象生体画像及び前記少なくとも一つの既診断生体画像を表示する生体画像診断システムが提供される。
本発明のさらに他の局面によれば、診断者が生体画像を用いて疾病を診断できるようにする端末であって、生体画像診断システムから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像、及び前記診断者により既に診断された少なくとも一つの既診断生体画像を受信する送受信モジュールと、前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示するディスプレイモジュールと、前記診断対象生体画像に対する疾病の診断結果を、前記診断対象生体画像にアノテーションするアノテーションモジュールと、を備え、前記ディスプレイモジュールは、第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示し、前記第2の領域に前記少なくとも一つの類似生体画像を表示し、前記第3の領域に前記少なくとも一つの既診断生体画像を表示する端末が提供される。
本発明のさらに他の局面によれば、生体画像診断システムが、既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像を検索するステップと、前記生体画像診断システムが、前記DBから、所定の診断者により既に診断された少なくとも一つの既診断生体画像を検索するステップと、前記生体画像診断システムが、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送するステップと、前記生体画像診断システムが、前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納するステップと、を含み、前記診断者の端末は、前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示する生体画像診断方法が提供される。
一実施形態において、前記DBから、前記診断者により既に診断された少なくとも一つの既診断生体画像を検索するステップは、前記DBから、前記ユーザにより既に診断された生体画像のうち、前記診断対象生体画像と類似した特徴を有する画像を検索するステップを含んでいてもよい。
本発明のさらに他の局面によれば、生体画像診断システムが、既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断者により既に診断された生体画像のうち、前記診断対象生体画像と類似した特徴を有する少なくとも一つの既診断生体画像を検索するステップと、前記生体画像診断システムが、前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送するステップと、前記生体画像診断システムが、前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納するステップと、を含み、前記診断者の端末は、前記診断対象生体画像及び前記少なくとも一つの既診断生体画像を表示する生体画像診断方法が提供される。
本発明のさらに他の局面によれば、診断者が生体画像を用いて疾病を診断できるようにする端末において行われる生体画像診断方法であって、前記端末が、生体画像診断システムから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像、及び前記診断者により既に診断された少なくとも一つの既診断生体画像を受信するステップと、前記端末が、前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示するステップと、前記診断対象生体画像に対する疾病の診断結果を、前記診断対象生体画像にアノテーションするステップと、を含み、前記表示するステップは、第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示するステップと、前記第2の領域に前記少なくとも一つの類似生体画像を表示するステップと、前記第3の領域に前記少なくとも一つの既診断生体画像を表示するステップと、を含む生体画像診断方法が提供される。
本発明のさらに他の局面によれば、データ処理装置にインストールされ、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。
本発明の技術的思想によれば、診断者が既存の診断履歴を参照して生体組織画像から疾病に対する診断を正確に行えるようにするという効果がある。生体画像による疾病診断の場合、時間の経過とともに診断基準の一貫性を維持することは診断者自身にとって困難なことがよくあるが、本発明の技術的発想によれば、診断者が一貫した診断結果を下すのに非常に効果的であり得る。
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想に基づく生体画像診断方法の動作環境を示す図である。 本発明の一実施形態に係る生体画像診断システム100の概略的な構成を示す図である。 本発明の一実施形態に係る診断者の端末20の構成を概略的に示すブロック図である。 ディスプレイモジュール22により表示される診断UI300の一例を示す図である。 本発明の一実施形態に係る生体画像診断方法の概略的な過程を示すフローチャートである。
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
「第1の」、「第2の」などの用語は、様々な構成要素を説明するうえで使用可能であるが、構成要素は、用語によって何等限定されない。用語は、ある構成要素を他の構成要素から区別する目的でしか使えない。
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の表現を含む。
この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
図1は、本発明の技術的思想に基づく生体画像診断方法の動作環境を示す図である。図1を参照すると、本発明の技術的思想に基づく生体画像診断の方法は、生体画像診断システム100及び診断者の端末20、20-1により行われてもよい。
本発明の技術的思想に生体画像診断システム100は、所定のサーバ10に設けられて本発明の技術的思想を実現することができる。サーバ10は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアント(端末)が接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
サーバ10は、プロセッサ及び格納装置を備えていてもよい。プロセッサは、本発明の技術的思想を実現するためのプログラムを駆動し得る演算装置を意味してもよい。
格納装置12は、本発明の技術的思想を実現するために必要なプログラム及び各種データを格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置は、サーバ10に組み込まれている主記憶装置だけではなく、プロセッサに組み込まれ得る一時格納装置またはメモリなどを網羅する意味であってもよい。
生体画像診断システム100は、図1では、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に基づく診断システム100を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
この明細書において、「診断を行う」とは、所定の診断者(例えば、医師など)が、生体組織が表現された生体画像であるスライドまたはその一部(例えば、パッチ又はタイル)を確認して、特定の疾病に関する判断を下すことを意味してもよい。したがって、生体画像に対する診断結果は、特定の疾病の発現有無だけではなく、特定の疾病の進み具合(または、進み具合に該当する確率)を含んでいてもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンスコア(Gleason Pattern)またはグリーソンスコア(Gleason Score)が診断結果に含まれてもよい。例えば、グリーソンスコアは、2~5の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。一方、診断結果には、疾病が発現した部位を含んでいてもよい。
端末20には、診断の対象となる生体画像(以下、「診断対象生体画像」と呼ばれる)が表示され、診断者は、診断対象生体画像を分析して、疾病に対する診断を行い、診断結果を端末に入力することができる。すると、端末20は、診断結果を診断対象生体画像にアノテーションすることができる。アノテーションとは、診断対象生体画像に対する診断結果を表現する所定の情報を生成して当該生体画像に対応させることを意味してもよい。
一方、端末20は、診断者が診断を行うために参照できる補助的な参照生体画像をさらに表示することができる。このような補助的な生体画像は、生体画像診断システム100により提供されてもよい。生体画像診断システム100は、診断対象生体画像と関連性の高い特定の画像をデータベース(以下、DB)から検索してもよく、それを端末20に提供してもよい。
一方、端末20は、診断対象生体画像に対する診断結果を、生体画像診断システム100に提供してもよく、生体画像診断システム100は、診断対象生体画像とそれに対する診断結果をDBに格納してもよい。
図2は、本発明の一実施形態に係る生体画像診断システム100の概略的な構成を示す図である。
図2を参照すると、生体画像診断システム100は、通信モジュール110、検索モジュール120、格納モジュール130を備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断システム100は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、生体画像診断システム100は、生体画像診断システム100の他の構成(例えば、通信モジュール110、検索モジュール120、格納モジュール130など)の機能及び/又はリソースを制御するための制御モジュール(図示せず)をさらに備えていてもよい。
診断システム100は、本発明の技術的思想を実現するために必要とされるハードウェアリソース(resource)及び/又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム100は、本発明の技術的思想を実現するために配備されるハードウェア及び/又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム100は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、通信モジュール110、検索モジュール120及び/又は格納モジュール130のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、通信モジュール110、検索モジュール120、格納モジュール130のそれぞれを構成するソフトウェア及び/又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース(resource)の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、1種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。
通信モジュール110は、端末20、20-1と有無線通信網あるいは所定の通信インターフェースを介して通信してもよく、本発明の技術的思想を実現するために必要な各種情報、データ、及び/又は信号を送受信してもよい。。
検索モジュール120は、実際に診断の対象となる生体画像を診断するのに参照する生体画像をDB200から検索してもよく、検索された生体画像は、通信モジュール110を介して診断者の端末20に伝送されてもよい。
DB200は、既診断の複数の生体画像及び既診断の複数の生体画像に対する診断結果を格納し得る。DB200には、既に診断された色々な既診断生体画像に対する診断結果を格納し得る。既診断生体画像は、様々な多数の診断者により診断された生体画像であってもよい。すなわち、多数の診断者が各自色々な生体画像に対する診断を行い、それに対する診断結果を導出すると、当該生体画像とそれに対する診断結果がDB200に格納されてもよい。したがって、DB200には、既診断の複数の生体画像及び既診断の複数の生体画像に対する診断結果だけではなく、当該生体画像を診断した診断者を識別できる情報がさらに格納されてもよい。
一実施形態において、検索モジュール120は、第1の検索モジュール121と、第2の検索モジュール122を備えていてもよい。
第1の検索モジュール121は、診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像をDB200から検索してもよい。
一実施形態において、第1の検索モジュール121は、診断対象生体画像と画像特性が類似した生体画像を類似生体画像と判断してもよい。画像特性が類似か否かを判定する方法は、様々であってもよい。例えば、二つの画像の特徴点を比較することで類似有無を判定してもよく、画像の類似有無を判断するために予め学習されたニューラルネットワークなどのマシンが用いられてもよい。
第1の検索モジュール121は、検索された色々な類似生体画像を類似度の順に並び、その中で一部のみを出力してもよい。
第2の検索モジュール122は、端末20に相当する診断者により既に診断されたDB200から、所定の診断者により既に診断された少なくとも一つの既診断生体画像を検索してもよい。
実施形態に応じて、第2の検索モジュール122は、診断者により既に診断された生体画像のうち特定の基準を満たしている一部のみを検索してもよい。特に、第2の検索モジュール122は、診断者により既に診断された生体画像のうち、診断対象生体画像と類似した特徴を有する画像のみを検索してもよい。この場合、第2の検索モジュール121は、検索された色々な既診断生体画像を類似度の順に並び、その中で一部のみを出力してもよい。
一方、実施形態に応じて、検索モジュール120は、上述した第1の検索モジュール121または第2の検索モジュール122のいずれか一方のみを備えていてもよく、これらとは異なる方式により診断で参照する生体画像を検索する別途の詳細検索モジュールをさらに備えていてもよい。
通信モジュール110は、検索モジュール120により検索された少なくとも一つの類似生体画像及び/又は少なくとも一つの既診断生体画像を診断者の端末20に伝送してもよい。
その後、端末20において診断対象生体画像に対する診断が行われてもよく、通信モジュール110は、端末20から、診断対象生体画像に対する診断結果を受信してもよい。
すると、格納モジュール130は、診断者の端末20から受信した診断対象生体画像に対する疾病診断結果をDB200に格納してもよい。
図3は、本発明の一実施形態に係る診断者の端末20の構成を概略的に示すブロック図である。
図3を参照すると、端末20は、送受信モジュール21、ディスプレイモジュール22、アノテーションモジュール23を備えていてもよい。
送受信モジュール21は、生体画像診断システム100と有無線通信網あるいは所定の通信インターフェースを介して通信してもよく、本発明の技術的思想を実現するために必要な各種情報、データ及び/又は信号を送受信してもよい。
例えば、送受信モジュール21は、生体画像診断システム100から、診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像、及び診断者により既に診断された少なくとも一つの既診断生体画像を受信してもよい。
ディスプレイモジュール22は、診断対象生体画像を診断するための診断UI(User Interface)を表示してもよい。診断UIには、診断対象生体画像だけではなく、診断で参照する生体画像、すなわち、生体画像診断システム100により提供される類似生体画像及び/又は既診断生体画像が示されてもよい。また、診断UIには、診断結果をアノテーションするための各種UIがさらに含まれてもよい。
アノテーションモジュール23は、診断対象生体画像に対する疾病の診断結果を、診断対象生体画像にアノテーションすることができる。
図4は、ディスプレイモジュール22により表示される診断UI300の一例を示す図である。
図4を参照すると、診断UI300は、診断対象生体画像を表示するための第1の領域310、疑似生体画像を表示するための第2の領域320、既診断生体画像を表示するための第3の領域330を含んでいてもよい。診断者は、第2の領域320及び第3の領域330に表示される生体画像を参照して、診断対象生体画像に対する診断を行ってもよい。
一実施形態において、万が一、類似生体画像あるいは既診断生体画像が複数である場合、ディスプレイモジュール22は、類似度の順に表示してもよい。
一実施形態において、第2の領域または第3の領域に表示される参照生体画像のそれぞれに該当する既診断の診断結果がさらに表示されることもある。
生体画像による疾病診断の場合、時間の経過とともに診断基準の一貫性を維持することは診断者自身にとって困難なことがよくあるが、上記の本発明の技術的発想によれば、診断者が一貫した診断結果を下すのに非常に効果的であり得る。
さらに詳しく説明すれば、前述したように、類似生体画像は、DB200に格納されている既診断の生体画像のうち、診断対象画像と類似した特徴を有する画像である。したがって、診断者は、診断UI300上に表示される類似生体画像を参照して診断を行うことにより、診断対象画像と類似した特徴を有する他の生体画像に対する診断結果と一貫性を保つ診断結果を下すことができるという効果がある。
また、既診断生体画像は、現在の診断対象生体画像を診断している診断者によって過去に診断された生体画像である。したがって、診断者は、診断UI300上に表示される既診断生体画像を参照して診断を行うことにより、一貫性を保つ診断結果を下すことができるようになる効果がある。
一方、診断UI300は、拡大画像を表示するための第4の領域340をさらに含んでいてもよい。
拡大画像は、診断対象生体画像、類似生体画像のうちのいずれか一つ、または既診断生体画像のいずれか一つを拡大した画像であってもよい。すなわち、診断者は、診断対象生体画像、類似生体画像のうちのいずれか一つ、または既診断生体画像のいずれか一つを選択可能であり、ディスプレイモジュール22は、選択された生体画像の拡大画像を第4の領域340に表示することができる。
図4には、診断対象生体画像の拡大例が示されている。図4に示すように、診断者は、診断UI300に含まれる描画ツール370を用いて、拡大画像340上で疾病の発現領域361を特定してもよい。
一方、診断UI300は、アノテーションUI360を備えていてもよく、診断者は、これを用いて、疾病の発現有無または疾病状態を入力してもよい。
また、診断UI330は、診断者が診断結果についてのコメントを入力できるUI362をさらに備えていてもよい。
一方、第1の領域310に表示される診断対象画像は、特定のスライドの一部であってもよい。この場合、スライド全体が診断UI300上の特定の領域350に表示されてもよく、診断者は、スライド全体の中で診断したい領域を移動させることができる。移動が完了すると、それに該当する一部の領域が診断対象画像として決定されてもよく、その後、上記の過程により診断が行われる。
図5は、本発明の一実施形態に係る生体画像診断方法の概略的な過程を示すフローチャートである。
図5を参照すると、生体画像診断システム100は、既診断の複数の生体画像及び既診断の複数の生体画像に対する診断結果を格納するDB200から、診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像Iを検索してもよい(S100)。
また、生体画像診断システム100は、DB200から、診断者により既に診断された少なくとも一つの既診断生体画像Iを検索してもよい(S110)。
検索された類似生体画像及び既診断生体画像は、診断者の端末20に伝送されてもよい(S120)。
診断者の端末20は、診断対象画像と類似生体画像及び既診断生体画像が表示された診断UI300を表示可能であり(S130)。診断者は、類似生体画像及び既診断生体画像を参照して診断対象画像に対する診断を行い、診断結果を入力してもよい。
すると、診断者の端末20は、診断対象生体画像に対する疾病の診断結果を診断対象生体画像にアノテーションすることができ(S140)、診断結果を生体画像診断システム100に伝送することができる(S150)。
すると、生体画像診断システム100は、受信した診断結果を診断対象生体画像とともにDB200に格納することができる(S160)。
また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の癌や疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
一方、本発明の技術的思想に基づく生体画像診断方法は、生体画像を用いて疾病を診断するための機械を学習するために用いられる学習データをより効果的に作成するのに用いられてもよい。
一方、実現例に応じて、生体画像診断システム100及び/又は端末20は、プロセッサ、及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置(CPU)もしくはマルチコア中央演算処理装置(CPU)を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、またはその他の不揮発性固体状態メモリ装置などの不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。
一方、本発明の実施形態に係る生体画像診断方法は、コンピュータにて読み取り可能なプログラム指令の形態で実現されてコンピュータにて読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータにて読み取り可能な記録媒体に格納されてもよい。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。
記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。
コンピュータにて読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク及び磁気テープなどの磁気媒体(magnetic media)、CD-ROM(読み込み専用のコンパクトディスク)、デジタル多用途ディスク(DVD)などの光記録媒体(optical media)、フロプティカルディスク(floptical disk)などの磁気-光媒体(magneto-optical media)及びROM(読み出し専用メモリ)、RAM(ランダムアクセスメモリ)、フラッシュメモリなどのプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。
プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。
上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態に実施されてもよい。
本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
本発明は、「生体画像診断システム、生体画像診断方法、及びこれを行うための端末」に利用可能である。

Claims (9)

  1. 既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像を検索する第1の検索モジュールと、
    前記DBから、所定の診断者により既に診断された少なくとも一つの既診断生体画像を検索する第2の検索モジュールと、
    前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送する通信モジュールと、
    前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納する格納モジュールと、
    を備え、
    前記診断者の端末は、
    第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示し、
    前記第2の領域に前記少なくとも一つの類似生体画像を表示し、
    前記第3の領域に前記少なくとも一つの既診断生体画像を表示する生体画像診断システム。
  2. 前記第2の検索モジュールは、
    前記DBから、前記診断者により既に診断された生体画像のうち、前記診断対象生体画像と類似した特徴を有する画像を検索する請求項1に記載の生体画像診断システム。
  3. 前記診断UIは、第4の領域をさらに含み、
    前記診断者の端末は、
    前記診断対象生体画像、前記少なくとも一つの類似生体画像のうちのいずれか一つ、または前記少なくとも一つの既診断生体画像のうちのいずれか一つを拡大した拡大画像を前記第4の領域に表示する請求項1に記載の生体画像診断システム。
  4. 前記疾病は、癌であることを特徴とする請求項1に記載の生体画像診断システム。
  5. 診断者が生体画像を用いて疾病を診断できるようにする端末であって、
    生体画像診断システムから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像、及び前記診断者により既に診断された少なくとも一つの既診断生体画像を受信する送受信モジュールと、
    前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示するディスプレイモジュールと、
    前記診断対象生体画像に対する疾病の診断結果を、前記診断対象生体画像にアノテーションするアノテーションモジュールと、
    を備え、
    前記ディスプレイモジュールは、
    第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示し、
    前記第2の領域に前記少なくとも一つの類似生体画像を表示し、
    前記第3の領域に前記少なくとも一つの既診断生体画像を表示する端末。
  6. 生体画像診断システムが、既診断の複数の生体画像及び前記既診断の複数の生体画像に対する診断結果を格納するDBから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像を検索するステップと、
    前記生体画像診断システムが、前記DBから、所定の診断者により既に診断された少なくとも一つの既診断生体画像を検索するステップと、
    前記生体画像診断システムが、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を、前記診断者の端末に伝送するステップと、
    前記生体画像診断システムが、前記診断者の端末から受信した前記診断対象生体画像に対する疾病の診断結果を、前記DBに格納するステップと、
    を含み、
    前記診断者の端末は、
    第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示し、
    前記第2の領域に前記少なくとも一つの類似生体画像を表示し、
    前記第3の領域に前記少なくとも一つの既診断生体画像を表示する生体画像診断方法。
  7. 前記DBから、前記診断者により既に診断された少なくとも一つの既診断生体画像を検索するステップは、
    前記DBから、前記診断者により既に診断された生体画像のうち、前記診断対象生体画像と類似した特徴を有する画像を検索するステップを含む請求項に記載の生体画像診断方法。
  8. 診断者が生体画像を用いて疾病を診断できるようにする端末において行われる生体画像診断方法であって、
    前記端末が、生体画像診断システムから、所定の診断対象生体画像と類似した特徴を有する少なくとも一つの類似生体画像、及び前記診断者により既に診断された少なくとも一つの既診断生体画像を受信するステップと、
    前記端末が、前記診断対象生体画像、前記少なくとも一つの類似生体画像及び前記少なくとも一つの既診断生体画像を表示するステップと、
    前記診断対象生体画像に対する疾病の診断結果を、前記診断対象生体画像にアノテーションするステップと、
    を含み、
    前記表示するステップは、
    第1の領域、第2の領域及び第3の領域を含む診断UIの前記第1の領域に前記診断対象生体画像を表示するステップと、
    前記第2の領域に前記少なくとも一つの類似生体画像を表示するステップと、
    前記第3の領域に前記少なくとも一つの既診断生体画像を表示するステップと、
    を含む生体画像診断方法。
  9. データ処理装置にインストールされ、請求項乃至請求項のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
JP2021505744A 2018-08-08 2019-08-07 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 Active JP7320856B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0092648 2018-08-08
KR1020180092648A KR102192164B1 (ko) 2018-08-08 2018-08-08 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
PCT/KR2019/009848 WO2020032562A2 (ko) 2018-08-08 2019-08-07 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말

Publications (2)

Publication Number Publication Date
JP2021532493A JP2021532493A (ja) 2021-11-25
JP7320856B2 true JP7320856B2 (ja) 2023-08-04

Family

ID=69414946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505744A Active JP7320856B2 (ja) 2018-08-08 2019-08-07 生体画像診断システム、生体画像診断方法、及びこれを行うための端末

Country Status (6)

Country Link
US (1) US20210295997A1 (ja)
EP (1) EP3819911A4 (ja)
JP (1) JP7320856B2 (ja)
KR (1) KR102192164B1 (ja)
CN (1) CN112753077A (ja)
WO (1) WO2020032562A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589384B1 (ko) * 2020-08-28 2023-10-16 라크(주) 의료 영상 판독시스템
KR102446638B1 (ko) * 2021-04-28 2022-09-26 주식회사 딥바이오 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR20220161672A (ko) * 2021-05-31 2022-12-07 자이메드 주식회사 설명 가능한 생체 이미지 판독 지원 장치 및 방법
KR102579826B1 (ko) * 2022-12-09 2023-09-18 (주) 브이픽스메디칼 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2008173213A (ja) 2007-01-17 2008-07-31 Hitachi Medical Corp 医用画像診断支援装置
JP2013215563A (ja) 2012-03-12 2013-10-24 Toshiba Corp レポート作成支援装置及びレポート閲覧装置
JP2014039852A (ja) 2013-10-03 2014-03-06 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2014127011A (ja) 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20150363429A1 (en) 2014-06-13 2015-12-17 Globalfoundries U.S. 2 Llc Techniques for Medical Image Retreival

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6063031A (en) * 1997-10-14 2000-05-16 Assurance Medical, Inc. Diagnosis and treatment of tissue with instruments
GB9910938D0 (en) * 1999-05-11 1999-07-14 Murphy Graham F Diagnostic apparatus
JP2003038476A (ja) * 2001-08-03 2003-02-12 Konica Corp コンピュータ支援診断システム
US7277564B2 (en) * 2002-11-26 2007-10-02 Ge Medical Systems Information Technologies, Inc. Method and system for labeling of orthogonal images
US7889896B2 (en) * 2005-08-18 2011-02-15 Hologic, Inc. Patient worklist management in digital radiography review workstations
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP2009070201A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
EP2225684B1 (en) * 2007-12-20 2019-07-03 Koninklijke Philips N.V. Method and device for case-based decision support
JP5455470B2 (ja) * 2009-07-02 2014-03-26 株式会社東芝 医用画像読影システム
KR101067797B1 (ko) * 2009-07-03 2011-09-27 고려대학교 산학협력단 동적 가족화 진단을 위한 객체 기반 이미지 검색장치 및 방법
JP5383431B2 (ja) * 2009-10-27 2014-01-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
KR101214349B1 (ko) * 2011-04-27 2012-12-20 주식회사 포스코아이씨티 분산 처리 기반의 질병 진단 시스템 및 방법
JP5859771B2 (ja) * 2011-08-22 2016-02-16 ソニー株式会社 情報処理装置、情報処理システム情報処理方法及びプログラム
US20140306992A1 (en) * 2011-12-26 2014-10-16 Canon Kabushiki Kaisha Image processing apparatus, image processing system and image processing method
JP2013152701A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法
US20150100341A1 (en) * 2013-10-08 2015-04-09 COTA, Inc. Clinical outcome tracking and analysis
KR101604086B1 (ko) * 2014-03-11 2016-03-17 계명대학교 산학협력단 이종데이터를 이용한 통합진단 및 유사환자 검색 시스템
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
US10152571B1 (en) * 2017-05-25 2018-12-11 Enlitic, Inc. Chest x-ray differential diagnosis system
CN108091393A (zh) * 2017-12-31 2018-05-29 徐建 机器人医生的疾病诊断治疗方法
CN108231194A (zh) * 2018-04-04 2018-06-29 苏州医云健康管理有限公司 一种疾病诊断系统
US20190341150A1 (en) * 2018-05-01 2019-11-07 Google Llc Automated Radiographic Diagnosis Using a Mobile Device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2008173213A (ja) 2007-01-17 2008-07-31 Hitachi Medical Corp 医用画像診断支援装置
JP2013215563A (ja) 2012-03-12 2013-10-24 Toshiba Corp レポート作成支援装置及びレポート閲覧装置
JP2014127011A (ja) 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2014039852A (ja) 2013-10-03 2014-03-06 Canon Inc 情報処理装置、情報処理方法及びプログラム
US20150363429A1 (en) 2014-06-13 2015-12-17 Globalfoundries U.S. 2 Llc Techniques for Medical Image Retreival

Also Published As

Publication number Publication date
CN112753077A (zh) 2021-05-04
JP2021532493A (ja) 2021-11-25
KR20200017261A (ko) 2020-02-18
EP3819911A2 (en) 2021-05-12
KR102192164B1 (ko) 2020-12-16
WO2020032562A3 (ko) 2020-03-26
EP3819911A4 (en) 2022-03-30
US20210295997A1 (en) 2021-09-23
WO2020032562A2 (ko) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7320856B2 (ja) 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
KR101818074B1 (ko) 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
JP7165207B2 (ja) 機械学習ベースの診断分類器
US10198816B2 (en) Medical evaluation machine learning workflows and processes
JP6851094B2 (ja) ニューラルネットワークを用いた疾病診断システム及びその方法
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
RU2543563C2 (ru) Системы и способы поддержки клинических решений
CN109378065A (zh) 医疗数据处理方法及装置、存储介质、电子设备
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
RU2011116406A (ru) Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера
KR102543013B1 (ko) 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스
US20210125727A1 (en) Machine Learning to Identify Locations of Brain Injury
US10558783B2 (en) Image data ingestion application of a medical imaging data processing and retrieval system
CN109448858A (zh) 结直肠癌医疗数据处理方法及装置、存储介质、电子设备
KR102222015B1 (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
CN109256205B (zh) 用于利用本地和远程分析学进行的临床决策支持的方法和系统
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
JP2021028808A (ja) 情報処理システム、情報処理装置、情報処理方法、プログラム、及び学習済モデル
JP6738163B2 (ja) 診断支援装置、診断支援装置が実行する方法及びプログラム
EP4290529A1 (en) Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
CN109597989A (zh) 诊断词归一方法及装置、存储介质、电子设备
CN115620879A (zh) 医疗检查项目的智能推荐方法、装置、设备及存储介质
JP7216660B2 (ja) 下流のニーズを総合することにより読み取り環境を決定するためのデバイス、システム、及び方法
JP2020190913A (ja) 読影支援装置および読影支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230718

R150 Certificate of patent or registration of utility model

Ref document number: 7320856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150