JP7343585B2 - 識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法 - Google Patents
識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法 Download PDFInfo
- Publication number
- JP7343585B2 JP7343585B2 JP2021533014A JP2021533014A JP7343585B2 JP 7343585 B2 JP7343585 B2 JP 7343585B2 JP 2021533014 A JP2021533014 A JP 2021533014A JP 2021533014 A JP2021533014 A JP 2021533014A JP 7343585 B2 JP7343585 B2 JP 7343585B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- drug
- identification
- unit
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 31
- 239000003814 drug Substances 0.000 claims description 174
- 229940079593 drug Drugs 0.000 claims description 171
- 238000012545 processing Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000012986 modification Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 229940000406 drug candidate Drugs 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000009512 pharmaceutical packaging Methods 0.000 description 2
- 239000004480 active ingredient Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003168 generic drug Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
- A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Medicinal Chemistry (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pharmacology & Pharmacy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明は、薬剤の識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法に関する。
病院、薬局等の医療現場では、患者に提供する薬剤の監査や患者が持参する薬剤の鑑別が行われる。人手による監査や鑑別は作業時間が長くユーザ（医師、薬剤師等）の負担が高いので、監査や鑑別の支援を行う技術が提案されている。例えば、特許文献１には、文字認識を行う画像処理装置が記載されている。
本発明の一つの実施形態は、ユーザが正確に薬剤の識別を行うことができる識別支援システム、識別支援クライアント、及び識別支援方法を提供する。また、本発明は薬剤の識別に利用可能な識別支援サーバを提供する。
上述した目的を達成するため、本発明の第１の態様に係る識別支援システムは、薬剤の画像を取得する画像取得部と、画像に含まれる文字列を文字ごとに抽出して文字列を示す第１のテキストを生成するテキスト化部と、第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正部と、薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと、第２のテキストを薬剤マスタと照合して、第２のテキストが示す薬剤の候補である候補薬剤についての識別情報を取得する照合部と、候補薬剤についての識別情報を出力する出力部と、を備える。
第１の態様によれば、画像に含まれる文字列を文字ごとに抽出し、抽出したテキストを薬剤の識別に用いられる表現に基づいて修正し、その修正したテキストを薬剤マスタと照合するので、ユーザは正確に薬剤の識別を行うことができる。なお、第１の態様においてシステムの構成要素は一つの筐体に収納されていてもよいし、複数の筐体に分けて収納されていてもよい。また、複数の装置がネットワークを介して接続され全体として第１の態様の構成要件を満たしていてもよい。
第２の態様に係る識別支援システムは第１の態様において、テキスト化部は、機械学習により構成された学習済みモデルを用いて文字列を抽出する。学習済みモデルは、ニューラルネットワークを用いた学習済みモデルでもよい。
第３の態様に係る識別支援システムは第１または第２の態様において、画像に含まれる文字列を強調して文字列強調画像を生成する強調処理部をさらに備え、テキスト化部は文字列強調画像から第１のテキストを生成する。第３の態様によれば、画像から文字列を抽出する際の認識精度を向上させることができる。
第４の態様に係る識別支援システムは第１から第３の態様のいずれか１つにおいて、照合部は、第２のテキストと文字情報との類似度を算出し、類似度に基づいて候補薬剤を選択する。第４の態様では、照合部は、類似度の算出において文字列同士の距離を考慮してもよい。
第５の態様に係る識別支援システムは第１から第４の態様のいずれか１つにおいて、薬剤マスタは文字情報についてのレイアウト情報を有し、照合部はレイアウト情報に基づいて照合を行う。レイアウト情報は、段組の数（２段、３段、等）や配置（左上から右上へ、次いで左下へ、さらに右下へ、等）等の情報を含んでいてよい。照合部がレイアウト情報に基づいて照合を行うことにより、認識精度を向上させることができる。
第６の態様に係る識別支援システムは第１から第５の態様のいずれか１つにおいて、薬剤マスタは識別情報と薬剤の画像とを関連付けて記憶し、出力部は候補薬剤について識別情報と画像とを関連付けて表示装置に表示させる。第６の態様によれば、ユーザは照合結果が適切であるかどうかを視覚により容易に判断することができる。なお、薬剤の画像は、薬剤自体ではなく薬剤の包装（ＰＴＰシート等）の画像でもよい。
上述した目的を達成するため、本発明の第７の態様に係る識別支援クライアントは、薬剤の画像を取得する画像取得部と、画像に含まれる文字列を文字ごとに抽出して文字列を示す第１のテキストを生成するテキスト化部と、第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正部と、第２のテキストを示す情報を識別支援サーバに送信するクライアント側送信部と、第２のテキストが示す薬剤の候補である候補薬剤について、薬剤のコード及び／または名称を含む識別情報を識別支援サーバから受信するクライアント側受信部と、候補薬剤についての識別情報を出力する出力部と、を備える。第７の態様によれば、ユーザは正確に薬剤の識別を行うことができる。なお、第７の態様に係る識別支援クライアントは第２～第６の態様に係る構成を備えていてもよい。
上述した目的を達成するため、本発明の第８の態様に係る識別支援サーバは、薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと、薬剤についてのテキスト情報を識別支援クライアントから受信するサーバ側受信部と、テキスト情報を薬剤マスタと照合して、テキスト情報が示す薬剤の候補である候補薬剤についての識別情報を取得する照合部と、取得した識別情報を識別支援クライアントに送信するサーバ側送信部と、を備える。第８の態様に係る識別支援サーバは、薬剤の識別支援に用いることができる。なお、第８の態様に係る識別支援クライアントは第２～第６の態様に係る構成を備えていてもよい。また、第７の態様に係る識別支援クライアントと第８の態様に係る識別支援サーバとにより、第１の態様に係る識別支援システムと同様の識別支援システムを構成することができる。
上述した目的を達成するため、本発明の第９の態様に係る識別支援方法は、薬剤の画像を取得する画像取得工程と、画像に含まれる文字列を文字ごとに抽出して文字列を示す第１のテキストを生成するテキスト化工程と、第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正工程と、薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと第２のテキストとを照合して、第２のテキストが示す薬剤の候補である候補薬剤についての識別情報を取得する照合工程と、候補薬剤についての識別情報を出力する出力工程と、を有する。第９の態様によれば、第１の態様と同様に、ユーザは正確に薬剤の識別を行うことができる。なお、第９の態様に係る識別支援方法は第２～第６の態様と同等の構成を備えていてもよい。また、これら態様の識別支援方法を識別支援システムやコンピュータに実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
なお、上述した態様の識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法は、薬剤の鑑別支援及び／または監査支援に用いることができる。
以上説明したように、本発明の識別支援システム、識別支援クライアント、及び識別支援方法によれば、ユーザは正確に薬剤の識別を行うことができる。また、本発明の識別支援サーバは、薬剤の識別に利用可能である。
以下、添付図面を参照しつつ、本発明に係る識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は第１の実施形態に係る識別支援システム１０（識別支援システム）の構成を示すブロック図である。識別支援システム１０は薬剤の識別を支援するシステムであり、コンピュータを用いて実現することができる。図１に示すように、識別支援システム１０は処理部１００、照明部１２０、撮影部１３０、記憶部２００、表示部３００、及び操作部４００を備え、互いに接続されて必要な情報が送受信される。照明部１２０は薬剤を照明する光源を備え、撮影部１３０は薬剤の画像を取得するカメラを備えている。また、識別支援システム１０は通信制御部１１４（図２参照）及び不図示のネットワークを介して不図示の外部サーバや外部データベース等に接続し、必要に応じて情報（薬剤の識別情報や画像等）を取得することができる。
図１は第１の実施形態に係る識別支援システム１０（識別支援システム）の構成を示すブロック図である。識別支援システム１０は薬剤の識別を支援するシステムであり、コンピュータを用いて実現することができる。図１に示すように、識別支援システム１０は処理部１００、照明部１２０、撮影部１３０、記憶部２００、表示部３００、及び操作部４００を備え、互いに接続されて必要な情報が送受信される。照明部１２０は薬剤を照明する光源を備え、撮影部１３０は薬剤の画像を取得するカメラを備えている。また、識別支援システム１０は通信制御部１１４（図２参照）及び不図示のネットワークを介して不図示の外部サーバや外部データベース等に接続し、必要に応じて情報（薬剤の識別情報や画像等）を取得することができる。
なお、識別支援システム１０は、患者が持参した薬剤等に対する鑑別の支援や、患者に提供する薬剤に対する監査の支援に適用することができる。
＜処理部の構成＞
図２は処理部１００の構成を示す図である。処理部１００は画像取得部１０２（画像取得部）、強調処理部１０４（強調処理部）、テキスト化部１０６（テキスト化部）、テキスト修正部１０８（テキスト修正部）、照合部１１０（照合部）、出力部１１２（出力部）、及び通信制御部１１４を備える。処理部１００は、さらに不図示のＣＰＵ（ＣＰＵ：Central Processing Unit）、ＲＯＭ（ＲＯＭ：Read Only Memory）、及びＲＡＭ（ＲＡＭ：Random Access Memory）を備える。なお、これらの各部による処理はＣＰＵの制御の下で行われる。
図２は処理部１００の構成を示す図である。処理部１００は画像取得部１０２（画像取得部）、強調処理部１０４（強調処理部）、テキスト化部１０６（テキスト化部）、テキスト修正部１０８（テキスト修正部）、照合部１１０（照合部）、出力部１１２（出力部）、及び通信制御部１１４を備える。処理部１００は、さらに不図示のＣＰＵ（ＣＰＵ：Central Processing Unit）、ＲＯＭ（ＲＯＭ：Read Only Memory）、及びＲＡＭ（ＲＡＭ：Random Access Memory）を備える。なお、これらの各部による処理はＣＰＵの制御の下で行われる。
上述した処理部１００の各部の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵが含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、１つのプロセッサが複数の機能を実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、処理部１００を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る識別支援方法を実行するためのプログラム（識別支援プログラム）を含む。プログラムのコードは、ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体に記録されていてもよい。ソフトウェアを用いた処理の際には例えばＲＡＭが一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
＜記憶部の構成＞
記憶部２００はＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図３に示すように薬剤マスタ２０２（薬剤マスタ）、薬剤画像２０４（薬剤の画像）、照合結果２０６、及び追加学習用データ２０８が記憶される。この他に、薬剤の識別に用いられる表現を学習させた薬剤照合用辞書（後述）が記憶されていてもよい。薬剤照合用辞書は、例えば数字、アルファベット、会社名及びその略称等が変換候補として登録された辞書であり、これにより意図した単語が検索のキーワードとして入力される可能性を高めることができる。
記憶部２００はＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図３に示すように薬剤マスタ２０２（薬剤マスタ）、薬剤画像２０４（薬剤の画像）、照合結果２０６、及び追加学習用データ２０８が記憶される。この他に、薬剤の識別に用いられる表現を学習させた薬剤照合用辞書（後述）が記憶されていてもよい。薬剤照合用辞書は、例えば数字、アルファベット、会社名及びその略称等が変換候補として登録された辞書であり、これにより意図した単語が検索のキーワードとして入力される可能性を高めることができる。
薬剤マスタ２０２には、薬剤のコード及び／または名称を含む識別情報と、薬剤に付された文字を示す文字情報と、が関連付けてテキスト情報として記憶されている。「コード」は例えばＹＪコード（英数字１２桁で構成される個別医薬品コード）であり、名称は有効成分の容量を含んでいてもよい。また、「文字情報」は薬剤の刻印情報及び／または印字情報を含む。刻印及び印字については、薬剤の表面及び裏面のそれぞれについて情報を記憶することが好ましい。薬剤マスタ２０２は、薬剤の一般名称と個々の製品の情報、あるいは先発医薬品の情報と後発医薬品の情報とを関連付けて記憶してもよい。
記憶部２００は、薬剤画像２０４を薬剤マスタ２０２と関連付けて記憶する。薬剤画像２０４も、薬剤の表面及び裏面のそれぞれについて記憶することが好ましい。なお、記憶部２００は、撮影画像や文字列強調画像を薬剤画像２０４として記憶することができる。
＜表示部及び操作部の構成＞
表示部３００はモニタ３１０（表示装置）を備えており、記憶部２００に記憶された情報、処理部１００による処理の結果等を表示することができる。操作部４００は入力デバイスあるいはポインティングデバイスとしてのキーボード４１０及びマウス４２０を含んでおり、ユーザはこれらのデバイス及びモニタ３１０の画面を介して、本発明に係る識別支援方法の実行に必要な操作を行うことができる（後述）。モニタ３１０をタッチパネルにより構成し、ユーザがそのタッチパネルを介して操作を行えるようにしてもよい。
表示部３００はモニタ３１０（表示装置）を備えており、記憶部２００に記憶された情報、処理部１００による処理の結果等を表示することができる。操作部４００は入力デバイスあるいはポインティングデバイスとしてのキーボード４１０及びマウス４２０を含んでおり、ユーザはこれらのデバイス及びモニタ３１０の画面を介して、本発明に係る識別支援方法の実行に必要な操作を行うことができる（後述）。モニタ３１０をタッチパネルにより構成し、ユーザがそのタッチパネルを介して操作を行えるようにしてもよい。
＜識別支援方法の処理＞
以下、図４，５のフローチャートを参照しつつ、上述した構成の識別支援システム１０による識別支援方法について説明する。
以下、図４，５のフローチャートを参照しつつ、上述した構成の識別支援システム１０による識別支援方法について説明する。
＜画像の取得＞
画像取得部１０２は、照明部１２０及び撮影部１３０を制御して、薬剤の画像を取得する（ステップＳ１００：画像取得工程）。画像取得部１０２が照明方向を切り替えながら薬剤の画像を複数撮影し、強調処理部１０４が、撮影した画像に含まれる文字列（刻印、印字等）を強調して文字列強調画像を生成してもよい。また、画像取得部１０２及び通信制御部１１４が、ネットワークを介して接続された装置から画像を取得してもよい。なお、識別の精度を向上させるため、薬剤の画像は両面について取得することが好ましい。また、撮影する画像は薬剤の包装（ＰＴＰ等）の画像でもよい。
画像取得部１０２は、照明部１２０及び撮影部１３０を制御して、薬剤の画像を取得する（ステップＳ１００：画像取得工程）。画像取得部１０２が照明方向を切り替えながら薬剤の画像を複数撮影し、強調処理部１０４が、撮影した画像に含まれる文字列（刻印、印字等）を強調して文字列強調画像を生成してもよい。また、画像取得部１０２及び通信制御部１１４が、ネットワークを介して接続された装置から画像を取得してもよい。なお、識別の精度を向上させるため、薬剤の画像は両面について取得することが好ましい。また、撮影する画像は薬剤の包装（ＰＴＰ等）の画像でもよい。
＜テキストの生成＞
テキスト化部１０６は、撮影した画像または文字列強調画像に含まれる文字列を文字ごとに抽出して、文字列を示す第１のテキストを生成する（ステップＳ１１０：テキスト化工程）。テキスト化（文字認識）の手法は特に限定されないが、機械学習により構成されたニューラルネットワーク等の学習済みモデル、例えばＭａｓｋ－ＲＣＮＮ（ＲＣＮＮ：Regions with Convolutional Neural Networks）を用いることができる。Ｍａｓｋ－ＲＣＮＮでは、入力画像の畳み込みにより得られた固定サイズの特徴量マップが全結合層と領域分割用の畳み込み層とに分岐して入力され、その畳み込み層でマスク領域が推定される。テキスト化部１０６は、機械学習により文字の中心を直接推定してから個々の文字範囲を特定してもよい。なお、テキスト化部１０６は画像に含まれる文字列のレイアウト（例えば、「左上から順次右上、左下、右下へ」、「二段組み」、「フリーレイアウト」等）を検出することが好ましく、この場合、薬剤マスタ２０２も文字列についてのレイアウト情報（文字情報についてのレイアウト情報）を有していることが好ましい（後述）。
テキスト化部１０６は、撮影した画像または文字列強調画像に含まれる文字列を文字ごとに抽出して、文字列を示す第１のテキストを生成する（ステップＳ１１０：テキスト化工程）。テキスト化（文字認識）の手法は特に限定されないが、機械学習により構成されたニューラルネットワーク等の学習済みモデル、例えばＭａｓｋ－ＲＣＮＮ（ＲＣＮＮ：Regions with Convolutional Neural Networks）を用いることができる。Ｍａｓｋ－ＲＣＮＮでは、入力画像の畳み込みにより得られた固定サイズの特徴量マップが全結合層と領域分割用の畳み込み層とに分岐して入力され、その畳み込み層でマスク領域が推定される。テキスト化部１０６は、機械学習により文字の中心を直接推定してから個々の文字範囲を特定してもよい。なお、テキスト化部１０６は画像に含まれる文字列のレイアウト（例えば、「左上から順次右上、左下、右下へ」、「二段組み」、「フリーレイアウト」等）を検出することが好ましく、この場合、薬剤マスタ２０２も文字列についてのレイアウト情報（文字情報についてのレイアウト情報）を有していることが好ましい（後述）。
＜テキストの修正＞
ステップＳ１１０におけるテキスト化（文字認識）では、本来認識されるべき文字と異なる文字（テキスト）が出力される可能性がある。そこでテキスト修正部１０８は、第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成する（ステップＳ１２０：テキスト修正工程）。具体的には、テキスト修正部１０８は、誤りを含む文字列（テキスト）と正しい文字列（テキスト）とを対にして学習させた学習済みモデルを用いてテキストを修正（第２のテキストを生成）することができる。このような学習済みモデルは、自然言語処理のアルゴリズムに基づいて、ｓｅｑ２ｓｅｑ（sequence to sequence）のような、ＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long Short Term Memory）を利用したニューラルネットワークにより構成することができる。ｓｅｑ２ｓｅｑは「語句の並び」（本発明においては、誤りを含んだ文字列）を入力して、別の「語句の並び」（正解の文字列）を出力する（置き換える）ルールを学習するモデルであり、機械翻訳等で利用される。
ステップＳ１１０におけるテキスト化（文字認識）では、本来認識されるべき文字と異なる文字（テキスト）が出力される可能性がある。そこでテキスト修正部１０８は、第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成する（ステップＳ１２０：テキスト修正工程）。具体的には、テキスト修正部１０８は、誤りを含む文字列（テキスト）と正しい文字列（テキスト）とを対にして学習させた学習済みモデルを用いてテキストを修正（第２のテキストを生成）することができる。このような学習済みモデルは、自然言語処理のアルゴリズムに基づいて、ｓｅｑ２ｓｅｑ（sequence to sequence）のような、ＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long Short Term Memory）を利用したニューラルネットワークにより構成することができる。ｓｅｑ２ｓｅｑは「語句の並び」（本発明においては、誤りを含んだ文字列）を入力して、別の「語句の並び」（正解の文字列）を出力する（置き換える）ルールを学習するモデルであり、機械翻訳等で利用される。
ＲＮＮは入力層、隠れ層、及び出力層を有し、隠れ層が現在の時刻（時刻ｔ）の状態を示す第１の隠れ層と過去の時刻（時刻ｔ－１）の状態を示す第２の隠れ層とを有する点で他のニューラルネットワーク（畳み込みニューラルネットワーク等）と異なる。ＲＮＮによる学習済みモデルは、時刻ｔ－１における隠れ層の状態を保持して次の時刻ｔの入力に使うことにより、自然言語のように時系列的に入力される情報の過去の履歴（文字や単語の前後関係）を利用した推定を行うことができる。
また、ＬＳＴＭはＲＮＮの一種であり、ＲＮＮの中間層のユニットを「ＬＳＴＭブロック」と呼ばれる「メモリと３つのゲートを持つブロック」に置き換えることで実現することができる。ＬＳＴＭでは、通常のＲＮＮでは学習が困難な長期的な依存関係（long-term dependencies；遠く離れた文字や単語の関係性）を学習することができる。
例えば、薬剤に付された刻印が「ＦＦ２８４」である場合（図６の（ａ）部分の例を参照）、ステップＳ１１０でのテキスト化の結果が「Ｆ」、「Ｆ」、「２」、「日」、「４」（「Ｆ」はアルファベット、「２」及び「４」は数字、「日」は漢字）であったと仮定する。この場合、テキスト修正部１０８は、自然言語処理により「『日』の前後が数字なので、『日』は数字かアルファベットの誤りである」と判断し、「日」を「８」または「Ｂ」に修正することが考えられる。
なお、テキスト修正部１０８は第１、第２のテキストに対する修正を受け付け、受け付けた修正に基づいて上述した学習済みモデルや薬剤照合用辞書（後述）に追加学習を実行させてもよい。
＜照合＞
照合部１１０（照合部）は、第２のテキストを薬剤マスタ２０２と照合して、第２のテキストが示す薬剤の候補である候補薬剤についての識別情報を取得する（ステップＳ１３０：照合工程）。照合部１１０は、第２のテキストと薬剤マスタ２０２の文字情報（第３のテキスト）との類似度を算出し（図５のステップＳ１３２）、類似度に基づいて候補薬剤を選択する。類似度を示す指標としては、レーベンシュタイン距離、Damerau－Levenshtein距離、ハミング距離、ジャロ・ウィンクラー距離等を用いることができる。なお、照合部１１０は、第２のテキストを正規化して正規化テキストを生成し、正規化テキストを用いて照合を行ってもよい（照合工程、正規化工程）。照合部１１０は、「正規化」として例えば大文字から小文字へ、全角から半角へ、漢字及び／またはひらがなからカタカナへ、の変換（またはこれら変換の逆）を行うことができ、これによりテキストの表現を統一して検索精度を向上させることができる。照合部１１０は、薬剤マスタ２０２における識別情報の表現形式（大文字と小文字のいずれを用いているか、等）に合わせた変換を行うことが好ましい。
照合部１１０（照合部）は、第２のテキストを薬剤マスタ２０２と照合して、第２のテキストが示す薬剤の候補である候補薬剤についての識別情報を取得する（ステップＳ１３０：照合工程）。照合部１１０は、第２のテキストと薬剤マスタ２０２の文字情報（第３のテキスト）との類似度を算出し（図５のステップＳ１３２）、類似度に基づいて候補薬剤を選択する。類似度を示す指標としては、レーベンシュタイン距離、Damerau－Levenshtein距離、ハミング距離、ジャロ・ウィンクラー距離等を用いることができる。なお、照合部１１０は、第２のテキストを正規化して正規化テキストを生成し、正規化テキストを用いて照合を行ってもよい（照合工程、正規化工程）。照合部１１０は、「正規化」として例えば大文字から小文字へ、全角から半角へ、漢字及び／またはひらがなからカタカナへ、の変換（またはこれら変換の逆）を行うことができ、これによりテキストの表現を統一して検索精度を向上させることができる。照合部１１０は、薬剤マスタ２０２における識別情報の表現形式（大文字と小文字のいずれを用いているか、等）に合わせた変換を行うことが好ましい。
＜文字列の構成に応じた照合＞
薬剤に付される文字列（刻印、印字）の構成（レイアウトや文字の種類等）は様々なタイプが存在する。そのため、文字列の構成に応じた照合手法を用いることが好ましい。図６は薬剤に付された文字列の例を示す図である。図６の（ａ）部分は、文字列が英文字で１～４字程度の識別コード及び数字で２～４桁程度の識別コードにより構成される例である。この例では文字の長さが短く、テキストとしては情報量が短いため、文字列の並びが正確に抽出されることが要求される。このため、テキスト化部１０６が、画像に含まれる文字列のレイアウトに基づいて、認識されたそれぞれの文字から文字列を構成する。図６の（ｂ）部分のように数字のみの場合（あるいは文字のみの場合）も同図の（ａ）部分と場合と同様である。
薬剤に付される文字列（刻印、印字）の構成（レイアウトや文字の種類等）は様々なタイプが存在する。そのため、文字列の構成に応じた照合手法を用いることが好ましい。図６は薬剤に付された文字列の例を示す図である。図６の（ａ）部分は、文字列が英文字で１～４字程度の識別コード及び数字で２～４桁程度の識別コードにより構成される例である。この例では文字の長さが短く、テキストとしては情報量が短いため、文字列の並びが正確に抽出されることが要求される。このため、テキスト化部１０６が、画像に含まれる文字列のレイアウトに基づいて、認識されたそれぞれの文字から文字列を構成する。図６の（ｂ）部分のように数字のみの場合（あるいは文字のみの場合）も同図の（ａ）部分と場合と同様である。
図６の（ｃ）部分は薬剤にマーク（この場合、星印）及び数字が付された例である。マークはテキストではないため、この場合マークをあらかじめ特殊な文字列で表現する規則を定義しておくことが好ましい。例えば、星印（star）をエスケープ文字「￥」を用いて「￥Ｓ」と表現し、「￥Ｓ」を一つの文字として通常文字と同様に扱うことができる。
図６の（ｄ）部分及び（ｅ）部分は、文字列が複数の段で構成され情報量が豊富な例である。このような場合、文字数が多いため、テキストの並びが本来と異なって抽出されたとしても、文字種別にカウントする方法が有効である。例えば、照合部１１０は、同図の（ｅ）部分に示す例において画像から抽出された文字列が「カサタアＯＤナ１０ＦＦ」と抽出された場合、文字列の順序を無視して「カ」が１つ、「サ」が１つ、「タ」が１つ、「ア」が１つ、「Ｏ」が１つ、「Ｄ」が１つ、「ナ」が１つ、「１」が１つ、「０」が１つ、「Ｆ」が２つ、とカウントする。照合部１１０は、同様に薬剤マスタ２０２の文字情報についても文字列の順序を無視して両者の一致性を調べる。
＜キーワードの文字数を考慮した類似度の算出＞
薬剤の識別を行う場合、文字が判定不能で照合に使えない場合や、錠剤または包装（ＰＴＰシート等）の分割等で文字列が短くなる場合がある。この場合、長い薬剤名よりも短い薬剤名の方がキーワードとの類似度が相対的に高くなり、適切な検索結果が得られない可能性がある。そこで、識別支援システム１０では、以下のようにキーワードの文字数を考慮して類似度を算出することができる。具体的には、照合部１１０は、「修正後のテキスト（第２のテキスト）の文字数」が「薬剤マスタ２０２に記憶されたテキスト情報（第３のテキスト）の文字数」未満である場合、第３のテキストから第２のテキストと同じ長さの文字列を抜き出し、抜き出した文字列と第２のテキストとの類似度を算出し、類似度が最大の場合の値を利用する（ステップＳ１３０：照合工程）。一方、「修正後のテキストの文字数」が「薬剤マスタ２０２に記憶されたテキスト情報の文字数」以上である場合、照合部１１０は文字列の抽出を行わずに類似度を算出する（ステップＳ１３０：照合工程）。このように、キーワードの文字数を考慮した類似度の算出により、正確な検索結果が得られやすくなる。
薬剤の識別を行う場合、文字が判定不能で照合に使えない場合や、錠剤または包装（ＰＴＰシート等）の分割等で文字列が短くなる場合がある。この場合、長い薬剤名よりも短い薬剤名の方がキーワードとの類似度が相対的に高くなり、適切な検索結果が得られない可能性がある。そこで、識別支援システム１０では、以下のようにキーワードの文字数を考慮して類似度を算出することができる。具体的には、照合部１１０は、「修正後のテキスト（第２のテキスト）の文字数」が「薬剤マスタ２０２に記憶されたテキスト情報（第３のテキスト）の文字数」未満である場合、第３のテキストから第２のテキストと同じ長さの文字列を抜き出し、抜き出した文字列と第２のテキストとの類似度を算出し、類似度が最大の場合の値を利用する（ステップＳ１３０：照合工程）。一方、「修正後のテキストの文字数」が「薬剤マスタ２０２に記憶されたテキスト情報の文字数」以上である場合、照合部１１０は文字列の抽出を行わずに類似度を算出する（ステップＳ１３０：照合工程）。このように、キーワードの文字数を考慮した類似度の算出により、正確な検索結果が得られやすくなる。
＜候補薬剤の絞り込み＞
図５は候補薬剤の絞り込みを示すフローチャート（図４のフローチャートにおけるステップＳ１３０の部分：照合工程）である。照合部１１０は類似度を算出して（ステップＳ１３２）、類似度がしきい値以上の薬剤を候補薬剤として選択する（ステップＳ１３３）。そして、照合部１１０は、候補薬剤が複数存在するか否か（ステップＳ１３４）及び候補薬剤が複数存在する場合に絞り込みを行うか否か（ステップＳ１３６）を判断する。照合部１１０は、例えば撮影画像（あるいは文字列強調画像）と薬剤マスタ２０２のマスタ画像とのテンプレートマッチングにより絞り込みを行うことができる（ステップＳ１３８）が、他の方法で絞り込みを行ってもよい。照合部１１０は、絞り込みを行うか否かを、操作部４００を介したユーザの操作に応じて判断することができる。また、照合部１１０は、絞り込みを行わず類似度がしきい値以上の薬剤を全て候補薬剤として選択してもよい（ステップＳ１３６でＮＯの場合、ステップＳ１３９へ）。照合部１１０は、最終的な候補薬剤について識別情報及び画像を取得する（ステップＳ１３９）。
図５は候補薬剤の絞り込みを示すフローチャート（図４のフローチャートにおけるステップＳ１３０の部分：照合工程）である。照合部１１０は類似度を算出して（ステップＳ１３２）、類似度がしきい値以上の薬剤を候補薬剤として選択する（ステップＳ１３３）。そして、照合部１１０は、候補薬剤が複数存在するか否か（ステップＳ１３４）及び候補薬剤が複数存在する場合に絞り込みを行うか否か（ステップＳ１３６）を判断する。照合部１１０は、例えば撮影画像（あるいは文字列強調画像）と薬剤マスタ２０２のマスタ画像とのテンプレートマッチングにより絞り込みを行うことができる（ステップＳ１３８）が、他の方法で絞り込みを行ってもよい。照合部１１０は、絞り込みを行うか否かを、操作部４００を介したユーザの操作に応じて判断することができる。また、照合部１１０は、絞り込みを行わず類似度がしきい値以上の薬剤を全て候補薬剤として選択してもよい（ステップＳ１３６でＮＯの場合、ステップＳ１３９へ）。照合部１１０は、最終的な候補薬剤について識別情報及び画像を取得する（ステップＳ１３９）。
＜識別情報及び画像の表示＞
出力部１１２（出力部）は、候補薬剤についての照合結果（識別情報及び画像）をモニタ３１０（表示装置）に表示（出力）させる（図４のステップＳ１４０：出力工程）。識別情報（薬剤のコード及び／または名称）及び画像を表示することで、ユーザは候補薬剤が適切であるか否か（照合が適切であるか否か）を容易に把握することができる。識別支援システム１０（照合部１１０）は、「候補薬剤が適切でない」と判断した場合（ステップＳ１５０でＮＯ）、及び「全薬剤についての照合が終了していない」と判断した場合（ステップＳ１６０でＮＯ）は、ステップＳ１００に戻って処理を繰り返す。識別支援システム１０は、操作部４００を介したユーザの操作に基づいてこれらの判断を行うことができる。
出力部１１２（出力部）は、候補薬剤についての照合結果（識別情報及び画像）をモニタ３１０（表示装置）に表示（出力）させる（図４のステップＳ１４０：出力工程）。識別情報（薬剤のコード及び／または名称）及び画像を表示することで、ユーザは候補薬剤が適切であるか否か（照合が適切であるか否か）を容易に把握することができる。識別支援システム１０（照合部１１０）は、「候補薬剤が適切でない」と判断した場合（ステップＳ１５０でＮＯ）、及び「全薬剤についての照合が終了していない」と判断した場合（ステップＳ１６０でＮＯ）は、ステップＳ１００に戻って処理を繰り返す。識別支援システム１０は、操作部４００を介したユーザの操作に基づいてこれらの判断を行うことができる。
＜追加学習用データの生成＞
テキスト修正部１０８（テキスト修正部）は、第１，第２のテキストに対する修正を受け付け、上述した第１，第２のテキストの生成用の学習済みモデルに対し、受け付けた修正に基づいて追加学習を実行させてもよい。また、テキスト修正部１０８は、後述する薬剤照合用辞書を更新してもよい。テキスト修正部１０８は、第１，第２のテキストに対する修正を受け付けた場合は、受け付けた修正の内容に応じて追加学習用データ２０８を生成する（ステップＳ１７０：データ生成工程）。テキスト修正部１０８は、追加学習用データを生成するごとに追加学習を行わせてもよいし、定期的に、あるいは操作部４００を介したユーザの指示に応じて随時行わせてもよい。このような追加学習により、第１，第２のテキストの生成精度を向上させることができる。
テキスト修正部１０８（テキスト修正部）は、第１，第２のテキストに対する修正を受け付け、上述した第１，第２のテキストの生成用の学習済みモデルに対し、受け付けた修正に基づいて追加学習を実行させてもよい。また、テキスト修正部１０８は、後述する薬剤照合用辞書を更新してもよい。テキスト修正部１０８は、第１，第２のテキストに対する修正を受け付けた場合は、受け付けた修正の内容に応じて追加学習用データ２０８を生成する（ステップＳ１７０：データ生成工程）。テキスト修正部１０８は、追加学習用データを生成するごとに追加学習を行わせてもよいし、定期的に、あるいは操作部４００を介したユーザの指示に応じて随時行わせてもよい。このような追加学習により、第１，第２のテキストの生成精度を向上させることができる。
＜第１の実施形態の効果＞
以上説明したように、第１の実施形態に係る識別支援システム１０及び識別支援方法によれば、ユーザは正確に薬剤の識別を行うことができる。
以上説明したように、第１の実施形態に係る識別支援システム１０及び識別支援方法によれば、ユーザは正確に薬剤の識別を行うことができる。
＜辞書の参照によるテキストの修正＞
上述した第１の実施形態では、テキスト修正部１０８が学習済みモデルを用いて文字認識の結果（第１のテキスト）を修正する態様について説明したが、本発明の識別支援システムでは、テキスト修正部１０８は、薬剤の識別に用いられる表現を学習させた薬剤照合用辞書を参照して第１のテキストを修正して第２のテキストを生成してもよい（テキスト修正工程）。薬剤照合用辞書は、薬剤の識別に用いられる単語が変換候補として登録された変換辞書であり、例えば数字、アルファベット、薬剤名、製薬会社名及びその屋号や略称等が登録される。これらの情報は刻印及び／または印字、包装への印刷やラベル貼付等により薬剤に付される場合があり、薬剤照合用辞書への登録により、意図した単語を照合（検索）のキーワードとして入力して正確な照合（検索）を行うことができる。
上述した第１の実施形態では、テキスト修正部１０８が学習済みモデルを用いて文字認識の結果（第１のテキスト）を修正する態様について説明したが、本発明の識別支援システムでは、テキスト修正部１０８は、薬剤の識別に用いられる表現を学習させた薬剤照合用辞書を参照して第１のテキストを修正して第２のテキストを生成してもよい（テキスト修正工程）。薬剤照合用辞書は、薬剤の識別に用いられる単語が変換候補として登録された変換辞書であり、例えば数字、アルファベット、薬剤名、製薬会社名及びその屋号や略称等が登録される。これらの情報は刻印及び／または印字、包装への印刷やラベル貼付等により薬剤に付される場合があり、薬剤照合用辞書への登録により、意図した単語を照合（検索）のキーワードとして入力して正確な照合（検索）を行うことができる。
＜第２の実施形態＞
図７は、本発明の第２の実施形態に係る識別支援システム２０（識別支援システム）の構成を示す図である。識別支援システム２０は全体として第１の実施形態に係る識別支援システム１０と同様の機能を有するが、システムが識別支援クライアント１１（識別支援クライアント）と識別支援サーバ３０（識別支援サーバ）とを含んで構成される点で第１の実施形態と異なる。なお、識別支援システム２０に関し、第１の実施形態に係る識別支援システム１０と共通する構成には同一の参照符号を付し、詳細な説明を省略する。
図７は、本発明の第２の実施形態に係る識別支援システム２０（識別支援システム）の構成を示す図である。識別支援システム２０は全体として第１の実施形態に係る識別支援システム１０と同様の機能を有するが、システムが識別支援クライアント１１（識別支援クライアント）と識別支援サーバ３０（識別支援サーバ）とを含んで構成される点で第１の実施形態と異なる。なお、識別支援システム２０に関し、第１の実施形態に係る識別支援システム１０と共通する構成には同一の参照符号を付し、詳細な説明を省略する。
＜識別支援クライアントの構成＞
識別支援クライアント１１は処理部１０１と、照明部１２０と、撮影部１３０と、記憶部２０１と、表示部３００と、操作部４００を備え、後述するように薬剤画像に対する文字認識（テキスト化）や識別支援サーバ３０との間のデータ送受信、結果表示等を行う。識別支援クライアント１１はパーソナルコンピュータ等のコンピュータやスマートフォン等の携帯端末を用いて実現することができ、タッチパネル型のモニタを用いることにより表示部３００と操作部４００とを一体として構成してもよい。
識別支援クライアント１１は処理部１０１と、照明部１２０と、撮影部１３０と、記憶部２０１と、表示部３００と、操作部４００を備え、後述するように薬剤画像に対する文字認識（テキスト化）や識別支援サーバ３０との間のデータ送受信、結果表示等を行う。識別支援クライアント１１はパーソナルコンピュータ等のコンピュータやスマートフォン等の携帯端末を用いて実現することができ、タッチパネル型のモニタを用いることにより表示部３００と操作部４００とを一体として構成してもよい。
図８は処理部１０１の機能構成を示す図である。処理部１０１は、画像取得部１０２（画像取得部）と、強調処理部１０４（強調処理部）と、テキスト化部１０６（テキスト化部）と、テキスト修正部１０８（テキスト修正部）と、出力部１１２（出力部）と、クライアント側送信部１１６（クライアント側送信部）と、クライアント側受信部１１８（クライアント側送信部）と、を備える。これら各部は、処理部１００について上述したのと同様に各種のプロセッサや電気回路を用いて実現することができ、プロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、ＲＯＭ、ＲＡＭ等が用いられる。
図９は記憶部２０１の構成を示す図である。記憶部２０１には、薬剤画像２０４（撮影画像、文字列強調画像、サーバから取得した候補薬剤の画像（後述）等）と照合結果２０６が記憶される。記憶部２０１は、照合結果２０６を第１，第２のテキストと関連付けて記憶してもよい。
＜識別支援サーバの構成＞
識別支援サーバ３０はクラウドＣＬ（図７参照）上のサーバであり、サーバ本体５００と記憶部５１０とを有する。サーバ本体５００は、図１０に示すように照合部５０２（照合部）と、サーバ側出力部５０４（サーバ側出力部）と、サーバ側送信部５０６（サーバ側送信部）と、サーバ側受信部５０８（サーバ側受信部）と、を備える。図１１に示すように、記憶部５１０には薬剤マスタ５１２（図３の薬剤マスタ２０２と同様）及び薬剤画像５１４（図３の薬剤画像２０４と同様）が記憶される。
識別支援サーバ３０はクラウドＣＬ（図７参照）上のサーバであり、サーバ本体５００と記憶部５１０とを有する。サーバ本体５００は、図１０に示すように照合部５０２（照合部）と、サーバ側出力部５０４（サーバ側出力部）と、サーバ側送信部５０６（サーバ側送信部）と、サーバ側受信部５０８（サーバ側受信部）と、を備える。図１１に示すように、記憶部５１０には薬剤マスタ５１２（図３の薬剤マスタ２０２と同様）及び薬剤画像５１４（図３の薬剤画像２０４と同様）が記憶される。
＜識別支援方法の処理＞
図１２～１３は第２の実施形態に係る識別支援方法の処理を示すフローチャートである。これらの図の左側は識別支援クライアント１１における処理を示し、右側は識別支援サーバ３０における処理を示す。識別支援クライアント１１の画像取得部１０２及びテキスト修正部１０８は、第１の実施形態について上述したステップＳ１００～Ｓ１２０と同様にステップＳ２００～Ｓ２２０の処理（薬剤画像の取得、文字認識による第１のテキストの生成、テキスト修正による第２のテキストの生成；画像取得工程、テキスト化工程、テキスト修正工程）を実行する。テキスト化部１０６及びテキスト修正部１０８は、第１の実施形態と同様に学習済みモデルを用いてテキストを生成、修正することができるが、変換辞書を用いてもよい。クライアント側送信部１１６は薬剤についてのテキスト情報（照合用テキスト；第２のテキスト）を識別支援サーバ３０に送信し（ステップＳ２３０）、識別支援サーバ３０のサーバ側受信部５０８（サーバ側受信部）はそのテキスト情報を受信する（ステップＳ４００）。
図１２～１３は第２の実施形態に係る識別支援方法の処理を示すフローチャートである。これらの図の左側は識別支援クライアント１１における処理を示し、右側は識別支援サーバ３０における処理を示す。識別支援クライアント１１の画像取得部１０２及びテキスト修正部１０８は、第１の実施形態について上述したステップＳ１００～Ｓ１２０と同様にステップＳ２００～Ｓ２２０の処理（薬剤画像の取得、文字認識による第１のテキストの生成、テキスト修正による第２のテキストの生成；画像取得工程、テキスト化工程、テキスト修正工程）を実行する。テキスト化部１０６及びテキスト修正部１０８は、第１の実施形態と同様に学習済みモデルを用いてテキストを生成、修正することができるが、変換辞書を用いてもよい。クライアント側送信部１１６は薬剤についてのテキスト情報（照合用テキスト；第２のテキスト）を識別支援サーバ３０に送信し（ステップＳ２３０）、識別支援サーバ３０のサーバ側受信部５０８（サーバ側受信部）はそのテキスト情報を受信する（ステップＳ４００）。
照合部５０２は、上述したステップＳ１３０～Ｓ１４０と同様に、受信したテキスト情報（第２のテキスト）と薬剤マスタ５１２のテキスト情報とを照合して候補薬剤についての識別情報及び画像を取得する（ステップＳ４１０；照合工程）。サーバ側送信部５０６は照合結果（候補薬剤の識別情報及び画像）を識別支援クライアント１１に送信し（ステップＳ４２０）、クライアント側受信部１１８が照合結果を受信して（ステップＳ２４０）、出力部１１２が候補薬剤についての識別情報及び画像をモニタ３１０（表示装置）に表示させる（ステップＳ２５０：出力工程）。識別支援クライアント１１は、上述したステップＳ１５０～Ｓ１６０と同様に、全薬剤についての処理が終了するまで（ステップＳ２７０でＹＥＳになるまで）ステップＳ２００～Ｓ２５０の処理を繰り返す。
なお、第２の実施形態では識別支援サーバ３０が識別支援クライアント１１に候補薬剤の画像を送信する場合について説明しているが、画像の送受信に関し他の構成を採用してもよい。具体的には、識別支援サーバ３０から識別支援クライアント１１に画像の格納先を示すＵＲＬ（Uniform Resource Locator）を送信し、識別支援クライアント１１の出力部１１２が指定されたＵＲＬから画像をダウンロードする構成を採用することができる。この場合、画像の格納先は記憶部５１０でもよいし、その他の記憶装置でもよい。出力部１１２は、取得した画像を記憶部２００に記憶することができる。また、第２の実施形態では識別支援サーバ３０の記憶部５１０が薬剤の画像（薬剤画像５１４）を保持（記憶）する場合について説明しているが、識別支援クライアント１１の処理能力が十分である場合は、識別支援クライアント１１の記憶部２０１が薬剤の画像を保持（記憶）してもよい。
識別支援クライアント１１のテキスト修正部１０８は、上述したステップＳ１７０と同様に追加学習用データを生成する（ステップＳ２８０）。
以上説明したように、第２の実施形態に係る識別支援システム（識別支援クライアント、識別支援サーバ）及び識別支援方法においても、第１の実施形態と同様にユーザは正確に薬剤の識別を行うことができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 識別支援システム
１１ 識別支援クライアント
２０ 識別支援システム
３０ 識別支援サーバ
１００ 処理部
１０１ 処理部
１０２ 画像取得部
１０４ 強調処理部
１０６ テキスト化部
１０８ テキスト修正部
１１０ 照合部
１１２ 出力部
１１４ 通信制御部
１１６ クライアント側送信部
１１８ クライアント側受信部
１２０ 照明部
１３０ 撮影部
２００ 記憶部
２０１ 記憶部
２０２ 薬剤マスタ
２０４ 薬剤画像
２０６ 照合結果
２０８ 追加学習用データ
３００ 表示部
３１０ モニタ
４００ 操作部
４１０ キーボード
４２０ マウス
５００ サーバ本体
５０２ 照合部
５０４ サーバ側出力部
５０６ サーバ側送信部
５０８ サーバ側受信部
５１０ 記憶部
５１２ 薬剤マスタ
５１４ 薬剤画像
ＣＬ クラウド
Ｓ１００～Ｓ４２０ 識別支援方法の各ステップ
１１ 識別支援クライアント
２０ 識別支援システム
３０ 識別支援サーバ
１００ 処理部
１０１ 処理部
１０２ 画像取得部
１０４ 強調処理部
１０６ テキスト化部
１０８ テキスト修正部
１１０ 照合部
１１２ 出力部
１１４ 通信制御部
１１６ クライアント側送信部
１１８ クライアント側受信部
１２０ 照明部
１３０ 撮影部
２００ 記憶部
２０１ 記憶部
２０２ 薬剤マスタ
２０４ 薬剤画像
２０６ 照合結果
２０８ 追加学習用データ
３００ 表示部
３１０ モニタ
４００ 操作部
４１０ キーボード
４２０ マウス
５００ サーバ本体
５０２ 照合部
５０４ サーバ側出力部
５０６ サーバ側送信部
５０８ サーバ側受信部
５１０ 記憶部
５１２ 薬剤マスタ
５１４ 薬剤画像
ＣＬ クラウド
Ｓ１００～Ｓ４２０ 識別支援方法の各ステップ
Claims (8)
- 薬剤の画像を取得する画像取得部と、
前記画像に含まれる文字列を文字ごとに抽出して前記文字列を示す第１のテキストを生成するテキスト化部と、
前記第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正部と、
薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと、
前記第２のテキストを前記薬剤マスタと照合して、前記第２のテキストが示す薬剤の候補である候補薬剤についての前記識別情報を取得する照合部と、
前記候補薬剤についての前記識別情報を出力する出力部と、
を備え、
前記テキスト修正部は、前記抽出した文字の前後関係を用いて前記第１のテキストを修正し、
前記薬剤マスタは前記文字情報についてのレイアウト情報を有し、
前記照合部は前記レイアウト情報に基づいて前記照合を行う識別支援システム。 - 前記テキスト化部は、機械学習により構成された学習済みモデルを用いて前記文字列を抽出する請求項１に記載の識別支援システム。
- 前記画像に含まれる前記文字列を強調して文字列強調画像を生成する強調処理部をさらに備え、
前記テキスト化部は前記文字列強調画像から前記第１のテキストを生成する請求項１または２に記載の識別支援システム。 - 前記照合部は、前記第２のテキストと前記文字情報との類似度を算出し、前記類似度に基づいて前記候補薬剤を選択する請求項１から３のいずれか１項に記載の識別支援システム。
- 前記薬剤マスタは前記識別情報と薬剤の画像とを関連付けて記憶し、
前記出力部は前記候補薬剤について前記識別情報と前記画像とを関連付けて表示装置に表示させる請求項１から４のいずれか１項に記載の識別支援システム。 - 薬剤の画像を取得する画像取得部と、
前記画像に含まれる文字列を文字ごとに抽出して前記文字列を示す第１のテキストを生成するテキスト化部と、
前記第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正部と、
前記第２のテキストを示す情報を識別支援サーバに送信するクライアント側送信部と、
前記第２のテキストが示す薬剤の候補である候補薬剤について、薬剤のコード及び／または名称を含む識別情報を前記識別支援サーバから受信するクライアント側受信部と、
前記候補薬剤についての前記識別情報を出力する出力部と、
を備え、
前記テキスト修正部は、前記抽出した文字の前後関係を用いて前記第１のテキストを修正する識別支援クライアント。 - 薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと、
薬剤についてのテキスト情報を識別支援クライアントから受信するサーバ側受信部と、
前記テキスト情報を前記薬剤マスタと照合して、前記テキスト情報が示す薬剤の候補である候補薬剤についての前記識別情報を取得する照合部と、
前記取得した前記識別情報を前記識別支援クライアントに送信するサーバ側送信部と、
を備え、
前記薬剤マスタは前記文字情報についてのレイアウト情報を有し、
前記照合部は前記レイアウト情報に基づいて前記照合を行う識別支援サーバ。 - 薬剤の画像を取得する画像取得工程と、
前記画像に含まれる文字列を文字ごとに抽出して前記文字列を示す第１のテキストを生成するテキスト化工程と、
前記第１のテキストを薬剤の識別に用いられる表現に基づいて修正して第２のテキストを生成するテキスト修正工程と、
薬剤のコード及び／または名称を示す識別情報と、薬剤に付された文字を示す文字情報と、がテキストとして記憶された薬剤マスタと前記第２のテキストとを照合して、前記第２のテキストが示す薬剤の候補である候補薬剤についての前記識別情報を取得する照合工程と、
前記候補薬剤についての前記識別情報を出力する出力工程と、
を有し、
前記テキスト修正工程では、前記抽出した文字の前後関係を用いて前記第１のテキストを修正し、
前記薬剤マスタは前記文字情報についてのレイアウト情報を有し、
前記照合工程では前記レイアウト情報に基づいて前記照合を行う識別支援方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019132074 | 2019-07-17 | ||
| JP2019132074 | 2019-07-17 | ||
| PCT/JP2020/026849 WO2021010276A1 (ja) | 2019-07-17 | 2020-07-09 | 識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021010276A1 JPWO2021010276A1 (ja) | 2021-01-21 |
| JPWO2021010276A5 JPWO2021010276A5 (ja) | 2022-09-21 |
| JP7343585B2 true JP7343585B2 (ja) | 2023-09-12 |
Family
ID=74210776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021533014A Active JP7343585B2 (ja) | 2019-07-17 | 2020-07-09 | 識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7343585B2 (ja) |
| WO (1) | WO2021010276A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7274529B2 (ja) * | 2021-06-30 | 2023-05-16 | 株式会社コンテック | 薬剤識別システムおよび薬剤識別方法 |
| WO2023238566A1 (ja) * | 2022-06-10 | 2023-12-14 | 富士フイルム富山化学株式会社 | 医薬品情報遠隔共有システム及び医薬品情報遠隔共有方法 |
| JP7519649B1 (ja) | 2024-02-02 | 2024-07-22 | ファーストアカウンティング株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009098867A (ja) | 2007-10-16 | 2009-05-07 | Canon Inc | 文字列認識方法、コンピュータプログラム、記憶媒体 |
| WO2016047569A1 (ja) | 2014-09-25 | 2016-03-31 | 株式会社湯山製作所 | 鑑査支援システム、錠剤分包装置 |
| WO2017002713A1 (ja) | 2015-06-29 | 2017-01-05 | 株式会社湯山製作所 | 薬剤払出装置 |
| JP2017215859A (ja) | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | 文字列認識装置、方法、及びプログラム |
| WO2018190394A1 (ja) | 2017-04-14 | 2018-10-18 | 株式会社湯山製作所 | 薬剤仕分装置、仕分容器、及び薬剤返却方法 |
| WO2019039302A1 (ja) | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム |
| JP6505937B1 (ja) | 2018-11-26 | 2019-04-24 | フューチャー株式会社 | 照合システム、照合方法及び照合プログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61206838A (ja) * | 1985-03-07 | 1986-09-13 | Tokai Rubber Ind Ltd | 流体入りブツシユ組立体 |
-
2020
- 2020-07-09 WO PCT/JP2020/026849 patent/WO2021010276A1/ja active Application Filing
- 2020-07-09 JP JP2021533014A patent/JP7343585B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009098867A (ja) | 2007-10-16 | 2009-05-07 | Canon Inc | 文字列認識方法、コンピュータプログラム、記憶媒体 |
| WO2016047569A1 (ja) | 2014-09-25 | 2016-03-31 | 株式会社湯山製作所 | 鑑査支援システム、錠剤分包装置 |
| WO2017002713A1 (ja) | 2015-06-29 | 2017-01-05 | 株式会社湯山製作所 | 薬剤払出装置 |
| JP2017215859A (ja) | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | 文字列認識装置、方法、及びプログラム |
| WO2018190394A1 (ja) | 2017-04-14 | 2018-10-18 | 株式会社湯山製作所 | 薬剤仕分装置、仕分容器、及び薬剤返却方法 |
| WO2019039302A1 (ja) | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム |
| JP6505937B1 (ja) | 2018-11-26 | 2019-04-24 | フューチャー株式会社 | 照合システム、照合方法及び照合プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021010276A1 (ja) | 2021-01-21 |
| WO2021010276A1 (ja) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329964B (zh) | 用于推送信息的方法、装置、设备以及存储介质 | |
| JP7343585B2 (ja) | 識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法 | |
| WO2019218451A1 (zh) | 一种医学报告的生成方法及设备 | |
| CN111626048A (zh) | 文本纠错方法、装置、设备及存储介质 | |
| CN112131393A (zh) | 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法 | |
| CN111709233A (zh) | 基于多注意力卷积神经网络的智能导诊方法及系统 | |
| US20190018842A1 (en) | Method executed in translation system and including generation of translated text and generation of parallel translation data | |
| US20220059186A1 (en) | Method and apparatus for detecting molecule binding site, electronic device, and storage medium | |
| WO2023029502A1 (zh) | 基于问诊会话构建用户画像的方法、装置、设备和介质 | |
| US11030389B2 (en) | Acquisition of a font portion using a compression mechanism | |
| JP7260315B2 (ja) | 服薬指導支援装置および服薬指導支援システム | |
| CN113707300A (zh) | 基于人工智能的搜索意图识别方法、装置、设备及介质 | |
| US20200019823A1 (en) | Medical image analysis method applying machine learning and system thereof | |
| KR102145858B1 (ko) | 문서 이미지로부터 인식된 용어를 표준화하기 위한 방법 | |
| CN114765075A (zh) | 药品推荐方法、装置及系统、电子设备及存储介质 | |
| JP6908977B2 (ja) | 医療情報処理システム、医療情報処理装置及び医療情報処理方法 | |
| CN113724830B (zh) | 基于人工智能的用药风险检测方法及相关设备 | |
| JP2018169715A (ja) | 翻訳支援システム等 | |
| CN111597807B (zh) | 分词数据集生成方法、装置、设备及其存储介质 | |
| US9881004B2 (en) | Gender and name translation from a first to a second language | |
| CN116453674A (zh) | 一种智慧医疗系统 | |
| WO2022227171A1 (zh) | 关键信息提取方法、装置、电子设备及介质 | |
| CN116882496B (zh) | 一种多级逻辑推理的医学知识库构建方法 | |
| JP7225402B2 (ja) | 識別支援システム、識別支援サーバ、及び識別支援方法 | |
| Alishahi et al. | Fast mapping in word learning: What probabilities tell us |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7343585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |