JP6974595B2 - 薬剤判定装置及び薬剤判定方法 - Google Patents
薬剤判定装置及び薬剤判定方法 Download PDFInfo
- Publication number
- JP6974595B2 JP6974595B2 JP2020511667A JP2020511667A JP6974595B2 JP 6974595 B2 JP6974595 B2 JP 6974595B2 JP 2020511667 A JP2020511667 A JP 2020511667A JP 2020511667 A JP2020511667 A JP 2020511667A JP 6974595 B2 JP6974595 B2 JP 6974595B2
- Authority
- JP
- Japan
- Prior art keywords
- drug
- unit
- image
- determined
- packaging bag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003814 drug Substances 0.000 title claims description 363
- 229940079593 drug Drugs 0.000 title claims description 360
- 238000000034 method Methods 0.000 title claims description 82
- 238000004806 packaging method and process Methods 0.000 claims description 271
- 238000002834 transmittance Methods 0.000 claims description 81
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000003287 optical effect Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 44
- 239000005022 packaging material Substances 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 26
- 239000003795 chemical substances by application Substances 0.000 claims description 11
- 238000000149 argon plasma sintering Methods 0.000 claims description 9
- 230000032258 transport Effects 0.000 description 65
- 238000010586 diagram Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 18
- 238000009512 pharmaceutical packaging Methods 0.000 description 18
- 238000007781 pre-processing Methods 0.000 description 10
- 238000011144 upstream manufacturing Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000002547 new drug Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 229920000298 Cellophane Polymers 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
- A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
- A61J1/03—Containers specially adapted for medical or pharmaceutical purposes for pills or tablets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
- A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
- A61J1/05—Containers specially adapted for medical or pharmaceutical purposes for collecting, storing or administering blood, plasma or medical fluids ; Infusion or perfusion containers
- A61J1/10—Bag-type containers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/86—Investigating moving sheets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9508—Capsules; Tablets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
- A61J2205/00—General identification or selection means
- A61J2205/10—Bar codes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
- G01N21/474—Details of optical heads therefor, e.g. using optical fibres
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/59—Transmissivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Pharmacology & Pharmacy (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Toxicology (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Hematology (AREA)
- General Engineering & Computer Science (AREA)
Description
本発明は、薬剤判定装置及び薬剤判定方法に係り、特に、薬剤の種類と対応付けて登録されたマスタ画像と、判定対象の薬剤の撮影画像と、を用いて判定対象の薬剤の種類を判定する薬剤判定装置及び薬剤判定方法に関する。
分包紙等の包装袋に薬剤が処方箋の指示通りに正しく分包されているかを、機械等によって自動的に鑑査することは、既に知られている。このような自動鑑査装置(以下、薬剤判定装置と言う。)では、例えば、装置内で、包装袋に包まれた薬剤の画像を撮影する。そして、撮影画像に写った薬剤の種類及び個数を判定する。
また、例えば、特許文献1に記載の判定方法(特に、特許文献1の請求項1及び段落0021〜0022参照)では、判定対象のワークの撮影画像と、基準画像である良品ワークの画像(以下、マスタ画像)とを比較して、判定対象のワークが良品ワークと一致するか否かを判定する。
また、特許文献1に記載の判定方法では、判定において良品ワークと一致すると判断された判定対象のワークの撮影画像を、新たなマスタ画像としてマスタ画像を更新する。これにより、常に、良品ワークと一致すると判定されたワークの最新の撮影画像をマスタ画像として画像比較を行うことになる。この結果、例えば、画像撮影のタイミングでの照明の照度が異なったり、徐々に照度が変化したりしたとしても、照明の調整、閾値の変更、及びマスタ画像の再登録といった処置を行うことなく、判定を継続して実行することが可能となる。つまり、特許文献1に記載の判定方法によれば、マスタ画像を固定登録する場合よりも、環境変化に影響を受け難くなるために適切に判定を行うことが可能である。
ところで、判定対象の薬剤の画像を撮影する際には、光透過性を有する包装袋に包まれた状態で(つまり、包装袋越しで)薬剤を撮影することになる。このため、撮影画像の鮮明度は、包装袋の光学特性(具体的には、光透過性及び光散乱性)に応じて変化することになる。一方、特許文献1に記載の判定方法のように、常に、良品ワークと一致すると判定されたワークの最新の撮影画像をマスタ画像として登録する場合、例えば、光透過性の低い包装袋によって包まれた薬剤の画像をマスタ画像として登録してしまうと、そのマスタ画像を用いて行われる以降の判定が適切に行われない可能性がある。
本発明は、上記の事情に鑑みてなされたものであり、画像の鮮明度に影響を及ぼす包装材の光学特性を考慮した上でマスタ画像を的確に更新することが可能な薬剤判定装置及び薬剤判定方法を提供することを目的とする。
上記の目的を達成するために、本発明の薬剤判定装置は、光透過性を有する包装材に包まれた判定対象の薬剤の画像を撮影する画像撮影部と、薬剤の種類と対応付けて登録されたマスタ画像と、画像撮影部が撮影した判定対象の薬剤の画像とを用いて、判定対象の薬剤の種類を判定する判定部と、種類がマスタ画像に写った薬剤の種類と一致すると判定部が判定した判定対象の薬剤を包んだ包装材について、画像撮影部が撮影した画像の鮮明度に影響を及ぼす光学特性を示す特性情報を取得する特性情報取得部と、登録されたマスタ画像を、判定対象の薬剤の画像に更新するための更新処理を実行する更新処理部と、を有し、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定部が判定した場合に、更新処理部は、特性情報取得部が取得した特性情報が示す光学特性が、光学特性に対する基準を満たしているかどうかを判断し、光学特性が基準を満たしているときに更新処理を実行することを特徴とする。
また、特性情報取得部は、包装材の光透過率を示す特性情報を取得し、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定部が判定した場合に、更新処理部は、特性情報取得部が取得した特性情報が示す光透過率が、閾値を超えているかどうかを判断し、光透過率が閾値を超えているときに更新処理を実行すると好ましい。
また、包装材の光学特性を計測する計測部を有し、計測部は、薬剤判定装置の内部に設けられており、特性情報取得部は、計測部が計測した光学特性を示す特性情報を取得すると好ましい。
また、包装材の光学特性を計測する計測部が、薬剤判定装置の外部に設けられており、特性情報取得部は、計測部が計測した光学特性を示す特性情報が計測部から薬剤判定装置に入力されることにより、計測部が計測した光学特性を示す特性情報を取得してもよい。
また、包装材は、袋状の包装袋であり、包装袋が連続して並んだ帯状の包装袋連続体を搬送路に沿って搬送する搬送部を有し、画像撮影部は、搬送路の途中位置で画像を包装袋毎に撮影し、計測部は、搬送路の途中位置で包装袋連続体中の少なくとも一つの包装袋を対象として光学特性を計測すると好ましい。
また、画像撮影部が画像を撮影する際に、包装袋連続体中、画像撮影部の撮影範囲内にある包装袋に向けて光を照射する光照射部を更に有すると好ましい。
また、包装袋連続体の中には、薬剤が入っていない空の包装袋が含まれており、計測部は、空の包装袋を対象として光学特性を計測すると好ましい。
また、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定部が判定した場合に、更新処理部は、特性情報取得部が取得した特性情報が示す光透過率が閾値、及びマスタ画像に写った包装材の光透過率を超えているかを判断し、特性情報取得部が取得した特性情報が示す光透過率が閾値、及びマスタ画像に写った包装材の光透過率を超えているときに更新処理を実行すると好ましい。
また、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定部が判定した場合に、更新処理部は、特性情報取得部が取得した特性情報が示す光透過率が閾値を超えており、且つ、判定対象の薬剤の撮影位置がマスタ画像に写った薬剤の撮影位置よりも画像撮影部の撮影範囲の中央に近いかどうかを判断し、特性情報取得部が取得した特性情報が示す光透過率が閾値を超えており、且つ、判定対象の薬剤の撮影位置がマスタ画像に写った薬剤の撮影位置よりも画像撮影部の撮影範囲の中央に近いときに更新処理を実行すると好ましい。
また、特性情報取得部は、包装材の光透過性及び光散乱特性のうちの少なくとも一つを示す特性情報を取得すると好ましい。
また、特性情報取得部は、包装材の光透過率、ヘイズ値、及びコントラストと空間周波数との対応関係を示すModulationTransferFunction曲線のうちの少なくとも一つを示す特性情報を取得すると好ましい。
また、薬剤を処方するために設定された処方条件を示す処方条件情報を取得する処方条件取得部を更に有し、判定部は、処方条件情報から特定される薬剤の種類と対応したマスタ画像と、画像撮影部が撮影した判定対象の薬剤の画像と、を用いて、判定対象の薬剤の種類を判定すると好ましい。
また、前述の目的を達成するために、本発明の薬剤判定方法は、光透過性を有する包装材に包まれた判定対象の薬剤の画像を、画像撮影部によって撮影する工程と、薬剤の種類と対応付けて登録されたマスタ画像と、画像撮影部によって撮影した判定対象の薬剤の画像とを用いて、判定対象の薬剤の種類を判定する工程と、種類がマスタ画像に写った薬剤の種類と一致すると判定された判定対象の薬剤を包んだ包装材について、画像撮影部によって撮影した画像の鮮明度に影響を及ぼす光学特性を示す特性情報を取得する工程と、登録されたマスタ画像を、判定対象の薬剤の画像に更新するための更新処理を実行する工程と、を有し、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定された場合に、判定対象の薬剤を包んだ包装材について取得した特性情報が示す光学特性が、光学特性に対する基準を満たしているかどうかを判断し、光学特性が基準を満たしているときに更新処理を実行することを特徴とする。
本発明の薬剤判定装置及び薬剤判定方法によれば、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定された場合に、判定対象の薬剤を包んだ包装材の光学特性が基準を満たしているか判断し、その光学特性が基準を満たしているとき、判定対象の薬剤の撮影画像を用いてマスタ画像を更新する。これにより、判定対象の薬剤の撮影画像の鮮明度に応じて画像更新の要否を判断し、更新が必要である場合(例えば、マスタ画像の更新が後の判定で有利になる場合等)にマスタ画像を更新することが可能となる。
以下、本発明の薬剤判定装置及び薬剤判定方法について詳細に説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされることがあるが、本発明は、そのような実施態様に限定されるものではない。すなわち、以下の実施形態は、本発明の薬剤判定装置及び薬剤判定方法を分かり易く説明するための一例であるが、本発明を限定するものではない。また、当然ながら、本発明の主旨を逸脱しない範囲において、種々の改良又は変更を行ってもよい。
なお、本明細書において、「薬剤」とは、固形物状の薬剤を意味し、具体的には錠剤及びカプセル剤が該当する。
<<薬剤処方作業について>>
本発明の一実施形態に係る薬剤判定装置(以下、薬剤判定装置10)について説明するにあたり、先ず、薬剤判定装置10を用いて行われる薬剤処方作業について概説する。薬剤処方作業では、図1に示すように処方箋入力作業、ピッキング作業、自動分包作業、調剤鑑査作業及び処方作業が順に行われる。図1は、薬剤処方作業の流れを示す図である。
処方箋入力作業では、処方箋に記載されている処方条件を、薬剤師がコンピュータ(以下、処方条件入力装置50)に入力する。ここで、処方条件とは、患者に対して薬剤を処方するために設定された条件である。入力される処方条件の内容は、例えば、患者の氏名、年齢、処方される薬剤の種類、種類別の処方数量等である。なお、以下の説明では、複数回の服用を前提とし、一服用分の処方数量が同一量であるとする。ただし、これに限定されるものではなく、一服用分のみの薬剤が処方されてもよい。また、一服用分の薬剤の種類及び処方数量が各回で異なってもよい。
ピッキング作業では、薬剤師が処方条件に基づき、処方条件に応じた種類の薬剤を、それぞれ処方条件に応じた数量の分だけ薬剤棚55からピッキングする。なお、ピッキング作業については、薬剤師が手作業で行う場合に限らず、公知の自動ピッキング装置が処方条件入力装置50に入力された処方条件に基づき自動的に行ってもよい。
また、本実施形態においてピッキングされる薬剤は、いずれも、その表面に識別情報が形成されているものである。「識別情報」とは、薬剤の種類(薬種)を識別するための文字、数字及び記号等であり、刻印あるいは印字によって形成されたものである。なお、本実施形態では、薬剤の表面に識別情報が刻印(凹部加工)によって形成されていることとする。ただし、上記の実施形態に限定されるものではなく、ピッキングされる薬剤の中に識別情報が形成されていないものが含まれていてもよく、また、印字によって識別情報が形成された薬剤が含まれていてもよい。
自動分包作業では、ピッキング作業でピッキングされた薬剤を薬剤師が図1に図示の分包機60のトレイにセットし、分包機60がトレイ内の薬剤を自動的に分包する。この際、ピッキングされた薬剤は、一服用分毎にトレイにセットされ、複数の包装袋1のそれぞれに一服用分の薬剤が分包される。包装袋1は、袋状の分包袋であり、光透過性を有する包装材である。包装袋1の材料としては、例えば、セロファンとポリエチレンとのラミネートフィルム及びポリエチレンフィルム等が挙げられる。
薬剤が分包された複数の包装袋1は、自動分包作業の終了時点において、図2に示すように連続して並んで帯状の包装袋連続体3を構成している。薬剤服用時には、包装袋連続体3から一袋分の包装袋1を切り離し、切り離した包装袋1に包まれた薬剤を服用する。図2は、包装袋連続体3を示した図である。
なお、複数の包装袋1は、自動分包作業の終了時点で包装袋連続体3として連続している場合に限らず、個々に分離していてもよい。
また、自動分包作業の終了時点において、包装袋連続体3の一端に位置する包装袋1は、図2に示すように、薬剤が入っていない空の包装袋1(以下、空袋1Aと言う。)となっている。空袋1Aは、内部に薬剤が入っていない点を除き、薬剤を包んだ状態の包装袋1と共通している。なお、空袋1Aについては、包装袋連続体3の端以外の場所に設けられていてもよく、また、包装袋連続体3中に空袋1Aが含まれていなくてもよい。
調剤鑑査作業では、図1に図示の薬剤判定装置10を用いて、処方される薬剤が正しいかどうかを鑑査する。具体的には、包装袋連続体3中の各包装袋1に包まれた薬剤の種類及び個数(厳密には、種類毎の個数)が、処方箋にて指示された内容どおりであるか否かを鑑査する。
処方作業は、患者(処方先)に対して、調剤鑑査作業で正しい(処方箋の内容に従っている)と判断された分包済みの薬剤の処方を行う。このとき、薬剤師は、包装袋連続体3の一端に位置する空袋1Aを取り外し、残った包装袋連続体3を患者に手渡す。
<<薬剤判定装置の構成>>
次に、薬剤判定装置10の構成について説明する。
薬剤判定装置10は、調剤鑑査用に用いられ、自動分包作業で包装袋1に包まれた薬剤の種類及び個数(厳密には、種類毎の個数)を判定する。ここで、一つの包装袋1に包まれた(分包された)薬剤は、本発明の「判定対象の薬剤」に相当する。
薬剤判定装置10は、図1に示すように、判定対象となる薬剤(詳しくは、各包装袋1に包まれた薬剤)の画像を撮影する機能を有する装置本体11と、装置本体11にて撮影された画像に基づいて調剤鑑査を行う機能を有する処理装置12と、によって構成されている。
装置本体11は、図1に図示の筐体13を有し、筐体13内に、図3に図示の搬送部14と配置部15と画像撮影部16と光照射部17とを有する。図3は、装置本体11の内部構造を示す概略図である。また、装置本体11の筐体13には、包装袋連続体3を装置本体11の内部に導入するための導入部13aと、装置本体11の内部に導入された包装袋連続体3を装置本体11の外に排出するための不図示の排出部と、が設けられている。
搬送部14は、装置本体11の内部に形成された搬送路18を有し、包装袋連続体3を搬送路18に沿って搬送するものである。導入部13aから装置本体11の内部に導入された包装袋連続体3は、搬送部14の搬送動作により、搬送路18の下流側に向かって移動し、やがて排出部を通過して装置本体11の外に排出される。ここで、「下流側」とは、搬送方向において排出部により近い側を意味し、上流側とは、下流側とは反対側、すなわち、搬送方向において導入部13aにより近い側を意味する。
なお、本実施形態において、搬送路18は、水平な経路となっており、搬送部14は、包装袋連続体3の長手方向が搬送路18(すなわち、搬送方向)に沿い、且つ、包装袋連続体3の厚み方向が上下方向(鉛直方向)に沿った状態で搬送する。
搬送部14は、図3に示すように、上流側駆動部14Uと下流側駆動部14Dとを有する。上流側駆動部14Uは、配置部15の上流側に配置されており、下流側駆動部14Dは、配置部15の下流側に配置されている。上流側駆動部14U及び下流側駆動部14Dの各々は、上下一対のニップローラ14a、14bと、上下一対のニップローラ14a、14bのうちの一方を回転駆動する不図示のモータと、を有する。上下一対のニップローラ14a、14bは、包装袋連続体3が通れる程度の隙間を空けて並んでおり、ローラ間に包装袋連続体3を挟持した状態で回転する。これにより、包装袋連続体3は、若干のテンション(張力)が掛かった状態で搬送される。
また、本実施形態では、上記のモータが断続的に回転することになっている。このため、搬送部14は、間欠的に搬送動作を行うことになる。一回の搬送動作では、包装袋連続体3が搬送方向に沿って所定量だけ移動する。一回の搬送動作における包装袋連続体3の移動量(搬送量)については、後述する処理装置12の制御部21によって設定される。
なお、本実施形態の搬送部14は、上記のモータの回転方向を切り換えることにより、搬送方向の上流側及び下流側の双方に搬送することが可能である。搬送の向きについては、処理装置12の制御部21によって設定される。
また、本実施形態では、ローラの回転駆動を利用した搬送機構(すなわち、ローラコンベア)を用いることとしたが、包装袋連続体3を好適に搬送し得るものである限り、他の搬送機構を利用してもよく、例えば、無端状のベルトの上面に包装袋連続体3を載せた状態でベルトを回転駆動させて包装袋連続体3を搬送するベルトコンベアを用いてもよい。
配置部15は、判定対象の薬剤が包装袋1に包まれた状態で配置される部分であり、図3に示すように、搬送路18の途中位置に設けられている。配置部15は、矩形枠体状の台であり、包装袋1が一つ載る程度のサイズを有する。また、搬送部14による包装袋連続体3の搬送により、包装袋連続体3中、配置部15に配置される包装袋1が順次切り換わる。
なお、配置部15に配置された状態にある包装袋1の上面(装置本体11の上側を向く表面、以下同様。)については、その全領域が露出しており、また、包装袋1の下面(装置本体11の上側を向く表面、以下同様。)については、縁部以外の領域が露出している。包装袋1の縁部とは、包装袋1を構成するフィルムシートを二枚重ねて圧着することで形成されたシール部分のことである。
画像撮影部16は、包装袋連続体3中の各包装袋1に包まれた薬剤、すなわち、判定対象の薬剤の画像を搬送路18の途中位置で包装袋1毎に撮影するものである。より詳しく説明すると、画像撮影部16は、配置部15に配置されている包装袋1及びその包装袋1内の薬剤の画像を、配置部15に配置されている包装袋1が切り換わる度に撮影する。
画像撮影部16は、図3に示すように、複数のカメラとして上下2つのカメラを有する。上側にあるカメラ(以下、第一カメラ16aと言う。)は、配置部15の直上位置に配置されており、配置部15に配置された包装袋1に包まれた薬剤の画像を上方から撮影する。下側のカメラ(以下、第二カメラ16bと言う。)は、配置部15の直下位置に配置されており、配置部15に配置された包装袋1に包まれた薬剤の画像を下方から撮影する。ここで、本実施形態において、「薬剤の画像」とは、包装袋1越しに撮影された薬剤の画像を意味する。
本実施形態では、搬送部14による搬送動作が間欠的に行われることになっており、画像撮影部16は、搬送動作の間に、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤の画像を撮影する。そして、画像撮影部16は、搬送動作により配置部15に配置される包装袋1が切り換わる都度、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤の画像を撮影する。
本実施形態において、第一カメラ16aの撮影範囲は、図4に示すように矩形領域(図4中、破線で示された矩形領域)であり、配置部15に配置された包装袋1の上面の全面と、その両側に位置する包装袋1の上面の一部(厳密には、端部分)と、を撮影可能な範囲と設定されている。換言すると、包装袋連続体3中、第一カメラ16aの撮影範囲内にある部分は、撮影対象部分3xに該当し、その部分には、図4に示すように、少なくとも包装袋3間の切り取り線3yが位置している。ここで、切り取り線3yは、包装袋連続体3において包装袋3間の境界位置に形成された境界凹部であり、より具体的には破線状の直線溝によって構成され、包装袋連続体3の横幅方向において包装袋連続体3の一端から他端に亘って形成されている。
なお、図4は、画像撮影部16の撮影範囲と、その範囲内に入っている包装袋連続体3の一部分を示す図である。
同様に、下側のカメラ16bの撮影範囲は、矩形領域であり、配置部15に配置された包装袋1の下面のうち、配置部15の内側にあって露出している領域と、その両側に位置する包装袋1の下面の一部(厳密には、端部分)と、を撮影可能な範囲に設定されている。換言すると、包装袋連続体3中、第二カメラ16bの撮影範囲内にある部分は、撮影対象部分3xに該当し、その部分には、少なくとも包装袋1間の切り取り線3yが含まれている。
なお、画像撮影部16は、被写体の画像データを取得する機能を有するものであればよく、例えば、CCD(Charge−CoupledDevice)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が挙げられるが、これらに限定されない。
また、本実施形態では、画像撮影部16が2台のカメラによって構成されていることとしたが、カメラの台数については、特に限定されるものではなく、1台のみであってもよく、あるいは、3台以上であってもよい。
また、本実施形態では、配置部15を上下に挟む位置にカメラが設置されていることとしたが、カメラの設置位置については、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤の画像を良好に撮影し得る位置である限り、任意の位置に設定することが可能である。
光照射部17は、画像撮影部16が画像を撮影する際に、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤(すなわち、判定対象の薬剤)に対して光を照射するものである。より詳しくは、光照射部17は、画像撮影部16が画像を撮影する際に、包装袋連続体3中、画像撮影部16の撮影範囲内にある包装袋1(厳密には、撮影対象部分3xの表面)に向けて光を照射する。
光照射部17は、図5に示すように、複数の発光部を有しており、本実施形態では4つの発光部17a、17b、17c、17dを有する。図5は、光照射部17が有する複数の発光部を上方から見たときの模式図である。4つの発光部17a、17b、17c、17dは、光照射部17が光を照射する際に用いる光源であり、図5に示すように配置部15の四方のそれぞれに配置されている。そして、光照射部17は、4つの発光部17a、17b、17c、17d(複数の発光部)を用いて、互いに異なる方向に光を照射する。
具体的に説明すると、2つの発光部17a、17bは、搬送方向において、配置部15から見て互いに反対側の位置に配置されており、互いに反対向きに光を発する。すなわち、一方の発光部17a(以下、第一発光部17aと言う。)は、搬送方向上流側から、搬送方向下流側にある配置部15に向かって光を発する。もう一方の発光部17b(以下、第二発光部17bと言う。)は、搬送方向下流側から、搬送方向上流側にある配置部15に向かって光を発する。
4つの発光部17a、17b、17c、17dのうち、残り2つの発光部17c、17dは、搬送方向を横切る方向(以下では、交差方向)において配置部15から見て互いに反対側の位置に配置されており、互いに反対向きに光を発する。すなわち、一方の発光部17c(以下、第三発光部17cと言う。)は、交差方向において一方側から、他方側にある配置部15に向かって光を発する。もう一方の発光部17d(以下、第四発光部17dと言う。)は、交差方向において他方側から、一方側にある配置部15に向かって光を発する。ここで、「交差方向の一方側」とは、例えば、配置部15の交差方向一端に近い側を意味し、「交差方向の他方側」とは、配置部15の交差方向他端側に近い側を意味する。
光照射部17は、上記4つの発光部17a、17b、17c、17dの一部又は全部を用いて、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤に対して光を照射する。このとき、光照射部17は、図3及び図5から分かるように、配置部15に配置された包装袋1、及びその包装袋1に包まれた薬剤(つまり、撮影対象部分3x)に対して光を斜め方向から照射する。これは、薬剤の表面に対して斜め方向から光を当てた場合、薬剤の表面に形成された識別情報の輪郭(特に、輪郭のうち、光の照射先にあるエッジ部分)を際立たせることができるからである。
また、本実施形態では、画像撮影部16が画像を撮影する際に光照射部17が用いる発光部17a、17b、17c、17dを切り換えることが可能である。具体的に説明すると、光照射部17は、4つの発光部17a、17b、17c、17dのうちの一つを用いて光を照射する。光照射部17が一つの発光部から光を照射している間に、画像撮影部16が、配置部15に配置された包装袋1に包まれた薬剤の画像を一回撮影する。その後、光照射部17は、発光部17a、17b、17c、17dのうち、直前に使用していた発光部を別の発光部に切り換え、切り換え後の発光部17a、17b、17c、17dを用いて光を照射する。その間に、画像撮影部16が、配置部15に配置された包装袋1に包まれた薬剤の画像を再度撮影する。
以降、同様の手順にて光照射部17が発光部17a、17b、17c、17dを順次切り換え、光照射部17が発光部17a、17b、17c、17dを切り換える度に、画像撮影部16が、配置部15に配置された包装袋1に包まれた薬剤の画像を撮影する。この結果、配置部15に配置された一つの包装袋1に包まれた薬剤に対して、光の照射方向別の画像(つまり、薬剤表面各部における光の反射具合が異なる4つの画像)が撮影されることになる。ただし、これに限定されるものではなく、4つの発光部17a、17b、17c、17dのうちの2〜4つが同時に点灯し、光照射部17が、配置部15に配置された一つの包装袋1に包まれた薬剤に対して、2〜4方向から同時に光を照射してもよい。
なお、光照射部17が光照射用に用いる発光部17a、17b、17c、17dとしては、公知の光源が利用可能であり、点光源、線光源及び面光源のうちのいずれを用いてもよい。具体的には、例えば、LED(LightEmitting Diode)、半導体レーザ(LD:LaserDiode)、及び有機EL(Electro−luminescence)などの電界発光によるもの、ハロゲン電球及び白熱電球などの放射熱によるもの、水銀灯及び蛍光灯などの放電発光によるもの、並びにこれらの光源と導光板又は光ファイバ等の導光部材とを組み合わせたものが利用可能である。
また、本実施形態では、光照射部17が4つの発光部17a、17b、17c、17dを有することとしたが、発光部(光源)の台数については特に限定されるものではなく、2つ以上設けられていればよい。
また、配置部15の周りに4つの発光部17a、17b、17c、17dを配置する代わりに、円環状の発光部を1つ配置してもよい。このような構成であれば、配置部15に対して360度全方位から光を照射することが可能である。
装置本体11内には、以上までに述べてきた部分(具体的には、搬送部14と配置部15と画像撮影部16と光照射部17)に加え、図3に図示の計測部19が設置されている。計測部19は、包装袋1の光学特性を計測するものであり、本実施形態では薬剤判定装置10が有する装置本体11の内部に設けられている。ここで、「包装袋1の光学特性」とは、包装袋1に包まれた薬剤を画像撮影部16が撮影した画像の鮮明度(換言すると、ぼやけ具合)に影響を及ぼす包装袋1の光学特性であり、より詳しくは、包装袋1の光透過性及び光散乱特性である。本実施形態に係る計測部19は、包装袋1の光透過率を計測する。ただし、これに限定されるものではなく、包装袋1の光学特性として、ヘイズ値(曇り度)を計測してもよい。
計測部19は、公知の光透過率計測器と同様の構成であり、図3に示すように、光源19a及び受光器19bを有する。光源19a及び受光器19bは、配置部15よりも搬送方向上流側に配置されており、上下方向において光源19a及び受光器19bの間には搬送路18の一部が介在している。したがって、包装袋連続体3中の各部(すなわち、各包装袋1)は、搬送部14によって搬送される際に光源19a及び受光器19bの間を通過する。計測部19は、光源19aと受光器19bの間にある包装袋1に向けて光源19aから特定の波長を照射し、包装袋1を透過した光を受光器19bにて受光する。そして、計測部19は、光源19aから照射された光の強度と、受光器19bにて受光された光の強度と、に基づいて光透過率を求める。なお、光源19aから照射される光の波長は、任意に設定することが可能である。
また、本実施形態において、計測部19は、搬送路18の途中位置で包装袋連続体3中の少なくとも一つの包装袋1を対象として、包装袋1の光学特性、厳密には光透過率を計測する。より具体的に説明すると、本実施形態では、計測部19が包装袋連続体3中、薬剤が入っていない空の包装袋1(すなわち、空袋1A)を対象として光透過率を計測する。これにより、包装袋1の光透過率をより正確に計測することが可能となる。ただし、これに限定されるものではなく、薬剤を包んだ状態の包装袋1を対象として光透過率を計測してもよい。
また、本実施形態において、計測部19は、新たな包装袋連続体3が装置本体11内に導入される度に、その包装袋連続体3中にある空袋1Aを対象として光透過率の計測を行う。
処理装置12は、調剤鑑査を実施するにあたり、一連の情報処理を実行するものであり、本実施形態では、装置本体11に外付けされたパーソナルコンピュータ(PC)によって構成されている。ただし、これに限定されるものではなく、装置本体11に内蔵されたコンピュータによって処理装置12が構成されていてもよい。
また、処理装置12は、装置本体11、処方条件入力装置50、及び後述するサーバコンピュータ70と通信可能に接続されている。なお、処理装置12と各機器との接続方式については有線接続方式であってもよく、若しくは無線接続方式であってもよい。
また、処理装置12は、図6に示すように、制御部21、処方条件情報取得部22、画像取得部23、前処理部24、判定部25、特性情報取得部28及び更新処理部29を有する。図6は、処理装置12の構成を示すブロック図である。これらの各部は、処理装置12が備える不図示のCPU(CentralProcessing Unit)及びメモリ等のハードウェア機器と、処理装置12に格納された情報処理プログラムとが協働することで実現される。この情報処理プログラムは、同プログラムが記憶されたCD−ROM(CompactDisc Read Only Memory)等の記録媒体から読み出して取得してもよく、あるいは、所定のサイトからネットワーク経由でダウンロードして取得してもよい。
なお、本実施形態では、処理装置12の各機能部(具体的には、制御部21、処方条件情報取得部22、画像取得部23、前処理部24、判定部25、特性情報取得部28及び更新処理部29)が一台のパーソナルコンピュータによって構成されているが、これに限定されるものではなく、上記の機能部のうちの一部が一台のパーソナルコンピュータによって構成されており、残りの機能部が別のパーソナルコンピュータによって構成されていてもよい。
制御部21は、装置本体11に搭載された駆動制御回路11aを介して装置本体11各部(具体的には、搬送部14、画像撮影部16、光照射部17及び計測部19)と電気的に接続されており、装置各部を制御する。
より詳しく説明すると、制御部21は、搬送部14の搬送動作に関して、一回の搬送動作における搬送量、搬送の向き、及び搬送動作のタイミング等を制御する。また、制御部21は、画像撮影部16の撮影動作に関して、画像撮影部16が有する2台のカメラ16a、16bの中で使用するカメラ、及び画像撮影のタイミング等を制御する。また、制御部21は、光照射部17の光照射動作に関して、光照射部17が有する4つの発光部17a、17b、17c、17dの中で使用する発光部、及び光照射のタイミング等を制御する。
また、制御部21は、計測部19の光透過率計測に関して、計測タイミング(計測開始時点)を制御する。具体的には、包装袋連続体3が装置本体11内に導入され、包装袋連続体3の先端(搬送方向において最も下流側に位置する端)が搬送路18中、計測部19の光源19aと受光器19bとの間の直前位置を通過した時点で、制御部21は、光源19aを点灯し、計測部19に光透過率の計測を開始させる。
処方条件情報取得部22は、処方条件入力装置50と通信可能に接続されており、処方条件入力装置50と通信することにより、処方条件情報を取得する。ここで、処方条件情報とは、処方条件を示す情報であり、具体的には、薬剤師が処方条件入力装置50に入力した処方条件を示す電子データである。
なお、本実施形態では、処方条件入力装置50において処方条件の入力が完了すると、処方条件入力装置50から処方条件情報取得部22に向けて処方条件情報が自動的に送られ、処方条件情報取得部22が上記の処方条件情報を受信することになっている。ただし、これに限定されるものではなく、処方条件情報取得部22から情報送信要求が送られ、この要求を処方条件入力装置50が受け付けた時点で処方条件入力装置50が処方条件情報を送信してもよい。より具体的に説明すると、処方条件を特定するための文字列情報、
あるいは二次元バーコード情報が包装袋連続体3の先端部(包装袋連続体3中、最初に装置本体11内に導入される部分)に印刷されており、包装袋連続体3が装置本体11内に導入された際に処方条件情報取得部22が上記の印刷情報を読み取る。その後、処方条件情報取得部22は、読み取った印刷情報に基づき、装置本体11内に導入された包装袋連続体3中の各包装袋1に分包された薬剤に係る処方条件を示す処方条件情報を、処方条件入力装置50に対して要求する。この要求を受け付けた処方条件入力装置50は、要求を解析し、要求に係る処方条件情報を特定し、特定した処方条件情報を処理装置12に向けて送信する。
画像取得部23は、画像撮影部16(厳密には、第一カメラ16a及び第二カメラ16b)と接続されており、ネットワークを介して、画像撮影部16が撮影した画像を取得する。ここで、画像取得部23が取得する画像とは、画像データのことであり、具体的には、JPEG(Joint PthotographicExperts Group)形式、GIF(GraphicsInterchange Format)形式、PNG(PortableNetwork Graphics)形式、TIFF(TaggedIm
age File Format)形式、及びBMP(Bitmap Image)形式等の画像データである。
なお、画像取得部23は、画像撮影部16が画像を撮影する度、画像撮影部16から画像を取得する。より詳しく説明すると、本実施形態では、前述したように、薬剤が分包された一つの包装袋1につき、画像が撮影条件別に複数回(具体的には8回)撮影されることになっている。したがって、画像取得部23は、各包装袋1及びその包装袋1に包まれた薬剤について、撮影条件別の画像(すなわち、8枚の画像)を取得することになる。また、配置部15に配置される包装袋1が切り換わると、画像撮影部16が新たに画像を撮影条件別に撮影するため、これに伴って、画像取得部23が、新たに撮影された撮影条件別の画像を取得することになる。
前処理部24は、画像取得部23が画像撮影部16から取得した画像(つまり、判定対象の薬剤の画像データ)に対して前処理を実行する。前処理とは、画像取得部23が取得した画像に写った薬剤の表面に形成された識別情報を強調するための処理である。
具体的に説明すると、本実施形態では、前述したように、一つの包装袋1に包まれた薬剤に対して、画像を光の照射方向を変えて複数回(具体的には、4回)撮影する。ここで、光の照射方向別の画像のそれぞれでは、画像に写った薬剤の表面において光の照度ムラが生じている。こうした光の照度ムラは、薬剤の表面に形成された識別情報を検出及び特定する際に影響を及ぼす。また、光の照度ムラは、光の照射方向に応じて異なる。そこで、前処理部24は、前処理を実行する。前処理では、光の照射方向別に撮影した画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、各画像に写った識別情報のエッジ(刻印の溝)の画素数に応じたサイズのエッジ抽出フィルタをそれぞれ用いて、照射方向別のエッジ画像を生成し、その後に複数のエッジ画像を合成して合成画像を生成する。エッジ抽出フィルタとしては、ソーベルフィルタ、ラプラシアンフィルタ、及びキャニーフィルタのうちの少なくとも一つを含むことができ、後の判定方法に応じて適宜選択することができる。
以上の前処理が実施された画像は、光の照射方向に応じて変化する光の照度ムラが極力排除され、画像に写った薬剤の表面に形成されている識別情報が強調された画像となる。詳しくは、薬剤の表面において、識別情報を示す刻印の溝よりも小さい模様及び傷等の刻印以外の情報を低減し、刻印を抽出することが可能となる。
判定部25は、配置部15に配置された包装袋1に包まれた薬剤(すなわち、判定対象の薬剤)の種類及び個数を判定するものである。より詳しく説明すると、判定部25は、処方条件情報から特定される薬剤の種類と対応したマスタ画像と、画像撮影部16が撮影した判定対象の薬剤の画像(厳密には、前処理部24によって前処理が実施された画像)とを用いる。そして、判定部25は、これらの画像を用いて、判定対象の薬剤の種類及び種類別の個数を判定する。
判定部25によって行われる判定の具体的な手順について、図7を参照しながら説明する。図7は、判定部25による判定フローの大まかな流れを示す図である。判定部25による判定フローでは、図7に示すように、先ず、前処理が実施された画像から、判定対象の薬剤が写っている領域を特定する工程が行われる(S001)。以下では、前処理が実施された画像を「前処理後画像」と呼ぶこととし、前処理後画像の中で薬剤が写っている領域を「薬剤存在領域」と呼ぶこととする。
なお、本実施形態では、前処理を先に実行してから、前処理によって得られた前処理後画像に対して薬剤存在領域特定工程S001、及び後述の画素群抽出工程S002を実施することとしたが、これに限定されるものではない。光の照射方向別に取得した撮影画像のそれぞれに対して薬剤存在領域特定工程S001及び画素群抽出工程S002を実施し、これらの工程が実施された照射方向別の撮影画像(厳密には、後述の薬剤抽出画像X)に対して、前処理を実施する形でもよい。
薬剤存在領域特定工程S001では、前処理後画像に対して公知のエッジ抽出処理及びセグメンテーション処理を行い、画像内の薬剤の輪郭を特定する。そして、特定された輪郭に囲まれた領域を薬剤存在領域として特定する。前処理後画像に複数の薬剤が写っている場合には、薬剤の個数だけ薬剤存在領域を特定する。
薬剤存在領域特定工程S001の実施後、判定部25は、前処理後画像を構成する画素群の中から、薬剤存在領域に該当する画素群を抽出する(S002)。抽出された画素群は、図8に示すように、薬剤存在領域を取り囲む矩形(図8中の符号Xが付された矩形領域)をなしている。以下では、抽出された画素群を「薬剤抽出画像X」と呼ぶこととする。なお、薬剤存在領域特定工程S001において複数の薬剤存在領域を特定した場合には、薬剤存在領域別に薬剤抽出画像Xを特定することになる。
ちなみに、図8は、薬剤抽出画像Xの説明図である。なお、図8に図示の画素サイズ(画像に対する画素1つあたりの大きさ)は、図示の都合上、実際の画素サイズよりも大きく描かれている。
また、画素群抽出工程S002では、薬剤抽出画像Xのサイズ及び位置を特定する。ここで、薬剤抽出画像Xのサイズは、薬剤抽出画像Xをなす矩形状の画素群の面積であり、図8に図示した二辺の長さd1、d2の積に相当する。
また、薬剤抽出画像Xの位置は、基準位置を原点とし、搬送方向及び交差方向を座標軸方向としたときの座標位置であり、具体的には、薬剤抽出画像Xをなす矩形状の画素群の対角線の交点位置であり、図8に図示の点Pの座標に相当する。このように薬剤抽出画像Xの位置を特定することにより、画像撮影部16の撮影範囲(厳密には、第一カメラ16a及び第二カメラ16bのそれぞれの画角)に対する、判定対象の薬剤の撮影位置(配置位置)を特定することが可能となる。なお、本実施形態では、原点とする基準位置は、画像撮影部16(厳密には、第一カメラ16a及び第二カメラ16b)の撮影範囲の中央位置に設定されているが、これに限定されるものではなく、任意の位置に設定してもよい。
画素群抽出工程S002の実施後、判定部25は、処方条件情報取得部22を用いて取得した処方条件情報から、処方すべき薬剤の種類を特定し、特定した種類の薬剤のマスタ画像をデータベースDBから読み出す工程を行う(S003)。本工程S003では、処方すべき薬剤の種類が複数ある場合、すなわち、複数種類の薬剤が包装袋1に分包される場合には、種類別にマスタ画像を読み出す。
ここで、マスタ画像について説明すると、マスタ画像は、薬剤の種類に対応させて登録された薬剤の画像であり、処方条件情報から特定される種類の薬剤について予め登録された画像である。また、本実施形態において、マスタ画像は、包装袋1に包まれた状態で撮影された薬剤の画像から得られる。
なお、新規の薬剤等についてはマスタ画像が登録されてない場合があり、マスタ画像が登録されていない種類の薬剤については、その薬剤を画像撮影部16が初めて撮影したときの撮影画像(厳密には、薬剤抽出画像X)を、マスタ画像として登録することになっている。以下では、判定対象の薬剤のすべてについてマスタ画像が予め登録されているケースを想定して説明することとする。
データベースDBについて説明すると、図9に示すように、データベースDBは、各薬剤のマスタ画像と薬剤の種類とを互いに対応付けて登録したものである。図9は、マスタ画像を登録したデータベースDBの説明図である。
また、データベースDBには、マスタ画像のほかに、薬剤名称、薬剤の表面に形成された識別情報、薬剤のサイズとしての平面視サイズ及び厚みが薬剤の種類と対応付けて登録されている。なお、データベースDBに登録される情報については、上記の情報に限定されるものではなく、上記の情報以外の情報が登録されていてもよい。
また、本実施形態において、データベースDBは、外部のサーバコンピュータ70に設けられており、判定部25は、サーバコンピュータ70と通信してデータベースDBにアクセスする。すなわち、本実施形態では、サーバコンピュータ70がマスタ画像を記憶している。ただし、これに限定されるものではなく、マスタ画像を含むデータベースDBが、処理装置12内の記憶媒体に記憶されてもよい。
マスタ画像をデータベースDBから読み出した後、判定部25は、読み出したマスタ画像と、画像撮影部16が撮影した判定対象の薬剤の画像(厳密には、薬剤抽出画像X)とを用いて、判定対象の薬剤の種類及び種類別の個数を判定する(S004)。
具体的に説明すると、判定工程S004では、複数の薬剤抽出画像Xのそれぞれに対して、マスタ画像とのテンプレートマッチングを行い、マスタ画像との間の類似度(相関値)を評価する。類似度の評価方法については、公知のジオメトリックハッシング法又はLLHA(LocallyLikely ArrangementHashing)法が利用可能である。そして、複数の薬剤抽出画像Xのうち、最も類似度が高い画像に写った薬剤の種類が、マスタ画像に写った薬剤の種類と一致すると判定する。
以上の手順を、読み出したマスタ画像の分だけ(つまり、処方条件情報取得部22が取得した処方条件情報が示す薬剤の種類の数だけ)繰り返すことにより、判定対象の薬剤のそれぞれについて種類が特定される。その後、判定部25は、種類が特定された薬剤の数をそれぞれ集計し、種類別の個数を計数する。
以上までに説明した手順にて、判定部25による判定が行われる。そして、配置部15に配置される包装袋1が切り換わると(すなわち、判定対象の薬剤が変わると)、その度に判定が繰り返し行われる。つまり、配置部15に配置される包装袋1が切り換わり、その包装袋1に包まれた薬剤の画像が取得されると、新たに取得した画像を用いて判定が行われる。なお、包装袋連続体3中の各包装袋1に同一の処方条件で薬剤が分包される場合、2回目以降の判定では、1回目の判定で用いたマスタ画像をそのまま流用できるので、マスタ画像をデータベースDBから読み出す工程S003を省いてもよい。
以上までに説明してきた手順により、包装袋連続体3中の各包装袋1(厳密には、空袋1A以外の包装袋1)に包まれた薬剤に対して判定が行われることで、それぞれの包装袋1に薬剤が処方箋の指示どおりに正しく分包されているどうかを鑑査することが可能である。
特性情報取得部28は、特性情報を取得するものである。特性情報とは、前述した包装袋1の光学特性を示す情報であり、具体的には、包装袋1の光透過性及び光散乱特性のうちの少なくとも一方を示す情報であり、本実施形態では包装袋1の光透過率を示す情報である。さらに詳しく説明すると、本実施形態に係る特性情報取得部28は、計測部19が計測した光学特性、具体的には光透過率の計測結果を示す特性情報を取得する。つまり、特性情報取得部28は、計測部19が包装袋連続体3中の空袋1Aを対象として包装袋1の光透過率を計測すると、計測部19が有する不図示の伝送路を通じて、計測部19が計測した包装袋1の光透過率を示す情報(データ)を、計測部19から取得する。
以上のように、特性情報取得部28は、包装袋連続体3中の空袋1Aの光透過率を示す情報を取得するが、光透過率は、包装袋連続体3において空袋1Aとその他の包装袋1との間で同一である。したがって、特性情報取得部28は、包装袋連続体3中の空袋1Aの光透過率を示す情報を取得することで、装置本体11内に導入された包装袋連続体3中のすべての包装袋1の特性情報(光透過率を示す情報)を取得することになる。ただし、これに限定されるものではなく、計測部19が包装袋連続体3中の各包装袋1の光透過率を1つずつ計測し、包装袋1の光透過率を示す情報を、特性情報取得部28が包装袋1別に取得してもよい。
また、新たな包装袋連続体3が薬剤判定装置10の装置本体11内に導入されて、計測部19がその包装袋連続体3中の空袋1Aを対象として包装袋1の光透過率を計測すると、特性情報取得部28は、その度に計測部19の計測結果を取得する。
更新処理部29は、更新処理を実行するものである。更新処理とは、データベースDBに登録されたマスタ画像のうち、更新対象のマスタ画像を、種類が更新対象のマスタ画像に写った薬剤の種類と一致すると判定部25が判定した判定対象の薬剤の画像(厳密には、薬剤抽出画像X)に更新するための処理である。
更新処理において、更新処理部29は、更新要求データを生成し、この更新要求データをサーバコンピュータ70に向けて送信する。更新要求データは、更新対象のマスタ画像を特定するデータと、更新後のマスタ画像となる判定対象の薬剤の画像(すなわち、種類が更新対象のマスタ画像に写った薬剤の種類と一致すると判定部25が判定した判定対象の薬剤の画像)と、を含む。サーバコンピュータ70は、更新要求データを更新処理部29から受信すると、データベースDBから更新対象のマスタ画像を特定し、そのマスタ画像を、更新処理部29から送られてきた判定対象の薬剤の画像に変更する。
また、サーバコンピュータ70は、マスタ画像を更新すると、マスタ画像管理テーブルMTを更新する。マスタ画像管理テーブルMTは、データベースDBに登録されている最新のマスタ画像に関する情報を収録したものであり、図10に示すように、各マスタ画像について薬剤の種類、登録時、特性情報、及び撮影位置等を収録している。図10は、マスタ画像管理テーブルMTについての説明図である。
マスタ画像管理テーブルMTに収録されている情報について説明すると、薬剤の種類は、マスタ画像に写った薬剤の種類を示す情報である。登録時は、マスタ画像の登録時刻、または直近の更新時刻を示す情報である。特性情報は、マスタ画像に写った包装袋1の特性情報、より詳しくは、マスタ画像に写った薬剤を包んだ包装袋1について特性情報取得部28が取得した特性情報であり、具体的には、薬剤判定装置10の計測部19によって計測された光透過率を示す情報である。
撮影位置は、マスタ画像として登録された判定対象の薬剤の画像が画像撮影部16によって撮影された時点での、画像撮影部16に対する判定対象の薬剤の位置である。より詳しく説明すると、撮影位置は、基準位置を原点とし、搬送方向及び交差方向を座標軸方向としたときの座標位置であり、マスタ画像として登録された薬剤抽出画像Xの中央位置を示し、図8に図示の点Pの座標に相当する。なお、本実施形態において、原点である基準位置は、画像撮影部16の撮影範囲(厳密には、第一カメラ16a及び第二カメラ16bのそれぞれの画角)の中央位置に設定されている。ただし、これに限定されるものではなく、基準位置については、任意の位置に設定してもよい。
また、マスタ画像管理テーブルMTに収録される情報については、上述した情報に限定されず、上述した情報以外の情報が含まれていてもよい。また、本実施形態では、マスタ画像管理テーブルMTがサーバコンピュータ70に記憶されていることとしたが、これに限定されず、処理装置12の記憶媒体にマスタ画像管理テーブルMTが記憶されてもよい。
更新処理部29についての説明に戻ると、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類(すなわち、処方条件情報から特定される薬剤の種類)と一致すると判定部25が判定したとき、更新処理部29は、更新処理実行の要否を判断し、更新処理の実行が必要であると判断した場合に更新処理を実行する。
具体的に説明すると、判定対象の薬剤についての適否を判定する前段階では、特性情報取得部28が、包装袋連続体3の各包装袋1の光透過率を示す特性情報を取得している。それ故に、判定対象の薬剤の種類がマスタ画像に写った薬剤の種類と一致すると判定部25が判定すると、その場合には、特性情報取得部28は、種類がマスタ画像に写った薬剤の種類と一致すると判定部25が判定した判定対象の薬剤について、その薬剤を包む包装袋1の光透過率を示す情報を取得していることになる。なお、以下では、説明の便宜上、種類がマスタ画像に写った薬剤の種類と一致すると判定部25が判定した判定対象の薬剤を、「判定済み薬剤」と呼ぶこととし、判定済み薬剤を包んだ包装袋1を、「判定済み薬剤用包装袋」と呼ぶこととする。
更新処理部29は、判定済み薬剤用包装袋について特性情報取得部28が取得した特性情報が示す光学特性(すなわち、判定済み薬剤用包装袋の光透過率)が、その光学特性に対する基準を満たしているかどうかを判断する。そして、判定済み薬剤用包装袋の光透過率が基準を満たしているとき、更新処理部29は、判定済み薬剤の画像をマスタ画像とする更新処理を実行する。
更新処理実行の要否の判断について詳しく説明すると、更新処理部29は、図11に図示の判断フロー(以下、更新フローと言う。)に従って、更新処理実行の要否を判断する。図11は、更新フローの流れを示す図である。以下、更新処理実行の要否を更新処理部29がどのように判断するかについて、図11を参照しながら説明する。
更新処理部29は、特性情報取得部28によって取得された判定済み薬剤用包装袋の特性情報が示す光学特性(すなわち、光透過率)が閾値を超えたどうかを判断する(S051)。ここで、閾値とは、更新処理を実行するか否かを判断するための基準として予め設定された値であり、処理装置12の記憶媒体に記憶されている。更新処理部29は、この閾値を読み出して、判定済み薬剤用包装袋の光透過率と閾値との大小関係を特定する。
そして、更新処理部29は、判定済み薬剤用包装袋の光透過率が閾値を超えていると判断したとき(S051でYes)、さらに、判定済み薬剤用包装袋の光透過率がマスタ画像に写った包装袋1の光透過率を超えているかどうかを判断する(S052)。具体的に説明すると、更新処理部29は、サーバコンピュータ70と通信し、サーバコンピュータ70に記憶されたマスタ画像管理テーブルMTにアクセスする。更新処理部29は、マスタ画像管理テーブルMTから、判定済み薬剤の種類(換言すると、処方条件情報から特定される薬剤の種類)と対応するマスタ画像の特性情報を読み出し、読み出した特性情報が示す光学特性を特定する。例えば、図10に図示のマスタ画像管理テーブルMTを用いるケースにおいて、判定済み薬剤の種類がF1である場合には、特性情報が示す光学特性(すなわち、光透過率)は、90である。
そして、更新処理部29は、判定済み薬剤用包装袋の光透過率がマスタ画像に写った包装袋1の光透過率を超えたと判断した場合(S052でYes)、判定済み薬剤の画像をマスタ画像とする更新処理を実行する(S053)。
以上のように、更新処理部29は、特性情報取得部28によって取得された判定済み薬剤用包装袋の光透過率が閾値、及びマスタ画像に写った包装袋1の光透過率を超えているかどうかを判断する。そして、更新処理部29は、判定済み薬剤用包装袋の光透過率が閾値、及びマスタ画像に写った包装袋1の光透過率を超えているときに更新処理を実行する。このようにすれば、より鮮明度の高いクリアな画像がマスタ画像として残るようにマスタ画像を更新することができるため、更新後のマスタ画像を用いた以降の判定(鑑査)をより精度よく行うことが可能となる。
一方、更新処理部29は、判定済み薬剤用包装袋の光透過率がマスタ画像に写った包装袋1の光透過率を超えていないと判断した場合(S052でNo)、判定済み薬剤の撮影位置がマスタ画像に写った薬剤の撮影位置よりも画像撮影部16の撮影範囲の中央に近いかどうかを判断する(S054)。かかる判断の手順について、図12に図示のケースを例に挙げて具体的に説明する。図12は、更新処理実行の要否を判断する手順についての説明図であり、詳しくは、更新フローのステップS054における判断手順について説明するために挙げた具体例を示す図である。
図12について説明すると、図の左側半分には、包装袋連続体3において判定済み薬剤fnを含む撮影対象部分3xを画像撮影部16が撮影したときの撮影画像Jnが図示されている。図12の右側半分には、判定済み薬剤を対象とした判定において用いられたマスタ画像Jmと、そのマスタ画像Jmが抽出された抽出元画像Joとが図示されている。マスタ画像Jmに写った薬剤(以下、マスタ画像の薬剤fmと言う。)は、過去の判定済み薬剤に該当する。また、抽出元画像Joは、包装袋連続体3においてマスタ画像の薬剤fmを含む撮影対象部分3xを画像撮影部16が撮影したときの撮影画像に該当する。
更新処理部29は、判定済み薬剤fnの撮影位置として、判定済み薬剤fnが写った画像である薬剤抽出画像Xの中央の座標位置(図12中、記号Pnにて表される位置)を特定する。かかる位置は、判定フローにおいて特定される薬剤抽出画像Xの位置と同位置である。
また、更新処理部29は、マスタ画像の薬剤fmの撮影位置として、マスタ画像Jmの中央の座標位置(図12中、記号Pmにて表される位置)を特定する。より具体的に説明すると、更新処理部29は、サーバコンピュータ70に記憶されたマスタ画像管理テーブルMTにアクセスし、マスタ画像の薬剤fmの種類と対応するマスタ画像の撮影位置(図10参照)を読み出すことにより、マスタ画像Jmの中央の座標位置Pmを特定する。
上記2つの座標位置Pm、Pnを特定した後、更新処理部29は、いずれの座標位置が画像撮影部16の撮影範囲の中央位置(図12中、記号Qにて表される位置)に近いかを判断する。図12に図示のケースでは、座標位置Pn、すなわち、判定済み薬剤fnの撮影位置の方が画像撮影部16の撮影範囲の中央位置により近いと、更新処理部29が判断することになる。
そして、更新処理部29は、判定済み薬剤fnの撮影位置がマスタ画像の薬剤fmの撮影位置よりも画像撮影部16の撮影範囲の中央Qに近いと判断すると(S054でYes)、判定済み薬剤の画像をマスタ画像とする更新処理を実行する(S053)。
以上のように、更新処理部29は、判定済み薬剤用包装袋について特性情報取得部28が取得した特性情報が示す光透過率が閾値を超えており、且つ、判定済み薬剤の撮影位置がマスタ画像の薬剤の撮影位置よりも画像撮影部16の撮影範囲の中央Qに近いかどうかを判断する。そして、更新処理部29は、判定済み薬剤用包装袋の光透過率が閾値を超えており、且つ、判定済み薬剤の撮影位置がマスタ画像の薬剤の撮影位置よりも画像撮影部16の撮影範囲の中央Qに近いときに更新処理を実行する。画像撮影部16の撮影範囲の中央Qに近い位置で撮影された薬剤の画像は、中央Qから離れた位置で撮影された薬剤の画像に比べて、薬剤の正面画像に近い画像となる。したがって、上記のようにすれば、正面画像により近い画像をマスタ画像として残るようにマスタ画像を更新することができるため、更新後のマスタ画像を用いた以降の判定をより精度よく行うことが可能となる。
一方、更新処理部29は、判定済み薬剤fnの撮影位置がマスタ画像の薬剤fmの撮影位置よりも画像撮影部16の撮影範囲の中央Qから離れていると判断したときには(S054でNo)、更新処理を実行しない。また、更新処理部29は、特性情報取得部28によって取得された判定済み薬剤用包装袋の光透過率が閾値を下廻ると判断したときも(S051でNo)、更新処理を実行しない。
以上までに更新フローの流れについて一例を挙げて説明してきたが、上記の流れに限定されるものではなく、例えば、特性情報取得部28によって取得された判定済み薬剤用包装袋の光透過率が閾値を超えている場合には、常に更新処理を実行してもよい。また、閾値を用いなくてもよく、その場合には、判定済み薬剤用包装袋の光透過率がマスタ画像に写った包装袋1の光透過率を超えているかを判断して(すなわち、前述のステップS052と同様の判断を行う)、更新処理実行の要否を判断してもよい。
また、マスタ画像が登録されてない新規薬剤については、前述したように、その新規薬剤を画像撮影部16が初めて撮影したときの撮影画像(厳密には、薬剤抽出画像X)を、マスタ画像として登録することになっている。ここで、新規薬剤の撮影画像が複数得られた場合、例えば、同じ種類の新規薬剤が一つの包装袋1の中に複数存在する場合、最も基準を満たしている一の撮影画像をマスタ画像として登録するのが望ましい。
<<薬剤判定装置の基本動作>>
次に、薬剤判定装置10の基本動作について図13を参照しながら説明する。図13は、薬剤判定装置10の基本動作の流れを示す図である。なお、以下に説明する薬剤判定装置10の基本動作において、本発明の薬剤判定方法が実現されており、特に、基本動作中の処方条件情報の取得S011、特性情報取得工程S013、画像撮影工程S016、判定フローS022及び更新処理実行工程S025が、本発明の薬剤判定方法を構成する。
先ず、処方箋入力作業において処方条件情報の入力が完了すると、処理装置12の処方条件情報取得部22が、処方条件入力装置50と通信し、入力された処方条件を示す処方条件情報を取得する(S011)。
一方で、入力された処方条件(換言すると、処方条件情報取得部22が取得した処方条件情報が示す処方条件)に則って分包機60により自動分包作業が行われると、薬剤を包んだ包装袋1が連なった帯状の包装袋連続体3が作成される。この包装袋連続体3は、装置本体11の筐体13に形成された導入部13aによって、装置本体11内部に導入される(S012)。
装置本体11内に導入された包装袋連続体3は、搬送部14によって搬送路18を搬送方向下流側に向かって移動する。このとき、包装袋連続体3は、空袋1Aが位置する側の端(先端)が搬送方向下流側に位置した状態で移動する。包装袋連続体3が搬送方向下流側に移動すると、やがて、包装袋連続体3の先端側に位置する空袋1Aが計測部19の光源19aと受光器19bとの間を通過する。このとき、計測部19が、包装袋1の特性情報として空袋1Aの光透過率を計測する。そして、計測部19が計測した光透過率を示す特性情報が処理装置12に送られ、処理装置12の特性情報取得部28が、計測部19から送られてくる特性情報を取得する。
その後、搬送部14による搬送動作が間欠的に繰り返し行われる(S014)。これにより、包装袋連続体3中の空袋1Aが配置部15上を通過した後、空袋1Aと隣接する包装袋1が配置部15に配置されるようになる。そして、搬送動作が行われる度に、包装袋連続体3中、配置部15に配置される包装袋1が切り換わる。各搬送動作では、包装袋連続体3を所定量だけ搬送方向下流側に搬送する。
搬送動作と次の搬送動作との間の期間(つまり、包装袋連続体3の搬送が停止している間)には、光照射部17が、配置部15に配置された包装袋1に包まれた薬剤に対して光を照射する(S015)。その状態で、画像撮影部16が第一カメラ16a及び第二カメラ16bのそれぞれを用いて、配置部15に配置された包装袋1に包まれた画像(すなわち、判定対象の薬剤)を撮影する(S016)。
光照射部17による光照射工程S015について詳しく説明すると、光照射部17は、配置部15の周りに配置された4つの発光部17a、17b、17c、17dの一つからから光を照射した後、発光部を順次切り換え(S017、S018)、切換え後の発光部17a、17b、17c、17dから光を再度照射する。つまり、光照射部17は、光の照射方向を順次切り換え、それぞれの方向から光を照射する。そして、画像撮影部16は、判定対象の薬剤の画像を光の照射方向別に撮影する。これにより、配置部15に配置された包装袋1に包まれている薬剤については、計8つ(カメラの台数×光の照射方向の数)の画像が撮影されることになる。
なお、上述した光照射工程S015、画像撮影工程S016、及び発光部切換え工程S018は、配置部15に配置されている包装袋1が搬送動作に伴って切り換わる度に繰り返し行われる。
撮影された画像は、随時、処理装置12の画像取得部23に伝送される(S019)。その後、画像取得部23が取得した画像に対して、処理装置12の前処理部24によって前処理が実施される(S020)。これにより、薬剤の表面に刻印にて形成された識別情報のエッジが強調された前処理後画像が生成される。
一方で、処理装置12の判定部25が、前処理後画像に写った薬剤(すなわち、判定対象の薬剤)に係る処方条件を特定する(S021)。具体的には、S011で取得した処方条件情報から、包装袋連続体3中の各包装袋1に分包された薬剤に対して設定された処方条件(詳しくは、薬剤の種類及び種類別の個数)を特定する。
その後、判定部25は、上述した判定フローの手順により、包装袋連続体3中の各包装袋1に分包された薬剤の種類及び個数を判定する(S022)。判定フローにおいて、判定部25は、サーバコンピュータ70のデータベースDBにアクセスし、前工程S021で特定した処方条件(具体的には、薬剤の種類)と対応するマスタ画像を読み出す。そして、判定部25は、前処理後画像とマスタ画像とを用いて、配置部15に配置された包装袋1に包まれた薬剤の種類及び種類別の個数を判定する。
以上までに説明してきた搬送動作から判定フローまでの一連の工程S014〜S022は、包装袋連続体3中の各包装袋1内の薬剤に対して判定が終了するまで、配置部15に配置される包装袋1が切り換わる都度、繰り返し実施される(S023)。
判定部25は、包装袋連続体3中の各包装袋1に分包された薬剤を判定対象として上記の判定を行い、すべての判定が終了すると、その結果(判定結果)を示す文字情報をディスプレイに表示する(S024)。詳しく説明すると、判定部25は、配置部15に配置された包装袋1に包まれた薬剤の種類についての判定結果を報知するための文字情報をディスプレイに表示する。
なお、ディスプレイに表示する判定結果については、包装袋連続体3中のどの包装袋1に包まれた薬剤に対する判定結果であるかが明瞭に把握できればよく、包装袋1別に切り換えて判定結果を表示してもよく、あるいは、包装袋連続体3を構成する包装袋1のそれぞれの判定結果を、包装袋1の位置又は順序と対応付けつつ、まとめて表示してもよい。
一方、更新処理部29が、前述の更新フロー(図11参照)に従って更新処理実行の要否を判断し、処理実行が必要であると判断したときには更新処理を実行し、サーバコンピュータ70に記憶されたマスタ画像のうち、更新対象のマスタ画像を更新する(S025)。
そして、搬送部14の搬送動作によって包装袋連続体3が装置本体11の筐体13の排出部に到達し、包装袋連続体3の末端側にある包装袋1(搬送方向において最も上流側に位置する包装袋1)が筐体13の外に排出された時点で、薬剤判定装置10の基本動作が終了する。
なお、更新フローに則った更新処理実行の要否の判断、及び、更新処理が必要であると判断した場合の更新処理の実行については、包装袋連続体3が筐体13の外に排出された後の時点で行われてもよい。
<<本実施形態に係る薬剤判定装置の有効性>>
本実施形態に係る薬剤判定装置10は、以上までに説明してきたように、マスタ画像の更新の要否を判断するにあたり、判定済み薬剤用包装袋について、画像の鮮明度に影響を及ぼす特性を示す特性情報(具体的には、光透過率を示す情報)を取得する。そして、取得した特性情報が示す特性(具体的には、光透過率)が基準を満たしたときにのみ、判定済み薬剤の画像をマスタ画像とするための更新処理を実行する。
以上のように、本実施形態に係る薬剤判定装置10によれば、特許文献1に記載した判定方法のように、判定においてマスタ画像に写った薬剤の種類と一致すると判定された薬剤の撮影画像を、常に新たなマスタ画像としてマスタ画像を更新するとは限らない。具体的には、撮影画像(すなわち、新たなマスタ画像の候補)の鮮明度を考慮した上で、マスタ画像更新の要否を判断する。これにより、更新が必要である場合(例えば、マスタ画像の更新が後の判定で有利になる場合)にのみ、マスタ画像の更新を行うことが可能となる。この結果、マスタ画像を常に更新する場合と比較して、更新に要する時間を短縮することが可能となる。また、より鮮明度の高い画像をマスタ画像として残すことができるので、それ以降には、薬剤の種類を精度よく判定することが可能となる。
<<その他の実施形態>>
以上までに本発明の薬剤判定装置及び薬剤判定方法について、具体的な一例を挙げて説明してきたが、上記の実施形態は、あくまでも一例であり、他の実施形態も考えられる。例えば、上記の実施形態では、包装袋1内に複数の薬剤が分包されていて、これらの薬剤(複数の薬剤)が判定対象の薬剤となるケースを例に挙げて説明したが、これに限定されるものではない。包装袋1内に分包される薬剤の個数は、任意に設定することが可能であり、1つのみであってもよく、あるいは、2つ以上であってもよい。
また、上記の実施形態では、包装袋1の光学特性(光透過性又は光散乱特性)を、薬剤判定装置10内部に設けられた計測部19によって計測することとした。より具体的に説明すると、上記の実施形態では、包装袋連続体3を搬送している間に、計測部19が装置本体11内部において包装袋1の光透過率を計測することとした。ただし、これに限定されるものではなく、図14に図示の計測部19を用いて、包装袋1の光学特性を薬剤判定装置10の外で計測してもよい。図14は、積分球を用いて包装袋1の光学特性を計測する方法を示す模式図である。
図14に図示の計測部19は、薬剤判定装置10の外に配置された計測器である。この計測部19は、光源19cと、この光源19cと対向する位置に開口が形成された中空球体状の積分球19dと、積分球19d内に配置された遮光部19eと、積分球19d内の明るさを検知する検知部19fと、を有する。このような構成の計測部19において、積分球19d内に包装袋1を配置し、この包装袋1に対して光源19cからの光を積分球19dの開口を通じて照射する。包装袋1に照射された光は、散乱光及び全反射光として包装袋1の表面から出射される。このうち、全反射光は、遮光部19eによって遮断される。これに対して、散乱光は、積分球19dの内壁面に当たり拡散反射を繰り返す。なお、やがて、積分球19d内では明るさが均一化され、その明るさが検知部19fによって検知される。そして、検知部19fによって検知された積分球19d内の明るさと、光源19cから照射された光量との関係から、包装袋1の光透過性又は光散乱特性、具体的には光透過率又はヘイズ値が求められる。
以上のような構成の計測部19を用いて、薬剤判定装置10の外で、包装袋1の光透過性又は光散乱特性を計測した場合には、その計測結果を示す特性情報が計測部19から薬剤判定装置10の処理装置12に入力されることにより、処理装置12の特性情報取得部28が、薬剤判定装置10の外で計測された包装袋1の光学特性を示す特性情報を取得することになる。
また、上記の実施形態では、処理装置12の特性情報取得部28が、光透過度のような光透過性、及びヘイズ値のような光散乱特性を示す特性情報を取得することとした。ただし、特性情報については、上記の情報に限定されない。すなわち、特性情報は、画像撮影部16が撮影した画像の鮮明度に影響を及ぼす光学特性を示す情報であればよく、例えば、図15に示すコントラストと空間周波数との対応関係を示すModulationTransfer Function曲線(以下、MTF曲線)であってもよい。図15は、MTF曲線の一例を示す図である。包装袋1のMTF曲線は、公知の測定法(例えば、矩形波チャート法)を用いて測定可能である。
なお、特性情報取得部28は、包装袋1の光透過率、ヘイズ値、及びMTF曲線のうちの少なくとも一つを示す特性情報を取得すると好ましい。また、特性情報には、これら以外の光学特性が含まれていてもよい。
また、上記の実施形態では、薬剤師が患者に薬剤を処方するにあたって、包装袋1に分包された薬剤を鑑査するために用いられる薬剤判定装置10を例に挙げて説明した。ただし、薬剤判定装置10の用途は、上記の用途に限定されるものではなく、患者が病院等の施設に入院する際に薬剤を包装袋1に包まれた状態で持参したときに、施設のスタッフがその持参薬剤の種類及び数量(厳密には、種類別の数量)を把握する目的で薬剤判定装置10を利用してもよい。
1 包装袋
1A 空袋
3 包装袋連続体
3x 撮影対象部分
3y 切り取り線
10 薬剤判定装置
11 装置本体
11a 駆動制御回路
12 処理装置
13 筐体
13a 導入部
14 搬送部
14a,14b ニップローラ
15 配置部
16 画像撮影部
16a 第一カメラ
16b 第二カメラ
17 光照射部
17a 第一発光部
17b 第二発光部
17c 第三発光部
17d 第四発光部
18 搬送路
19 計測部
19a 光源
19b 受光器
19c 光源
19d 積分球
19e 遮光部
19f 検知部
21 制御部
22 処方条件情報取得部
23 画像取得部
24 前処理部
25 判定部
28 特性情報取得部
29 更新処理部
50 処方条件入力装置
55 薬剤棚
60 分包機
70 サーバコンピュータ
DB データベース
fm マスタ画像の薬剤
fn 判定済み薬剤
Jm マスタ画像
Jn 撮影画像
Jo マスタ画像元画像
MT マスタ画像管理テーブル
X 薬剤抽出画像
Claims (13)
- 光透過性を有する包装材に包まれた判定対象の薬剤の画像を撮影する画像撮影部と、
薬剤の種類と対応付けて登録されたマスタ画像と、前記画像撮影部が撮影した前記判定対象の薬剤の画像とを用いて、前記判定対象の薬剤の種類を判定する判定部と、
種類が前記マスタ画像に写った薬剤の種類と一致すると前記判定部が判定した前記判定対象の薬剤を包んだ前記包装材について、前記画像撮影部が撮影した画像の鮮明度に影響を及ぼす光学特性を示す特性情報を取得する特性情報取得部と、
登録された前記マスタ画像を、前記判定対象の薬剤の画像に更新するための更新処理を実行する更新処理部と、を有し、
前記判定対象の薬剤の種類が前記マスタ画像に写った薬剤の種類と一致すると前記判定部が判定した場合に、前記更新処理部は、前記特性情報取得部が取得した前記特性情報が示す前記光学特性が、前記光学特性に対する基準を満たしているかどうかを判断し、前記光学特性が前記基準を満たしているときに前記更新処理を実行することを特徴とする薬剤判定装置。 - 前記特性情報取得部は、前記包装材の光透過率を示す前記特性情報を取得し、
前記判定対象の薬剤の種類が前記マスタ画像に写った薬剤の種類と一致すると前記判定部が判定した場合に、前記更新処理部は、前記特性情報取得部が取得した前記特性情報が示す前記光透過率が、閾値を超えているかどうかを判断し、前記光透過率が前記閾値を超えているときに前記更新処理を実行する請求項1に記載の薬剤判定装置。 - 前記包装材の前記光学特性を計測する計測部を有し、
前記計測部は、前記薬剤判定装置の内部に設けられており、
前記特性情報取得部は、前記計測部が計測した前記光学特性を示す前記特性情報を取得する請求項1又は請求項2に記載の薬剤判定装置。 - 前記包装材の前記光学特性を計測する計測部が、前記薬剤判定装置の外部に設けられており、
前記特性情報取得部は、前記計測部が計測した前記光学特性を示す前記特性情報が前記薬剤判定装置に入力されることにより、前記計測部が計測した前記光学特性を示す前記特性情報を取得する請求項1又は請求項2に記載の薬剤判定装置。 - 前記包装材は、袋状の包装袋であり、
前記包装袋が連続して並んだ帯状の包装袋連続体を搬送路に沿って搬送する搬送部を有し、
前記画像撮影部は、前記搬送路の途中位置で前記画像を前記包装袋毎に撮影し、
前記計測部は、前記搬送路の途中位置で前記包装袋連続体中の少なくとも一つの前記包装袋を対象として前記光学特性を計測する請求項3に記載の薬剤判定装置。 - 前記画像撮影部が前記画像を撮影する際に、前記包装袋連続体中、前記画像撮影部の撮影範囲内にある前記包装袋に向けて光を照射する光照射部を更に有する請求項5に記載の薬剤判定装置。
- 前記包装袋連続体の中には、薬剤が入っていない空の前記包装袋が含まれており、
前記計測部は、空の前記包装袋を対象として前記光学特性を計測する請求項5又は請求項6に記載の薬剤判定装置。 - 前記判定対象の薬剤の種類が前記マスタ画像に写った薬剤の種類と一致すると前記判定部が判定した場合に、前記更新処理部は、前記特性情報取得部が取得した前記特性情報が示す前記光透過率が前記閾値、及び前記マスタ画像に写った前記包装材の前記光透過率を超えているかを判断し、前記特性情報取得部が取得した前記特性情報が示す前記光透過率が前記閾値、及び前記マスタ画像に写った前記包装材の前記光透過率を超えているときに前記更新処理を実行する請求項2に記載の薬剤判定装置。
- 前記判定対象の薬剤の種類が前記マスタ画像に写った薬剤の種類と一致すると前記判定部が判定した場合に、前記更新処理部は、前記特性情報取得部が取得した前記特性情報が示す前記光透過率が前記閾値を超えており、且つ、前記判定対象の薬剤の撮影位置が前記マスタ画像に写った薬剤の撮影位置よりも前記画像撮影部の撮影範囲の中央に近いかどうかを判断し、前記特性情報取得部が取得した前記特性情報が示す前記光透過率が前記閾値を超えており、且つ、前記判定対象の薬剤の撮影位置が前記マスタ画像に写った薬剤の撮影位置よりも前記画像撮影部の撮影範囲の中央に近いときに前記更新処理を実行する請求項2に記載の薬剤判定装置。
- 前記特性情報取得部は、前記包装材の光透過性及び光散乱特性のうちの少なくとも一つを示す前記特性情報を取得する請求項1に記載の薬剤判定装置。
- 前記特性情報取得部は、前記包装材の光透過率、ヘイズ値、及びコントラストと空間周波数との対応関係を示すModulation Transfer Function曲線のうちの少なくとも一つを示す前記特性情報を取得する請求項10に記載の薬剤判定装置。
- 薬剤を処方するために設定された処方条件を示す処方条件情報を取得する処方条件取得部を更に有し、
前記判定部は、前記処方条件情報から特定される薬剤の種類と対応した前記マスタ画像と、前記画像撮影部が撮影した前記判定対象の薬剤の画像と、を用いて、前記判定対象の薬剤の種類を判定する請求項1乃至請求項11のいずれか一項に記載の薬剤判定装置。 - 光透過性を有する包装材に包まれた判定対象の薬剤の画像を、画像撮影部によって撮影する工程と、
薬剤の種類と対応付けて登録されたマスタ画像と、前記画像撮影部によって撮影した前記判定対象の薬剤の画像とを用いて、前記判定対象の薬剤の種類を判定する工程と、
種類が前記マスタ画像に写った薬剤の種類と一致すると判定された前記判定対象の薬剤を包んだ前記包装材について、前記画像撮影部によって撮影した画像の鮮明度に影響を及ぼす光学特性を示す特性情報を取得する工程と、
登録された前記マスタ画像を、前記判定対象の薬剤の画像に更新するための更新処理を実行する工程と、を有し、
前記判定対象の薬剤の種類が前記マスタ画像に写った薬剤の種類と一致すると判定された場合に、前記判定対象の薬剤を包んだ前記包装材について取得した前記特性情報が示す前記光学特性が、前記光学特性に対する基準を満たしているかどうかを判断し、前記光学特性が前記基準を満たしているときに前記更新処理を実行することを特徴とする薬剤判定方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071827 | 2018-04-03 | ||
JP2018071827 | 2018-04-03 | ||
PCT/JP2019/009381 WO2019193924A1 (ja) | 2018-04-03 | 2019-03-08 | 薬剤判定装置及び薬剤判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019193924A1 JPWO2019193924A1 (ja) | 2021-04-01 |
JP6974595B2 true JP6974595B2 (ja) | 2021-12-01 |
Family
ID=68100389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511667A Active JP6974595B2 (ja) | 2018-04-03 | 2019-03-08 | 薬剤判定装置及び薬剤判定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210019886A1 (ja) |
JP (1) | JP6974595B2 (ja) |
WO (1) | WO2019193924A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110418627B (zh) * | 2017-03-23 | 2021-11-16 | 富士胶片富山化学株式会社 | 药剂识别装置、药剂识别方法及药剂识别程序 |
CN115046966B (zh) * | 2022-08-16 | 2022-11-04 | 山东国慈新型材料科技有限公司 | 一种环境污水可循环利用程度检测方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06143287A (ja) * | 1992-10-30 | 1994-05-24 | Rhythm Watch Co Ltd | 金型監視方法 |
US7417729B2 (en) * | 2003-11-07 | 2008-08-26 | Cardinal Health 303, Inc. | Fluid verification system and method for infusions |
US7497379B2 (en) * | 2004-02-27 | 2009-03-03 | Microsoft Corporation | Counterfeit and tamper resistant labels with randomly occurring features |
JP2005249615A (ja) * | 2004-03-04 | 2005-09-15 | Denso Corp | 異品種混入検査方法 |
KR100650285B1 (ko) * | 2005-05-25 | 2006-11-27 | (주)제이브이엠 | 약포 검사시스템 |
US7394997B2 (en) * | 2005-06-28 | 2008-07-01 | Hewlett-Packard Development Company, L.P. | Anti-counterfeiting identification system and method for consumables |
US8648716B2 (en) * | 2005-10-07 | 2014-02-11 | Barcoding, Inc. | Apparatus, method, device and computer program product for audibly communicating medicine identity, dosage and intake instruction |
EP2320875B1 (en) * | 2008-07-23 | 2019-07-03 | I-Property Holding Corp. | Secure tracking of tablets |
US8345989B1 (en) * | 2009-02-16 | 2013-01-01 | Parata Systems, Llc | Illumination station for use in pharmaceutical identification system and methods therefor |
JP2010210572A (ja) * | 2009-03-12 | 2010-09-24 | Toppan Printing Co Ltd | 印刷物の検査方法及びその検査装置 |
DK2525850T3 (en) * | 2010-01-22 | 2018-04-16 | Sanofi Aventis Deutschland | PROCEDURE AND SYSTEM FOR DETERMINING INFORMATION RELATED TO A PHARMACEUTICAL RESERVE |
US9251493B2 (en) * | 2010-03-09 | 2016-02-02 | Perceptimed, Inc. | Medication verification and dispensing |
ES2573684T3 (es) * | 2012-08-31 | 2016-06-09 | Carefusion Switzerland 317 Sarl | Estación de almacenamiento y dosificación para almacenar y dispensar cantidades dosificadas de porciones de fármaco sólido |
CN105073082B (zh) * | 2013-02-20 | 2019-09-03 | 株式会社汤山制作所 | 药剂检查装置和药剂分包系统 |
KR102322987B1 (ko) * | 2015-06-26 | 2021-11-09 | (주)제이브이엠 | 약포 검사 장치 및 약포 검사 방법 |
JP6674834B2 (ja) * | 2016-04-22 | 2020-04-01 | 富士フイルム富山化学株式会社 | 薬剤監査装置及び方法並びにプログラム |
CN110418627B (zh) * | 2017-03-23 | 2021-11-16 | 富士胶片富山化学株式会社 | 药剂识别装置、药剂识别方法及药剂识别程序 |
WO2019187601A1 (ja) * | 2018-03-26 | 2019-10-03 | 富士フイルム富山化学株式会社 | 薬剤判定装置、及び境界凹部の検出方法 |
EP3855173A1 (en) * | 2020-01-23 | 2021-07-28 | SCHOTT Schweiz AG | Detection and characterization of defects in pharmaceutical cylindrical containers |
WO2023056265A1 (en) * | 2021-09-28 | 2023-04-06 | Arizona Board Of Regents On Behalf Of Arizona State University | Evanescent scattering imaging of single molecules |
-
2019
- 2019-03-08 JP JP2020511667A patent/JP6974595B2/ja active Active
- 2019-03-08 WO PCT/JP2019/009381 patent/WO2019193924A1/ja active Application Filing
-
2020
- 2020-09-30 US US17/039,715 patent/US20210019886A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JPWO2019193924A1 (ja) | 2021-04-01 |
WO2019193924A1 (ja) | 2019-10-10 |
US20210019886A1 (en) | 2021-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6974594B2 (ja) | 薬剤判定装置及び薬剤判定方法 | |
JP7141445B2 (ja) | 薬剤判定装置、及び境界凹部の検出方法 | |
CN111684268B (zh) | 食品检验辅助系统、食品检验辅助装置和计算机程序 | |
US8179434B2 (en) | System and method for imaging of curved surfaces | |
WO2013008392A1 (ja) | 錠剤検査装置及び錠剤検査方法 | |
CN110418627B (zh) | 药剂识别装置、药剂识别方法及药剂识别程序 | |
US20140033644A1 (en) | Medicine inspection device, and medicine packaging device | |
JP6974595B2 (ja) | 薬剤判定装置及び薬剤判定方法 | |
CN108027329B (zh) | 用于对未贴标签的容器进行光学透射光检验的检验法和检验设备 | |
JP2016085212A (ja) | 欠陥検出システム及び方法 | |
JP7080307B2 (ja) | 薬剤判定装置、及び薬剤判定方法 | |
CN105208995B (zh) | 药片检查装置以及药片检查方法 | |
KR20170001467A (ko) | 약포 검사 장치 및 약포 검사 방법 | |
CN103827626A (zh) | 三维测量装置 | |
CN102878959B (zh) | 用于面形的印刷品的质量检验的方法和装置 | |
JP7032633B2 (ja) | 物品検査装置 | |
JP6359363B2 (ja) | 容器検査装置および容器検査方法 | |
JP7280361B2 (ja) | 薬剤識別装置、薬剤識別方法及びプログラム | |
JP7375049B2 (ja) | 画像処理装置及び方法 | |
JP2020154946A (ja) | 物体識別装置 | |
JP6878093B2 (ja) | 添付書類の検出装置及び検出方法 | |
JP2007257126A (ja) | Icカードの向き検査方法、icカードの向き検査装置及びicカードの向き検査プログラム | |
JP2021139777A (ja) | 表面検査装置 | |
CN118019971A (zh) | 玻璃瓶的底部检查装置 | |
JP2015095234A (ja) | 読取システム、読取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6974595 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |