[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111052145B - 药剂检查辅助装置、图像处理装置、图像处理方法 - Google Patents

药剂检查辅助装置、图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN111052145B
CN111052145B CN201880051894.3A CN201880051894A CN111052145B CN 111052145 B CN111052145 B CN 111052145B CN 201880051894 A CN201880051894 A CN 201880051894A CN 111052145 B CN111052145 B CN 111052145B
Authority
CN
China
Prior art keywords
image
medicine
emphasized
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880051894.3A
Other languages
English (en)
Other versions
CN111052145A (zh
Inventor
横内康治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Medical Co ltd
Original Assignee
Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyama Chemical Co Ltd filed Critical Toyama Chemical Co Ltd
Publication of CN111052145A publication Critical patent/CN111052145A/zh
Application granted granted Critical
Publication of CN111052145B publication Critical patent/CN111052145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Immunology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

提供药剂检查辅助装置、图像处理装置、图像处理方法以及程序，不管识别信息是刻印还是印字，都可适当地辨识识别信息。通过图像处理装置解决上述课题，在该图像处理装置中，取得药剂的多个拍摄图像，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理来生成第1强调图像，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理来生成第2强调图像，对将第1强调图像和第2强调图像综合而得到的综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同。

Description

药剂检查辅助装置、图像处理装置、图像处理方法
技术领域
本发明涉及药剂检查辅助装置、图像处理装置、图像处理方法以及程序，特别涉及从拍摄到药剂的图像确定药剂的种类的药剂检查辅助装置、图像处理装置、图像处理方法。
背景技术
对药剂赋予用于识别药剂的信息。通过读取该识别信息，能识别药剂的种类。作为识别信息的赋予的方法，有作为刻印进行雕刻的药剂和进行印字的药剂。
在专利文献1中记载了如下技术：使用照度差立体法作成以图像的浓淡(亮度)来表现高度的轮廓提取图像，对伤痕、印字进行检查。根据专利文献1的技术，能实现难以受到工件、照明的倾斜的影响的、对环境健壮的图像检查。
现有技术文献
专利文献
专利文献1：JP特开2015-232483号公报
发明内容
发明要解决的课题
通过在药剂的表面印字而得到的字符等在表面不存在凹凸。因此，若如专利文献1记载的装置那样生成轮廓提取图像，就会无法辨识出通过印字得到的信息。另外，并不明确对照对象的药剂的识别信息是通过刻印赋予的还是通过印字赋予的。
因此，存在并不明确最好对拍摄的图像进行怎样的图像处理的问题点。
本发明鉴于这样的事情而完成，其目的在于，提供药剂检查辅助装置、图像处理装置、图像处理方法以及程序，不管识别信息是刻印还是印字，都能适当地辨识识别信息。
用于解决课题的手段
为了达成上述目的，图像处理装置的一个方案具备：主图像取得部，基于处方笺信息来取得应进行配药的药剂的主图像；拍摄图像取得部，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像；第1图像处理部，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；第2图像处理部，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；图像综合部，将第1强调图像和第2强调图像综合来生成综合图像；和判定部，对生成的综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同。
根据本方案，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像，将进行强调药剂的刻印部分的处理而生成的第1强调图像和进行强调药剂的印字部分的处理而生成的第2强调图像综合来生成综合图像，对综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同，因此不管识别信息是刻印还是印字，都能适当地辨识识别信息。
优选地，第1图像处理部进行加大药剂的刻印部分的亮度值的处理，第2图像处理部进行加大药剂的印字部分的亮度值的处理，图像综合部对第1强调图像以及第2强调图像的分别对应的位置的亮度值进行比较，采用亮度大的一方的亮度值。由此，能适当地生成综合图像。
另外，也可以，第1图像处理部进行减小药剂的刻印部分的亮度值的处理，第2图像处理部进行减小药剂的印字部分的亮度值的处理，图像综合部对第1强调图像以及第2强调图像的分别对应的位置的亮度值进行比较，采用亮度小的一方的亮度值。在这样的方案中，也能适当地生成综合图像。
优选地，具备：药剂检测部，从多个拍摄图像检测拍到药剂的区域，第1图像处理部以及第2图像处理部针对检测到的区域进行处理。由此，能限定进行处理的区域，能缩短处理所花费的时间。
优选地，拍摄图像取得部取得3张以上的拍摄图像，第1图像处理部基于3张以上的拍摄图像来生成第1强调图像。由此，能适当地强调药剂的刻印部分。
优选地，第1图像处理部通过照度差立体法取得药剂的表面的三维信息，来生成第1强调图像。由此，能适当地强调药剂的刻印部分。
优选地，第2图像处理部实施平滑化处理、清晰化处理以及边缘检测处理中的至少一者来生成第2强调图像。由此，能适当地强调药剂的印字部分。
优选地，具备：类似度算出部，算出表示综合图像和主图像相类似的程度的类似度，判定部基于类似度来判定应进行配药的药剂和配过药的药剂是否相同。由此，能适当地判定应进行配药的药剂和配过药的药剂是否相同。
优选地，类似度算出部算出多个综合图像与多个主图像的类似度，判定部针对类似度最高的综合图像与主图像的组合判定为应进行配药的药剂和配过药的药剂相同。由此，能适当地判定应进行配药的药剂和配过药的药剂是否相同。
为了达成上述目的，药剂检查辅助装置的一个方案具备：处方笺信息取得部，取得处方笺信息；主图像取得部，基于处方笺信息来取得应进行配药的药剂的主图像；照明部，具有对配过药的药剂的表面分别从不同的多个照明方向照射光的多个光源；拍摄部，拍摄药剂；拍摄控制部，控制照明部以及拍摄部来取得光向药剂的照明方向分别不同的药剂的多个拍摄图像；第1图像处理部，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；第2图像处理部，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；图像综合部，将第1强调图像和第2强调图像综合来生成综合图像；和判定部，对生成的综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同。
根据本方案，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像，将进行强调药剂的刻印部分的处理而生成的第1强调图像和进行强调药剂的印字部分的处理而生成的第2强调图像综合来生成综合图像，对综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同，因此不管识别信息是刻印还是印字，都能适当地辨识识别信息。
优选地，拍摄控制部取得通过照明部的多个光源当中的2个以上的光源对药剂照射光的药剂的拍摄图像。由此，能适当地强调药剂的印字部分。
优选地，照明部对药剂的表侧以及背侧照射光，拍摄部拍摄药剂的表侧以及背侧。由此，能不依赖于药剂的朝向地取得适当的拍摄图像。
优选地，照明部具备：第1光源，在第1方向上照射光；第2光源，在第2方向上照射光；第3光源，在第3方向上照射光；和第4光源，在第4方向上照射光，第2方向是在俯视表面的情况下与第1方向对置的方向，第3方向是在俯视表面的情况下与第1方向正交的方向，第4方向是在俯视表面的情况下与第3方向对置的方向。由此，能适当地取得光向药剂的照明方向分别不同的药剂的多个拍摄图像。
为了达成上述目的，图像处理方法的一个方案具备：主图像取得步骤，基于处方笺信息来取得应进行配药的药剂的主图像；拍摄图像取得步骤，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像；第1图像处理步骤，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；第2图像处理步骤，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；图像综合步骤，将第1强调图像和第2强调图像综合来生成综合图像；和判定步骤，对生成的综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同。
根据本方案，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像，将进行强调药剂的刻印部分的处理而生成的第1强调图像和进行强调药剂的印字部分的处理而生成的第2强调图像综合来生成综合图像，对综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同，因此不管识别信息是刻印还是印字，都能适当地辨识识别信息。
为了达成上述目的，程序的一个方案使计算机执行如下功能：主图像取得功能，基于处方笺信息来取得应进行配药的药剂的主图像；拍摄图像取得功能，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像；第1图像处理功能，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；第2图像处理功能，基于多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；图像综合功能，将第1强调图像和第2强调图像综合来生成综合图像；和判定功能，对生成的综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同。
根据本方案，取得光向配过药的药剂的表面的照明方向分别不同的药剂的多个拍摄图像，将进行强调药剂的刻印部分的处理而生成的第1强调图像和进行强调药剂的印字部分的处理而生成的第2强调图像综合来生成综合图像，对综合图像和主图像进行对照，来判定应进行配药的药剂和配过药的药剂是否相同，因此不管识别信息是刻印还是印字，都能适当地辨识识别信息。
发明效果
根据本发明，不管识别信息是刻印还是印字，都能适当地辨识识别信息。
附图说明
图1是表示药剂检查辅助装置的结构的图。
图2是表示取得分包袋的图像的情形的侧视图。
图3是表示取得分包袋的图像的情形的顶视图。
图4是表示处理部的内部结构的图。
图5是表示药剂检查辅助方法的处理的流程图。
图6是表示图像处理的结果的一例的图。
图7是表示图像处理的结果的一例的图。
图8是表示图像处理的结果的一例的图。
图9是表示图像处理的结果的一例的图。
图10是表示药剂检查辅助装置的结构的图。
图11是表示处理部的内部结构的图。
图12是表示药剂检查辅助方法的处理的流程图。
图13是表示药剂检查辅助方法的处理的流程图。
具体实施方式
以下，按照附图来对本发明的优选的实施方式进行详细说明。
<第1实施方式>
第1实施方式所涉及的药剂检查辅助装置是将主图像和拍摄图像进行对照来实施药剂的鉴定和检查的装置，不管附加在药剂的识别信息是通过刻印而附加的情况，还是通过印字而附加的情况，都可进行正确的对照。
另外，所谓通过刻印而附加，是指通过在药剂的表面形成凹陷区域即槽来形成识别信息。槽并不限定于挖掘表面而形成，也可以是通过按压表面而形成。另外，刻印也可以包含分割线等没有识别功能的刻印。
此外，所谓通过印字而附加，是指通过以接触或非接触的方式对药片的表面赋予可食性墨水等来形成识别信息。在此，所谓通过印字而附加，与通过印刷而附加同义。
图1是表示第1实施方式所涉及的药剂检查辅助装置1的结构的图。药剂检查辅助装置1具备处理部10、存储部40、显示部50、操作部60以及运送机构70。另外，在处理部10连接有照明部32、摄像机36A、摄像机36B以及处方笺读取器38。
图2是表示取得分包袋的图像的情形的侧视图，图3是顶视图。
照明部32具备对分包袋TP连续而构成的药包带PB照射光的多个光源34。在分包袋TP中分别分包有配过药的药剂。关于多个光源34，在药包带PB的上侧(图2的+z方向侧)以及下侧(图2的-z方向侧)分别配置4个光源34N、34S、34E以及34W。另外，分别在图2中省略药包带PB的上侧以及下侧的光源34N以及34S的图示，在图3中省略药包带PB的下侧的4个光源34N、34S、34E以及34W的图示。
药包带PB的上侧的光源34N(第1光源的一例)、34S(第2光源的一例)、34E(第3光源的一例)以及34W(第4光源的一例)在俯视xy面的情况下分别在图3的-y方向(第1方向的一例)、+y方向(第2方向的一例)、-x方向(第3方向的一例)以及+x方向(第4方向的一例)上照射光。即，光源34S的照明方向是在俯视xy面的情况下与光源34N的照明方向对置的方向，光源34E的照明方向是在俯视xy面的情况下与光源34N的照明方向正交的方向，光源34W的照明方向是在俯视Xy面的情况下与光源34E的照明方向对置的方向。
针对药包带PB的下侧的光源34N、34S、34E以及34W，也同样配置。由此，照明部32对分包袋TP(分包到其中的药剂)的表侧以及背侧照射光。
摄像机36A以及摄像机36B(拍摄部的一例)由数字摄像机构成。如图2所示那样，摄像机36A配置于药包带PB的上侧，摄像机36B配置于药包带PB的下侧。摄像机36A以及摄像机36B对分包袋TP(分包到其中的药剂)的表侧以及背侧进行拍摄。
分包袋TP(药包带PB)通过运送机构70而在图3的+x方向(药包带PB的长边方向)上被运送。在拍摄时，由分包袋TP的上侧的光源34N、34S、34E以及34W分别从4个方向对分包袋TP的上侧进行照明，由分包袋TP的下侧的光源34N、34S、34E以及34W分别从4个方向对分包袋TP的下侧进行照明。另外，优选，在拍摄时，不对分包袋TP照射从多个光源34照射的光以外的光。
如图3所示那样，分包袋TP的上侧的光源34N、34S、34E以及34W各自与摄像机36A的拍摄光轴PA的间隔(d1、d2、d3、d4)相同。即，多个光源34和拍摄光轴PA是等间隔的(d1＝d2＝d3＝d4)。针对分包袋TP的下侧的光源34N、34S、34E以及34W这各个光源和摄像机36B，也同样地配置。
可以在药剂检查辅助装置1设置载置分包袋TP的载台。在该情况下，载台由使从分包袋TP的下侧的光源34N、34S、34E以及34W照射的光透过的原材料构成即可。
图1所示的处方笺读取器38(处方笺信息取得部的一例)通过读取处方笺来取得处方笺信息。例如通过OCR(Optical Character Recognition，光学字符识别)从记载于纸的处方笺读取患者姓名、处方所开的药剂以及其数量等信息。在处方笺中记录有表示与处方所开的药剂相关的信息的条形码等的情况下，可以从条形码读取处方所开的药剂以及其数量等信息。另外，也可以由用户读取处方笺，通过操作部60所具有的键盘等输入设备来输入处方笺信息。由处方笺读取器38取得的处方笺信息存储在存储部40中。
存储部40由CD(Compact Disk，光盘)、DVD(Digital Versatile Disk，数字多功能盘)、硬盘(Hard Disk)、各种半导体存储器等非临时性的记录介质构成。在存储部40中除了存储处方笺信息、主图像以外，还将由摄像机36A以及摄像机36B取得的拍摄图像、或对拍摄图像实施了图像处理的处理完毕拍摄图像(基于拍摄图像的图像)相互建立关联进行存储。
显示部50具备监视器52，能显示从处方笺读取器38取得的处方笺信息、分包后的药剂的拍摄图像、存储于存储部40的主图像等。操作部60包含鼠标等指向设备以及键盘等输入设备，用户能通过操作部60操作显示于监视器52的图像、按钮等。
运送机构70将分包袋TP(药包带PB)在图3的+x方向上运送。
〔处理部的结构〕
图4是表示处理部10(图像处理装置的一例)的内部结构的图。如图4所示那样，处理部10具备主图像取得部12、拍摄图像取得部14、第1图像处理部18、第2图像处理部20、图像综合部22以及判定部24。
主图像取得部12基于从处方笺读取器38取得的处方笺信息从存储部40读出并取得处方所开的药剂的主图像。主图像是药剂的基准图像或对基准图像实施了图像处理的处理完毕图像。在主图像中，识别信息的亮度值相对于其他部分相对表现得大。针对1个药剂，主图像有一个面侧的主图像和另一个面侧的主图像这一对主图像，将它们建立关联预先存储在存储部40中。
拍摄图像取得部14(拍摄控制部的一例)控制照明部32、摄像机36A以及摄像机36B，取得光向分包到分包袋TP中的药剂的表面的照明方向分别不同的药剂的多个拍摄图像。另外，拍摄图像取得部14具备药剂检测部16。药剂检测部16从取得的多个拍摄图像分别检测拍到药剂的区域。
第1图像处理部18基于拍摄图像取得部14取得的多个拍摄图像当中的至少1张拍摄图像来进行强调药剂的刻印部分的处理，生成第1强调图像。在基于多张拍摄图像来生成第1强调图像的情况下，对各拍摄图像进行强调药剂的刻印部分的处理，将处理后的图像相加或相乘来进行合成即可。
第2图像处理部20基于拍摄图像取得部14取得的多个拍摄图像当中的至少1张拍摄图像来进行强调药剂的印字部分的处理，生成第2强调图像。在基于多张拍摄图像生成第2强调图像的情况下，对各拍摄图像进行强调药剂的印字部分的处理，将处理后的图像相加或相乘来进行合成即可。
图像综合部22将第1图像处理部18生成的第1强调图像和第2图像处理部20生成的第2强调图像综合来生成作为对照对象图像的综合图像。
判定部24对图像综合部22生成的综合图像和主图像取得部12取得的主图像进行对照，来判定应根据处方笺配药的药剂和分包到分包袋TP中的药剂是否相同。
判定部24具备类似度算出部26。类似度算出部26算出表示图像综合部22生成的综合图像与主图像取得部12取得的主图像相类似的程度的类似度。判定部24基于类似度来对综合图像和主图像进行对照。
基于这些功能的药剂检查辅助方法的详细处理之后叙述。
〔药剂检查辅助方法的处理]
对药剂检查辅助装置1的药剂检查辅助方法(图像处理方法的一例)进行说明。图5是表示药剂检查辅助方法的处理的流程图。
在步骤S1，在处方笺读取器38中读取处方笺，取得处方笺信息。也可以使用预先存储在存储部40中的处方笺信息。
在步骤S2(拍摄图像取得步骤的一例、拍摄图像取得功能的一例)，在拍摄图像取得部14中控制照明部32、摄像机36A以及摄像机36B来拍摄分包到药包带PB的分包袋TP中的药剂，取得多个拍摄图像。
在此，拍摄图像取得部14通过使分包袋TP的上侧的光源34N、34S、34E以及34W一个一个地依次点亮，且使其他光源熄灭，来依次切换照射分包袋TP的照明方向，并且，每当切换照明方向时，就通过摄像机36A重复进行分包袋TP的拍摄。由此，拍摄图像取得部14取得分包袋TP的上侧的拍摄图像，该拍摄图像是照明方向分别不同的4个方向的拍摄图像。
另外，拍摄图像取得部14通过将分包袋TP的下侧的光源34N、34S、34E以及34W一个一个地依次点亮，且使其他光源熄灭，来依次切换照射分包袋TP的照明方向，并且，每当切换照明方向时，就通过摄像机36B重复进行分包袋TP的拍摄。由此，拍摄图像取得部14取得分包袋TP的下侧的拍摄图像，该拍摄图像是照明方向分别不同的4个方向的拍摄图像。
进而，也可以在将分包袋TP的上侧的光源34N、34S、34E以及34W全都(2个以上的光源的一例)点亮的状态下通过摄像机36A进行分包袋TP的拍摄，来取得拍摄图像(全点亮图像)，还可以在将分包袋TP的下侧的光源34N、34S、34E以及34W全都点亮的状态下通过摄像机36B进行分包袋TP的拍摄，来取得拍摄图像。
在步骤S3，在药剂检测部16中从拍摄图像取得部14取得的多个拍摄图像分别检测拍到药剂的区域(药剂区域)。由于在分包袋TP中分包有多个药剂，因此从1张拍摄图像检测多个药剂区域。通过检测药剂区域，能限定进行处理的区域，能缩短处理所花费的时间。另外，将作为针对相同药剂的药剂区域的、从摄像机36A的拍摄图像检测到的药剂区域和从摄像机36B的拍摄图像检测到的药剂区域作为相同药剂的一对药剂区域建立关联进行检测。
在步骤S4(第1图像处理步骤的一例、第1图像处理功能的一例)，在第1图像处理部18中基于拍摄图像取得部14取得的多个拍摄图像当中的至少1张拍摄图像来进行强调药剂的刻印部分的处理。在此，针对步骤S3中检测到的多个药剂区域当中的相同药剂的一对药剂区域分别生成一对第1强调图像。将生成的多对第1强调图像输入到图像综合部22。
作为强调药剂的刻印部分的处理，例如通过照度差立体法等取得药剂的表面的三维信息来生成第1强调图像。作为第1强调图像，例如能运用专利文献1记载的以图像的浓淡(亮度)表现高度的轮廓提取图像。在此，在第1强调图像中，药剂的刻印的槽的部分的亮度值表现得大。
在步骤S5(第2图像处理步骤的一例、第2图像处理功能的一例)，在第2图像处理部20中基于拍摄图像取得部14取得的多个拍摄图像当中的至少1张拍摄图像来进行强调药剂的印字部分的处理。在此，针对步骤S3中检测到的多个药剂区域当中的相同药剂的一对药剂区域分别生成一对第2强调图像。将生成的多对第2强调图像输入到图像综合部22。
作为强调药剂的印字部分的处理，例如实施用于减少噪声分量的平滑化处理、用于强调边缘的清晰化处理、以及用于除去印字部分以外的部分的边缘检测处理中的至少一者，进行2值化处理。另外，能使用将与像素值的平均值之间的差分的绝对值作为像素值的处理、将与像素值的平均值之间的除法运算结果作为像素值的处理、除以模糊的图像的处理、运用局部的像素值的差分的处理等公知的方法。在此，在第2强调图像中，药剂的印字部分的亮度值表现得大。
在步骤S6(图像综合步骤的一例、图像综合功能的一例)，在图像综合部22中针对从相同拍摄图像生成的第1强调图像以及第2强调图像来比较分别对应的位置的亮度值，采用亮度相对大的一方的亮度值来生成综合图像。在此，从由相同药剂区域生成的一对第1强调图像以及一对第2强调图像生成一对综合图像。将生成的多对综合图像输入到判定部24。
在步骤S7(主图像取得步骤的一例、主图像取得功能的一例)，取得在步骤S1中取得的处方笺信息中所含的多个药剂当中的1个药剂的一对主图像。可以原样不变地取得存储于存储部40的基准图像并将其作为主图像，也可以对基准图像实施放大或缩小、明亮度调整等图像处理来作为主图像。如前述那样，对于1个药剂，存在一对主图像。
在步骤S8，在判定部24中选择步骤S6中生成的多对综合图像当中的一对综合图像。
在步骤S9，在类似度算出部26中算出步骤S7中取得的一对主图像与步骤S8中选择的一对综合图像的类似度。类似性越高，则这里的类似度就算出为越大的值。
在步骤S10(判定步骤的一例、判定功能的一例)，在判定部24中基于步骤S9中算出的类似度来判定处方笺中记载的药剂和拍摄到的药剂是否相同。在此，在类似度大于预先确定的阈值的情况下判定为相同。
另外，也可以对步骤S7中取得的一对主图像算出与全部综合图像之间的类似度，针对类似度最高的综合图像判定为主图像的药剂和综合图像的药剂是相同药剂。
在步骤S11，在处理部10中判定是否结束了针对全部综合图像的对照。在存在对照未结束的综合图像的情况下，返回步骤S8，选择新的综合图像，重复同样的处理。在对照结束的情况下，移转到步骤S12。
在步骤S12，判定是否存在与步骤S7中选择的主图像的药剂相同的药剂、即是否存在与处方笺中记载的药剂相同的药剂。在判定为不存在处方笺中记载的药剂的情况下，移转到步骤S13。另外，在判定为存在处方笺中记载的药剂的情况下，移转到步骤S14。
在步骤S13，在显示部50中，在监视器52中显示不存在处方笺中记载的药剂的意思(错误显示)，结束本流程图的处理。
在步骤S14，在处理部10中判定是否结束了针对处方笺中记载的全部药剂(在步骤S1中读取的处方笺信息中所含的全部药剂)的对照。在存在对照未结束的药剂的情况下，返回步骤S7，取得新的一对主图像，重复同样的处理。在对照结束的情况下，移转到步骤S15。
在步骤S15，在处理部10中判定是否完成了针对药包带PB中所含的全部分包袋TP的对照。在存在对照未结束的分包袋TP的情况下，返回步骤S2，运送药包带PB并取得新的分包袋TP的拍摄图像，重复同样的处理。在对照结束的情况下，移转到步骤S16。
在步骤S16，在显示部50中，在监视器52中显示监查结果正常的意思(正常显示)，结束本流程图的处理。
图6～图9是表示各图像处理的结果的一例的图。图6所示的药剂区域A1～A11是从在表面附加有刻印的药剂的拍摄图像检测到的药剂区域的一例。同样地，图7所示的药剂区域A12～A22是从在表面附加有刻印的药剂的拍摄图像检测到的药剂区域的一例。
另外，图8所示的药剂区域A23～A33是从在表面附加有印字的药剂的拍摄图像检测到的药剂区域的一例。同样地，图9所示的药剂区域A34～A44是从在表面附加有印字的药剂的拍摄图像检测到的药剂区域的一例。
另外，检测到图6～图9所示的药剂区域A1～A44的拍摄图像是在光源34N、34S、34E以及34W全都点亮的状态下取得的全点亮图像。另外，在药剂区域A1～A44中，同时存在从药剂的一个面侧的拍摄图像取得的药剂区域和从另一个面侧的拍摄图像取得的药剂区域。
图6～图9所示的第1强调图像B1～B44分别是从与药剂区域A1～A44相同的区域生成的第1强调图像的一例。在此，示出基于在将光源34N、34S、34E以及34W个别点亮的状态下拍摄的4张(3张以上的一例)拍摄图像的各药剂区域而生成的第1强调图像。
另外，图6～图9所示的第2强调图像C1～C44分别是从药剂区域A1～A44生成的第2强调图像的一例。
图6～图9所示的综合图像D1～D44分别是从第1强调图像B1～B44以及第2强调图像C1～C44生成的综合图像的一例。在图6以及图7所示的药剂中，第1强调图像B1～B22与第2强调图像C1～C22相比，识别信息的亮度值相对表现得大(表现成白色)。因此，作为综合图像，主要采用第1强调图像B1～B22的像素。
另一方面，在图8以及图9所示的药剂中，第2强调图像C23～C44与第1强调图像B23～B44相比，识别信息的亮度值相对表现得大。因此，作为综合图像，主要采用第2强调图像C23～C44的像素。
在本实施方式中，在第1图像处理部18中进行药剂的刻印部分的亮度值变大的处理，在第2图像处理部20中进行药剂的印字部分的亮度值变大的处理，在图像综合部22中比较第1强调图像以及第2强调图像的分别对应的位置的亮度值，采用亮度大的一方的亮度值，但在主图像的识别信息的亮度值相对于其他部分相对表现得小的情况下，在第1图像处理部18中进行药剂的刻印部分的亮度值变小的处理，在第2图像处理部20中进行药剂的印字部分的亮度值变小的处理，在图像综合部22中比较第1强调图像以及第2强调图像的分别对应的位置的亮度值，采用亮度小的一方的亮度值即可。
另外，在本实施方式中，针对由药剂检测部16检测到的区域生成第1强调图像以及第2强调图像，但也可以在生成拍摄图像的第1强调图像以及第2强调图像后检测药剂的区域。
如以上那样，进行强调药剂的刻印部分的处理来生成第1强调图像，并且进行强调药剂的印字部分的处理来生成第2强调图像，将第1强调图像和第2强调图像综合来生成综合图像，使用该综合图像来进行与主图像之间的对照，因此不管附加在药剂的识别信息是刻印还是印字，都能适当地辨识识别信息，能进行正确的对照。
<第2实施方式>
图10是表示第2实施方式所涉及的药剂检查辅助装置2的结构的图。另外，对与图1所示的药剂检查辅助装置1共同的部分标注相同的附图标记，省略其详细的说明。药剂检查辅助装置2具备处理部11。在处理部11连接有照明部32、摄像机36A、摄像机36B以及处方笺读取器38。
照明部32具备多个光源34。多个光源34、摄像机36A以及摄像机36B的配置与图2以及图3所示的药剂检查辅助装置1同样。
〔处理部的结构〕
图11是表示处理部11(图像处理装置的一例)的内部结构的图。另外，对与图4所示的处理部10共同的部分标注相同的附图标记，省略其详细的说明。如图11所示那样，处理部11具备指定信息取得部28。
指定信息是按每个药剂来指定将第1图像处理部18生成的第1强调图像和第2图像处理部20生成的第2强调图像当中的哪个图像用在对照中的信息。
对于识别信息是通过刻印而附加的药剂来说，若使用进行过强调药剂的刻印部分的处理的第1强调图像，则识别信息就会变得易于判别。因此，与刻印的药剂的主图像建立关联的指定信息将第1强调图像指定为对照中所用的对照对象图像。另外，对于识别信息是通过印字而附加的药剂来说，若使用进行过强调药剂的印字部分的处理的第2强调图像，则识别信息就会变得易于判别。因此，与印字的药剂的主图像建立关联的指定信息将第2强调图像指定为对照中所用的对照对象图像。
指定信息与主图像等药剂的信息建立关联地存储在存储部40中。指定信息取得部28基于从处方笺读取器38取得的处方笺信息从存储部40读出并取得处方所开的药剂的指定信息。
将第1图像处理部18生成的第1强调图像以及第2图像处理部20生成的第2强调图像输入到判定部24。判定部24基于指定信息取得部28取得的指定信息来选择第1强调图像以及第2强调图像当中的任一个图像来作为对照对象图像。另外，判定部24对选择的对照对象图像和主图像取得部12取得的主图像进行对照，来判定应根据处方笺配药的药剂和分包到分包袋TP中的药剂是否相同。
〔药剂检查辅助方法的处理]
对药剂检查辅助装置2的药剂检查辅助方法(图像处理方法的一例)进行说明。图12是表示药剂检查辅助方法的处理的流程图。另外，对与图5所示的流程图共同的部分标注相同的附图标记，省略其详细的说明。
在步骤S1，取得处方笺信息。
在步骤S2(拍摄图像取得步骤的一例、拍摄图像取得功能的一例)，针对分包袋TP的上侧以及下侧，取得照明方向分别不同的4个方向的拍摄图像和从4个方向全都进行照射的全点亮图像。
在步骤S3，从多个拍摄图像分别检测药剂区域。另外，将作为针对相同药剂的药剂区域的、从摄像机36A的拍摄图像检测到的药剂区域和从摄像机36B的拍摄图像检测到的药剂区域作为相同药剂的一对药剂区域建立关联进行检测。
在步骤S4(第1图像处理步骤的一例、第1图像处理功能的一例)，进行强调药剂的刻印部分的处理来生成每个药剂区域的第1强调图像。第1图像处理部18针对相同药剂的一对药剂区域生成一对第1强调图像。在此，在第1强调图像中，药剂的刻印的槽的部分的亮度值表现得大。将生成的多对第1强调图像输入到判定部24。
在步骤S5(第2图像处理步骤的一例、第2图像处理功能的一例)，进行强调药剂的印字部分的处理来生成每个药剂区域的第2强调图像。第2图像处理部20针对相同药剂的一对药剂区域生成一对第2强调图像。在此，在第2强调图像中，药剂的印字部分的亮度值表现得大。将生成的多对第2强调图像输入到判定部24。
在步骤S7(主图像取得步骤的一例、主图像取得功能的一例)，取得在步骤S1中取得的处方笺信息中所含的多个药剂当中的1个药剂的一对主图像。在主图像中，识别信息的亮度值相对于其他部分相对表现得大。
在步骤S21，在指定信息取得部28中从存储部40取得与步骤S7中取得的主图像建立关联的指定信息。该指定信息指定第1强调图像和第2强调图像当中的哪一方图像。
在步骤S22，在判定部24中选择要进行对照的药剂的第1强调图像以及第2强调图像当中由从指定信息取得部28输入的指定信息指定的图像。即，若指定信息是第1强调图像，则选择一对第1强调图像作为一对对照对象图像，若指定信息是第2强调图像，则选择一对第2强调图像作为一对对照对象图像。另外，在药剂的一个面侧附加有刻印且在另一个面侧附加有印字的情况下，指定信息也可以是第1强调图像以及第2强调图像。在该情况下，从一对第1强调图像以及一对第2强调图像适当选择需要的第1强调图像以及第2强调图像即可。
在步骤S23，在类似度算出部26中算出表示步骤S7中取得的一对主图像和步骤S22中选择的一对对照对象图像相类似的程度的类似度。类似性越高，则这里的类似度就算出为越大的值。
在步骤S24(判定步骤的一例、判定功能的一例)，在判定部24中基于步骤S23中算出的类似度来判定处方笺中记载的药剂和拍摄到的药剂是否相同。在此，在类似度大于预先确定的阈值的情况下判定为相同。
在步骤S25，在处理部10中判定是否结束了针对全部对照对象图像的对照。在存在对照未结束的综合图像的情况下，返回步骤S22，选择新的对照对象图像，重复同样的处理。在对照结束的情况下，移转到步骤S12。
在步骤S12，判定是否存在与步骤S7中选择的主图像的药剂相同的药剂、即是否存在与处方笺中记载的药剂相同的药剂。在判定为不存在处方笺中记载的药剂的情况下，移转到步骤S13。另外，在判定为存在处方笺中记载的药剂的情况下，移转到步骤S14。
在步骤S13，在显示部50中，在监视器52中显示不存在处方笺中记载的药剂的意思(错误显示)，结束本流程图的处理。
在步骤S14，在处理部10中判定是否结束了针对处方笺中记载的全部药剂(在步骤S1中读取的处方笺信息中所含的全部药剂)的对照。在存在对照未结束的药剂的情况下，返回步骤S7，取得新的主图像，重复同样的处理。在对照结束的情况下，移转到步骤S15。
在步骤S15，在处理部10中判定是否完成了针对药包带PB中所含的全部分包袋TP的对照。在存在对照未结束的分包袋TP的情况下，返回步骤S2，运送药包带PB并取得新的分包袋TP的拍摄图像，重复同样的处理。在对照结束的情况下，移转到步骤S16。
在步骤S16，在显示部50中，在监视器52中显示监查结果正常的意思(正常显示)，结束本流程图的处理。
图6以及图7所示的药剂被附加刻印。与该药剂的主图像建立关联的指定信息是第1强调图像。因此，在与药剂区域A1～A22所涉及的主图像之间的对照中分别选择第1强调图像B1～B22。
另一方面，图8以及图9所示的药剂被附加印字。与该药剂的主图像建立关联的指定信息是第2强调图像。因此，在与药剂区域A23～A44所涉及的主图像之间的对照中分别选择第2强调图像C23～C44。
在本实施方式中，在第1图像处理部18中进行药剂的刻印部分的亮度值变大的处理，在第2图像处理部20中进行药剂的印字部分的亮度值变大的处理，但在主图像的识别信息的亮度值相对于其他部分相对表现得小的情况下，在第1图像处理部18中进行药剂的刻印部分的亮度值变小的处理，在第2图像处理部20中进行药剂的印字部分的亮度值变小的处理即可。
如以上那样，进行强调药剂的刻印部分的处理来生成第1强调图像，并且进行强调药剂的印字部分的处理来生成第2强调图像，取得指定将第1强调图像以及第2强调图像当中的哪个图像用在对照中的指定信息，进行由指定信息指定的图像与主图像的对照，因此不管附加在药剂的识别信息是刻印还是印字，都能适当地辨识识别信息，能进行正确的对照。
在此，由指定信息来指定将第1强调图像以及第2强调图像当中的哪个图像用在对照中，但也可以通过解析拍摄图像，或解析第1强调图像以及第2强调图像，来判定识别信息是通过刻印而附加的，还是通过印字而附加的，并对应于判定结果来指定对照中所用的图像。
例如，比较第1强调图像和第2强调图像，在第1强调图像的识别信息的亮度值高的情况下，判定为识别信息是通过刻印而附加的，在第2强调图像的识别信息的亮度值高的情况下，判定为识别信息通过印字而附加的。
另外，也可以针对照明方向分别不同的4个方向的拍摄图像来解析各图像间的相关，在图像间的相关低的情况下，判定为识别信息是通过刻印而附加的，在图像间的相关高的情况下，判定为识别信息是通过印字而附加的。
<第3实施方式>
〔药剂检查辅助方法的处理〕
图13是表示第3实施方式所涉及的药剂检查辅助方法的处理的流程图。另外，对与图12所示的流程图共同的部分标注相同的附图标记，省略其详细的说明。
步骤S1～步骤S5与第2实施方式同样。即，取得处方笺信息，拍摄分包到药包带PB的分包袋TP中的药剂并取得多个拍摄图像，从多个拍摄图像分别检测拍到药剂的药剂区域，生成强调了药剂的刻印部分的第1强调图像以及强调了药剂的印字部分的第2强调图像。
另外，在步骤S7，取得一对主图像，在步骤S21，取得与主图像建立关联的指定信息。进而，在步骤S22，选择要进行对照的药剂的第1强调图像以及第2强调图像当中由指定信息指定的图像。
然后，在步骤S23，算出步骤S7中取得的一对主图像与步骤S22中选择的一对对照对象图像的类似度。类似性越高，则这里的类似度就算出为越大的值。
接下来，在步骤S31，在处理部10中判定是否对步骤S7中取得的主图像，针对与全部对照对象图像的组合结束了类似度的算出。在存在未结束类似度的算出的对照对象图像的情况下，返回步骤S22，选择新的一对对照对象图像，重复同样的处理。由此，能对步骤S7中取得的主图像，针对与全部对照对象图像的组合算出类似度。在针对与全部对照对象图像的组合结束了类似度的算出的情况下，移转到步骤S32。
接着，在步骤S32，在处理部10中判定是否结束了针对处方笺中记载的全部药剂(在步骤S1中读取的处方笺信息中所含的全部药剂)的类似度的算出。在存在未结束类似度的算出的药剂的情况下，返回步骤S7，取得新的一对主图像，重复同样的处理。由此，能对全部主图像，针对与步骤S22中取得的全部对照对象图像的组合算出类似度。在结束了针对全部主图像的类似度的算出的情况下，移转到步骤S33。
在步骤S33(判定步骤的一例、判定功能的一例)，在判定部24中，基于步骤S23中算出的多个主图像以及多个对照对象图像的全部组合的类似度来判定处方笺中记载的药剂和拍摄到的药剂是否相同。
作为一例，针对4张对照对象图像(1)、对照对象图像(2)、对照对象图像(3)以及对照对象图像(4)和4张主图像(A)、主图像(B)、主图像(C)以及主图像(D)，算出各组合的类似度(1A)、类似度(1B)、类似度(1C)、类似度(1D)、类似度(2A)、类似度(2B)、...、类似度(4C)以及类似度(4D)。
在此，若关于对照对象图像(1)的类似度(1A、1B、1C、1D)当中最高的类似度是类似度(1B)，关于主图像(B)的类似度(1B、2B、3B、4B)当中最高的类似度是类似度(1B)，则判定部24判定为对照对象图像(1)所示的药剂是主图像(B)所示的药剂。
接着，判定部24将对照对象图像(1)和主图像(B)从对照对象排除，同样地选择类似度高的组合，不断对处方笺中记载的药剂与拍摄到的药剂的组合进行判定。
在步骤S34，根据步骤S33中的判定结果来判定分包到分包袋TP中的药剂是否如处方笺的记载那样。在判定为并非如处方笺那样的情况下，移转到步骤S13。另外，在判定为如处方笺那样的情况下，移转到步骤S35。
在步骤S13，在显示部50中，在监视器52中进行错误显示，结束本流程图的处理。
在步骤S35，在处理部10中判定是否完成了针对药包带PB中所含的全部分包袋TP的对照。在存在对照未结束的分包袋TP的情况下，返回步骤S2，运送药包带PB并取得新的分包袋TP的拍摄图像，重复同样的处理。在对照结束的情况下，移转到步骤S16。
在步骤S16，在显示部50中，在监视器52中进行正常显示，结束本流程图的处理。
如此地，通过使用类似度的相对关系不断对应配药的药剂与配过药的药剂的组合进行判定，能针对拍摄到的全部药剂判定应配药的药剂和配过药的药剂是否相同。
同样地，在第1实施方式中，也能基于多个主图像以及多个综合图像的全部组合的类似度的相对关系来判定处方笺中记载的药剂和拍摄到的药剂是否相同。
<其他>
上述的图像处理方法还能构成为用于使计算机实现主图像取得功能、拍摄图像取得功能、第1图像处理功能、第2图像处理功能、图像综合功能、指定信息取得功能以及判定功能的程序，并构成存储该程序的CD-ROM(Compact Disk-Read Only Memory，光盘只读存储器)等非临时性的记录介质。
在到此为止说明的实施方式中，例如处理部10以及处理部11等执行各种处理的处理部(processing unit)的硬件结构是如下所示那样的各种处理器(processor)。在各种处理器中包括：执行软件(程序)来作为各种处理部发挥功能的通用的处理器即CPU(CentralProcessing Unit，中央处理器)；FPGA(Field Programmable Gate Array，现场可编程门阵列)等能在制造后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)；ASIC(Application Specific Integrated Circuit，特定用途集成电路)等具有为了执行特定的处理而专用设计的电路结构的处理器即专用电气电路等。
1个处理部可以由这些各种处理器当中的1个构成，也可以由同种或异种的2个以上的处理器(例如多个FPGA、或CPU与FPGA的组合)构成。另外，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的示例，第1，如服务器以及客户端等计算机所代表的那样，有如下形态：由1个以上的CPU与软件的组合构成1个处理器，该处理器作为多个处理部发挥功能。第2，如系统级芯片(System On Chip：SoC)等所代表的那样，有如下形态：使用在1个IC(Integrated Circuit，集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此地，各种处理部作为硬件结构而使用1个以上的各种处理器来构成。
进而，这些各种处理器的硬件结构更具体而言是组合了半导体元件等电路元件的电气电路(circuitry)。
本发明的技术范围并不限定于上述的实施方式所记载的范围。各实施方式中的结构等能在不脱离本发明的主旨的范围内在各实施方式间适当组合。
附图标记的说明
1 药剂检查辅助装置
2 药剂检查辅助装置
10 处理部
11 处理部
12 主图像取得部
14 拍摄图像取得部
16 药剂检测部
18 第1图像处理部
20 第2图像处理部
22 图像综合部
24 判定部
26 类似度算出部
28 指定信息取得部
32 照明部
34 光源
34E 光源
34N 光源
34S 光源
34W 光源
36A 摄像机
36B 摄像机
38 处方笺读取器
40 存储部
50 显示部
52 监视器
60 操作部
70 运送机构
A1～A44 药剂区域
B1～B44 第1强调图像
C1～C44 第2强调图像
D1～D44 综合图像
PA 拍摄光轴
PB 药包带
TP 分包袋
S1～S35 药剂检查辅助装置中的药剂检查辅助方法的步骤

Claims (14)

1.一种图像处理装置，其特征在于，具备：
主图像取得部，基于处方笺信息来取得应进行配药的药剂的主图像；
拍摄图像取得部，取得光向配过药的药剂的表面的照明方向分别不同的所述药剂的多个拍摄图像；
第1图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；
第2图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；
图像综合部，将所述第1强调图像和所述第2强调图像综合来生成综合图像；和
判定部，对生成的所述综合图像和所述主图像进行对照，来判定所述应进行配药的药剂和所述配过药的药剂是否相同，
所述第1图像处理部进行加大药剂的刻印部分的亮度值的处理，
所述第2图像处理部进行加大药剂的印字部分的亮度值的处理，
所述图像综合部对所述第1强调图像以及所述第2强调图像的分别对应的位置的亮度值进行比较，采用亮度大的一方的亮度值。
2.一种图像处理装置，其特征在于，具备：
主图像取得部，基于处方笺信息来取得应进行配药的药剂的主图像；
拍摄图像取得部，取得光向配过药的药剂的表面的照明方向分别不同的所述药剂的多个拍摄图像；
第1图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；
第2图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；
图像综合部，将所述第1强调图像和所述第2强调图像综合来生成综合图像；和
判定部，对生成的所述综合图像和所述主图像进行对照，来判定所述应进行配药的药剂和所述配过药的药剂是否相同，
所述第1图像处理部进行减小药剂的刻印部分的亮度值的处理，
所述第2图像处理部进行减小药剂的印字部分的亮度值的处理，
所述图像综合部对所述第1强调图像以及所述第2强调图像的分别对应的位置的亮度值进行比较，采用亮度小的一方的亮度值。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像处理装置具备：
药剂检测部，从所述多个拍摄图像检测拍到药剂的区域，
所述第1图像处理部以及所述第2图像处理部针对检测到的所述区域进行所述处理。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
所述拍摄图像取得部取得3张以上的拍摄图像，
所述第1图像处理部基于所述3张以上的拍摄图像来生成所述第1强调图像。
5.根据权利要求1或2所述的图像处理装置，其特征在于，
所述第1图像处理部通过照度差立体法取得所述药剂的表面的三维信息，来生成所述第1强调图像。
6.根据权利要求1或2所述的图像处理装置，其特征在于，
所述第2图像处理部实施平滑化处理、清晰化处理以及边缘检测处理中的至少一者来生成所述第2强调图像。
7.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像处理装置具备：
类似度算出部，算出表示所述综合图像和所述主图像相类似的程度的类似度，
所述判定部基于所述类似度来判定所述应进行配药的药剂和所述配过药的药剂是否相同。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述类似度算出部算出多个所述综合图像与多个所述主图像的类似度，
所述判定部针对类似度最高的所述综合图像与所述主图像的组合判定为所述应进行配药的药剂和所述配过药的药剂相同。
9.一种药剂检查辅助装置，其特征在于，具备：
处方笺信息取得部，取得处方笺信息；
主图像取得部，基于所述处方笺信息来取得应进行配药的药剂的主图像；
照明部，具有对配过药的药剂的表面分别从不同的多个照明方向照射光的多个光源；
拍摄部，拍摄所述药剂；
拍摄控制部，控制所述照明部以及所述拍摄部来取得光向所述药剂的照明方向分别不同的所述药剂的多个拍摄图像；
第1图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；
第2图像处理部，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；
图像综合部，将所述第1强调图像和所述第2强调图像综合来生成综合图像；和
判定部，对生成的所述综合图像和所述主图像进行对照，来判定所述应进行配药的药剂和所述配过药的药剂是否相同，
所述第1图像处理部进行加大药剂的刻印部分的亮度值的处理，
所述第2图像处理部进行加大药剂的印字部分的亮度值的处理，
所述图像综合部对所述第1强调图像以及所述第2强调图像的分别对应的位置的亮度值进行比较，采用亮度大的一方的亮度值。
10.根据权利要求9所述的药剂检查辅助装置，其特征在于，
所述拍摄控制部取得通过所述照明部的所述多个光源当中的2个以上的光源对所述药剂照射光的所述药剂的拍摄图像。
11.根据权利要求9或10所述的药剂检查辅助装置，其特征在于，
所述照明部对所述药剂的表侧以及背侧照射光，
所述拍摄部拍摄所述药剂的表侧以及背侧。
12.根据权利要求9或10所述的药剂检查辅助装置，其特征在于，
所述照明部具备：
第1光源，在第1方向上照射光；
第2光源，在第2方向上照射光；
第3光源，在第3方向上照射光；和
第4光源，在第4方向上照射光，
所述第2方向是在俯视所述表面的情况下与所述第1方向对置的方向，所述第3方向是在俯视所述表面的情况下与所述第1方向正交的方向，所述第4方向是在俯视所述表面的情况下与所述第3方向对置的方向。
13.一种图像处理方法，其特征在于，具备：
主图像取得步骤，基于处方笺信息来取得应进行配药的药剂的主图像；
拍摄图像取得步骤，取得光向配过药的药剂的表面的照明方向分别不同的所述药剂的多个拍摄图像；
第1图像处理步骤，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；
第2图像处理步骤，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；
图像综合步骤，将所述第1强调图像和所述第2强调图像综合来生成综合图像；和
判定步骤，对生成的所述综合图像和所述主图像进行对照，来判定所述应进行配药的药剂和所述配过药的药剂是否相同，
在所述第1图像处理步骤中进行加大药剂的刻印部分的亮度值的处理，
在所述第2图像处理步骤中进行加大药剂的印字部分的亮度值的处理，
在所述图像综合步骤中对所述第1强调图像以及所述第2强调图像的分别对应的位置的亮度值进行比较，采用亮度大的一方的亮度值。
14.一种记录介质，是非临时性且计算机能读取的记录介质，其特征在于，在由计算机读取了存放于所述记录介质的指令的情况下，使计算机执行：
主图像取得功能，基于处方笺信息来取得应进行配药的药剂的主图像；
拍摄图像取得功能，取得光向配过药的药剂的表面的照明方向分别不同的所述药剂的多个拍摄图像；
第1图像处理功能，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的刻印部分的处理，生成第1强调图像；
第2图像处理功能，基于所述多个拍摄图像当中的至少1张拍摄图像进行强调药剂的印字部分的处理，生成第2强调图像；
图像综合功能，将所述第1强调图像和所述第2强调图像综合来生成综合图像；和
判定功能，对生成的所述综合图像和所述主图像进行对照，来判定所述应进行配药的药剂和所述配过药的药剂是否相同，
进一步使计算机执行：
进行加大药剂的刻印部分的亮度值的处理的功能；
进行加大药剂的印字部分的亮度值的处理的功能；和
对所述第1强调图像以及所述第2强调图像的分别对应的位置的亮度值进行比较，采用亮度大的一方的亮度值的功能。
CN201880051894.3A 2017-08-25 2018-05-23 药剂检查辅助装置、图像处理装置、图像处理方法 Active CN111052145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017162544 2017-08-25
JP2017-162544 2017-08-25
PCT/JP2018/019856 WO2019039015A1 (ja) 2017-08-25 2018-05-23 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111052145A CN111052145A (zh) 2020-04-21
CN111052145B true CN111052145B (zh) 2024-03-19

Family

ID=65439976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051894.3A Active CN111052145B (zh) 2017-08-25 2018-05-23 药剂检查辅助装置、图像处理装置、图像处理方法

Country Status (5)

Country Link
US (1) US11423246B2 (zh)
EP (1) EP3674696B1 (zh)
JP (1) JP6823727B2 (zh)
CN (1) CN111052145B (zh)
WO (1) WO2019039015A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6757851B2 (ja) 2017-05-30 2020-09-23 富士フイルム富山化学株式会社 調剤監査支援装置及び調剤監査支援方法
CN111095262A (zh) * 2017-08-31 2020-05-01 富士胶片富山化学株式会社 药剂监查装置、图像处理装置、图像处理方法以及程序
US10872688B2 (en) * 2018-07-30 2020-12-22 Arxium, Inc. Visual analysis pill dispenser
KR102680693B1 (ko) * 2018-12-18 2024-07-01 엘지디스플레이 주식회사 디스플레이 장치
JP2020154946A (ja) * 2019-03-22 2020-09-24 富士ゼロックス株式会社 物体識別装置
EP4039242A4 (en) * 2019-10-01 2022-11-09 FUJIFILM Toyama Chemical Co., Ltd. DRUG COLLECTION DEVICE, DRUG COLLECTION SYSTEM, DRUG MANAGEMENT METHOD, AND PROGRAM

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065596A (ja) * 2006-09-07 2008-03-21 Casio Comput Co Ltd 調剤薬局システム
JP2012023691A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
CN103238166A (zh) * 2011-02-14 2013-08-07 株式会社汤山制作所 配药确认装置
CN103443617A (zh) * 2011-03-24 2013-12-11 松下电器产业株式会社 药片检查装置以及采用了该装置的药片检查方法
CN105338945A (zh) * 2013-06-19 2016-02-17 富士胶片株式会社 药剂信息获取装置及方法
AU2015239178A1 (en) * 2014-03-31 2016-11-17 Yuyama Mfg.Co.,Ltd. Medicine photographing device
WO2017119276A1 (ja) * 2016-01-06 2017-07-13 株式会社湯山製作所 鑑査支援システム、錠剤分包装置、分包制御プログラム
CN107072881A (zh) * 2014-09-25 2017-08-18 株式会社汤山制作所 检查辅助系统、片剂分包装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163985B2 (ja) * 2008-11-14 2013-03-13 学校法人早稲田大学 粒状物品種検査装置
EP2633475B8 (en) * 2010-10-29 2016-09-07 Mint Solutions Holding BV Medication identification and verification
JP2013066533A (ja) * 2011-09-21 2013-04-18 Twin Life Kk 薬剤照合装置
US8712163B1 (en) * 2012-12-14 2014-04-29 EyeNode, LLC Pill identification and counterfeit detection method
JP5997120B2 (ja) * 2013-09-26 2016-09-28 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
JP6424020B2 (ja) * 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6682809B2 (ja) * 2015-11-09 2020-04-15 大日本印刷株式会社 検査システムおよび検査方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065596A (ja) * 2006-09-07 2008-03-21 Casio Comput Co Ltd 調剤薬局システム
JP2012023691A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
CN103238166A (zh) * 2011-02-14 2013-08-07 株式会社汤山制作所 配药确认装置
CN103443617A (zh) * 2011-03-24 2013-12-11 松下电器产业株式会社 药片检查装置以及采用了该装置的药片检查方法
CN105338945A (zh) * 2013-06-19 2016-02-17 富士胶片株式会社 药剂信息获取装置及方法
AU2015239178A1 (en) * 2014-03-31 2016-11-17 Yuyama Mfg.Co.,Ltd. Medicine photographing device
CN107072881A (zh) * 2014-09-25 2017-08-18 株式会社汤山制作所 检查辅助系统、片剂分包装置
WO2017119276A1 (ja) * 2016-01-06 2017-07-13 株式会社湯山製作所 鑑査支援システム、錠剤分包装置、分包制御プログラム

Also Published As

Publication number Publication date
EP3674696A4 (en) 2020-09-09
WO2019039015A1 (ja) 2019-02-28
JP6823727B2 (ja) 2021-02-03
EP3674696A1 (en) 2020-07-01
JPWO2019039015A1 (ja) 2020-09-24
US20200175319A1 (en) 2020-06-04
US11423246B2 (en) 2022-08-23
EP3674696B1 (en) 2024-04-24
CN111052145A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111052145B (zh) 药剂检查辅助装置、图像处理装置、图像处理方法
US10726285B2 (en) Medicine audit apparatus, method, and program
CN110892445B (zh) 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
CN111031995A (zh) 药剂检查辅助装置、图像处理装置、图像处理方法以及程序
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JP5997120B2 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP2010117331A (ja) 粒状物品種検査装置
WO2014080966A1 (ja) 薬剤鑑査装置
JPWO2019187601A1 (ja) 薬剤判定装置、及び境界凹部の検出方法
JP2019220047A (ja) 認証装置、認証プログラム、認証方法
JP7375049B2 (ja) 画像処理装置及び方法
CN110892413A (zh) 药剂识别装置、图像处理装置、图像处理方法以及程序
JP7338030B2 (ja) 物体認識装置、方法及びプログラム
JP7280361B2 (ja) 薬剤識別装置、薬剤識別方法及びプログラム
CN114051723A (zh) 图像生成装置、药剂识别装置、药剂显示装置、图像生成方法以及程序
JP2007048040A (ja) 写真辺検出装置、ｉｄカード作成装置、写真辺検出方法及びｉｄカード作成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240913

Address after: Tokyo Capital of Japan

Patentee after: Fujifilm Medical Co.,Ltd.

Country or region after: Japan

Address before: Tokyo Capital of Japan

Patentee before: TOYAMA CHEMICAL Co.,Ltd.

Country or region before: Japan