[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019039300A1 - 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム - Google Patents

薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019039300A1
WO2019039300A1 PCT/JP2018/029925 JP2018029925W WO2019039300A1 WO 2019039300 A1 WO2019039300 A1 WO 2019039300A1 JP 2018029925 W JP2018029925 W JP 2018029925W WO 2019039300 A1 WO2019039300 A1 WO 2019039300A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light source
drug
edge
images
Prior art date
Application number
PCT/JP2018/029925
Other languages
English (en)
French (fr)
Inventor
一央 岩見
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880047269.1A priority Critical patent/CN110892445B/zh
Priority to EP18848786.2A priority patent/EP3675030B1/en
Priority to JP2019538069A priority patent/JP6894977B2/ja
Publication of WO2019039300A1 publication Critical patent/WO2019039300A1/ja
Priority to US16/744,661 priority patent/US11195042B2/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/007Marking tablets or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/40ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Definitions

  • the present invention relates to a drug inspection support device, a drug identification device, an image processing device, an image processing method, and a program, and in particular, a drug test support device for reading an imprint attached to a drug, a drug identification device, an image processing device, an image processing method, About the program.
  • the type of medicine can be identified by illuminating the medicine, photographing the illuminated medicine, and collating the medicine area of the obtained captured image with the master image registered in advance for each kind of medicine. it can.
  • Patent Document 1 a plurality of illumination means for irradiating light from different directions to the marking display provided on the object, an imaging means for imaging the marking display, and a plurality of pieces of image information of different illuminations obtained by the imaging means
  • An inscription display reading device which comprises an image combining means for combining to obtain a combined image, and a reading means for reading the content of the marking display from the combined image.
  • Patent Document 1 can not reduce information other than the marking. For this reason, when the device described in Patent Document 1 is applied to identification of a drug, a spot pattern or the like possessed by the drug is read. Thus, there is a problem that matching with the master image can not be appropriately performed if information other than the marking such as a mottled pattern is obtained as the information of the medicine.
  • the present invention has been made in view of such circumstances, and it is a drug inspection support device that reduces information other than the marking such as a pattern on the surface of the drug smaller than the width of the groove of the marking and scratches and extracts the marking accurately. It is an object of the present invention to provide a drug identification device, an image processing device, an image processing method, and a program.
  • an acquiring unit for acquiring a plurality of images of medicines in which the irradiation directions of light on the surface of the medicines on which the markings are attached are different;
  • an edge image generation unit that generates a plurality of edge images by using edge extraction filters of a size corresponding to the width of the groove of the marking, with respect to each of the images.
  • an image combining unit that combines a plurality of edge images to generate a combined image.
  • the edge extraction filter has a direction according to the irradiation direction with respect to each image of a plurality of images of the medicine in which the irradiation direction of light to the surface of the medicine on which the marking is applied is different. Since the plurality of edge images are generated using edge extraction filters of a size corresponding to the width of the groove of the stamp, and the plurality of edge images are synthesized to generate a composite image, the width of the groove of the stamp Small marks on the surface of the drug and marks other than markings such as scratches can be reduced and marks can be extracted.
  • the edge image generation unit generates a plurality of edge images using an edge extraction filter of a size larger than half of the width of the groove of the stamp.
  • the edge extraction filter of such a size the signal of the surface pattern and the like which does not depend on the irradiation direction of the light is relatively reduced, so the pattern and flaw etc. of the surface of the drug smaller than the width of the groove of the imprint It is possible to reduce the information other than the marking of and extract the marking.
  • the direction according to the irradiation direction includes the direction in planar view of the surface of the irradiation direction. Thereby, a plurality of edge images can be appropriately generated.
  • the direction according to the irradiation direction includes a direction inclined 45 degrees with respect to the direction in plan view of the surface in the irradiation direction and a direction inclined in 45 degrees with respect to the direction in plan view of the surface in the irradiation direction.
  • the acquiring unit acquires four images of the medicine in which the irradiation direction of the light to the surface is the first direction, the second direction, the third direction, and the fourth direction, and the second direction is the first direction and the surface
  • the third direction is the direction perpendicular to the first direction and the surface in plan view
  • the fourth direction is the direction opposite the third direction to the surface in plan view Is preferred.
  • An appropriate composite image can be generated by using an image irradiated with light from four orthogonal directions.
  • one aspect of the drug identification apparatus includes: a stage on which a drug having an imprint is attached on the surface; and an irradiation unit having a plurality of light sources different in irradiation direction of light on the surface.
  • An imaging unit for acquiring a plurality of images obtained by imaging each of the medicines irradiated with light by a plurality of light sources on the surface of the medicine, and an edge extraction filter in a direction according to the irradiation direction for each image of the plurality of images
  • An edge image generation unit that generates a plurality of edge images using edge extraction filters each having a size corresponding to the width of a groove of an imprint, and an image combination unit that combines a plurality of edge images to generate a composite image Provided.
  • a plurality of medicines on which the markings are attached to the surface are placed on the stage, and the plurality of light sources having different irradiation directions of light to the surface respectively irradiate the surfaces of the medicine with light, Image of each of the plurality of images, using the edge extraction filter of the size according to the width of the groove of the marking, which is the edge extraction filter of the direction according to the irradiation direction Since an image is generated and a plurality of edge images are synthesized to generate a synthesized image, it is possible to reduce the information other than the marking such as the pattern on the surface of the medicine and the scratch, and extract the marking.
  • the irradiating unit irradiates light in a fourth direction with a first light source that emits light in a first direction, a second light source that emits light in a second direction, a third light source that emits light in a third direction, and
  • the second direction is a direction opposite to the first direction in plan view of the surface
  • the third direction is a direction orthogonal to the first direction in plan view of the surface
  • the four directions are preferably directions opposite to the third direction in a plan view of the surface.
  • the irradiation unit irradiates light in an eighth direction, a fifth light source that emits light in a fifth direction, a sixth light source that emits light in a sixth direction, a seventh light source that emits light in a seventh direction, and And the sixth direction is a direction opposite to the fifth direction in plan view of the surface, and the seventh direction is a direction orthogonal to the fifth direction in plan view of the surface, and
  • the eight directions are the directions opposite to the seventh direction in plan view of the surface, and the stage is made of a light transmitting material, and the first light source, the second light source, the third light source, and the fourth light source are Preferably, the fifth light source, the sixth light source, the seventh light source, and the eighth light source are disposed on one surface side, and the other surface side different from one surface side of the stage. Even when the imprint of the medicine is disposed on either the upper surface or the lower surface of the stage, the light can be irradiated from four orthogonal directions to obtain an image, and an
  • one aspect of the image processing method includes an acquiring step of acquiring a plurality of images of medicines in which the irradiation direction of light on the surface of the medicines on which the imprint is applied is different; And an edge image generating step of generating a plurality of edge images by using edge extraction filters of a size corresponding to the width of the groove of the marking, for each of the images. And an image combining step of combining a plurality of edge images to generate a combined image.
  • the edge extraction filter has a direction according to the irradiation direction with respect to each image of a plurality of images of the medicine in which the irradiation direction of light to the surface of the medicine on which the marking is applied is different. Since the plurality of edge images are generated using edge extraction filters of a size corresponding to the width of the groove of the stamp, and the plurality of edge images are synthesized to generate a composite image, the width of the groove of the stamp Small marks on the surface of the drug and marks other than markings such as scratches can be reduced and marks can be extracted.
  • one aspect of the program is an acquisition function for acquiring a plurality of images of a medicine in which the irradiation direction of light to the surface of the medicine on the surface of which the imprint is applied is different, and each of a plurality of images
  • a plurality of edge image generation functions for generating a plurality of edge images using an edge extraction filter of a direction according to the irradiation direction with respect to the image and using an edge extraction filter of a size according to the width of the groove of the marking
  • causing the computer to execute an image combining function of combining the edge images of to generate a combined image.
  • the edge extraction filter has a direction according to the irradiation direction with respect to each image of a plurality of images of the medicine in which the irradiation direction of light to the surface of the medicine on which the marking is applied is different. Since the plurality of edge images are generated using edge extraction filters of a size corresponding to the width of the groove of the stamp, and the plurality of edge images are synthesized to generate a composite image, the width of the groove of the stamp Small marks on the surface of the drug and marks other than markings such as scratches can be reduced and marks can be extracted.
  • one aspect of the drug testing support device is a drug testing support device for testing a drug, which is a drug master image from a drug database including a drug master image of a drug, and a photo taken of the drug to be tested
  • a drug discrimination unit that collates the image with the drug and determines which drug the drug present in the captured image corresponds to, and a list of drugs to be tested, and determines the drug master image and each drug in the captured image
  • a list creation unit that creates a list that displays the drug region image and the registered drug region image in an aligned manner and emphasizing the imprinted portion or the printed portion.
  • the identification information is imprinted. Even in the case of printing, identification information can be appropriately recognized by the user.
  • the present invention it is possible to reduce the information other than the marking such as the pattern on the surface of the medicine and the flaw smaller than the width of the groove of the marking and to extract the marking with high accuracy.
  • Top view of drug identification device Side view of drug identification device Block diagram showing internal configuration of drug identification device A diagram showing an example of an omnidirectional incident image, a left incident image, a right incident image, an upper incident image, and a lower incident image A diagram showing an omnidirectional correction image, a left correction image, a right correction image, an upper correction image, and a lower correction image A diagram showing regions of identification information of an omnidirectional correction image, a left correction image, a right correction image, an upper correction image, and a lower correction image
  • Perspective view of drug identification device Top view of drug identification device Top view of drug identification device Top view of drug identification device Side view of drug identification device Top view of drug identification device Side view of drug identification device Block diagram showing internal configuration of drug identification device A schematic view of the cross-sectional structure in the x-axis direction passing through the center of the xy plan view of the tablet The figure which shows the luminance profile of the x-axis direction which passes through the center of xy planar view of the left incident image of a tablet The figure which shows
  • FIG.19 and FIG.20 A diagram showing an example of the upper incident image, the right incident image, the left incident image, and the lower incident image, and the range of the luminance value of each image
  • First Embodiment Identification information for identifying the type of medicine is attached to the surface of the medicine (tablet). This identification information is generally attached by marking or printing (printing). Therefore, if it is possible to determine whether this identification information is attached by marking or printing, candidates for the drug matching process can be reduced.
  • the drug identification device determines whether the identification information of the drug attached to the surface is attached by marking or printing.
  • the identification information was formed by forming the groove which is a depression area on the surface of the medicine.
  • the grooves are not limited to those formed by digging the surface, but may be formed by pressing the surface.
  • the marking may include one that does not have an identifying function such as a dividing line.
  • attached by printing means that identification information is formed by applying edible ink or the like in contact or non-contact with the surface of the tablet.
  • attaching by printing is the same as attaching by printing.
  • FIG. 1 is a top view of a medicine identification apparatus 100 (an example of an image processing apparatus) according to the first embodiment, and FIG. 2 is a side view of the medicine identification apparatus 100.
  • the drug identification device 100 includes a stage 102, a first light source 104, a second light source 106, a third light source 108, a fourth light source 110, a fifth light source 112, a sixth light source 114, and a fourth light source
  • a light source 116, an eighth light source 118, a camera 120, and a camera 122 are provided.
  • illustration of the camera 120 and the camera 122 is omitted.
  • the stage 102 is a plate-like member having a mounting surface 102A and a back surface 102B parallel to the xy plane (horizontal surface).
  • the stage 102 is made of a light transmissive material. Here, it has a size of 130 mm in the x-axis direction and 80 mm in the y-axis direction.
  • a tablet T (an example of a medicine) is placed on the placement surface 102A of the stage 102.
  • identification information I of the tablet T is attached to at least one of the upper surface and the lower surface by marking or printing. It is done.
  • the tablet T is not wrapped in a packing paper, but may be placed in a state of being wrapped in a transparent or translucent packing paper.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 are bar-shaped (linear) It is an LED (Light Emitting Diode) light source.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 are supported by a support (not shown)
  • the illumination light of visible light is emitted toward the stage 102 from directions inclined with respect to the z-axis direction.
  • the brightness at the time of lighting of the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 is Each is the same.
  • the first light source 104 is a position separated by a fixed amount from the stage 102 on one side (upper side in FIG. 2) in the z-axis direction, and one side (left side in FIG. 1) of the mounting surface 102A in the x-axis direction. In the y-axis direction.
  • the first light source 104 emits illumination light toward the stage 102 in a first direction.
  • the second light source 106 is disposed parallel to the y-axis direction at a position separated by a fixed amount from the stage 102 to one side in the z-axis direction and at the other side (right side in FIG. 1) in the x-axis direction There is.
  • the second light source 106 emits illumination light in a second direction toward the stage 102.
  • the second direction is a direction opposite to the first direction in xy plan view (an example of a plan view of the surface).
  • the third light source 108 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 on one side in the z-axis direction and at one side in the y-axis direction (upper side in FIG. 1) There is.
  • the third light source 108 emits illumination light toward the stage 102 in the third direction.
  • the third direction is a direction orthogonal to the first direction in xy plan view.
  • the fourth light source 110 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 to one side in the z-axis direction and at the other side (lower side in FIG. 1) in the y-axis direction. ing.
  • the fourth light source 110 emits illumination light toward the stage 102 in a fourth direction.
  • the fourth direction is a direction opposite to the third direction in xy plan view.
  • the fifth light source 112 is disposed parallel to the y-axis direction at a position separated by a fixed amount from the stage 102 on the other side (lower side in FIG. 2) in the z-axis direction and at one position in the x-axis direction. ing.
  • the fifth light source 112 emits illumination light toward the stage 102 in the fifth direction.
  • the fifth direction is the same as the first direction in xy plan view.
  • the sixth light source 114 is disposed at a position separated from the stage 102 by a fixed amount on the other side in the z-axis direction and parallel to the y-axis direction at a position on the other side in the x-axis direction.
  • the sixth light source 114 emits illumination light toward the stage 102 in the sixth direction.
  • the sixth direction is a direction opposite to the fifth direction in xy plan view.
  • the seventh light source 116 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 on the other side in the z-axis direction and at a position on one side in the y-axis direction.
  • the seventh light source 116 emits illumination light toward the stage 102 in the seventh direction.
  • the seventh direction is a direction orthogonal to the fifth direction in xy plan view.
  • the eighth light source 118 is disposed at a position separated from the stage 102 by a fixed amount on the other side in the z-axis direction and parallel to the x-axis direction at a position on the other side in the y-axis direction.
  • the eighth light source 118 emits illumination light toward the stage 102 in the eighth direction.
  • the eighth direction is a direction opposite to the seventh direction in xy plan view.
  • the camera 120 and the camera 122 are imaging devices for acquiring a color image of visible light, and are supported by a support (not shown).
  • the camera 120 and the camera 122 each include a lens and an imaging device (not shown).
  • the camera 120 is provided at a position away from the stage 102 by a fixed amount on one side in the z-axis direction.
  • the camera 120 is disposed with its optical axis parallel to the z-axis direction toward the mounting surface 102A.
  • the camera 122 is provided at a position away from the stage 102 by a fixed amount on the other side in the z-axis direction.
  • the camera 122 is disposed with the optical axis parallel to the z-axis direction toward the back surface 102B.
  • the optical axis of the camera 120 and the optical axis of the camera 122 are opposed via the stage 102.
  • FIG. 3 is a block diagram showing an internal configuration of the medicine identification apparatus 100.
  • the drug identification device 100 includes an acquisition unit 124, an image comparison unit 130, and a determination unit 136.
  • the acquisition unit 124 includes an irradiation unit 126 and a photographing control unit 128 in addition to the camera 120 and the camera 122 described above.
  • the irradiation unit 126 has a plurality of light sources.
  • the irradiation unit 126 includes the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 described above. Is equipped.
  • the imaging control unit 128 controls lighting and extinguishing of each light source of the irradiation unit 126.
  • the imaging control unit 128 controls the camera 120 and the camera 122.
  • the camera 120 and the camera 122 capture the plurality of captured images by capturing images of the tablets T in which light is respectively irradiated to the surface of the tablet T by the plurality of light sources according to the control of the imaging control unit 128.
  • the acquisition unit 124 includes a communication interface for communicating with an external device such as a computer, thereby acquiring a plurality of images of the tablet T in which the irradiation direction of light from the external device to the surface of the tablet T is different. It may be
  • the image comparison unit 130 compares each of the plurality of captured images acquired by the acquisition unit 124.
  • the image comparison unit 130 includes an image processing unit 132 and a correlation degree detection unit 134.
  • the image processing unit 132 subjects the plurality of captured images acquired by the acquisition unit 124 to image processing such as uneven brightness correction processing and noise reduction processing.
  • the degree of correlation detection unit 134 evaluates the degree of correlation between the images subjected to the image processing by the image processing unit 132.
  • the determination unit 136 determines whether the identification information I of the tablet T is attached by marking or printing according to the comparison result of the image comparison unit 130. Here, the determination is made by comparing the degree of correlation detected by the degree of correlation detection unit 134 with a predetermined threshold. In addition, the determination unit 136 may determine whether the surface of the tablet T is marked.
  • the imaging control unit 128 includes all of the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 The bottom surface is illuminated.
  • the imaging control unit 128 captures the upper surface of the tablet T by the camera 120 and the lower surface of the tablet T by the camera 122, and acquires an omnidirectional incident image of the upper surface of the tablet T and an omnidirectional incident image of the lower surface.
  • the imaging control unit 128 turns on the first light source 104 and the fifth light source 112, turns off the other light sources, and irradiates the upper and lower surfaces of the tablet T with illumination light by the first light source 104 and the fifth light source 112. Do. Further, the imaging control unit 128 captures the upper surface of the tablet T by the camera 120 and the lower surface of the tablet T by the camera 122, and acquires the left incident image of the upper surface of the tablet T and the left incident image of the lower surface.
  • the imaging control unit 128 turns on the second light source 106 and the sixth light source 114, turns off the other light sources, and applies illumination light to the upper surface and the lower surface of the tablet T by the second light source 106 and the sixth light source 114. Do. Further, the imaging control unit 128 captures the upper surface of the tablet T by the camera 120 and the lower surface of the tablet T by the camera 122, and acquires the right incident image of the upper surface of the tablet T and the right incident image of the lower surface.
  • the imaging control unit 128 turns on the third light source 108 and the seventh light source 116, turns off the other light sources, and applies illumination light to the upper surface and the lower surface of the tablet T by the third light source 108 and the seventh light source 116. Do. Further, the imaging control unit 128 captures the upper surface of the tablet T by the camera 120 and the lower surface of the tablet T by the camera 122, and acquires the upper incident image and the upper incident image of the lower surface of the tablet T.
  • the imaging control unit 128 turns on the fourth light source 110 and the eighth light source 118, turns off the other light sources, and irradiates the upper and lower surfaces of the tablet T with illumination light by the fourth light source 110 and the eighth light source 118. . Further, the imaging control unit 128 captures the upper surface of the tablet T with the camera 120 and the lower surface of the tablet T with the camera 122, and acquires the lower incident image and the lower incident image of the lower surface of the upper surface of the tablet T (an example of acquisition process , An example of acquisition function).
  • the omnidirectional incident image, the left incident image, the right incident image, the upper incident image, and the lower incident image thus captured are input to the image comparison unit 130.
  • the image processing unit 132 of the image comparison unit 130 extracts an image in which the identification information I is captured, from the input omnidirectional incident image, left incident image, right incident image, upper incident image, and lower incident image.
  • the identification information I since the identification information I is directed to the upper side in the vertical direction, the identification information I is photographed by the camera 120.
  • FIG. 4 shows an omnidirectional incident image of the upper surface of the tablet T taken by the camera 120 among the omnidirectional incident image, the left incident image, the right incident image, the upper incident image, and the lower incident image acquired by the acquiring unit 124 It is a figure which shows an example of GA1 , left incident image GL1 , right incident image GR1 , upper incident image GU1 , and lower incident image GD1 .
  • the identification information I is directed downward in the vertical direction, the identification information I is photographed by the camera 122.
  • a desired region of the tablet T may be extracted from each image.
  • the image processing unit 132 performs luminance unevenness correction processing on the omnidirectional incident image G A1 , left incident image G L1 , right incident image G R1 , upper incident image G U1 , and lower incident image G D1 , and performs omnidirectional correction image G A2 , left corrected image G L2 , right corrected image G R2 , upper corrected image G U2 , and lower corrected image G D2 are generated.
  • the omnidirectional incident image G A1 , the left incident image G L1 , the right incident image G R1 , the upper incident image G U1 , and the lower incident image G D1 are omnidirectional incident image G A1 , left incident
  • the image G L1 , the right incident image G R1 , the upper incident image G U1 , and the lower incident image G D1 are respectively divided by an image obtained by performing the Gaussian filter processing.
  • Figure 5 shows the image processing section 132 luminance nonuniformity correction omnidirectional process is performed corrected image G A2, left corrected image G L2, right corrected image G R2, upper corrected image G U2, and the lower correction image G D2 FIG.
  • the image processing unit 132 may perform noise reduction processing on the omnidirectional correction image G A2 , the left correction image G L2 , the right correction image G R2 , the upper correction image G U2 , and the lower correction image G D2 , respectively. .
  • the noise reduction processing is performed, for example, processing including at least one of median filtering, Gaussian filtering, nonlocal averaging filtering, and winner filtering.
  • the image processing unit 132 reduces noise in the omnidirectional incident image G A1 , the left incident image G L1 , the right incident image G R1 , the upper incident image G U1 , and the lower incident image G D1 before the uneven brightness correction processing. You may process.
  • the correlation degree detection unit 134 of the image comparison unit 130 compares the omnidirectionally corrected image G A2 , the left corrected image G L2 , the right corrected image G R2 , the upper corrected image G U2 , and the lower corrected image G D2 respectively.
  • the degree of correlation of the area (an example of the marking or printing area) of the identification information I of each image is detected (an example of the image comparison process, an example of the image comparison function).
  • the degree of correlation according to the present embodiment is an index whose value increases as the correlation of the compared images increases.
  • the degree of correlation is detected using, for example, template matching such as zero mean normalization cross correlation matching.
  • FIG. 6 shows the identification of the omnidirectional correction image G A2 , the left correction image G L2 , the right correction image G R2 , the upper correction image G U2 , and the lower correction image G D2 when the identification information I is attached by printing P.
  • FIG. 16 is a diagram showing an example of the area of the identification information I of FIG.
  • the contour of the identification information I is stored without depending on the irradiation direction of the illumination light. Therefore, the degree of correlation between the images is relatively high.
  • the outline of the identification information I largely differs depending on the irradiation direction because the position of the shadow is different depending on the irradiation direction of the illumination light. Therefore, the degree of correlation between the images is relatively low.
  • the degree of correlation detected by the degree of correlation detection unit 134 is input to the determination unit 136.
  • the determination unit 136 determines that the identification information is attached by printing when the input correlation degree is higher than a predetermined threshold, and determines that the identification information is attached by marking when the degree of correlation is less than the threshold (in the determination step An example, an example of the determination function).
  • the candidate of the collation process of the tablet T can be reduced, the load of calculation can be reduced, and speeding-up of a collation process can be achieved.
  • illumination light is emitted from four directions to obtain four directional incident images and one omnidirectional incident image.
  • two pieces of two images are obtained by illuminating illumination light from two directions.
  • An incident image in each direction and one bi-directional incident image may be acquired.
  • FIG. 7 is a perspective view of the medicine identification device 140 according to the second embodiment
  • FIG. 8 is a top view of the medicine identification device 140.
  • symbol is attached
  • the drug identification device 140 includes a stage 102, a camera 120, a camera 122, a mounting surface dome illumination 142, and a back surface dome illumination 148.
  • the camera 120, the camera 122, and the back side dome illumination 148 are not shown.
  • the mounting surface side dome illumination 142 is supported by a support (not shown) at a position separated by a fixed amount from the stage 102 on one side (the mounting surface 102A side) in the z-axis direction.
  • the mounting surface side dome illumination 142 is configured to include a light source holding unit 144 and a plurality of point light sources 146.
  • the light source holding unit 144 is a holding member that holds a plurality of point light sources 146.
  • the light source holding portion 144 is formed of a light transmitting material.
  • the light source holding portion 144 is formed in a substantially dome shape.
  • An opening window 144A for exposing the inside of the light source holding portion 144 is formed on the upper side in the vertical direction of the light source holding portion 144.
  • the camera 120 is disposed above the opening window 144A in the vertical direction. Thereby, the tablet T in the light source holding unit 144 can be photographed by the camera 120 through the opening window 144A.
  • the tablet T in the light source holding unit 144 refers to the tablet T placed on the stage 102 and located inside the light source holding unit 144.
  • point light source 146 an LED light source is used. Eight point light sources 146 are attached at equal intervals along the circumferential direction of each of the lower and upper portions of the outer surface of the light source holder 144. The sixteen point light sources 146 irradiate illumination light toward the tablets T in the light source holder 144.
  • the rear surface side dome illumination 148 is supported by a support (not shown) at a position away from the stage 102 by a fixed amount on the other side (rear surface 102B side) in the z-axis direction.
  • the back side dome illumination 148 is configured to include a light source holding unit 150 and a plurality of point light sources 152.
  • the light source holder 150 is configured in the same manner as the light source holder 144 of the mounting surface side dome illumination 142.
  • an opening window 150A is formed to expose the inside of the light source holding unit 150.
  • a camera 122 is disposed below the opening window 150A in the vertical direction. Thereby, the tablet T in the light source holding unit 150 can be photographed by the camera 122 through the opening window 150A.
  • the tablet T in the light source holding unit 150 refers to the tablet T placed on the stage 102 and located inside the light source holding unit 150.
  • the configuration and arrangement of the point light source 152 are the same as the point light source 146 of the mounting surface side dome illumination 142.
  • the brightness at the time of lighting of the plurality of point light sources 146 and the plurality of point light sources 152 is the same.
  • the block diagram showing the internal configuration of the medicine identification device 140 is the same as the block diagram of the medicine identification device 100 shown in FIG. 3, and the point light source 146 and the point light source 152 are included in the irradiation unit 126.
  • the medicine identification device 140 configured in this way holds the light source by controlling the turning on and off of the point light sources 146 of the mounting surface side dome lighting 142 and the point light sources 152 of the back surface side dome lighting 148.
  • the illumination light can be irradiated to the tablet T in the part 144 from any irradiation direction.
  • the imaging control unit 128 of the medicine identification device 140 turns on all of the plurality of point light sources 146 of the mounting surface side dome illumination 142 and the point light sources 152 of the back surface side dome illumination 148.
  • the plurality of point light sources 146 respectively emit light from a plurality of directions (here, 16 directions) inclined with respect to the direction perpendicular to the surface (upper surface) of the tablet T.
  • the plurality of point light sources 152 respectively emit light from a plurality of directions (here, 16 directions) inclined with respect to the direction perpendicular to the surface (lower surface) of the tablet T.
  • the imaging control unit 128 captures the upper surface of the tablet T by the camera 120 and the lower surface of the tablet T by the camera 122, and acquires an omnidirectional incident image of the upper surface of the tablet T and an omnidirectional incident image of the lower surface.
  • the photographing control unit 128 turns on one point light source 146 of the plurality of point light sources 146 of the mounting surface side dome illumination 142 and turns off the rest.
  • one point light source 152 of the plurality of point light sources 152 of the back side dome illumination 148 is turned on and the rest is turned off.
  • the point light source 146 and the point light source 152 emit light from one direction inclined with respect to the direction perpendicular to the surface of the tablet T.
  • the imaging control unit 128 images the tablet T with the camera 120 and the camera 122, and acquires a one-way incident image of the upper surface of the tablet T and a one-way incident image of the lower surface.
  • the omnidirectional incident image and the unidirectional incident image are input to the image comparison unit 130.
  • the image processing unit 132 of the image comparison unit 130 is an image in which the identification information I is captured from the input omnidirectional incident image and unidirectional incident image, that is, an omnidirectional incident image captured by the camera 120 and unidirectional incident. Extract the image.
  • the image processing unit 132 also performs luminance non-uniformity correction processing on the extracted omnidirectional incident image and unidirectional incident image to generate an omnidirectional corrected image and a unidirectional corrected image.
  • the correlation degree detection unit 134 of the image comparison unit 130 compares the omnidirectional correction image and the unidirectional correction image, and detects the correlation degree of the region of the identification information I of each image.
  • the signal of the region of the identification information I of the one-direction corrected image (one-direction incident image) is not easily attenuated, but the identification information of the all-direction corrected image (all-direction incident image) In the region of I, the signal is attenuated by scattering. Therefore, the degree of correlation between the area of the identification information I of the omnidirectionally corrected image (omnidirectional incident image) and the area of the identification information I of the unidirectionally corrected image (unidirectionally incident image) is relatively low.
  • the area of the identification information I of the omnidirectional correction image (omnidirectional incident image) and the area of the identification information I of the unidirectional correction image (unidirectional incident image) are Both do not attenuate the signal. Therefore, the degree of correlation between the area of the identification information I of the omnidirectionally corrected image (omnidirectional incident image) and the area of the identification information I of the unidirectionally corrected image (unidirectionally incident image) is relatively high.
  • the degree of correlation detected by the degree of correlation detection unit 134 is input to the determination unit 136.
  • the determination unit 136 determines that the identification information is attached by printing when the input correlation degree is higher than a predetermined threshold, and determines that the identification information is attached by marking when the degree of correlation is equal to or less than the threshold.
  • the candidate of the collation process of the tablet T can be reduced, the load of calculation can be reduced, and speeding-up of a collation process can be achieved.
  • the medicine identification device 140 by controlling the turning on and off of the point light source 146 of the mounting surface side dome lighting 142 and the back surface side dome lighting 148, all the same directions as in the first embodiment are obtained. It is also possible to obtain (4 directions) incident image, left incident image, right incident image, upper incident image, and lower incident image.
  • FIG. 9 is a top view of a drug identification device 160 according to the third embodiment
  • FIG. 10 is a side view of the drug identification device 160.
  • symbol is attached
  • the drug identification device 160 includes a stage 102, a first light source 104, a fifth light source 112, a camera 120, a camera 122, a first epi-illumination 162, and a second epi-illumination 168.
  • a camera 120 illustration of the camera 120, the camera 122, and the second epi-illumination light 168 is omitted.
  • the first epi-illumination light 162 is disposed between the stage 102 and the camera 120, on the optical axis of the camera 120, and supported by a support (not shown).
  • the first epi-illumination 162 includes a light source 164 and a half mirror 166.
  • the light source 164 an LED light source is used.
  • the half mirror 166 reflects the illumination light emitted from the light source 164 in the direction coincident with the optical axis of the camera 120.
  • the half mirror 166 transmits the reflected light returned from the stage 102 and causes the reflected light to enter the camera 120.
  • the first epi-illumination 162 illuminates the epi-illumination light coaxial with the optical axis of the camera 120 toward the mounting surface 102A of the stage 102.
  • the second epi-illumination light 168 is supported by an unshown support on the optical axis of the camera 122 between the stage 102 and the camera 122.
  • the second epi-illumination 168 comprises a light source 170 and a half mirror 172.
  • the light source 170 an LED light source is used.
  • the half mirror 172 reflects the illumination light emitted from the light source 170 in the direction coincident with the optical axis of the camera 122. Also, the half mirror 172 transmits the reflected light returned from the stage 102 and causes the light to be incident on the camera 122.
  • the second epi-illumination 168 illuminates the epi-illumination light coaxial with the optical axis of the camera 122 toward the back surface 102 B of the stage 102.
  • the block diagram showing the internal configuration of the medicine identification device 160 is the same as the block diagram of the medicine identification device 100 shown in FIG. 3, and the light source 164 and the light source 170 are included in the irradiation unit 126.
  • the medicine identification device 160 configured in this manner can emit illumination light from one direction inclined with respect to the surface of the tablet T by the first light source 104 and the fifth light source 112, respectively. Moreover, illumination light can be irradiated from the incident direction (vertical direction) to the surface of the tablet T by the first epi-illumination 162 and the second epi-illumination 168, respectively.
  • the imaging control unit 128 of the drug identification device 160 turns on the first light source 104 and the fifth light source 112 and turns off the first epi-illumination 162 and the second epi-illumination 168. Further, the imaging control unit 128 images the upper surface of the tablet T with the camera 120 and the lower surface of the tablet T with the camera 122, and acquires a unidirectionally incident image of the upper surface of the tablet T and a unidirectionally incident image of the lower surface.
  • the photographing control unit 128 turns on the first epi-illumination 162 and the second epi-illumination 168, and turns off the first light source 104 and the fifth light source 112. Then, the upper surface of the tablet T is photographed by the camera 120, and the lower surface of the tablet T is photographed by the camera 122, and the epi-illumination image of the upper surface of the tablet T and the epi-illumination image of the lower surface are acquired.
  • the one-way incident image and the incident image are input to the image comparison unit 130.
  • the image processing unit 132 of the image comparison unit 130 extracts the image in which the identification information I is captured, that is, the one-way incident image and the incident image captured by the camera 120 from the input one-way incident image and the incident incident image. Further, the image processing unit 132 performs luminance non-uniformity correction processing on each of the extracted one-way incident image and incident light image to generate a one-way corrected image and an incident light correction image.
  • the correlation degree detection unit 134 of the image comparison unit 130 compares the one-direction correction image and the epi-illumination correction image, and detects the correlation degree of the region of the identification information I of each image.
  • the area of the identification information I of the one-direction corrected image is difficult to attenuate the signal, but the area of the identification information I of the incident-corrected image (incident image) causess the signal to be attenuated by scattering. For this reason, the degree of correlation between the area of the identification information I of the epi-illumination corrected image (epi-illumination image) and the area of the identification information I of the one-way corrected image (one-directional incident image) is relatively low.
  • both the area of the identification information I of the epi-illumination corrected image (epi-illumination image) and the area of the identification information I of the one-direction corrected image (one-direction incident image) have signals. It does not attenuate. For this reason, the degree of correlation between the area of the identification information I of the epi-illumination corrected image (epi-illumination image) and the area of the identification information I of the one-way corrected image (one-directional incident image) is relatively high.
  • the degree of correlation detected by the degree of correlation detection unit 134 is input to the determination unit 136.
  • the determination unit 136 determines that the identification information is attached by printing when the input correlation degree is higher than a predetermined threshold, and determines that the identification information is attached by marking when the degree of correlation is equal to or less than the threshold.
  • the candidate of the collation process of the tablet T can be reduced, and the load of the calculation process of collation can be reduced.
  • Fourth Embodiment Extracting the tablet impressions and secant improves the robustness of the tablet verification.
  • the reason for the decrease in robustness is that the images to be compared are different in any case.
  • the difference between the images of the inscribing and the dividing line becomes noticeable. This is because the appearance of the shadow of the groove differs depending on the positional relationship between the light source and the marking and dividing line.
  • the tablet is subjected to edge extraction filter processing according to the light irradiation direction using the relationship between the light irradiation direction and the direction in which the shadow of the marking occurs. Extract only the groove part of. As a result, even if the positional relationship between the light source and the marking is determined as it is, information other than the marking such as the pattern and flaws on the surface of the medicine smaller than the width of the groove of the marking is reduced and the marking is precisely performed. Extract.
  • FIG. 11 is a top view of a drug identification device 180 according to the fourth embodiment
  • FIG. 12 is a side view of the drug identification device 180.
  • the external appearance configuration of the drug identification device 180 is the same as the configuration of the drug identification device 100 shown in FIGS. 1 and 2, and the stage 102, the first light source 104, the second light source 106, the third light source 108, the fourth The light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, the eighth light source 118, the camera 120, and the camera 122 are provided.
  • an example in which one tablet T is placed at each of the position A and the position B of the stage 102 is shown.
  • Each tablet T has a diameter D, and a marking S is formed on the surface of the tablet T.
  • the marking S is a dividing line having a V-shaped cross section.
  • the width of the groove of the stamp S is W.
  • the width of the groove of the stamp S is the distance from one end of the groove to the other end in the direction orthogonal to the extending direction of the groove, and means the distance on the surface of the tablet T.
  • the tablet T is placed on the stage 102 with the marking S facing the upper side in the vertical direction and the marking S parallel to the y-axis direction.
  • FIG. 13 is a block diagram showing an internal configuration of the medicine identification device 180. As shown in FIG. The same reference numerals are given to parts in common with the block diagram shown in FIG. 3, and the detailed description thereof is omitted.
  • the drug identification device 180 includes an acquisition unit 124, an edge image generation unit 182, and an image synthesis unit 184.
  • the acquisition unit 124 acquires a plurality of images of drugs whose irradiation directions of light on the surface of the drug whose imprint is attached to the surface are different.
  • an image with a resolution of 360 dpi (dot per inch) is acquired by the camera 120 and the camera 122.
  • the edge image generation unit 182 is an edge extraction filter of a direction according to the irradiation direction of the illumination light with respect to each image of the plurality of images acquired by the acquisition unit 124, and has a size corresponding to the width of the groove of the marking.
  • a plurality of edge images are generated using edge extraction filters respectively.
  • the image combining unit 184 combines a plurality of edge images generated by the edge image generating unit 182 to generate a combined image.
  • FIG. 14 is a schematic view of a cross-sectional structure in the x-axis direction passing the center of the tablet T shown in FIG. 11 in the xy plan view, and shows a profile of a line for one pixel.
  • the imaging control unit 128 turns on only the first light source 104 of the light sources of the irradiation unit 126, and applies illumination light L L shown in FIG. 14 from the first light source 104 to the tablet T placed on the stage 102. Irradiate. Then, the upper surface of the tablet T is photographed by the camera 120, and a left incident image is acquired.
  • the profile P PAL shown in FIG. 15 is a brightness profile in the x-axis direction passing the center of the tablet T in the xy plan view of the left incident image of the tablet T placed at the position A.
  • the profile PPBL shown in FIG. 15 is a brightness profile in the x-axis direction passing the center of the tablet T in the xy plan view of the left incident image of the tablet T placed at the position B.
  • the horizontal axis indicates the normalized position in the x-axis direction
  • the vertical axis indicates the luminance value Y.
  • the surface of the tablet T is relatively brightened by being irradiated with the illumination light L L.
  • the illumination light L L is also irradiated to the surface S R on the right side in FIG. 14 of the marking S, the luminance of the portion of the surface S R is relatively high. Meanwhile, since the illumination light L L on the left side surface S L in FIG. 14 of the stamp S is not irradiated, a shadow is generated, portions of the surface S L is the luminance is relatively low.
  • profile PPBL has a lower overall luminance than profile PPAL shown in FIG.
  • the imaging control unit 128 turns on only the second light source 106 of the light sources of the irradiation unit 126, and the illumination light L R shown in FIG. Irradiate. Then, the upper surface of the tablet T is photographed by the camera 120, and a right incident image is acquired.
  • the profile P PAR shown in FIG. 16 is a brightness profile in the x-axis direction passing the center of the tablet T in the xy plan view of the right incident image of the tablet T placed at the position A.
  • the profile PPBR shown in FIG. 16 is a brightness profile in the x-axis direction passing the center of the tablet T in the xy plan view of the right incident image of the tablet T placed at the position B.
  • the horizontal axis indicates the normalized position in the x-axis direction
  • the vertical axis indicates the luminance value Y.
  • the portion of the surface of the tablet T is luminance by the illumination light L R is irradiated is relatively high.
  • the portion of the surface S L is the luminance is relatively high.
  • the right side surface S R in FIG. 14 of the stamp S is illumination light L R is not irradiated, a shadow is generated, portions of the surface S R is the luminance is relatively low.
  • profile P PAR has a lower overall brightness than profile P PBR .
  • the profile P PAW shown in FIG. 17 is a brightness profile of a composite image obtained by adding the left incident image and the right incident image of the tablet T at the position A, and is a brightness profile in the x-axis direction passing the center of the xy planar view of the tablet T is there.
  • the profile P PAW has a value in which the brightness is different between the position of the surface S R of the marking S and the position of the surface S L.
  • the profile P PBW shown in FIG. 17 is a brightness profile of a composite image obtained by adding the left incident image and the right incident image of the tablet T at the position B, and the brightness in the x-axis direction passing the center of the tablet T in xy plan view It is a profile.
  • profile P PBW has become a value equal luminance and position of the surface S R position and the surface S L.
  • the photographed image of the tablet T has a different luminance profile depending on the positional relationship between the light source and the marking.
  • different shadow images are obtained, which reduces the robustness in matching the images.
  • the correlation decreases even if the luminance profiles are compared with each other. Therefore, even if binarization processing, noise reduction processing, and edge extraction processing are performed, when applied to the composite image of the left incident image and the right incident image, the threshold value differs depending on the position, and only the imprinted part It is difficult to extract
  • the imaging control unit 128 turns on only the first light source 104 of the light sources of the irradiation unit 126, captures an upper surface of the tablet T with the camera 120, and acquires a left incident image. Moreover, only the 2nd light source 106 is turned on among the light sources of the irradiation part 126, the upper surface of the tablet T is image
  • the left incident image and the right incident image of the tablet T at position A and the tablet T at position B thus acquired are input to the edge image generation unit 182.
  • the edge image generation unit 182 generates a left edge image and a right edge image with respect to the input left incident image and right incident image, using edge extraction filters in a direction according to the irradiation direction.
  • the edge extraction filter a Sobel filter having a size larger than half of the width (number of pixels) of the groove of the imprint S is used. For example, if the number of pixels of the groove width of the marking S is four pixels, a Sobel filter having a size (three pixels in the x-axis direction ⁇ three pixels in the y-axis direction, etc.) larger than half thereof is used.
  • the groove is accurately extracted by using the edge extraction filter of a size in consideration of the number of pixels from the edge. It is possible to reduce information other than imprints such as surface patterns and flaws smaller than the width of.
  • the edge extraction filter process can include at least one of Sobel filter process, Laplacian filter process, and Canny filter process, and can be appropriately selected according to the method of comparison with the master image.
  • the direction according to the irradiation direction is a direction in xy plan view of the irradiation direction here. That is, the direction in the xy plan view of the irradiation direction of the illumination light from the first light source 104 is the direction (right direction) from left to right in FIG. 11, and xy in the irradiation direction of the illumination light from the second light source 106 The direction in plan view is the direction (left direction) from right to left in FIG.
  • FIG. 18 is a diagram showing a Sobel filter used for Sobel filter processing in each direction, showing a Sobel filter F L in the left direction and a Sobel filter F R in the right direction.
  • the resolution of the left incident image and the right incident image is 360 dpi, and x pixel in the x direction 3 pixels x y axis direction 3 pixels, x axis direction 5 pixels x y axis direction 5 pixels, or x axis direction 7 pixels x y
  • the size of seven pixels in the axial direction or the like corresponds to half the number of pixels of the groove of the marking S. If the resolution is different, a filter having a size larger than half the number of pixels of the groove width of the marking S may be appropriately selected.
  • a Sobel filter of 3 pixels in x-axis direction ⁇ 3 pixels in y-axis direction is used.
  • Edge image generation unit 182 performs edge detection processing using a Sobel filter F L for the left incident image of the tablet T in position A, to produce a left edge image.
  • the profile PEAL shown in FIG. 19 is a differential profile of the profile P PAL shown in FIG. 15, and in the left edge image of the tablet T at position A, a brightness profile in the x-axis direction passing through the center of xy planar view of the tablet T It is equivalent.
  • the edge image generation unit 182 performs edge detection processing using a Sobel filter F L for the left incident image of the tablet T in position B, and generate the left edge image.
  • the profile PEBL shown in FIG. 19 is a derivative profile of the profile PPBL shown in FIG. 15, and in the left edge image of the tablet T at position B, a brightness profile in the x-axis direction passing through the center of the tablet T in xy plan view It is equivalent.
  • the edge image generation unit 182 performs edge detection processing using a Sobel filter F R for the right incident image of the tablet T in position A, to produce a right edge image.
  • the profile P EAR shown in FIG. 20 is a differential profile of the profile P PAR shown in FIG. 16 and in the right edge image of the tablet T at position A, a brightness profile in the x-axis direction passing through the center of xy planar view of the tablet T It is equivalent.
  • the edge image generation unit 182 performs edge detection processing using a Sobel filter F R for the right incident image of the tablet T in position B, and generates a right edge image.
  • the profile PEBR shown in FIG. 20 is a derivative profile of the profile PPBR shown in FIG. 16 and in the right edge image of the tablet T at position B, a brightness profile in the x-axis direction passing through the center of the tablet T in xy plan view It is equivalent.
  • the image combining unit 184 combines the left edge image and the right edge image to generate a combined image.
  • Profile P CA shown in FIG. 21 is a synthetic profile of profile P EAL and profile P EAR, the composite image of the left edge image and a right edge image of the tablet T in position A, passing through the center of the xy plane view of a tablet T It is equivalent to the luminance profile in the x-axis direction.
  • profile P CB shown in FIG. 21 is a synthetic profile of profile P EBL and profile P EBR, the composite image of the left edge image and a right edge image of the tablet T in position B, the center of the xy plane view of a tablet T Is equivalent to the intensity profile in the x-axis direction passing through
  • the luminance profile of the composite image is higher in signal-to-noise ratio in the portion of the marking S than in the luminance profile shown in FIG.
  • the signal does not relatively depend on the direction of illumination (does not show shadows), etc.
  • the signal is relatively reduced, so the pattern and flaw of the surface of the drug smaller than the width of the groove of the imprint
  • the information other than the marking such as can be reduced, and the marking can be extracted.
  • the fourth embodiment has described an example using the left incident image and the right incident image which are two images in which the irradiation direction of light on the surface of the tablet T is different, the irradiation direction of light is three or more. Is preferred. In the present embodiment, an example using four images with four light irradiation directions will be described.
  • the imaging control unit 128 acquires the upper incident image, the right incident image, the left incident image, and the lower incident image of the upper surface and the lower surface of the tablet T (an example of an acquisition process).
  • the imaging control unit 128 turns on only the third light source 108 and the seventh light source 116 among the light sources of the irradiation unit 126, and acquires the upper incident image on the upper surface and the lower surface of the tablet T by the camera 120 and the camera 122. Similarly, the imaging control unit 128 turns on only the second light source 106 and the sixth light source 114 among the light sources of the irradiation unit 126, and acquires right incident images of the upper surface and the lower surface of the tablet T by the camera 120 and the camera 122.
  • the first light source 104 and the fifth light source 112 are turned on, and left incident images of the upper surface and the lower surface of the tablet T are acquired by the camera 120 and the camera 122.
  • the fourth light source 110 and the eighth light source 118 are turned on, and the lower incident images of the upper surface and the lower surface of the tablet T are acquired by the camera 120 and the camera 122.
  • the upper incident image, the right incident image, the left incident image, and the lower incident image thus acquired are input to the edge image generation unit 182.
  • the edge image generation unit 182 extracts an image in which the marking S is captured from the input upper incident image, the right incident image, the left incident image, and the lower incident image.
  • the marking S is photographed by the camera 120. 22 shows an upper incident image G U11 , a right incident image G R11 , and the upper incident image captured by the camera 120 among the upper incident image, the right incident image, the left incident image, and the lower incident image acquired by the acquiring unit 124.
  • the left entrance image G L11, and the lower incident image G D11 it illustrates a range of luminance values of each image.
  • the edge image generation unit 182 adjusts the range of the luminance value of the upper incident image G U11 , the right incident image G R11 , the left incident image G L11 , and the lower incident image G D11 to a range in which the marking S can be visually recognized.
  • FIG. 23 is a diagram showing an example of the upper incident image G U12 , the right incident image G R12 , the left incident image G L12 , and the lower incident image G D12 after adjustment of the range of luminance values, and the range of luminance values after adjustment. It is.
  • the edge image generation unit 182 may perform uneven brightness correction processing on the upper incident image G U12 , the right incident image G R12 , the left incident image G L12 , and the lower incident image G D12 .
  • the uneven brightness correction processing includes, for example, upper incident image G U12 , right incident image G R12 , left incident image G L12 , and lower incident image G D12 , and upper incident image G U12 , right incident image G R12 , left incident image G L12 and the lower incident image G D12 are respectively divided by the image subjected to the Gaussian filter processing.
  • the edge image generation unit 182 extracts an edge of the upper incident image G U12 , the right incident image G R12 , the left incident image G L12 , and the lower incident image G D12 according to the illumination direction of the illumination light.
  • An edge image is generated by using an edge extraction filter which is a filter and has a size corresponding to the number of pixels of the groove width of the marking S.
  • a Sobel filter whose size is larger than half the number of pixels of the groove width of the inscription S is used as the edge extraction filter.
  • the direction according to the irradiation direction includes the direction in the xy plan view of the irradiation direction of the illumination light, the direction in the xy plan view of the irradiation direction, and the direction inclined 45 degrees in the xy plan view, and It includes a direction in xy plan view and a direction inclined by -45 degrees in xy plan view. This is because the illumination light from each light source of the irradiation unit 126 is not a perfect parallel light and to detect a marking in a direction inclined with respect to each irradiation direction.
  • the direction according to the irradiation direction is also possible to set the direction according to the irradiation direction to only the direction in the xy plan view of the irradiation direction.
  • FIG. 24 shows Sobel filters for Sobel filter processing in each direction, which are Sobel filters F U in the upward direction, Sobel filters F UR in the upper right direction, Sobel filters F UL in the upper left direction, and It is a figure showing a Sobel filter F D , a Sobel filter F DR in the lower right direction, and a Sobel filter F DL in the lower left direction. Further, the Sobel filter F L in the left direction and the Sobel filter F R in the right direction shown in FIG. 18 are also used.
  • Edge image generating unit 182 generates an edge image using the Sobel filter F U in the upward direction relative to the upper incident image G U12 to generate an edge image by using the upper right of the Sobel filter F UR, and An edge image is generated using the Sobel filter F UL in the upper left direction, and these three edge images are added to generate an upward edge image G U13 .
  • the edge image generation unit 182 uses the Sobel filter F R in the right direction, the Sobel filter F UR in the upper right direction, and the Sobel filter F DR in the lower right direction to the right incident image G R12 .
  • a direction edge image GR13 is generated.
  • the edge image generation unit 182 uses the Sobel filter F L in the left direction, the Sobel filter F UL in the upper left direction, and the Sobel filter F DL in the lower left direction with respect to the left incident image G L12 .
  • An image GL13 is generated.
  • the edge image generation unit 182 uses the Sobel filter F D in the lower direction, the Sobel filter F DR in the lower right direction, and the Sobel filter F DL in the lower left direction with respect to the lower incident image G D12 .
  • An edge image G D13 is generated (an example of an edge image generation step, an example of an edge image generation function).
  • FIG. 25 is a view showing an example of the upward direction edge image G U13 , the rightward direction edge image G R13 , the leftward direction edge image G L13 , and the downward direction edge image G D13 . As shown in FIG. 25, in each edge image, the luminance of the extracted edge portion is expressed high (white).
  • the edge image generation unit 182 may perform noise reduction processing (smoothing processing) on the upper direction edge image G U13 , the right direction edge image G R13 , the left direction edge image G L13 , and the lower direction edge image G D13.
  • the noise reduction processing can include at least one of median filtering, Gaussian filtering, nonlocal averaging filtering, and winner filtering, and can be appropriately selected according to the matching method with the master image. .
  • the upward direction edge image G U13 , the rightward direction edge image G R13 , the leftward direction edge image G L13 , and the downward direction edge image G D13 thus generated are input to the image combining unit 184.
  • the image combining unit 184 adds the upper direction edge image G U13 , the right direction edge image G R13 , the left direction edge image G L13 , and the lower direction edge image G D13 to generate a combined image G C (the image combining process).
  • Figure 26 is a an example of the composite image G C, illustrates a range of luminance values. As shown in FIG. 26, the composite image G C is expanded range of luminance values, the luminance of the portion of the engraved S is relatively high.
  • the stamp S can be extracted with high accuracy and matching with the master image can be appropriately performed.
  • the image combining unit 184, upward edge image G U13, right edge image G R13, may be left edge image G L13, and by multiplying the downward edge image G D13 to generate a composite image G C .
  • the combining method can be appropriately selected according to the matching method with the master image.
  • the marking S attached to the surface of the tablet T can be appropriately extracted. This can improve the robustness of the tablet verification.
  • the example which made the irradiation direction of illumination light 4 directions was demonstrated, 5 or more directions may be sufficient.
  • the more the illumination direction of the illumination light the higher the detection accuracy.
  • the number of irradiation directions may be appropriately determined from the required detection accuracy, the processing time, and the like.
  • the fourth to fifth embodiments for extracting the mark with high accuracy be performed when it is determined that the identification information is attached by the mark in the first to third embodiments.
  • the first to third embodiments when it is determined that identification information is attached by printing, it is conceivable to perform noise reduction processing and sharpening processing for extracting the printing from the photographed image with high accuracy.
  • a medicine identification apparatus which will be described below, which is configured to determine whether the identification information of the first to third embodiments is attached by marking or printing, and to extract the markings of the fourth to fifth embodiments. It is also possible to apply to drug testing support devices.
  • FIG. 27 is a block diagram showing an internal configuration of the medicine discrimination device 10 according to the sixth embodiment.
  • the drug identification device 10 includes an illumination unit 12 for illuminating the packaged drug, an imaging unit 14 for imaging the drug illuminated by the illumination unit 12, and a prescription information acquisition unit for acquiring prescription information indicating the prescription of the medication for the user. 16, a storage unit 18 for storing a program and information necessary for execution of the program, a processing unit 20 for performing various processes according to the program stored in the storage unit 18, a display unit 22 capable of displaying an image, and And an operation unit 24 for receiving an operation.
  • the “packaging” of drugs includes one package.
  • “One package” means that the prescribed (dispensed) drug is packaged at a single dose.
  • the packaging material include paper and plastic, but are not particularly limited.
  • “packaging” is not limited to the case of packaging per single dose, and it may be a case where the medicine is packaged by a packaging material.
  • the illumination unit 12 is configured to include a light source.
  • a light source of the illumination unit 12 the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source At least one of the light sources 118 can be applied.
  • the mounting surface side dome illumination 142, the back surface side dome illumination 148, the first epi-illumination 162, and the second epi-illumination 168 may be used.
  • the imaging unit 14 is configured to include a camera. As a camera of the imaging unit 14, at least one of the camera 120 and the camera 122 described so far can be applied.
  • the prescription information acquisition unit 16 acquires prescription information by, for example, optically reading the characters described in the prescription.
  • Prescription information may be obtained by reading a barcode (or two-dimensional code) attached to the prescription.
  • the prescription information input by the doctor with the computer device may be acquired by communication.
  • the storage unit 18 is a drug database configured by a temporary storage device and a non-temporary storage device.
  • the storage unit 18 stores a master image indicating a medicine for each type of medicine.
  • the processing unit 20 is configured of, for example, a CPU (Central Processing Unit).
  • the processing unit 20 has a function of updating the master image stored in the storage unit 18.
  • the processing unit 20 performs master update processing for updating a master image stored in the storage unit 18 using a captured image obtained by the imaging unit 14 when a specific condition described later is satisfied.
  • the processing unit 20 obtains the position of the medicine based on the illumination control unit 32 that controls the illumination of the illumination unit 12, the imaging control unit 34 that controls the imaging of the imaging unit 14, and the captured image obtained by the imaging unit 14.
  • An update determination unit 44 that determines whether to update the master image based on the position of the medicine acquired by the medicine position acquisition unit 35 and the collation unit 42 that collates the area with the master image stored in the storage unit 18
  • the registration unit 46 that registers the master image generated by the master image generation unit 36 in the storage unit 18 when it is determined that the master image is to be updated by the update determination unit 44; It is configured to include a display control unit 48 for controlling the display of, the.
  • a correlation value calculation unit 49 that calculates a correlation value indicating a degree of correlation between a master image and a drug region in a captured image, or a correlation value between drug regions, and a reference position setting unit 50 that sets a reference position are provided. May be
  • the imaging control unit 128 described above can be applied. Further, as the medicine position acquisition unit 35, the image comparison unit 130 and the edge image generation unit 182 described above can be applied.
  • FIG. 28 is a view showing a drug bandage PB in which a plurality of drug packages TP in which a tablet T, which is a drug, is packaged is continuous.
  • the drug bandage PB can be transported along the x-axis direction.
  • Identification information indicating the type of the tablet T is attached to the tablet T by marking or printing.
  • an example in which each tablet T is marked with “L”, “M” or “N” is shown.
  • the packaging material of the medicine package TP is preferably transparent on both sides (including translucent, hereinafter the same). Printing or matting may be applied to one side of the packaging material of the medicine package TP.
  • Consecutive medicine package TP can be transported for each size of one medicine package TP in the x-axis direction.
  • the position of the medicine package TP may be detectable for each medicine package TP.
  • the present embodiment is not limited to the case where the medicine package TP is transported.
  • the medicine package TP may only be placed on a mounting table or the like.
  • FIG. 29 is a flowchart showing an example of processing of the medicine identification method according to the sixth embodiment. This process is executed in accordance with a program by the CPU configuring the processing unit 20 of the medicine identification device 10.
  • prescription information is acquired by the prescription information acquisition unit 16 (step S2).
  • the packaged medicine is illuminated by the illumination unit 12 (step S4). Further, the photographing unit 14 photographs the medicine illuminated by the lighting unit 12 (step S6).
  • the drug position acquisition unit 35 acquires the drug position, and the master image generation unit 36 extracts a drug region from the photographed image (step S8).
  • the collation unit 42 collates the master image stored in the storage unit 18 with the medicine area of the photographed image (step S10).
  • the techniques of the first to third embodiments can be applied to determine whether the identification information is attached by marking or printing from the extracted drug region and reduce the number of candidates for the matching process.
  • the method described in the fourth to fifth embodiments can be used to extract the imprint of the extracted drug region with high accuracy.
  • step S12 it is determined whether or not the master image is a non-registered drug in the storage unit 18 (step S12), and if the master image is a non-registered drug (in the case of YES at step S12) It is determined whether or not (step S14). If the master image is not registered and is the first package (YES in step S14), the registration unit 46 registers the image of the drug region extracted from the photographed image as a master image (step S16).
  • the update determination unit 44 updates the master image based on the distance between the reference position (for example, the center position) of the imaging range and the position of the drug. It is determined whether or not to do (step S18).
  • the registration unit 46 registers the image of the drug region extracted from the captured image as a master image (step S20).
  • step S22 It is determined whether or not there is another drug in the medicine package (step S22). If there is another drug in the medicine package (if YES in step S22), the process returns to step S10 to The matching process is performed on
  • step S24 If drug recognition processing is performed on all the drugs in the medicine package and there are no other drugs in the medicine package (in the case of NO at step S22), it is determined whether there is another medicine package (step S24), If there is another medicine package, the process returns to step S4.
  • the update judgment unit 44 may judge whether to update the master image based on the interval between medicines. That is, in the case of imprinting, when a large medicine exists at the adjacent position, it may be difficult for shadows to appear, so it is preferable to determine to update the master image when there is no other medicine around. For example, when the distance between medicines is less than the threshold (or less than the threshold), it is difficult to make a shadow of a stamp appear on the captured image, and it is determined that the master image is not updated.
  • the drug inspection support apparatus is dispensed based on prescription data, inspects the drug to be packaged in a packaging bag (drug package), and displays a list of drugs.
  • FIG. 30 is a block diagram showing an internal configuration of the medicine examination support apparatus 11 according to the seventh embodiment.
  • symbol is attached
  • the collation unit 42 corresponds to a medicine discrimination unit.
  • the collation unit 42 collates the master image (an example of the medicine master image) stored in the storage unit 18 with the photographed image photographed by the photographing unit 14, and corresponds to which medicine the medicine present in the photographed image corresponds to To determine
  • the drug inspection support device 11 includes a list creation unit 52.
  • the list creation unit 52 creates a list of drugs (one example of a drug to be tested) to be packaged in a packaging bag.
  • the list creation unit 52 acquires an image of the medicine packaged in a packaging bag from the imaging unit 14.
  • a drug region image that is a drug region extracted from the captured image by the master image generation unit 36 is acquired.
  • the list creation unit 52 acquires, from the image combining unit 184 applied to the matching unit 42, a combined image of the medicines packaged in a packaging bag.
  • the list creation unit 52 acquires from the storage unit 18 a master image of a medicine that can be dispensed based on the prescription data.
  • the list creation unit 52 includes a display image generation unit 54 and a rotation unit 56.
  • the display image generation unit 54 generates a difference image obtained by subtracting the drug region image corresponding to the composite image from the composite image for the drug on which the stamp is attached.
  • the difference image is a display image in which the imprinted portion of the medicine is emphasized.
  • the display image generation unit 54 generates, as a display image, an image obtained by performing noise reduction processing and sharpening processing on a drug region image with respect to a drug on which printing is performed.
  • the rotation unit 56 aligns the marking portion or the printing portion of the display image and the master image corresponding to the display image in the same direction.
  • FIG. 31 is a flowchart showing the process of the drug inspection support method. The processing of steps S2 to S24 is the same as that of the flowchart shown in FIG.
  • step S24 If it is determined in step S24 that the process has been performed for all medicine packages, the process proceeds to step S26.
  • step S26 the list creation unit 52 creates a list, and displays the created list on the display unit 22.
  • Figure 32 is a diagram showing a list L 1 which is displayed on the display unit 22.
  • the list L 1 has a column E 0 displaying the display image of the master image of the medicine to be dispensed, and columns E 1 to E 13 displaying the display images of the medicine to be packaged in each packaging bag. ing.
  • the columns E 0 to E 13 are a row F 1 for displaying the display image on the front side of the drug A, a row F 2 for displaying the display image on the back side of the drug A, and a row F 3 for displaying the display image on the front side of the drug B , A row F 4 for displaying a display image of the back side of the drug B, a row F 5 for displaying a display image of the front side of the drug C, and a line F 6 for displaying a display image of the back side of the drug C.
  • each row F 1 to F 6 of each column E 0 to E 13 a display image corresponding to each position is displayed.
  • the rotating portion 56 aligns the marking portion or the printing portion of the display image of the medicine displayed here and the display image of the master image in the same direction.
  • the master image of the drug to be dispensed and the drug region image of each drug are aligned by the user and displayed in a list in which the imprinted portion and the printed portion are emphasized. Easy display.
  • the marking part and the printing part were emphasized here, you may display the list which emphasized one of the marking part and the printing part. In any case, it is included in the concept of a list that emphasizes the imprinted or printed part.
  • Figure 33 is a diagram showing a list L 2 of the comparative example.
  • List L 2 shown in FIG. 33 is displayed without highlighting the engraved portions and printed portions and the master image and the drug area image.
  • the drug region image looks different depending on the positional relationship between the light source and the marking portion. For this reason, the list L 2 has poor visibility.
  • a difference image obtained by subtracting the drug region image from the composite image is used as the display image in which the imprinted portion of the drug is emphasized.
  • the display image displayed on the image is not limited to the difference image.
  • the drug testing support apparatus 11 can also test the drug placed on the petri dish or the drug placed directly on the stage It is.
  • examination of drugs packaged in sachets is convenient and preferable in terms of operability.
  • inspection of medicine includes audit and discrimination.
  • the drug inspection support apparatus 11 can also be applied to support the discrimination of the drug.
  • Identification of a drug is to identify the drug from the appearance of the drug. Differentiation of medicines can determine, for example, a brought-in medicine for hospitalized patients.
  • the image processing method described above is configured as a program for realizing the acquisition function, the edge image generation function, the image synthesis function, the image comparison function, and the determination function in a computer, and a CD-ROM (Compact Disk- It is also possible to configure a non-temporary recording medium such as Read Only Memory.
  • various types of units such as the imaging control unit 128, the image comparison unit 130, the image processing unit 132, the correlation degree detection unit 134, the determination unit 136, the edge image generation unit 182, and the image combining unit 184 and the like.
  • the hardware-like structure of a processing unit (processing unit) that executes processing is various processors as shown below.
  • the circuit configuration can be changed after manufacturing a central processing unit (CPU) or an FPGA (field programmable gate array), which is a general-purpose processor that executes software (program) and functions as various processing units.
  • CPU central processing unit
  • FPGA field programmable gate array
  • PLD programmable logic device
  • ASIC application specific integrated circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) May be
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units are configured by one processor, first, one processor or more is configured by a combination of one or more CPUs and software as represented by computers such as servers and clients.
  • a processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • the hardware-like structure of these various processors is more specifically an electric circuit (circuitry) combining circuit elements such as semiconductor elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toxicology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムを提供する。刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得部と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、複数のエッジ画像を合成して合成画像を生成する画像合成部と、を備えた画像処理装置によって上記課題を解決する。

Description

薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム
 本発明は薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤に付された刻印を読み取る薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムに関する。
 薬剤を撮影した撮影画像から薬剤の種類を識別する装置が知られている。例えば、薬剤を照明し、照明された薬剤を撮影し、得られた撮影画像の薬剤領域と薬剤の種類毎に予め登録されたマスタ画像とを照合することにより、薬剤の種類を識別することができる。
 特許文献1には、物体に設けられた刻印表示に異なる方向から光を照射する複数の照明手段と、刻印表示を撮像する撮像手段と、撮像手段で得た照明の異なる複数の各画像情報を合成して合成画像を得る画像合成手段と、この合成画像から刻印表示の内容を読み取る読み取り手段とが備えられて成る刻印表示読み取り装置が記載されている。
 特許文献1の装置によれば、対象物の撮影面を明瞭にし、色ムラ及び反射ムラにより刻印のS/N(Signal to Noise)比が悪化することを改善することができる。
特開2002-334323号公報
 しかしながら、特許文献1の装置では、刻印以外の情報を低減させることができない。このため、特許文献1に記載の装置を薬剤の識別に適用すると、薬剤が有する斑模様等が読み取られてしまう。このように、斑模様等の刻印以外の情報が薬剤の情報として得られると、マスタ画像との照合を適切に行うことができないという問題点がある。
 本発明はこのような事情に鑑みてなされたもので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
 上記目的を達成するために画像処理装置の一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得部と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、複数のエッジ画像を合成して合成画像を生成する画像合成部と、を備えた。
 本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 エッジ画像生成部は、刻印の溝の幅の半分よりも大きいサイズのエッジ抽出フィルタを用いて複数のエッジ画像を生成することが好ましい。このようなサイズのエッジ抽出フィルタを用いることで、光の照射方向に依存しない表面の模様等は相対的に信号が低下するので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 照射方向に応じた方向とは、照射方向の表面の平面視における方向を含むことが好ましい。これにより、複数のエッジ画像を適切に生成することができる。
 照射方向に応じた方向とは、照射方向の表面の平面視における方向と45度傾斜する方向と、照射方向の表面の平面視における方向と-45度傾斜する方向と、を含むことが好ましい。これにより、複数のエッジ画像を適切に生成することができる。
 取得部は、表面への光の照射方向が第1方向、第2方向、第3方向、及び第4方向である薬剤の4枚の画像を取得し、第2方向とは第1方向と表面の平面視において対向する方向であり、第3方向とは第1方向と表面の平面視において直交する方向であり、第4方向とは第3方向と表面の平面視において対向する方向であることが好ましい。直交する4方向から光を照射した画像を用いることで、適切な合成画像を生成することができる。
 上記目的を達成するために薬剤識別装置の一の態様は、刻印が表面に付された薬剤を載置するステージと、表面への光の照射方向がそれぞれ異なる複数の光源を有する照射部と、薬剤の表面に複数の光源によりそれぞれ光が照射された薬剤をそれぞれ撮影した複数の画像を取得する撮影部と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、複数のエッジ画像を合成して合成画像を生成する画像合成部と、を備えた。
 本態様によれば、刻印が表面に付された薬剤をステージに載置し、表面への光の照射方向がそれぞれ異なる複数の光源により薬剤の表面にそれぞれ光を照射し、薬剤を撮影した複数の画像を取得し、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 照射部は、第1方向に光を照射する第1光源と、第2方向に光を照射する第2光源と、第3方向に光を照射する第3光源と、第4方向に光を照射する第4光源と、を備え、第2方向とは表面の平面視において第1方向と対向する方向であり、第3方向とは表面の平面視において第1方向と直交する方向であり、第4方向とは表面の平面視において第3方向と対向する方向であることが好ましい。直交する4方向から光を照射して画像を取得することで、適切な合成画像を生成することができる。
 照射部は、第5方向に光を照射する第5光源と、第6方向に光を照射する第6光源と、第7方向に光を照射する第7光源と、第8方向に光を照射する第8光源と、を備え、第6方向とは表面の平面視において第5方向と対向する方向であり、第7方向とは表面の平面視において第5方向と直交する方向であり、第8方向とは表面の平面視において第7方向と対向する方向であり、ステージは光透過性を有する材料で構成され、第1光源、第2光源、第3光源、及び第4光源はステージの一方の面側に配置され、第5光源、第6光源、第7光源、及び第8光源はステージの一方の面側とは異なる他方の面側に配置されることが好ましい。薬剤の刻印がステージの上面及び下面のいずれに配置された場合であっても、直交する4方向から光を照射して画像を取得することができ、適切な合成画像を生成することができる。
 上記目的を達成するために画像処理方法の一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得工程と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成工程と、複数のエッジ画像を合成して合成画像を生成する画像合成工程と、を備えた。
 本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 上記目的を達成するためにプログラムの一の態様は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する取得機能と、複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、複数のエッジ画像を合成して合成画像を生成する画像合成機能と、をコンピュータに実行させる。
 本態様によれば、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像の各画像に対して、照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成し、複数のエッジ画像を合成して合成画像を生成するようにしたので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 上記目的を達成するために薬剤検査支援装置の一の態様は、薬剤を検査する薬剤検査支援装置において、薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、検査する薬剤の一覧表であって、薬剤マスタ画像と、撮影画像における各薬剤と判別された薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、を備えた。
 本態様によれば、薬剤の薬剤マスタ画像と、撮影画像における薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示するようにしたので、識別情報が刻印であっても印字であっても、識別情報をユーザに適切に認識させることができる。
 本発明によれば、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出することができる。
薬剤識別装置の上面図 薬剤識別装置の側面図 薬剤識別装置の内部構成を示すブロック図 全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像の一例を示す図 全方向補正画像、左補正画像、右補正画像、上補正画像、及び下補正画像を示す図 全方向補正画像、左補正画像、右補正画像、上補正画像、及び下補正画像の識別情報の領域を示す図 薬剤識別装置の斜視図 薬剤識別装置の上面図 薬剤識別装置の上面図 薬剤識別装置の側面図 薬剤識別装置の上面図 薬剤識別装置の側面図 薬剤識別装置の内部構成を示すブロック図 錠剤のxy平面視の中心を通るx軸方向の断面構造の模式図 錠剤の左入射画像のxy平面視の中心を通るx軸方向の輝度プロファイルを示す図 錠剤の右入射画像のxy平面視の中心を通るx軸方向の輝度プロファイルを示す図 錠剤の合成画像の輝度プロファイルを示す図 左方向のソーベルフィルタ及び右方向のソーベルフィルタを示す図 図15に示すプロファイルの微分プロファイルを示す図 図15に示すプロファイルの微分プロファイルを示す図 図19及び図20に示すプロファイルの合成プロファイルを示す図 上入射画像、右入射画像、左入射画像、及び下入射画像の一例と、各画像の輝度値のレンジとを示す図 輝度値のレンジを調整後の上入射画像、右入射画像、左入射画像、及び下入射画像の一例と、調整後の輝度値のレンジを示す図 上方向のソーベルフィルタ、右上方向のソーベルフィルタ、左上方向のソーベルフィルタ、下方向のソーベルフィルタ、右下方向のソーベルフィルタ、及び左下方向のソーベルフィルタを示す図 上方向エッジ画像、右方向エッジ画像、左方向エッジ画像、及び下方向エッジ画像の一例を示す図 合成画像の一例と、輝度値のレンジを示す図 薬剤識別装置の内部構成を示すブロック図 錠剤が包装された複数の薬包が連続する薬包帯を示す図 薬剤識別方法の処理の一例を示すフローチャート 薬剤検査支援装置の内部構成を示すブロック図 薬剤検査支援方法の処理を示すフローチャート 一覧表を示す図 比較例の一覧表を示す図
 以下、添付図面に従って本発明の好ましい実施形態について詳説する。
 <第1の実施形態>
 薬剤(錠剤)の表面には、薬剤の種別を識別するための識別情報が付されている。この識別情報は、一般に、刻印又は印字(印刷)によって付される。したがって、この識別情報が刻印及び印字のいずれで付されたかを判別することができれば、薬剤の照合プロセスの候補を減らすことができる。
 第1~第3の実施形態に係る薬剤識別装置は、表面に付された薬剤の識別情報が、刻印及び印字のいずれにより付されたかを判定する。
 なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
 また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
 〔薬剤識別装置の構成〕
 図1は、第1の実施形態に係る薬剤識別装置100(画像処理装置の一例)の上面図であり、図2は薬剤識別装置100の側面図である。
 図1及び図2に示すように、薬剤識別装置100は、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。なお、図1においては、カメラ120及びカメラ122の図示を省略している。
 ステージ102は、xy平面(水平面)に平行な載置面102A及び裏面102Bを有する板状部材である。ステージ102は、光透過性を有する材料によって構成されている。ここでは、x軸方向に130mm、y軸方向に80mmの大きさを有している。ステージ102の載置面102Aには、錠剤T(薬剤の一例)が載置される。錠剤Tのうち、載置面102Aに接している面を下面、下面の反対面を上面とすると、錠剤Tの上面及び下面の少なくとも一方には、錠剤Tの識別情報Iが刻印又は印字により付されている。ここでは、錠剤Tは分包紙に包まれていないが、透明又は半透明の分包紙に包まれた状態で載置されてもよい。
 第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、それぞれバー状(線状)のLED(Light Emitting Diode)光源である。第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118は、不図示の支持部により支持され、それぞれz軸方向に対して傾斜した方向からステージ102に向かって可視光の照明光を照射する。ここでは、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の点灯時の輝度は、それぞれ同一である。
 第1光源104は、ステージ102からz軸方向の一方側(図2において上側)に一定量離れた位置であって、載置面102Aのx軸方向の一方側(図1において左側)の位置に、y軸方向に平行に配置されている。第1光源104は、ステージ102に向けて第1方向に照明光を照射する。
 第2光源106は、ステージ102からz軸方向の一方側に一定量離れた位置であって、x軸方向の他方側(図1において右側)の位置に、y軸方向に平行に配置されている。第2光源106は、ステージ102に向けて第2方向に照明光を照射する。第2方向は、xy平面視(表面の平面視の一例)において第1方向と対向する方向である。
 第3光源108は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の一方側(図1において上側)の位置に、x軸方向に平行に配置されている。第3光源108は、ステージ102に向けて第3方向に照明光を照射する。第3方向は、xy平面視において第1方向と直交する方向である。
 第4光源110は、ステージ102からz軸方向の一方側に一定量離れた位置であって、y軸方向の他方側(図1において下側)の位置に、x軸方向に平行に配置されている。第4光源110は、ステージ102に向けて第4方向に照明光を照射する。第4方向は、xy平面視において第3方向と対向する方向である。
 第5光源112は、ステージ102からz軸方向の他方側(図2において下側)に一定量離れた位置であって、x軸方向の一方側の位置に、y軸方向に平行に配置されている。第5光源112は、ステージ102に向けて第5方向に照明光を照射する。第5方向は、xy平面視において第1方向と同じ方向である。
 第6光源114は、ステージ102からz軸方向の他方側に一定量離れた位置であって、x軸方向の他方側の位置に、y軸方向に平行に配置されている。第6光源114は、ステージ102に向けて第6方向に照明光を照射する。第6方向は、xy平面視において第5方向と対向する方向である。
 第7光源116は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の一方側の位置に、x軸方向に平行に配置されている。第7光源116は、ステージ102に向けて第7方向に照明光を照射する。第7方向は、xy平面視において第5方向と直交する方向である。
 第8光源118は、ステージ102からz軸方向の他方側に一定量離れた位置であって、y軸方向の他方側の位置に、x軸方向に平行に配置されている。第8光源118は、ステージ102に向けて第8方向に照明光を照射する。第8方向は、xy平面視において第7方向と対向する方向である。
 カメラ120及びカメラ122は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ120及びカメラ122は、それぞれ不図示のレンズ及び撮像素子を備えている。
 カメラ120は、ステージ102からz軸方向の一方側に一定量離れた位置に設けられている。カメラ120は、光軸をz軸方向に平行にして載置面102Aに向けて配置されている。カメラ122は、ステージ102からz軸方向の他方側に一定量離れた位置に設けられている。カメラ122は、光軸をz軸方向に平行にして裏面102Bに向けて配置されている。カメラ120の光軸及びカメラ122の光軸は、ステージ102を介して対向している。
 図3は、薬剤識別装置100の内部構成を示すブロック図である。薬剤識別装置100は、取得部124、画像比較部130、及び判定部136を備えている。
 取得部124は、前述のカメラ120及びカメラ122の他、照射部126及び撮影制御部128を含んで構成される。
 照射部126は複数の光源を有している。ここでは、照射部126は、前述の第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118を備えている。
 撮影制御部128は、照射部126の各光源に対して、点灯及び消灯をそれぞれ制御する。
 また、撮影制御部128は、カメラ120及びカメラ122を制御する。カメラ120及びカメラ122は、撮影制御部128の制御に従って、錠剤Tの表面に複数の光源によりそれぞれ光が照射された錠剤Tをそれぞれ撮影し、複数の撮影画像を取得する。
 なお、取得部124は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Tの表面への光の照射方向がそれぞれ異なる錠剤Tの複数の画像を取得する構成としてもよい。
 画像比較部130は、取得部124が取得した複数の撮影画像をそれぞれ比較する。画像比較部130は、画像処理部132、及び相関度検出部134を備えている。
 画像処理部132は、取得部124が取得した複数の撮影画像に対してそれぞれ輝度ムラ補正処理、及びノイズ低減処理等の画像処理を施す。相関度検出部134は、画像処理部132により画像処理が施された各画像同士の相関度を評価する。
 判定部136は、画像比較部130の比較結果に応じて錠剤Tの識別情報Iが刻印及び印字のいずれにより付されたかを判定する。ここでは、相関度検出部134によって検出された相関度と、予め定められた閾値とを比較して判定する。なお、判定部136は、錠剤Tの表面に刻印が付されているか否かを判定してもよい。
 〔画像処理方法〕
 第1の実施形態に係る画像処理方法について説明する。ここでは、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されているものとする。すなわち、識別情報Iは錠剤Tの上面に配置されている。また、錠剤Tには、照射部126の光源による照明光以外の光は照射されない環境であることが好ましい。
 まず、撮影制御部128は、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118の全てを点灯し、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
 次に、撮影制御部128は、第1光源104及び第5光源112を点灯し、その他の光源を消灯し、第1光源104及び第5光源112により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の左入射画像及び下面の左入射画像を取得する。
 次に、撮影制御部128は、第2光源106及び第6光源114を点灯し、その他の光源を消灯し、第2光源106及び第6光源114により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の右入射画像及び下面の右入射画像を取得する。
 続いて、撮影制御部128は、第3光源108及び第7光源116を点灯し、その他の光源を消灯し、第3光源108及び第7光源116により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の上入射画像及び下面の上入射画像を取得する。
 さらに、撮影制御部128は、第4光源110及び第8光源118を点灯し、その他の光源を消灯し、第4光源110及び第8光源118により錠剤Tの上面及び下面に照明光を照射する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の下入射画像及び下面の下入射画像を取得する(取得工程の一例、取得機能の一例)。
 このように撮影された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像は、画像比較部130に入力される。
 画像比較部130の画像処理部132は、入力された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像から、識別情報Iが撮影されている画像を抽出する。ここでは、識別情報Iは鉛直方向の上側に向けられているため、識別情報Iはカメラ120によって撮影されている。図4は、取得部124において取得された全方向入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像のうち、カメラ120によって撮影された錠剤Tの上面の全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1の一例を示す図である。なお、識別情報Iが鉛直方向の下側に向けている場合は、識別情報Iはカメラ122によって撮影される。また、ステージ102に複数の錠剤Tが載置され、複数の錠剤Tが撮影された場合は、各画像から所望の錠剤Tの領域を抽出してもよい。
 画像処理部132は、全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1にそれぞれ輝度ムラ補正処理を施し、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2を生成する。
 この輝度ムラ補正処理は、例えば全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1を、全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
 図5は、画像処理部132において輝度ムラ補正処理が施された全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2を示す図である。
 また、画像処理部132は、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2に、それぞれノイズ低減処理を施してもよい。
 このノイズ低減処理は、例えばメディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含む処理を施す。
 なお、画像処理部132は、輝度ムラ補正処理前の全方向入射画像GA1、左入射画像GL1、右入射画像GR1、上入射画像GU1、及び下入射画像GD1に、それぞれノイズ低減処理を施してもよい。
 続いて、画像比較部130の相関度検出部134は、全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2をそれぞれ比較し、各画像の識別情報Iの領域(刻印又は印字領域の一例)の相関度を検出する(画像比較工程の一例、画像比較機能の一例)。本実施形態に係る相関度は、比較した画像の相関が大きいほど値が高くなる指標である。相関度は、例えば、ゼロ平均正規化相互相関マッチング等のテンプレートマッチングを用いて検出する。
 図6は、識別情報Iが印字Pにより付されている場合の全方向補正画像GA2、左補正画像GL2、右補正画像GR2、上補正画像GU2、及び下補正画像GD2の識別情報Iの領域と、識別情報Iが刻印Sにより付されている場合の全方向補正画像GA3、左補正画像GL3、右補正画像GR3、上補正画像GU3、及び下補正画像GD3の識別情報Iの領域との一例を示す図である。
 図6に示すように、識別情報Iが印字Pにより付されている場合は、照明光の照射方向に依存せずに識別情報Iの輪郭が保存される。したがって、画像間の相関度が相対的に高くなる。一方、識別情報Iが刻印Sで付されている場合は、刻印は照明光の照射方向に依存して影の位置が異なるために、識別情報Iの輪郭は照射方向によって大きく異なる。したがって、画像間の相関度が相対的に低くなる。
 相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する(判定工程の一例、判定機能の一例)。
 以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
 本実施形態では、4方向から照明光を照射することで、4枚の各方向入射画像及び1枚の全方向入射画像を取得したが、2方向から照明光を照射することで、2枚の各方向の入射画像及び1枚の両方向入射画像を取得してもよい。なお、3方向以上から照明光を照射することで、3枚以上の各方向の入射画像及び1枚の全方向入射画像を取得することが好ましい。
 <第2の実施形態>
 〔薬剤識別装置の構成〕
 図7は、第2の実施形態に係る薬剤識別装置140の斜視図であり、図8は薬剤識別装置140の上面図である。なお、図1及び図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
 図7及び図8に示すように、薬剤識別装置140は、ステージ102、カメラ120、カメラ122、載置面側ドーム照明142及び裏面側ドーム照明148を備えている。なお、図8においては、カメラ120、カメラ122、及び裏面側ドーム照明148の図示を省略している。
 載置面側ドーム照明142は、ステージ102からz軸方向の一方側(載置面102A側)に一定量離れた位置に、不図示の支持部により支持されている。載置面側ドーム照明142は、光源保持部144及び複数の点光源146を含んで構成されている。光源保持部144は、複数の点光源146を保持する保持部材である。光源保持部144は光透過性を有する材料によって形成されている。光源保持部144は略ドーム形状に形成されている。
 光源保持部144の鉛直方向の上側には、光源保持部144の内部を露呈させる開口窓144Aが形成されている。開口窓144Aの鉛直方向の上方には、カメラ120が配置されている。これにより、カメラ120によって開口窓144Aを介して光源保持部144内の錠剤Tを撮影することができる。光源保持部144内の錠剤Tとは、ステージ102に載置され、かつ光源保持部144の内側に位置する錠剤Tをいう。
 点光源146は、LED光源が用いられる。点光源146は、光源保持部144の外側面の下段部及び上段部のそれぞれの周方向に沿って等間隔に8個取り付けられている。これら16個の点光源146は、光源保持部144内の錠剤Tに向けて照明光を照射する。
 裏面側ドーム照明148は、ステージ102からz軸方向の他方側(裏面102B側)に一定量離れた位置に、不図示の支持部により支持されている。裏面側ドーム照明148は、光源保持部150及び複数の点光源152を含んで構成されている。光源保持部150は、載置面側ドーム照明142の光源保持部144と同様に構成されている。
 光源保持部150の鉛直方向の下側には、光源保持部150の内部を露呈させる開口窓150Aが形成されている。開口窓150Aの鉛直方向の下方には、カメラ122が配置されている。これにより、カメラ122によって開口窓150Aを介して光源保持部150内の錠剤Tを撮影することができる。光源保持部150内の錠剤Tとは、ステージ102に載置され、かつ光源保持部150の内側に位置する錠剤Tをいう。
 点光源152の構成及び配置は、載置面側ドーム照明142の点光源146と同様である。ここでは、複数の点光源146及び複数の点光源152の点灯時の輝度は、それぞれ同一である。
 また、薬剤識別装置140の内部構成を示すブロック図は、図3に示した薬剤識別装置100のブロック図と同様であり、点光源146及び点光源152が照射部126に含まれる。
 このように構成された薬剤識別装置140は、載置面側ドーム照明142の各点光源146、及び裏面側ドーム照明148の各点光源152のそれぞれの点灯及び消灯を制御することにより、光源保持部144内の錠剤Tに任意の照射方向から照明光を照射することができる。
 〔画像処理方法〕
 第2の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
 まず、薬剤識別装置140の撮影制御部128は、載置面側ドーム照明142の複数の点光源146、及び裏面側ドーム照明148の各点光源152を全て点灯する。これにより、複数の点光源146は、錠剤Tの表面(上面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。また、複数の点光源152は、錠剤Tの表面(下面)に垂直な方向に対して傾斜した複数の方向(ここでは16方向)からそれぞれ光を照射する。
 また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の全方向入射画像及び下面の全方向入射画像を取得する。
 次に、撮影制御部128は、載置面側ドーム照明142の複数の点光源146のうち1つの点光源146を点灯し、残りを消灯する。同様に、裏面側ドーム照明148の複数の点光源152のうち1つの点光源152を点灯し、残りを消灯する。このように、点光源146及び点光源152は、錠剤Tの表面に垂直な方向に対して傾斜した一方向から光を照射する。
 そして、撮影制御部128は、カメラ120及びカメラ122により錠剤Tを撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。全方向入射画像及び一方向入射画像は、画像比較部130に入力される。
 画像比較部130の画像処理部132は、入力された全方向入射画像及び一方向入射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された全方向入射画像及び一方向入射画像を抽出する。また、画像処理部132は、抽出した全方向入射画像及び一方向入射画像にそれぞれ輝度ムラ補正処理を施し、全方向補正画像及び一方向補正画像を生成する。
 続いて、画像比較部130の相関度検出部134は、全方向補正画像及び一方向補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
 識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、全方向補正画像(全方向入射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
 一方、識別情報Iが印字によって付されている場合は、全方向補正画像(全方向入射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、全方向補正画像(全方向入射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
 相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
 以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、演算の負荷を減らし、照合処理の高速化を図ることができる。
 なお、薬剤識別装置140によれば、載置面側ドーム照明142の点光源146、及び裏面側ドーム照明148のそれぞれの点灯及び消灯を制御することにより、第1の実施形態の同様の全方向(4方向)入射画像、左入射画像、右入射画像、上入射画像、及び下入射画像を取得することも可能である。
 <第3の実施形態>
 〔薬剤識別装置の構成〕
 図9は、第3の実施形態に係る薬剤識別装置160の上面図であり、図10は薬剤識別装置160の側面図である。なお、図1及び図2に示した薬剤識別装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
 図9及び図10に示すように、薬剤識別装置160は、ステージ102、第1光源104、第5光源112、カメラ120、カメラ122、第1落射照明162、及び第2落射照明168を備えている。なお、図9においては、カメラ120、カメラ122、及び第2落射照明168の図示を省略している。
 第1落射照明162は、ステージ102とカメラ120との間であって、カメラ120の光軸上に配置され、不図示の支持部により支持されている。第1落射照明162は、光源164及びハーフミラー166を備えている。
 光源164は、LED光源が用いられる。ハーフミラー166は、光源164から射出された照明光を、カメラ120の光軸と一致する方向に反射させる。また、ハーフミラー166は、ステージ102から戻ってきた反射光を透過させ、カメラ120に入射させる。このように、第1落射照明162は、カメラ120の光軸と同軸の落射照明光をステージ102の載置面102Aに向けて照射する。
 また、第2落射照明168は、ステージ102とカメラ122との間であって、カメラ122の光軸上に、不図示の支持部により支持されている。第2落射照明168は、光源170及びハーフミラー172を備えている。
 光源170は、LED光源が用いられる。ハーフミラー172は、光源170から射出された照明光を、カメラ122の光軸と一致する方向に反射させる。また、ハーフミラー172は、ステージ102から戻ってきた反射光を透過させ、カメラ122に入射させる。このように、第2落射照明168は、カメラ122の光軸と同軸の落射照明光をステージ102の裏面102Bに向けて照射する。
 また、薬剤識別装置160の内部構成を示すブロック図は、図3に示した薬剤識別装置100のブロック図と同様であり、光源164及び光源170が照射部126に含まれる。
 このように構成された薬剤識別装置160は、第1光源104及び第5光源112により、それぞれ錠剤Tの表面に対して傾斜した一方向から照明光を照射することができる。また、第1落射照明162及び第2落射照明168により、それぞれ錠剤Tの表面に対して落射方向(垂直方向)から照明光を照射することができる。
 〔画像処理方法〕
 第3の実施形態に係る画像処理方法について説明する。第1の実施形態と同様に、ステージ102の載置面102Aに、識別情報Iを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
 まず、薬剤識別装置160の撮影制御部128は、第1光源104及び第5光源112を点灯し、第1落射照明162及び第2落射照明168を消灯する。また、撮影制御部128は、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の一方向入射画像及び下面の一方向入射画像を取得する。
 次に、撮影制御部128は、第1落射照明162及び第2落射照明168を点灯し、第1光源104及び第5光源112を消灯する。そして、カメラ120により錠剤Tの上面を、カメラ122により錠剤Tの下面を撮影し、錠剤Tの上面の落射画像及び下面の落射画像を取得する。一方向入射画像及び落射画像は、画像比較部130に入力される。
 画像比較部130の画像処理部132は、入力された一方向入射画像及び落射画像から、識別情報Iが撮影されている画像、すなわちカメラ120によって撮影された一方向入射画像及び落射画像を抽出する。また、画像処理部132は、抽出した一方向入射画像及び落射画像にそれぞれ輝度ムラ補正処理を施し、一方向補正画像及び落射補正画像を生成する。
 続いて、画像比較部130の相関度検出部134は、一方向補正画像及び落射補正画像を比較し、各画像の識別情報Iの領域の相関度を検出する。
 識別情報Iが刻印によって付されている場合は、一方向補正画像(一方向入射画像)の識別情報Iの領域は信号が減衰しにくいが、落射補正画像(落射画像)の識別情報Iの領域は散乱によって信号が減衰する。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に低くなる。
 一方、識別情報Iが印字によって付されている場合は、落射補正画像(落射画像)の識別情報Iの領域及び一方向補正画像(一方向入射画像)の識別情報Iの領域は、ともに信号が減衰しない。このため、落射補正画像(落射画像)の識別情報Iの領域と一方向補正画像(一方向入射画像)の識別情報Iの領域との相関度は、相対的に高くなる。
 相関度検出部134において検出された相関度は、判定部136に入力される。判定部136は、入力された相関度が予め定められた閾値より高い場合は識別情報が印字により付されたと判定し、閾値以下の場合は識別情報が刻印により付されたと判定する。
 以上のように、識別情報Iが刻印及び印字のいずれで付されたかを判別することができる。これにより、錠剤Tの照合プロセスの候補を減らすことができ、照合の演算処理の負荷を低減させることができる。
 <第4の実施形態>
 錠剤の刻印及び割線を抽出すると、錠剤の照合のロバスト性が向上する。照合において局所特徴量又はテンプレートマッチング等の画像同士の比較をする場合、及びOCR(Optical Character Recognition)等の文字認識をする場合においても同様である。
 ロバスト性が低下する原因は、いかなる場合においても比較の対象となる画像同士が異なっているためである。特に、光源と刻印及び割線との位置関係が成り行きで決定される場合に、刻印及び割線の画像間の差は顕著となる。これは、光源と刻印及び割線の位置関係に依存して、溝の影の発生の様子が異なるためである。
 第4~第5の実施形態に係る薬剤識別装置は、光の照射方向と刻印の影が発生する方向との関係を利用して、光の照射方向に応じたエッジ抽出フィルタ処理を行って錠剤の溝部分のみを抽出する。これにより、光源と刻印の位置関係が成り行きで決定される場合であっても、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を精度よく抽出する。
 〔薬剤識別装置の構成〕
 図11は、第4の実施形態に係る薬剤識別装置180の上面図であり、図12は薬剤識別装置180の側面図である。薬剤識別装置180の外観上の構成は、図1及び図2に示した薬剤識別装置100の構成と共通であり、ステージ102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、カメラ120、及びカメラ122を備えている。ここでは、ステージ102の位置A及び位置Bに、それぞれ1つの錠剤Tが載置されている例を示している。
 錠剤Tは、それぞれ直径がDであり、表面には断面がV字状の溝からなる割線である刻印Sが形成されている。刻印Sの溝の幅はWである。なお、刻印Sの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、錠剤Tの表面における距離をいう。図11に示す例では、錠剤Tは、刻印Sを鉛直方向の上側に向けて、かつ刻印Sをy軸方向に平行にして、ステージ102に載置されている。
 図13は、薬剤識別装置180の内部構成を示すブロック図である。なお、図3に示したブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤識別装置180は、取得部124、エッジ画像生成部182、及び画像合成部184を備えている。
 取得部124は、刻印が表面に付された薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する。本実施形態では、カメラ120及びカメラ122により、360dpi(dot per inch)の解像度の画像を取得する。
 エッジ画像生成部182は、取得部124において取得した複数の画像の各画像に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成する。
 画像合成部184は、エッジ画像生成部182において生成した複数のエッジ画像を合成して合成画像を生成する。
 〔光源と刻印との位置関係による影の発生の違い〕
 ここで、光源と刻印(割線)との位置関係による影の発生の違いについて説明する。
 図14は、図11に示した錠剤Tのxy平面視の中心を通るx軸方向の断面構造の模式図であり、1画素分のラインのプロファイルを示している。
 ここで、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、ステージ102に載置された錠剤Tに第1光源104から図14に示す照明光Lを照射する。そして、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。
 図15に示すプロファイルPPALは、位置Aに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、図15に示すプロファイルPPBLは、位置Bに載置された錠剤Tの左入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。図15において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。図15に示すように、錠剤Tの表面の部分は照明光Lが照射されることによって輝度が相対的に高くなる。また、刻印Sの図14における右側の面Sにも照明光Lが照射されるため、面Sの部分は輝度が相対的に高くなる。一方、刻印Sの図14における左側の面Sには照明光Lが照射されないため、影が発生し、面Sの部分は輝度が相対的に低くなる。
 さらに、位置Aの方が位置Bよりも第1光源104との距離が近い。したがって、第1光源104による照明光Lは、位置Bの方が位置Aよりも弱い。このため、プロファイルPPBLは、図15に示すプロファイルPPALよりも全体的に輝度が低い。
 続いて、撮影制御部128は、照射部126の光源のうち第2光源106のみを点灯して、ステージ102に載置された錠剤Tに第2光源106から図14に示す照明光Lを照射する。そして、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
 図16に示すプロファイルPPARは、位置Aに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。また、図16に示すプロファイルPPBRは、位置Bに載置された錠剤Tの右入射画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。図16において、横軸は正規化したx軸方向の位置、縦軸は輝度値Yを示す。図16に示すように、錠剤Tの表面の部分は照明光Lが照射されることによって輝度が相対的に高くなる。また、刻印Sの図14における左側の面Sにも照明光Lが照射されるため、面Sの部分は輝度が相対的に高くなる。一方、刻印Sの図14における右側の面Sには照明光Lが照射されないため、影が発生し、面Sの部分は輝度が相対的に低くなる。
 さらに、位置Bの方が位置Aよりも第2光源106との距離が近い。したがって、第2光源106による照明光Lは、位置Aの方が位置Bよりも弱い。このため、プロファイルPPARは、プロファイルPPBRよりも全体的に輝度が低い。
 図17に示すプロファイルPPAWは、位置Aの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Aは、第1光源104との距離が相対的に近く、第2光源106との距離が相対的に遠い。このため、プロファイルPPAWは、刻印Sの面Sの位置と面Sの位置とで輝度が異なる値になっている。
 また、図17に示すプロファイルPPBWは、位置Bの錠剤Tの左入射画像及び右入射画像を加算した合成画像の輝度プロファイルであり、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルである。位置Bは、第1光源104との距離と第2光源106との距離が等しい。このため、プロファイルPPBWは、面Sの位置と面Sの位置とで輝度が等しい値になっている。
 このように、錠剤Tの撮影画像は、光源と刻印との位置関係によって輝度プロファイルが異なることがわかる。その結果として異なる影の画像が得られるため、画像の照合の際のロバスト性が低下する。
 また、輝度プロファイル同士を比較しても相関が低下する。このため、2値化処理、ノイズ低減処理、及びエッジ抽出処理等を行っても、左入射画像及び右入射画像の合成画像に適用した場合、それぞれ位置による閾値が異なり、少ないパラメータで刻印部分のみを抽出することは困難である。
 ここでは、撮影画像から輝度プロファイルを抽出した例を説明したが、輝度プロファイルだけでなく、RGB(Red Green Blue)の画像、及びRGB単色の画像においても同様の問題が発生する。また、CIE(Commission Internationale de l'Eclairage:国際照明委員会)XYZ表色系、CIELuv(L* u* v* )表色系、HSV(Hue, Saturation, Value)色空間、LCH(Light,Color,Hue)色空間に変換した画像であっても同様である。
 〔画像処理方法〕
 錠剤Tの表面に付された刻印Sを抽出する第4の実施形態に係る画像処理方法について説明する。
 前述したように、撮影制御部128は、照射部126の光源のうち第1光源104のみを点灯して、カメラ120により錠剤Tの上面を撮影し、左入射画像を取得する。また、照射部126の光源のうち第2光源106のみを点灯して、カメラ120により錠剤Tの上面を撮影し、右入射画像を取得する。
 このように取得した位置Aの錠剤T及び位置Bの錠剤Tの左入射画像及び右入射画像は、エッジ画像生成部182に入力される。
 エッジ画像生成部182は、入力された左入射画像及び右入射画像に対して、照射方向に応じた方向のエッジ抽出フィルタをそれぞれ用いて左エッジ画像及び右エッジ画像を生成する。ここでは、エッジ抽出フィルタとして、刻印Sの溝の幅(の画素数)の半分より大きいサイズのソーベルフィルタを用いる。例えば、刻印Sの溝の幅の画素数が4画素であれば、その半分の2画素より大きいサイズ(x軸方向3画素×y軸方向3画素等)のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。
 なお、エッジ抽出フィルタ処理としては、ソーベルフィルタ処理、ラプラシアンフィルタ処理、及びキャニーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
 また、照射方向に応じた方向とは、ここでは照射方向のxy平面視における方向である。すなわち、第1光源104からの照明光の照射方向のxy平面視における方向は、図11において左から右に向かう方向(右方向)であり、第2光源106からの照明光の照射方向のxy平面視における方向は、図11において右から左に向かう方向(左方向)である。
 図18は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、左方向のソーベルフィルタF、及び右方向のソーベルフィルタFを示す図である。本実施形態では左入射画像及び右入射画像の解像度が360dpiであり、x軸方向3画素×y軸方向3画素、x軸方向5画素×y軸方向5画素、又はx軸方向7画素×y軸方向7画素等のサイズが刻印Sの溝の画素数の半分に相当する。解像度が異なる場合は、刻印Sの溝の幅の画素数の半分より大きいサイズのフィルタを適宜選択すればよい。ここでは、x軸方向3画素×y軸方向3画素のソーベルフィルタを用いる。
 エッジ画像生成部182は、位置Aの錠剤Tの左入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、左エッジ画像を生成する。図19に示すプロファイルPEALは、図15に示すプロファイルPPALの微分プロファイルであり、位置Aの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 また、エッジ画像生成部182は、位置Bの錠剤Tの左入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、左エッジ画像を生成する。図19に示すプロファイルPEBLは、図15に示すプロファイルPPBLの微分プロファイルであり、位置Bの錠剤Tの左エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 同様に、エッジ画像生成部182は、位置Aの錠剤Tの右入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、右エッジ画像を生成する。図20に示すプロファイルPEARは、図16に示すプロファイルPPARの微分プロファイルであり、位置Aの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 さらに、エッジ画像生成部182は、位置Bの錠剤Tの右入射画像に対してソーベルフィルタFを用いたエッジ検出処理を行い、右エッジ画像を生成する。図20に示すプロファイルPEBRは、図16に示すプロファイルPPBRの微分プロファイルであり、位置Bの錠剤Tの右エッジ画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 最後に、画像合成部184は、左エッジ画像及び右エッジ画像を合成して合成画像を生成する。
 図21に示すプロファイルPCAは、プロファイルPEAL及びプロファイルPEARの合成プロファイルであり、位置Aの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 また、図21に示すプロファイルPCBは、プロファイルPEBL及びプロファイルPEBRの合成プロファイルであり、位置Bの錠剤Tの左エッジ画像及び右エッジ画像の合成画像の、錠剤Tのxy平面視の中心を通るx軸方向の輝度プロファイルと同等である。
 図21に示すように、合成画像の輝度プロファイルは、図17に示した輝度プロファイルと比較し、刻印Sの部分のS/N比(signal-to-noise ratio)が高くなっている。
 このように、エッジを抽出することで、照明の方向に依存しない(影が出ない)模様等は相対的に信号が低下するので、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の情報を低減し、刻印を抽出することができる。
 <第5の実施形態>
 第4の実施形態では、錠剤Tの表面への光の照射方向がそれぞれ異なる2枚の画像である左入射画像及び右入射画像を用いた例を説明したが、光の照射方向は3方向以上あることが好ましい。本実施形態では、光の照射方向を4方向として4枚の画像を用いた例を説明する。
 〔画像処理方法〕
 ここでは、薬剤識別装置180のステージ102の載置面102Aに、刻印Sを鉛直方向の上側に向けて錠剤Tが載置されるものとする。
 まず、撮影制御部128は、錠剤Tの上面及び下面の上入射画像、右入射画像、左入射画像、及び下入射画像を取得する(取得工程の一例)。
 すなわち、撮影制御部128は、照射部126の各光源のうち第3光源108及び第7光源116のみを点灯し、カメラ120及びカメラ122により、錠剤Tの上面及び下面の上入射画像を取得する。同様に、撮影制御部128は、照射部126の各光源のうち第2光源106及び第6光源114のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の右入射画像を取得し、照射部126の各光源のうち第1光源104及び第5光源112のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の左入射画像を取得し、照射部126の各光源のうち第4光源110及び第8光源118のみを点灯し、カメラ120及びカメラ122により錠剤Tの上面及び下面の下入射画像を取得する。
 このように取得した上入射画像、右入射画像、左入射画像、及び下入射画像は、エッジ画像生成部182に入力される。
 エッジ画像生成部182は、入力された上入射画像、右入射画像、左入射画像、及び下入射画像から、刻印Sが撮影されている画像を抽出する。ここでは、刻印Sはカメラ120によって撮影されている。図22は、取得部124において取得された上入射画像、右入射画像、左入射画像、及び下入射画像のうち、カメラ120によって撮影された上面の上入射画像GU11、右入射画像GR11、左入射画像GL11、及び下入射画像GD11の一例と、各画像の輝度値のレンジとを示す図である。
 続いて、エッジ画像生成部182は、上入射画像GU11、右入射画像GR11、左入射画像GL11、及び下入射画像GD11の輝度値のレンジを刻印Sが視認できるレンジに調整する。図23は、輝度値のレンジを調整後の上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12の一例と、調整後の輝度値のレンジを示す図である。
 ここで、エッジ画像生成部182は、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12にそれぞれ輝度ムラ補正処理を施してもよい。この輝度ムラ補正処理は、例えば上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12を、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12にそれぞれガウシアンフィルタ処理を施した画像でそれぞれ除算する。
 次に、エッジ画像生成部182は、上入射画像GU12、右入射画像GR12、左入射画像GL12、及び下入射画像GD12に対して、照明光の照射方向に応じた方向のエッジ抽出フィルタであって、刻印Sの溝の幅の画素数に応じたサイズのエッジ抽出フィルタをそれぞれ用いてエッジ画像を生成する。ここでは、第4の実施形態と同様に、エッジ抽出フィルタとして、刻印Sの溝の幅の画素数の半分より大きいサイズのソーベルフィルタを用いる。
 本実施形態では、照射方向に応じた方向とは、照明光の照射方向のxy平面視における方向と、照射方向のxy平面視における方向とxy平面視において45度傾斜する方向と、照射方向のxy平面視における方向とxy平面視において-45度傾斜する方向と、を含む。これは、照射部126の各光源による照明光が完全な平行光ではないためと、各照射方向に対して傾斜する方向の刻印を検出するためである。
 なお、第4の実施形態と同様に、照射方向に応じた方向を、照射方向のxy平面視における方向のみとすることも可能である。
 図24は、各方向のソーベルフィルタ処理に用いるソーベルフィルタであって、上方向のソーベルフィルタF、右上方向のソーベルフィルタFUR、左上方向のソーベルフィルタFUL、下方向のソーベルフィルタF、右下方向のソーベルフィルタFDR、及び左下方向のソーベルフィルタFDLを示す図である。また、図18に示した左方向のソーベルフィルタF、及び右方向のソーベルフィルタFも用いる。
 エッジ画像生成部182は、上入射画像GU12に対して上方向のソーベルフィルタFを用いてエッジ画像を生成し、右上方向のソーベルフィルタFURを用いてエッジ画像を生成し、及び左上方向のソーベルフィルタFULを用いてエッジ画像を生成し、この3つのエッジ画像を加算して上方向エッジ画像GU13を生成する。
 同様に、エッジ画像生成部182は、右入射画像GR12に対して右方向のソーベルフィルタF、右上方向のソーベルフィルタFUR、及び右下方向のソーベルフィルタFDRを用いて右方向エッジ画像GR13を生成する。
 また、エッジ画像生成部182は、左入射画像GL12に対して左方向のソーベルフィルタF、左上方向のソーベルフィルタFUL、及び左下方向のソーベルフィルタFDLを用いて左方向エッジ画像GL13を生成する。
 さらに、エッジ画像生成部182は、下入射画像GD12に対して下方向のソーベルフィルタF、右下方向のソーベルフィルタFDR、及び左下方向のソーベルフィルタFDLを用いて下方向エッジ画像GD13を生成する(エッジ画像生成工程の一例、エッジ画像生成機能の一例)。
 図25は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13の一例を示す図である。図25に示すように、各エッジ画像は、抽出されたエッジ部分の輝度が高く(白色に)表現される。
 エッジ画像生成部182は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13にノイズ低減処理(平滑化処理)をそれぞれ施してもよい。ノイズ低減処理としては、メディアンフィルタ処理、ガウシアンフィルタ処理、非局所平均フィルタ処理、及びウィナーフィルタ処理のうち少なくとも1つを含むことができ、マスタ画像との照合方法に応じて適宜選択することができる。
 このように生成された上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13は、画像合成部184に入力される。
 画像合成部184は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13を加算して合成画像Gを生成する(画像合成工程の一例、画像合成機能の一例)。図26は、合成画像Gの一例と、輝度値のレンジを示す図である。図26に示すように、合成画像Gは輝度値のレンジが拡大され、刻印Sの部分の輝度が相対的に高くなっている。このため、照明の方向に依存しない(影が出ない)模様及び傷等の刻印Sの部分以外の輝度が相対的に低くなり、刻印の溝の幅よりも小さい薬剤の表面の模様及び傷等の刻印以外の階調情報が残らない。
 このように、模様等の刻印S以外の情報を低減させることができるので、刻印S以外の情報が錠剤Tの情報として得られることがない。したがって、刻印Sを精度よく抽出し、マスタ画像との照合を適切に行うことができる。
 なお、画像合成部184は、上方向エッジ画像GU13、右方向エッジ画像GR13、左方向エッジ画像GL13、及び下方向エッジ画像GD13を乗算して合成画像Gを生成してもよい。合成方法は、マスタ画像との照合方法に応じて適宜選択することができる。
 以上のように、光源及び刻印の位置関係が成り行きで決定される場合であっても、錠剤Tの表面に付された刻印Sを適切に抽出することができる。これにより、錠剤の照合のロバスト性を向上させることができる。
 ここでは、照明光の照射方向を4方向とした例を説明したが、5方向以上であってもよい。照明光の照射方向が多ければ多いほど検出精度が高くなる。照射方向の数は、必要な検出精度と演算処理時間等から適宜決定すればよい。
 刻印を精度よく抽出する第4~第5の実施形態は、第1~第3の実施形態において識別情報が刻印によって付されたと判別された場合に実施することが好適である。第1~第3の実施形態において識別情報が印字によって付されたと判別された場合は、撮影画像から印字を精度よく抽出するためのノイズ低減処理及び鮮鋭化処理を行うことが考えられる。
 <第6の実施形態>
 第1~第3の実施形態の識別情報が刻印及び印字のいずれによって付されたかを判別する構成、及び第4~第5の実施形態の刻印を抽出する構成を、以下に説明する薬剤識別装置及び薬剤検査支援装置に適用することも可能である。
 〔薬剤識別装置の構成〕
 図27は、第6の実施形態に係る薬剤識別装置10の内部構成を示すブロック図である。薬剤識別装置10は、包装された薬剤を照明する照明部12と、照明部12によって照明された薬剤を撮影する撮影部14と、ユーザに対する薬剤の処方を示す処方情報を取得する処方情報取得部16と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部18と、記憶部18に記憶されたプログラムに従って各種の処理を行う処理部20と、画像表示可能な表示部22と、ユーザから操作を受け付ける操作部24と、を含んで構成される。
 薬剤の「包装」には一包化が含まれる。「一包化」とは、処方(調剤)された薬剤を一回の服用ごとに分包(パッケージ)することをいう。処方内容に依って、一つの包材に種類が異なる複数薬剤がパッケージされる場合、一つの包材に同一種類の複数薬剤がパッケージされる場合、及び一つの包材に薬剤が一個だけパッケージされる場合がある。一包化される薬剤の形態は、例えば、錠剤、カプセル剤が挙げられるが、特に限定されない。また、包材は、例えば、紙、プラスティックが挙げられるが、特に限定されない。また、「分包」(あるいは「包装」)は、一回の服用ごとに分包する場合に限定されず、薬剤が包材によって包装されている場合であればよい。
 照明部12は、光源を含んで構成される。照明部12の光源としては、ここまで説明した第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、及び第8光源118のうち少なくとも1つを適用することができる。載置面側ドーム照明142、裏面側ドーム照明148、第1落射照明162、及び第2落射照明168を用いてもよい。
 撮影部14は、カメラを含んで構成される。撮影部14のカメラとしては、ここまで説明したカメラ120及びカメラ122の少なくとも一方を適用することができる。
 処方情報取得部16は、例えば、処方箋に記載された文字を光学的に読み取ることにより、処方情報を取得する。処方箋に付与されたバーコード(又は二次元コード)を読み取ることにより、処方情報を取得してもよい。また、医師がコンピュータ装置で入力した処方情報を、通信により取得してもよい。
 記憶部18は、一時的記憶デバイスと、非一時的記憶デバイスとによって構成される薬剤データベースである。記憶部18は、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する。
 処理部20は、例えばCPU(Central Processing Unit)によって構成される。処理部20は、記憶部18に記憶されたマスタ画像を更新する機能を有する。処理部20は、後述する特定の条件が満たされた場合、撮影部14によって得られた撮影画像を用いて記憶部18に記憶されたマスタ画像を更新するマスタ更新処理を行う。
 処理部20は、照明部12の照明を制御する照明制御部32と、撮影部14の撮影を制御する撮影制御部34と、撮影部14によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部35と、撮影部14によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部36と、撮影部14によって薬剤を撮影して得られた撮影画像の薬剤領域と記憶部18に記憶されたマスタ画像とを照合する照合部42と、薬剤位置取得部35によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部44と、更新判定部44によってマスタ画像を更新すると判定された場合、マスタ画像生成部36によって生成されたマスタ画像を記憶部18に登録する登録部46と、表示部22の表示を制御する表示制御部48と、を含んで構成されている。
 マスタ画像と撮影画像のうちの薬剤領域との相関度を示す相関値、あるいは薬剤領域間の相関値を算出する相関値算出部49と、基準位置を設定する基準位置設定部50とを、設けてもよい。
 処理部20の照明制御部32及び撮影制御部34として、これまで説明した撮影制御部128を適用することができる。また、薬剤位置取得部35として、これまで説明した画像比較部130及びエッジ画像生成部182を適用することができる。
 〔薬包〕
 図28は、薬剤である錠剤Tが包装された複数の薬包TPが連続する薬包帯PBを示す図である。薬包帯PBはx軸方向に沿って搬送させることが可能である。錠剤Tには、刻印又は印字により、錠剤Tの種類を示す識別情報が付されている。ここでは、各錠剤Tに、「L」、「M」、又は「N」と刻印されている例を示している。
 薬包TPの包材は、両面とも透明(半透明を含む、以下同じ)が、好ましい。薬包TPの包材の片面に、印字又はマット加工が、施されていてもよい。
 連続した薬包TPは、一つの薬包TPのx軸方向におけるサイズごとに、搬送可能である。一つの薬包TPごとに、薬包TPの位置を検出可能であってもよい。
 なお、本実施形態は、薬包TPが搬送される場合に限定されない。薬包TPが載置台等に載置されるだけの場合であってもよい。
 図29は、第6の実施形態に係る薬剤識別方法の処理の一例を示すフローチャートである。この処理は、薬剤識別装置10の処理部20を構成するCPUによって、プログラムに従い実行される。
 まず、処方情報取得部16によって、処方情報を取得する(ステップS2)。
 次に、照明部12によって、分包された薬剤を照明する(ステップS4)。また、撮影部14によって、照明部12によって照明された薬剤を撮影する(ステップS6)。薬剤位置取得部35によって薬剤位置を取得し、かつマスタ画像生成部36によって撮影画像から薬剤領域を抽出する(ステップS8)。
 続いて、照合部42によって、記憶部18に記憶されたマスタ画像と撮影画像の薬剤領域とを照合する(ステップS10)。
 抽出した薬剤領域から、識別情報が刻印及び印字のいずれで付されたかを判別して照合プロセスの候補を減らすために、第1~第3の実施形態の手法を適用することができる。
 また、抽出した薬剤領域の刻印を精度よく抽出するために、第4~第5の実施形態で説明した手法を用いることができる。
 次に、記憶部18にマスタ画像が非登録の薬剤であるか否かを判定し(ステップS12)、マスタ画像が非登録の薬剤である場合(ステップS12でYESの場合)、さらに一包目であるか否かを判定する(ステップS14)。マスタ画像が非登録かつ一包目である場合(ステップS14でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS16)。
 マスタ画像が登録された薬剤である場合(ステップS12でNOの場合)、更新判定部44によって、撮影範囲の基準位置(例えば中心位置)と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する(ステップS18)。
 マスタ画像を更新すると判定された場合、(ステップS18でYESの場合)、登録部46によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する(ステップS20)。
 薬包内に他の薬剤が有るか否かを判定し(ステップS22)、薬包内の他の薬剤が有る場合(ステップS22でYESの場合)、ステップS10に戻って、薬包内の他の薬剤に対する照合処理が行われる。
 薬包の全ての薬剤に対し薬剤認識処理を行って薬包内に他に薬剤が無い場合(ステップS22でNOの場合)、他に薬包が有るか否かを判定し(ステップS24)、他の薬包が有る場合にはステップS4に戻る。
 なお、更新判定部44は、複数の薬剤が一つの薬包に含まれている場合、薬剤間の間隔に基づいて、マスタ画像を更新するか否かを判定するようにしてもよい。つまり、刻印の場合、隣接する位置に大きな薬剤が存在すると影が出難くなる場合があるので、周囲に他の薬剤が無い場合に、マスタ画像を更新すると判定することが好ましい。例えば、薬剤間の距離が閾値未満(あるいは閾値以下)である場合、撮影画像に刻印の影が出難くなるので、マスタ画像を更新しないと判定する。
 前述の説明では、主として薬剤の刻印を認識する場合を例に説明したが、薬剤に印字された文字又は記号を認識してもよい。
 <第7の実施形態>
 第7の実施形態に係る薬剤検査支援装置は、処方データに基づいて調剤され、分包袋(薬包)に分包される薬剤を検査し、薬剤の一覧表を表示する。
 〔薬剤検査支援装置の構成〕
 図30は、第7の実施形態に係る薬剤検査支援装置11の内部構成を示すブロック図である。なお、図27に示した薬剤識別装置10と共通する部分には同一の符号を付し、その詳細な説明は省略する。
 照合部42は、薬剤判別部に相当する。照合部42は、記憶部18に記憶されたマスタ画像(薬剤マスタ画像の一例)と、撮影部14において撮影した撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する。
 薬剤検査支援装置11は、一覧作成部52を備えている。一覧作成部52は、分包袋に分包される薬剤(検査する薬剤の一例)の一覧表を作成する。一覧作成部52は、撮影部14から分包袋に分包された薬剤の画像を取得する。ここでは、マスタ画像生成部36によって撮影画像から抽出された薬剤領域である薬剤領域画像を取得する。また、一覧作成部52は、照合部42に適用された画像合成部184から分包袋に分包された薬剤の合成画像を取得する。さらに、一覧作成部52は、処方データに基づいて調剤され得る薬剤のマスタ画像を記憶部18から取得する。
 一覧作成部52は、表示画像生成部54、及び回転部56を備えている。
 表示画像生成部54は、刻印が付された薬剤について、合成画像からその合成画像に対応する薬剤領域画像を引き算した差分画像を生成する。この差分画像は、薬剤の刻印部分を強調した表示画像となる。また、表示画像生成部54は、印字が付された薬剤について、薬剤領域画像についてノイズ低減処理及び鮮鋭化処理を行った画像を表示画像として生成する。
 回転部56は、表示画像を回転させることで、表示画像とその表示画像に対応するマスタ画像との刻印部分又は印字部分を同じ向きに揃える。
 〔薬剤検査支援方法の処理〕
 薬剤検査支援装置11による薬剤検査支援方法について説明する。図31は薬剤検査支援方法の処理を示すフローチャートである。ステップS2~S24の処理は、図29に示したフローチャートと同様である。
 ステップS24において、全ての薬包について処理が行われたと判定されると、ステップS26に移行する。ステップS26では、一覧作成部52において一覧表を作成し、作成した一覧表を表示部22に表示する。
 図32は、表示部22に表示された一覧表Lを示す図である。ここでは13袋の分包袋に、薬剤A、薬剤B及び薬剤Cがそれぞれ1つずつ分包される例を示している。一覧表Lは、調剤されるべき薬剤のマスタ画像の表示画像を表示する列E、及び各分包袋に分包される薬剤の表示画像を表示する列E~E13を有している。
 各列E~E13は、薬剤Aの表側の表示画像を表示する行F、薬剤Aの裏側の表示画像を表示する行F、薬剤Bの表側の表示画像を表示する行F、薬剤Bの裏側の表示画像を表示する行F、薬剤Cの表側の表示画像を表示する行F、及び薬剤Cの裏側の表示画像を表示する行Fに分割されている。
 各列E~E13の各行F~Fに、それぞれの位置に対応する表示画像が表示される。ここで表示される薬剤の表示画像とマスタ画像の表示画像とは、回転部56により刻印部分又は印字部分が同じ向きに揃えられている。
 図32に示すように、調剤されるべき薬剤のマスタ画像と、各薬剤の薬剤領域画像とを、位置を揃えてかつ刻印部分及び印字部分を強調した一覧表を表示するため、ユーザの認識しやすい表示を行うことができる。なお、ここでは刻印部分及び印字部分を強調したが、刻印部分及び印字部分の一方を強調した一覧表を表示してもよい。いずれの場合も、刻印部分もしくは印字部分を強調した一覧表の概念に含まれる。
 図33は比較例の一覧表Lを示す図である。図33に示す一覧表Lは、マスタ画像と薬剤領域画像とを刻印部分及び印字部分の強調を行わずに表示している。薬剤領域画像は、光源と刻印部分の位置関係に依存して見え方が異なる。このため、一覧表Lは視認性が悪い。
 本実施形態では、薬剤の刻印部分を強調した表示画像として、合成画像から薬剤領域画像を引き算した差分画像を用いたが、薬剤の刻印部分のユーザの視認性を高める方法であれば、一覧表に表示する表示画像は差分画像に限定されるものではない。
 本実施形態では、分包袋に分包した薬剤を検査する例について説明したが、薬剤検査支援装置11は、シャーレに載置した薬剤、又はステージに直接載置した薬剤を検査することも可能である。しかしながら、分包袋に分包した薬剤の検査が、操作性の点で便利で好ましい。
 なお、薬剤の検査には監査と鑑別とがある。本実施形態では処方データに基づいて調剤された薬剤の監査を支援する例について説明したが、薬剤検査支援装置11は薬剤の鑑別の支援に適用することも可能である。薬剤の鑑別とは、薬剤の外観からその薬剤を特定することである。薬剤の鑑別により、例えば入院患者の持参薬を判別することができる。
 <その他>
 上記の画像処理方法は、コンピュータに取得機能、エッジ画像生成機能、画像合成機能、画像比較機能、及び判定機能を実現させるためのプログラムとして構成し、このプログラムを記憶したCD-ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
 ここまで説明した実施形態において、例えば、撮影制御部128、画像比較部130、画像処理部132、相関度検出部134、判定部136、エッジ画像生成部182、及び画像合成部184等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
 本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10 薬剤識別装置
11 薬剤検査支援装置
12 照明部
14 撮影部
16 処方情報取得部
18 記憶部
20 処理部
22 表示部
24 操作部
32 照明制御部
34 撮影制御部
35 薬剤位置取得部
36 マスタ画像生成部
42 照合部
44 更新判定部
46 登録部
48 表示制御部
49 相関値算出部
50 基準位置設定部
52 一覧作成部
54 表示画像生成部
56 回転部
100 薬剤識別装置
102 ステージ
102A 載置面
102B 裏面
104 第1光源
106 第2光源
108 第3光源
110 第4光源
112 第5光源
114 第6光源
116 第7光源
118 第8光源
120 カメラ
122 カメラ
124 取得部
126 照射部
128 撮影制御部
130 画像比較部
132 画像処理部
134 相関度検出部
136 判定部
140 薬剤識別装置
142 載置面側ドーム照明
144 光源保持部
144A 開口窓
146 点光源
148 裏面側ドーム照明
150 光源保持部
150A 開口窓
152 点光源
160 薬剤識別装置
162 第1落射照明
164 光源
166 ハーフミラー
168 第2落射照明
170 光源
172 ハーフミラー
180 薬剤識別装置
182 エッジ画像生成部
184 画像合成部
~E13 列
~F 行
 ソーベルフィルタ
DL ソーベルフィルタ
DR ソーベルフィルタ
 ソーベルフィルタ
 ソーベルフィルタ
 ソーベルフィルタ
UL ソーベルフィルタ
UR ソーベルフィルタ
A1 全方向入射画像
A2 全方向補正画像
A3 全方向補正画像
 合成画像
D1 下入射画像
D11 下入射画像
D12 下入射画像
D13 下方向エッジ画像
D2 下補正画像
D3 下補正画像
L1 左入射画像
L11 左入射画像
L12 左入射画像
L13 左方向エッジ画像
L2 左補正画像
L3 左補正画像
R1 右入射画像
R11 右入射画像
R12 右入射画像
R13 右方向エッジ画像
R2 右補正画像
R3 右補正画像
U1 上入射画像
U11 上入射画像
U12 上入射画像
U13 上方向エッジ画像
U2 上補正画像
U3 上補正画像
I 識別情報
 一覧表
 一覧表
 照明光
 照明光
P 印字
PB 薬包帯
CA プロファイル
EAL プロファイル
EAR プロファイル
EBL プロファイル
EBR プロファイル
PAL プロファイル
PAR プロファイル
PAW プロファイル
PBL プロファイル
PBR プロファイル
PBW プロファイル
S 刻印
 面
 面
T 錠剤
TP 薬包
S2~S26 薬剤識別方法の処理のステップ

Claims (12)

  1.  刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得部と、
     前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、
     前記複数のエッジ画像を合成して合成画像を生成する画像合成部と、
     を備えた画像処理装置。
  2.  前記エッジ画像生成部は、前記刻印の溝の幅の半分よりも大きいサイズの前記エッジ抽出フィルタを用いて複数のエッジ画像を生成する請求項1に記載の画像処理装置。
  3.  前記照射方向に応じた方向とは、前記照射方向の前記表面の平面視における方向を含む請求項1又は2に記載の画像処理装置。
  4.  前記照射方向に応じた方向とは、前記照射方向の前記表面の平面視における方向と45度傾斜する方向と、前記照射方向の前記表面の平面視における方向と-45度傾斜する方向と、を含む請求項3に記載の画像処理装置。
  5.  前記取得部は、前記表面への光の照射方向が第1方向、第2方向、第3方向、及び第4方向である前記薬剤の4枚の画像を取得し、
     前記第2方向とは前記第1方向と前記表面の平面視において対向する方向であり、前記第3方向とは前記第1方向と前記表面の平面視において直交する方向であり、前記第4方向とは前記第3方向と前記表面の平面視において対向する方向である請求項1から4のいずれか1項に記載の画像処理装置。
  6.  刻印が表面に付された薬剤を載置するステージと、
     前記表面への光の照射方向がそれぞれ異なる複数の光源を有する照射部と、
     前記薬剤の前記表面に前記複数の光源によりそれぞれ光が照射された前記薬剤をそれぞれ撮影した複数の画像を取得する撮影部と、
     前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成部と、
     前記複数のエッジ画像を合成して合成画像を生成する画像合成部と、
     を備えた薬剤識別装置。
  7.  前記照射部は、第1方向に光を照射する第1光源と、第2方向に光を照射する第2光源と、第3方向に光を照射する第3光源と、第4方向に光を照射する第4光源と、
     を備え、
     前記第2方向とは前記表面の平面視において前記第1方向と対向する方向であり、前記第3方向とは前記表面の平面視において前記第1方向と直交する方向であり、前記第4方向とは前記表面の平面視において前記第3方向と対向する方向である請求項6に記載の薬剤識別装置。
  8.  前記照射部は、第5方向に光を照射する第5光源と、第6方向に光を照射する第6光源と、第7方向に光を照射する第7光源と、第8方向に光を照射する第8光源と、
     を備え、
     前記第6方向とは前記表面の平面視において前記第5方向と対向する方向であり、前記第7方向とは前記表面の平面視において前記第5方向と直交する方向であり、前記第8方向とは前記表面の平面視において前記第7方向と対向する方向であり、
     前記ステージは光透過性を有する材料で構成され、
     前記第1光源、第2光源、第3光源、及び第4光源は前記ステージの一方の面側に配置され、
     前記第5光源、第6光源、第7光源、及び第8光源は前記ステージの一方の面側とは異なる他方の面側に配置される請求項7に記載の薬剤識別装置。
  9.  刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得工程と、
     前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成工程と、
     前記複数のエッジ画像を合成して合成画像を生成する画像合成工程と、
     を備えた画像処理方法。
  10.  刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得機能と、
     前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、
     前記複数のエッジ画像を合成して合成画像を生成する画像合成機能と、
     をコンピュータに実行させるためのプログラム。
  11.  非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
     刻印が表面に付された薬剤の前記表面への光の照射方向がそれぞれ異なる前記薬剤の複数の画像を取得する取得機能と、
     前記複数の画像の各画像に対して、前記照射方向に応じた方向のエッジ抽出フィルタであって、前記刻印の溝の幅に応じたサイズのエッジ抽出フィルタをそれぞれ用いて複数のエッジ画像を生成するエッジ画像生成機能と、
     前記複数のエッジ画像を合成して合成画像を生成する画像合成機能と、
     をコンピュータに実行させる記録媒体。
  12.  薬剤を検査する薬剤検査支援装置において、
     薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、前記撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、
     前記検査する薬剤の一覧表であって、前記薬剤の薬剤マスタ画像と、前記撮影画像における各薬剤と判別された薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、
     を備えた薬剤検査支援装置。
PCT/JP2018/029925 2017-08-22 2018-08-09 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム WO2019039300A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880047269.1A CN110892445B (zh) 2017-08-22 2018-08-09 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
EP18848786.2A EP3675030B1 (en) 2017-08-22 2018-08-09 Drug inspection assistance device, drug identification device, image processing device, image processing method, and program
JP2019538069A JP6894977B2 (ja) 2017-08-22 2018-08-09 薬剤検査支援装置、薬剤検査支援方法、薬剤識別装置、薬剤識別方法及びプログラム、記録媒体
US16/744,661 US11195042B2 (en) 2017-08-22 2020-01-16 Drug inspection assistance device, drug identification device, image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-159559 2017-08-22
JP2017159559 2017-08-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/744,661 Continuation US11195042B2 (en) 2017-08-22 2020-01-16 Drug inspection assistance device, drug identification device, image processing device, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2019039300A1 true WO2019039300A1 (ja) 2019-02-28

Family

ID=65439062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029925 WO2019039300A1 (ja) 2017-08-22 2018-08-09 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11195042B2 (ja)
EP (1) EP3675030B1 (ja)
JP (2) JP6894977B2 (ja)
CN (1) CN110892445B (ja)
WO (1) WO2019039300A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006093A1 (ja) 2019-07-09 2021-01-14 富士フイルム富山化学株式会社 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
JPWO2021065658A1 (ja) * 2019-10-01 2021-04-08
JP2022050122A (ja) * 2020-09-17 2022-03-30 株式会社Screenホールディングス 錠剤印刷装置および錠剤印刷方法
CN114550599A (zh) * 2022-03-30 2022-05-27 苏州华星光电技术有限公司 一种显示面板的贴合装置及其应用方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418627B (zh) 2017-03-23 2021-11-16 富士胶片富山化学株式会社 药剂识别装置、药剂识别方法及药剂识别程序
KR101921021B1 (ko) * 2018-04-06 2018-11-21 (주)이즈미디어 회전식 카메라모듈 검사장치
CN113298069A (zh) * 2021-05-28 2021-08-24 深圳市瑞意博科技股份有限公司 一种钢印字符识别方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334323A (ja) 2001-05-09 2002-11-22 Mitsubishi Nuclear Fuel Co Ltd 刻印表示読み取り装置
JP2010004141A (ja) * 2008-06-18 2010-01-07 Konica Minolta Business Technologies Inc 画像処理装置
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム
JP2014067342A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 薬剤検査支援装置及び方法
JP2014190700A (ja) * 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法
JP2015068765A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 薬剤認識装置及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3720839B2 (ja) 1994-05-27 2005-11-30 フクダ電子株式会社 超音波診断装置
US6798422B2 (en) * 2002-11-08 2004-09-28 Samsung Electronics Co., Ltd. Method and filtering system for filtering edge directions
JP5278133B2 (ja) * 2009-04-17 2013-09-04 住友電装株式会社 ワイヤーハーネス外観検査用画像生成装置およびワイヤーハーネス外観検査用画像生成方法
JP5703707B2 (ja) 2010-11-18 2015-04-22 富士ゼロックス株式会社 画像処理システム、画像処理装置及び画像処理プログラム
EP2690430A1 (en) * 2011-03-24 2014-01-29 Panasonic Corporation Tablet inspection device and tablet inspection method using same
US9008411B2 (en) * 2011-05-09 2015-04-14 Minigraphics, Inc. Method, system, and apparatus for identifying pharmaceutical products
CN103492862A (zh) * 2011-07-13 2014-01-01 松下电器产业株式会社 药片检查装置以及药片检查方法
US9111357B2 (en) * 2012-06-07 2015-08-18 Medsnap, Llc System and method of pill identification
US20140355849A1 (en) * 2013-06-04 2014-12-04 Medsnap, Llc System and method of using imprint analysis in pill identification
WO2015138820A1 (en) * 2014-03-12 2015-09-17 ClearMark Systems, LLC System and method for authentication
US20190251349A1 (en) * 2014-03-12 2019-08-15 Gary L. Duerksen System and method for object classification and sorting
JP6497856B2 (ja) 2014-07-03 2019-04-10 アレイ株式会社 錠剤識別装置およびその方法、並びに、分包錠剤監査装置
JP5970099B1 (ja) * 2015-03-19 2016-08-17 株式会社Pfu 画像読取装置
CN110418627B (zh) * 2017-03-23 2021-11-16 富士胶片富山化学株式会社 药剂识别装置、药剂识别方法及药剂识别程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334323A (ja) 2001-05-09 2002-11-22 Mitsubishi Nuclear Fuel Co Ltd 刻印表示読み取り装置
JP2010004141A (ja) * 2008-06-18 2010-01-07 Konica Minolta Business Technologies Inc 画像処理装置
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム
JP2014067342A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 薬剤検査支援装置及び方法
JP2014190700A (ja) * 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法
JP2015068765A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 薬剤認識装置及び方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006093A1 (ja) 2019-07-09 2021-01-14 富士フイルム富山化学株式会社 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
CN114051723A (zh) * 2019-07-09 2022-02-15 富士胶片富山化学株式会社 图像生成装置、药剂识别装置、药剂显示装置、图像生成方法以及程序
JPWO2021065658A1 (ja) * 2019-10-01 2021-04-08
CN114450677A (zh) * 2019-10-01 2022-05-06 富士胶片富山化学株式会社 药剂对照装置、药剂对照系统、药剂管理方法及程序
EP4039242A4 (en) * 2019-10-01 2022-11-09 FUJIFILM Toyama Chemical Co., Ltd. DRUG COLLECTION DEVICE, DRUG COLLECTION SYSTEM, DRUG MANAGEMENT METHOD, AND PROGRAM
JP7427684B2 (ja) 2019-10-01 2024-02-05 富士フイルム富山化学株式会社 薬剤照合システム、薬剤管理方法及びプログラム
JP2022050122A (ja) * 2020-09-17 2022-03-30 株式会社Screenホールディングス 錠剤印刷装置および錠剤印刷方法
JP7451364B2 (ja) 2020-09-17 2024-03-18 株式会社Screenホールディングス 錠剤印刷装置および錠剤印刷方法
CN114550599A (zh) * 2022-03-30 2022-05-27 苏州华星光电技术有限公司 一种显示面板的贴合装置及其应用方法
CN114550599B (zh) * 2022-03-30 2023-08-01 苏州华星光电技术有限公司 一种显示面板的贴合装置及其应用方法

Also Published As

Publication number Publication date
EP3675030A1 (en) 2020-07-01
EP3675030A4 (en) 2020-12-09
US20200151490A1 (en) 2020-05-14
JP6894977B2 (ja) 2021-06-30
CN110892445B (zh) 2023-10-10
JP7146012B2 (ja) 2022-10-03
CN110892445A (zh) 2020-03-17
US11195042B2 (en) 2021-12-07
EP3675030B1 (en) 2023-12-06
JP2021119480A (ja) 2021-08-12
JPWO2019039300A1 (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
JP7146012B2 (ja) 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム、記録媒体
US11574141B2 (en) Drug recognizing apparatus, drug recognizing method, and drug recognizing program
WO2015046044A1 (ja) 薬剤認識装置及び方法
JP6823727B2 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
WO2019039302A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
US10489647B2 (en) Method for computing a unique identifier for a gemstone having facets
WO2020105395A1 (ja) 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム
WO2019039301A1 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
JP7069436B2 (ja) 画像良否学習装置、画像良否判定装置及び画像読取装置
JP7155430B2 (ja) 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
US20130077851A1 (en) Three dimensional pattern inspection system
JP7375049B2 (ja) 画像処理装置及び方法
JP2004077495A (ja) 外観検査装置
JP2022040849A (ja) 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム
JP2004117239A (ja) エンボス文字検査装置
JP2016050842A (ja) 印刷物の検査方法、印刷物の製造方法及び印刷物の検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18848786

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019538069

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018848786

Country of ref document: EP

Effective date: 20200323