[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023119490A1 - 容器選別システム - Google Patents

容器選別システム Download PDF

Info

Publication number
WO2023119490A1
WO2023119490A1 PCT/JP2021/047590 JP2021047590W WO2023119490A1 WO 2023119490 A1 WO2023119490 A1 WO 2023119490A1 JP 2021047590 W JP2021047590 W JP 2021047590W WO 2023119490 A1 WO2023119490 A1 WO 2023119490A1
Authority
WO
WIPO (PCT)
Prior art keywords
container
coordinates
bottle
extraction
image
Prior art date
Application number
PCT/JP2021/047590
Other languages
English (en)
French (fr)
Inventor
雅信 本江
健 李
義人 平井
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to JP2023568883A priority Critical patent/JPWO2023119490A1/ja
Priority to PCT/JP2021/047590 priority patent/WO2023119490A1/ja
Publication of WO2023119490A1 publication Critical patent/WO2023119490A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials

Definitions

  • the present disclosure relates to a container sorting system.
  • sorting waste is performed manually. While sorting waste is a simple task, it places a heavy burden on workers who sort waste (hereafter sometimes referred to as "sorters"). A device (sometimes referred to hereinafter as a “waste sorter”) has been developed to do so.
  • the waste sorting device When the waste sorting device performs the work that the sorting worker was doing instead of the sorting worker, the waste sorting device recognizes each waste flowing on the belt conveyor, and based on the recognition result, the robot hand It is conceivable to extract the desired waste (hereinafter sometimes referred to as "desired waste”) from the waste mass flowing on the belt conveyor using a vacuum cleaner or a suction pad.
  • the waste sorting device extracts the bottle from the waste group
  • the position where the robot hand grips the bottle hereinafter sometimes referred to as "gripping position"
  • the suction position If the position where the suction pad sucks the bottle (hereinafter sometimes referred to as the “suction position") deviates from the center of gravity of the weight of the bottle, the bottle will tilt after extraction and cannot be transported by the robot hand or the suction pad. There is a risk that the bottle inside may fall from the robot hand or suction pad.
  • a container sorting system of the present disclosure includes a camera, a recognition section, a first calculation section, a second calculation section, and an extraction section.
  • the camera captures an image of the waste group along the transport path along which the waste group is transported.
  • the recognition unit recognizes the existence area and type of the container included in the waste group based on the image.
  • the first calculator calculates first coordinates, which are coordinates of the area center of gravity of the container in the image.
  • the second calculation unit calculates second coordinates, which are coordinates moved from the first coordinates toward the bottom of the container by a prescribed amount.
  • the extracting unit extracts the container from the waste group conveyed along the conveying path by using the second coordinates as an extraction point for extracting the container.
  • the container after extraction can be transported without tilting.
  • FIG. 1 is a diagram illustrating a configuration example of a container sorting system according to Example 1 of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a control device and a sorting device according to Example 1 of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of an extraction unit according to the first embodiment of the present disclosure;
  • FIG. 4 is a diagram illustrating an example of an extraction unit according to the first embodiment of the present disclosure;
  • FIG. 5 is a diagram illustrating an example of a processing procedure in the container sorting system according to the first embodiment of the present disclosure;
  • FIG. 6 is a diagram illustrating an operation example of the container sorting system according to the first embodiment of the present disclosure;
  • FIG. 7 is a diagram illustrating an example of a specified amount determination table according to the first embodiment of the present disclosure;
  • FIG. 1 is a diagram illustrating a configuration example of a container sorting system according to Example 1 of the present disclosure.
  • the container sorting system 1 has a control device 10, a camera 20, a sorting device 30, and a belt conveyor 40.
  • the control device 10, camera 20, and sorting device 30 are connected to each other via a network.
  • the container sorting system 1 shown in FIG. That is, hereinafter, the case where the objects to be sorted by the container sorting system 1 are waste will be described as an example. Further, the case where the desired waste is a bottle will be described below as an example.
  • a bottle is an example of a container, and the technology disclosed herein can also be applied to containers other than bottles. In other words, objects to be sorted by the container sorting system 1 are not limited to bottles, and the container sorting system 1 can be used for various containers.
  • the belt conveyor 40 conveys the waste group placed on the belt conveyor 40 in the conveyance direction CD (+X direction). That is, the belt conveyor 40 forms a transport path along which the waste group is transported in the transport direction CD.
  • the camera 20 is arranged above the belt conveyor 40 on which the waste group is conveyed, has a predetermined angle of view, and photographs a predetermined area on the upper surface of the belt conveyor 40 from above the belt conveyor 40 at a constant frame rate. do. Therefore, the image captured by the camera 20 is an image of the waste group (hereinafter sometimes referred to as a "waste group image"). A waste group image is transmitted from the camera 20 to the control device 10 .
  • the control device 10 controls the operation of the sorting device 30 based on the waste group image.
  • the sorting device 30 sorts the bottles by extracting them from the waste group conveyed in the conveying direction CD by the belt conveyor 40, and removes the extracted bottles outside the belt conveyor 40. transport.
  • FIG. 2 is a diagram illustrating a configuration example of a control device and a sorting device according to the first embodiment of the present disclosure
  • the control device 10 has an image processing section 11 , a learned model storage section 15 and a sorting device control section 16 .
  • the image processing unit 11 has an image recognition unit 12 , an area centroid calculation unit 13 , and an extraction point coordinate calculation unit 14 .
  • the sorting device 30 has an extractor 31 . A waste group image captured by the camera 20 is input to the image processing section 11 .
  • FIG. 3 and 4 are diagrams illustrating an example of an extraction unit according to the first embodiment of the present disclosure.
  • the extractor 31 is formed using a robot hand 311 as shown in FIG. Further, for example, the extractor 31 is formed using a suction pad 312 as shown in FIG.
  • the sorting device 30 sorts the bottles by extracting them from the waste group conveyed on the belt conveyor 40 using the extraction unit 31 under the control of the sorting device control unit 16 .
  • the extraction unit 31 is movable in the ⁇ Y direction and the ⁇ Z direction, and lifts the bottle extracted from the waste group in the +Z direction and moves it in the +Y direction or the ⁇ Y direction, so that the side surface of the belt conveyor 40 to a predetermined box arranged outside the belt conveyor 40.
  • FIG. 5 is a diagram illustrating an example of a processing procedure in the container sorting system according to the first embodiment of the present disclosure
  • step S100 the camera 20 takes an image of the waste group.
  • the image recognition unit 12 recognizes the existence area and type of bottles included in the waste group by image recognition based on the waste group image.
  • the bottle presence area recognized by the image recognition unit 12 may be referred to as a "bottle area”
  • the type of bottle recognized by the image recognition unit 12 may be referred to as a "bottle type”.
  • the image recognition unit 12 uses the learned model stored in the learned model storage unit 15 to recognize the bottle area and the bottle type.
  • the image recognition unit 12 converts the bottle area and bottle type into the image of the bottle existing in the waste group image (hereinafter sometimes referred to as the "bottle image”) as information indicating the characteristics of the bottle (hereinafter referred to as (sometimes referred to as “feature information”).
  • step S110 the area-center-of-gravity calculator 13 calculates the coordinates of the area-center of gravity of the bottle (hereinafter sometimes referred to as "area-center-of-gravity coordinates").
  • the area-center-of-gravity calculator 13 calculates the coordinates of the center of gravity of the bottle region recognized by the image recognition unit 12 as the area-center-of-gravity coordinates.
  • step S115 the extraction point coordinate calculation unit 14 determines whether the bottle type recognized by the image recognition unit 12 is a PET bottle.
  • the process proceeds to step S130, and when the bottle type is not a PET bottle (step S115: No), the process proceeds to step S120.
  • step S120 the extraction point coordinate calculation unit 14 calculates the total length of the bottle in the longitudinal direction (hereinafter sometimes referred to as "bottle length") based on the bottle area recognized by the image recognition unit 12. .
  • step S125 the extraction point coordinate calculator 14 determines whether or not the bottle length is less than the threshold TH1.
  • step S125: Yes the process proceeds to step S130, and when the bottle length is equal to or greater than the threshold TH1 (step S125: No), the process proceeds to step S135.
  • step S130 the extraction point coordinate calculation unit 14 converts the area barycentric coordinates calculated in step S110 to coordinates indicating the extraction point when the extraction unit 31 extracts the bottle (hereinafter referred to as "extraction point coordinates"). ) and outputs the set extraction point coordinates to the sorting device control unit 16 .
  • step S135 the extraction point coordinate calculation unit 14 calculates coordinates indicating the center of gravity of the weight of the bottle (hereinafter sometimes referred to as "weight center of gravity coordinates").
  • the extraction point coordinate calculation unit 14 calculates the weight center of gravity coordinates by moving the area center of gravity coordinates calculated by the area center of gravity calculation unit 13 toward the bottom of the bottle by a specified amount.
  • step S140 the extraction point coordinate calculation unit 14 sets the weight center of gravity coordinates calculated in step S110 as the extraction point coordinates, and outputs the set extraction point coordinates to the sorting device control unit 16.
  • the extraction point coordinates set by the process of step S130 or step S140 are the coordinate system of the waste group image, that is, the coordinate system of the camera 20 ( hereinafter, sometimes referred to as a “camera coordinate system”). Therefore, in step S145, the sorting device control unit 16 converts the extraction point coordinates of the camera coordinate system set by the process of step S130 or step S140 into the extraction point coordinates of the coordinate system of the sorting device 30. FIG. The sorting device control unit 16 outputs a control signal including the extracted point coordinates after conversion to the sorting device 30 .
  • step S150 the sorting device 30 moves the extraction unit 31 directly above the extraction point coordinates indicated by the control signal, and the extraction unit 31 is conveyed on the belt conveyor 40 using the extraction point coordinates as the extraction point.
  • Bottles are extracted from the waste group.
  • the extraction unit 31 is formed using the robot hand 311
  • the extraction unit 31 extracts the bottle by gripping the bottle with the robot hand 311 with the extraction point on the bottle set to the gripping position of the robot hand 311 .
  • the extractor 31 is formed using the suction pad 312
  • the extractor 31 extracts the bottle by suction of the suction pad 312 with the extraction point on the bottle being the suction position of the suction pad 312 with respect to the bottle.
  • FIG. 6 is a diagram illustrating an operation example of the container sorting system according to the first embodiment of the present disclosure
  • the image recognition unit 12 gives feature information including label information LA indicating the bottle type and outline information CO indicating the bottle area to the bottle image BI (step S105).
  • Bottle types are classified into, for example, champagne bottles, wine bottles, PET bottles, and other bottles.
  • the contour information CO consists of a plurality of coordinate points (x0, y0), (x1, y1), . formed by That is, an area surrounded by lines connecting a plurality of coordinate points (x0, y0), (x1, y1), .
  • the area-center-of-gravity calculator 13 calculates area-center-of-gravity coordinates AC(Xa, Ya) in the bottle area based on the contour information CO (step S110).
  • the extraction point coordinate calculation unit 14 calculates the bottle length L, which is the total length of the bottle area in the longitudinal direction, based on the contour information CO (step S120).
  • the extraction point coordinate calculation unit 14 determines the bottom BP of the bottle based on the bottle image BI, and moves the area barycentric coordinates AC(Xa, Ya) toward the bottom BP of the bottle by a specified amount ⁇ l.
  • a barycentric coordinate WC (Xw, Yw) is calculated (step S135).
  • the extraction point coordinate calculation unit 14 determines the bottom BP of the bottle, for example, using the learned model stored in the learned model storage unit 15 .
  • the extraction point coordinate calculator 14 sets the area barycentric coordinates as the extraction point coordinates (step S115: Yes, step S130). That is, the extraction point coordinate calculator 14 sets the specified amount ⁇ l to 0 when the bottle type is a PET bottle.
  • the extraction point coordinate calculator 14 sets the area barycentric coordinates as the extraction point coordinates (step S125: Yes, step S130). That is, the extraction point coordinate calculator 14 sets the specified amount ⁇ l to 0 when the bottle length L is less than the threshold TH1.
  • FIG. 7 is a diagram illustrating an example of a specified amount determination table according to the first embodiment of the present disclosure. As shown in FIG. 7, the bottle type and the prescribed amount ⁇ l are set in association with each other in the prescribed amount determination table TA.
  • the extraction point coordinate calculator 14 has a specified amount determination table TA, and controls the specified amount ⁇ l according to the specified amount determination table TA based on the bottle type. In the specified amount determination table TA, the specified amount ⁇ l is set as a ratio [%] to the bottle length L.
  • the thickness of the bottom of a champagne bottle is greater than the thickness of the bottom of a wine bottle. Also, the thickness of the bottom of champagne bottles and the thickness of the bottom of wine bottles are greater than the thickness of the bottom of other bottles. That is, champagne bottles have a larger difference between the area center of gravity and the weight center of gravity than wine bottles. In addition, wine bottles have a larger difference between the area center of gravity and the weight center of gravity than other bottles. Therefore, when the bottle type is a champagne bottle, the extraction point coordinate calculator 14 sets the specified amount ⁇ l to 6% of the bottle length L according to the specified amount determination table TA.
  • the extraction point coordinate calculator 14 sets the specified amount ⁇ l to 4% of the bottle length L according to the specified amount determination table TA. Further, when the bottle type is other bottles, the extraction point coordinate calculation unit 14 sets the specified amount ⁇ l to 2% of the bottle length L according to the specified amount determination table TA.
  • the extraction point coordinate calculation unit 14 controls the specified amount ⁇ l based on the bottle type and bottle length L.
  • the first embodiment has been described above.
  • the trained model storage unit 15 is implemented as hardware, for example, by memory or storage.
  • the image processing unit 11 and the sorting device control unit 16 include hardware such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit). It is realized by a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit). It is realized by a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit). It is realized by a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit). It is realized by a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate
  • all or part of each processing in the above description in the image processing unit 11 and the sorting device control unit 16 may be realized by causing a processor to execute a program corresponding to each processing.
  • a program corresponding to each process described above may be stored in the memory of the control device 10, and the program may be read from the memory and executed by the processor.
  • the program is stored in a program server connected to the control device 10 via an arbitrary network, downloaded from the program server to the control device 10 and executed, or stored in a recording medium readable by the control device 10. and may be read from the recording medium and executed.
  • Recording media readable by the control device 10 include, for example, memory cards, USB memories, SD cards, flexible disks, magneto-optical disks, CD-ROMs, and portable storage media such as DVDs.
  • the container sorting system of the present disclosure includes a camera (camera 20 of the embodiment), a recognition unit (image recognition unit 12 of the embodiment), and a first calculation unit ( It has an area centroid calculation unit 13 of the embodiment), a second calculation unit (extraction point coordinate calculation unit 14 of the embodiment), and an extraction unit (extraction unit 31 of the embodiment).
  • the camera captures an image of the waste group on the transport path (belt conveyor 40 in the embodiment) along which the waste group is transported.
  • the recognition unit recognizes the existence area and type of the container included in the waste group based on the image captured by the camera.
  • the first calculation unit calculates first coordinates (area barycentric coordinates in the embodiment) that are coordinates of the area barycenter of the container in the image captured by the camera.
  • the second calculation unit calculates second coordinates (coordinates of the center of gravity of the embodiment) that are coordinates shifted from the first coordinates toward the bottom of the container by a specified amount.
  • the extraction unit uses the second coordinate as an extraction point for extracting the container, and extracts the container from the waste group conveyed on the conveying path.
  • the recognition unit uses the learned model to recognize the existence area and type of the container.
  • the extraction point of the container can be set at the center of gravity of the weight of the container, so the container can be transported without tilting after extraction.
  • the second coordinates are calculated based on the image captured by the camera, the second coordinates can be calculated without using a measuring device or sensor for measuring the weight of the container.
  • the height at which the container after extraction is lifted in the +Z direction can be made smaller than when the container is tilted.
  • the second calculation unit controls the specified amount based on the type of container.
  • the second calculation unit controls the prescribed amount based on the length of the container in the longitudinal direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Sorting Of Articles (AREA)

Abstract

容器選別システム１において、カメラ２０は、廃棄物群が搬送されるベルトコンベア４０において廃棄物群の画像を撮影し、画像認識部１２は、カメラ２０によって撮影された画像に基づいて、廃棄物群に含まれる容器の存在領域及び種類を認識し、面積重心算出部１３は、カメラ２０によって撮影された画像における容器の面積重心の座標である第一座標を算出し、抽出点座標算出部１４は、第一座標から容器の底部方向へ規定量だけ移動させた座標である第二座標を算出し、抽出部３１は、第二座標を容器の抽出の際の抽出点にして、ベルトコンベア４０を搬送される廃棄物群の中から容器を抽出する。

Description

容器選別システム
　本開示は、容器選別システムに関する。
　廃棄物処理場では日々大量の廃棄物がベルトコンベア上を流れ、処理されている。廃棄物が処理される現場では人の手によって廃棄物の選別作業が行われている。廃棄物の選別作業は単純作業である一方で、廃棄物の選別を行う作業者（以下では「選別作業者」と呼ぶことがある）の負担が大きいことから、廃棄物の選別を自動的に行う装置（以下では「廃棄物選別装置」と呼ぶことがある）が開発されている。
特許第６８５４９９５号明細書 特開２０１２－１５８４０６号公報
　選別作業者が行っていた作業を選別作業者に代わって廃棄物選別装置にやらせる場合、廃棄物選別装置が、ベルトコンベア上を流れる各々の廃棄物を認識し、認識結果に基づいてロボットハンドや吸引パッドを用いて、ベルトコンベア上を流れる廃棄物群から所望の廃棄物（以下では「所望廃棄物」と呼ぶことがある）を抽出することが考えられる。
　ここで、所望廃棄物がボトルである場合、廃棄物選別装置によって廃棄物群からボトルを抽出する際に、ロボットハンドがボトルを把持する位置（以下では「把持位置」と呼ぶことがある）や吸引パッドがボトルを吸引する位置（以下では「吸引位置」と呼ぶことがある）がボトルの重量の重心位置からずれてしまうと、抽出後のボトルが傾いてしまい、ロボットハンドや吸引パッドによって運搬中のボトルがロボットハンドや吸引パッドから落下してしまうおそれがある。
　そこで、本開示では、抽出後の容器を傾き無く運搬できる技術を提案する。
　本開示の容器選別システムは、カメラと、認識部と、第一算出部と、第二算出部と、抽出部とを有する。前記カメラは、廃棄物群が搬送される搬送路において前記廃棄物群の画像を撮影する。前記認識部は、前記画像に基づいて、前記廃棄物群に含まれる容器の存在領域及び種類を認識する。前記第一算出部は、前記画像における前記容器の面積重心の座標である第一座標を算出する。前記第二算出部は、前記第一座標から前記容器の底部方向へ規定量だけ移動させた座標である第二座標を算出する。前記抽出部は、前記第二座標を前記容器の抽出の際の抽出点にして、前記搬送路を搬送される前記廃棄物群の中から前記容器を抽出する。
　開示の技術によれば、抽出後の容器を傾き無く運搬できる。
図１は、本開示の実施例１の容器選別システムの構成例を示す図である。 図２は、本開示の実施例１の制御装置及び選別装置の構成例を示す図である。 図３は、本開示の実施例１の抽出部の一例を示す図である。 図４は、本開示の実施例１の抽出部の一例を示す図である。 図５は、本開示の実施例１の容器選別システムにおける処理手順の一例を示す図である。 図６は、本開示の実施例１の容器選別システムの動作例を示す図である。 図７は、本開示の実施例１の規定量判定テーブルの一例を示す図である。
　以下、本開示の実施例を図面に基づいて説明する。以下の実施例において同一の構成には同一の符号を付す。
　［実施例１］
　＜容器選別システムの構成＞
　図１は、本開示の実施例１の容器選別システムの構成例を示す図である。
　図１において、容器選別システム１は、制御装置１０と、カメラ２０と、選別装置３０と、ベルトコンベア４０とを有する。制御装置１０と、カメラ２０と、選別装置３０とは、ネットワークを介して互いに接続される。
　以下では、図１に示す容器選別システム１が、ベルトコンベア４０上を廃棄物群が流れる廃棄物処理場に設置される場合を一例に挙げて説明する。つまり、以下では、容器選別システム１の選別対象の物体が廃棄物である場合を一例に挙げて説明する。また、以下では、所望廃棄物がボトルである場合を一例に挙げて説明する。ボトルは容器の一例であり、開示の技術は、ボトル以外の容器に対しても適用可能である。つまり、容器選別システム１の選別対象の物体はボトルに限定されず、容器選別システム１は様々な容器に対して使用可能である。
　ベルトコンベア４０は、ベルトコンベア４０上に載せられた廃棄物群を搬送方向ＣＤ（＋Ｘ方向）へ搬送する。つまり、ベルトコンベア４０は、搬送方向ＣＤへ廃棄物群が搬送される搬送路を形成する。
　カメラ２０は、廃棄物群が搬送されるベルトコンベア４０の上方に配置され、所定の画角を有し、ベルトコンベア４０の上方からベルトコンベア４０の上面における所定の領域を一定のフレームレートで撮影する。よって、カメラ２０によって撮影された画像は、廃棄物群の画像（以下では「廃棄物群画像」と呼ぶことがある）となる。廃棄物群画像は、カメラ２０から制御装置１０へ送信される。
　制御装置１０は、廃棄物群画像に基づいて、選別装置３０の動作を制御する。
　選別装置３０は、制御装置１０の制御の下で、ベルトコンベア４０によって搬送方向ＣＤへ搬送される廃棄物群の中からボトルを抽出することにより選別し、抽出したボトルをベルトコンベア４０の外に運搬する。
　＜制御装置及び選別装置の構成＞
　図２は、本開示の実施例１の制御装置及び選別装置の構成例を示す図である。図２において、制御装置１０は、画像処理部１１と、学習済モデル記憶部１５と、選別装置制御部１６とを有する。画像処理部１１は、画像認識部１２と、面積重心算出部１３と、抽出点座標算出部１４とを有する。選別装置３０は、抽出部３１を有する。カメラ２０によって撮影された廃棄物群画像は、画像処理部１１に入力される。
　図３及び図４は、本開示の実施例１の抽出部の一例を示す図である。例えば、抽出部３１は、図３に示すように、ロボットハンド３１１を用いて形成される。また例えば、抽出部３１は、図４に示すように、吸引パッド３１２を用いて形成される。選別装置３０は、選別装置制御部１６からの制御に従って、抽出部３１を用いて、ベルトコンベア４０上を搬送される廃棄物群の中からボトルを抽出することにより選別する。抽出部３１は、±Ｙ方向及び±Ｚ方向に移動可能であり、廃棄物群の中から抽出したボトルを＋Ｚ方向に持ち上げるとともに＋Ｙ方向または－Ｙ方向へ移動させることにより、ベルトコンベア４０の側面に沿ってベルトコンベア４０の外に配置された所定の箱まで運搬する。
　＜容器選別システムの処理＞
　図５は、本開示の実施例１の容器選別システムにおける処理手順の一例を示す図である。
　図５において、ステップＳ１００では、カメラ２０が廃棄物群画像を撮影する。
　次いで、ステップＳ１０５では、画像認識部１２が、廃棄物群画像に基づく画像認識により、廃棄物群に含まれるボトルの存在領域及び種類を認識する。以下では、画像認識部１２によって認識されたボトルの存在領域を「ボトル領域」と呼び、画像認識部１２によって認識されたボトルの種類を「ボトル種類」と呼ぶことがある。画像認識部１２は、学習済モデル記憶部１５に記憶されている学習済モデルを用いて、ボトル領域及びボトル種類を認識する。画像認識部１２は、廃棄物群画像の中に存在するボトルの画像（以下では「ボトル画像」と呼ぶことがある）に対して、ボトル領域及びボトル種類をボトルの特徴を示す情報（以下では「特徴情報」と呼ぶことがある）として付与する。
　次いで、ステップＳ１１０では、面積重心算出部１３が、ボトルの面積重心の座標（以下では「面積重心座標」と呼ぶことがある）を算出する。面積重心算出部１３は、画像認識部１２によって認識されたボトル領域の重心の座標を面積重心座標として算出する。
　次いで、ステップＳ１１５では、抽出点座標算出部１４が、画像認識部１２によって認識されたボトル種類がペットボトルであるか否かを判定する。ボトル種類がペットボトルであるときは（ステップＳ１１５：Ｙｅｓ）、処理はステップＳ１３０へ進み、ボトル種類がペットボトルでないときは（ステップＳ１１５：Ｎｏ）、処理はステップＳ１２０へ進む。
　次いで、ステップＳ１２０では、抽出点座標算出部１４が、画像認識部１２によって認識されたボトル領域に基づいて、ボトルの長手方向の全長(以下では「ボトル長」と呼ぶことがある)を算出する。
　次いで、ステップＳ１２５では、抽出点座標算出部１４が、ボトル長が閾値ＴＨ１未満であるか否かを判定する。ボトル長が閾値ＴＨ１未満であるときは（ステップＳ１２５：Ｙｅｓ）、処理はステップＳ１３０へ進み、ボトル長が閾値ＴＨ１以上であるときは（ステップＳ１２５：Ｎｏ）、処理はステップＳ１３５へ進む。
　次いで、ステップＳ１３０では、抽出点座標算出部１４が、ステップＳ１１０で算出した面積重心座標を、抽出部３１によるボトルの抽出の際の抽出点を示す座標（以下では「抽出点座標」と呼ぶことがある）に設定し、設定した抽出点座標を選別装置制御部１６へ出力する。
　一方で、ステップＳ１３５では、抽出点座標算出部１４が、ボトルの重量の重心を示す座標（以下では「重量重心座標」と呼ぶことがある）を算出する。抽出点座標算出部１４は、面積重心算出部１３によって算出された面積重心座標をボトルの底部方向へ規定量だけ移動させることにより重量重心座標を算出する。
　次いで、ステップＳ１４０では、抽出点座標算出部１４が、ステップＳ１１０で算出した重量重心座標を抽出点座標に設定し、設定した抽出点座標を選別装置制御部１６へ出力する。
　ステップＳ１０５～Ｓ１４０の処理はすべて廃棄物群画像に基づいて行われるため、ステップＳ１３０またはステップＳ１４０の処理によって設定された抽出点座標は廃棄物群画像の座標系、つまり、カメラ２０の座標系（以下では「カメラ座標系」と呼ぶことがある）における座標である。そこで、ステップＳ１４５では、選別装置制御部１６が、ステップＳ１３０またはステップＳ１４０の処理によって設定されたカメラ座標系の抽出点座標を選別装置３０の座標系の抽出点座標に変換する。選別装置制御部１６は、変換後の抽出点座標を含む制御信号を選別装置３０へ出力する。
　そして、ステップＳ１５０では、選別装置３０が、制御信号に示された抽出点座標の真上に抽出部３１を移動させ、抽出部３１が、抽出点座標を抽出点として、ベルトコンベア４０を搬送される廃棄物群の中からボトルを抽出する。抽出部３１がロボットハンド３１１を用いて形成される場合は、抽出部３１は、ボトル上の抽出点をボトルに対するロボットハンド３１１の把持位置にしてロボットハンド３１１の把持によってボトルを抽出する。また、抽出部３１が吸引パッド３１２を用いて形成される場合は、抽出部３１は、ボトル上の抽出点をボトルに対する吸引パッド３１２の吸引位置にして吸引パッド３１２の吸引によってボトルを抽出する。
　＜容器選別システムの動作＞
　図６は、本開示の実施例１の容器選別システムの動作例を示す図である。
　図６に示すように、画像認識部１２は、ボトル画像ＢＩに対して、ボトル種類を示すラベル情報ＬＡと、ボトル領域を示す輪郭情報ＣＯとを含む特徴情報を付与する（ステップＳ１０５）。ボトル種類は、例えば、シャンパンボトルと、ワインボトルと、ペットボトルと、その他のボトルとに区別される。また、矩形の廃棄物群画像の長辺をＸ軸、短辺をＹ軸として、輪郭情報ＣＯは、複数の座標点(x0,y0)，(x1,y1)，…，(xn,yn)で形成される。つまり、輪郭情報ＣＯを形成する複数の座標点(x0,y0)，(x1,y1)，…，(xn,yn)　を結ぶ線で囲まれた領域がボトル領域となる。
　面積重心算出部１３は、輪郭情報ＣＯに基づいて、ボトル領域における面積重心座標ＡＣ(Xa,Ya)を算出する（ステップＳ１１０）。
　抽出点座標算出部１４は、輪郭情報ＣＯに基づいて、ボトル領域の長手方向の全長であるボトル長Ｌを算出する（ステップＳ１２０）。
　また、抽出点座標算出部１４は、ボトル画像ＢＩに基づいてボトルの底部ＢＰを判定し、面積重心座標ＡＣ(Xa,Ya)をボトルの底部ＢＰの方向へ規定量Δｌだけ移動させることにより重量重心座標ＷＣ(Xw,Yw)を算出する（ステップＳ１３５）。抽出点座標算出部１４は、例えば、学習済モデル記憶部１５に記憶されている学習済モデルを用いて、ボトルの底部ＢＰを判定する。
　ここで、ペットボトルでは、底部の厚さと、底部以外の箇所の厚さとの差が小さいため、重量重心は面積重心とほぼ同一となる。そこで、抽出点座標算出部１４は、ボトル種類がペットボトルであるときは、面積重心座標を抽出点座標に設定する（ステップＳ１１５：Ｙｅｓ，ステップＳ１３０）。つまり、抽出点座標算出部１４は、ボトル種類がペットボトルであるときは、規定量Δｌを０にする。
　また、ボトル長Ｌが短い場合には、重量重心は面積重心とほぼ同一となる。そこで、抽出点座標算出部１４は、ボトル長Ｌが閾値ＴＨ１未満であるときは、面積重心座標を抽出点座標に設定する（ステップＳ１２５：Ｙｅｓ，ステップＳ１３０）。つまり、抽出点座標算出部１４は、ボトル長Ｌが閾値ＴＨ１未満であるときは、規定量Δｌを０にする。
　さらに、抽出点座標算出部１４は、重量重心座標を算出する際に（ステップＳ１３５）、規定量Δｌをボトル種類に基づいて制御する。図７は、本開示の実施例１の規定量判定テーブルの一例を示す図である。図７に示すように、規定量判定テーブルＴＡには、ボトル種類と規定量Δｌとが互いに対応付けられて設定されている。抽出点座標算出部１４は、規定量判定テーブルＴＡを有し、ボトル種類に基づいて規定量判定テーブルＴＡに従って規定量Δｌを制御する。規定量判定テーブルＴＡにおいて、規定量Δｌは、ボトル長Ｌに対する割合［％］として設定されている。
　一般に、シャンパンボトルの底部の厚さは、ワインボトルの底部の厚さより大きい。また、シャンパンボトルの底部の厚さ、及び、ワインボトルの底部の厚さは、その他のボトルの底部の厚さより大きい。つまり、シャンパンボトルでは、ワインボトルより、面積重心と重量重心との差が大きくなる。また、ワインボトルでは、その他のボトルより、面積重心と重量重心との差が大きくなる。そこで、抽出点座標算出部１４は、ボトル種類がシャンパンボトルであるときは、規定量判定テーブルＴＡに従って、規定量Δｌをボトル長Ｌの６％に設定する。また、抽出点座標算出部１４は、ボトル種類がワインボトルであるときは、規定量判定テーブルＴＡに従って、規定量Δｌをボトル長Ｌの４％に設定する。また、抽出点座標算出部１４は、ボトル種類がその他のボトルであるときは、規定量判定テーブルＴＡに従って、規定量Δｌをボトル長Ｌの２％に設定する。
　このように、抽出点座標算出部１４は、ボトル種類及びボトル長Ｌに基づいて、規定量Δｌを制御する。
　以上、実施例１について説明した。
　［実施例２］
　学習済モデル記憶部１５は、ハードウェアとして、例えば、メモリまたはストレージにより実現される。画像処理部１１及び選別装置制御部１６は、ハードウェアとして、例えば、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）等のプロセッサにより実現される。
　また、画像処理部１１及び選別装置制御部１６での上記説明における各処理の全部または一部は、各処理に対応するプログラムをプロセッサに実行させることによって実現しても良い。例えば、上記説明における各処理に対応するプログラムが制御装置１０が有するメモリに記憶され、プログラムがプロセッサによってメモリから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して制御装置１０に接続されたプログラムサーバに記憶され、そのプログラムサーバから制御装置１０にダウンロードされて実行されたり、制御装置１０が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。制御装置１０が読み取り可能な記録媒体には、例えば、メモリカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、及び、ＤＶＤ等の可搬の記憶媒体が含まれる。
　以上、実施例２について説明した。
　以上のように、本開示の容器選別システム（実施例の容器選別システム１）は、カメラ（実施例のカメラ２０）と、認識部（実施例の画像認識部１２）と、第一算出部（実施例の面積重心算出部１３）と、第二算出部（実施例の抽出点座標算出部１４）と、抽出部（実施例の抽出部３１）とを有する。カメラは、廃棄物群が搬送される搬送路（実施例のベルトコンベア４０）において廃棄物群の画像を撮影する。認識部は、カメラによって撮影された画像に基づいて、廃棄物群に含まれる容器の存在領域及び種類を認識する。第一算出部は、カメラによって撮影された画像における容器の面積重心の座標である第一座標（実施例の面積重心座標）を算出する。第二算出部は、第一座標から容器の底部方向へ規定量だけ移動させた座標である第二座標（実施例の重量重心座標）を算出する。抽出部は、第二座標を容器の抽出の際の抽出点にして、搬送路を搬送される廃棄物群の中から容器を抽出する。
　例えば、認識部は、学習済モデルを用いて、容器の存在領域及び種類を認識する。
　こうすることで、容器の重量の重心点に容器の抽出点を設定できるため、抽出後の容器を傾き無く運搬できる。また、カメラによって撮影された画像に基づいて第二座標の算出を行うため、容器の重量を測定する測定器やセンサを用いることなく、第二座標を算出することができる。さらに、抽出後の容器を傾き無く運搬できるため、抽出後の容器を＋Ｚ方向に持ち上げる高さを、容器の傾きがある場合に比べて、小さくすることができる。
　また、第二算出部は、容器の種類に基づいて規定量を制御する。
　こうすることで、容器の種類にかかわらず、抽出後の容器を傾き無く運搬できる。
　また、第二算出部は、容器の長手方向の長さに基づいて規定量を制御する。
　こうすることで、容器の長手方向の長さにかかわらず、抽出後の容器を傾き無く運搬できる。
１　容器選別システム
１０　制御装置
１１　画像処理部
１２　画像認識部
１３　面積重心算出部
１４　抽出点座標算出部
１５　学習済モデル記憶部
１６　選別装置制御部
２０　カメラ
３０　選別装置
３１　抽出部

Claims (4)

  1. 　廃棄物群が搬送される搬送路において前記廃棄物群の画像を撮影するカメラと、
    　前記画像に基づいて、前記廃棄物群に含まれる容器の存在領域及び種類を認識する認識部と、
    　前記画像における前記容器の面積重心の座標である第一座標を算出する第一算出部と、
    　前記第一座標から前記容器の底部方向へ規定量だけ移動させた座標である第二座標を算出する第二算出部と、
    　前記第二座標を前記容器の抽出の際の抽出点にして、前記搬送路を搬送される前記廃棄物群の中から前記容器を抽出する抽出部と、
    　を具備する容器選別システム。
  2. 　前記認識部は、学習済モデルを用いて、前記存在領域及び前記種類を認識する、
    　請求項１に記載の容器選別システム。
  3. 　前記第二算出部は、前記種類に基づいて前記規定量を制御する、
    　請求項１に記載の容器選別システム。
  4. 　前記第二算出部は、前記容器の長手方向の長さに基づいて前記規定量を制御する、
    　請求項１に記載の容器選別システム。
PCT/JP2021/047590 2021-12-22 2021-12-22 容器選別システム WO2023119490A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023568883A JPWO2023119490A1 (ja) 2021-12-22 2021-12-22
PCT/JP2021/047590 WO2023119490A1 (ja) 2021-12-22 2021-12-22 容器選別システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047590 WO2023119490A1 (ja) 2021-12-22 2021-12-22 容器選別システム

Publications (1)

Publication Number Publication Date
WO2023119490A1 true WO2023119490A1 (ja) 2023-06-29

Family

ID=86901721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047590 WO2023119490A1 (ja) 2021-12-22 2021-12-22 容器選別システム

Country Status (2)

Country Link
JP (1) JPWO2023119490A1 (ja)
WO (1) WO2023119490A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002086077A (ja) * 2000-09-20 2002-03-26 Fuji Heavy Ind Ltd 搬送物の選別装置
JP2012158406A (ja) * 2011-01-31 2012-08-23 Shibuya Kogyo Co Ltd 容器処理装置
JP2015020314A (ja) * 2013-07-18 2015-02-02 大阪エヌ・イー・ディー・マシナリー株式会社 ペットボトル選別装置
CN112329587A (zh) * 2020-10-30 2021-02-05 苏州中科先进技术研究院有限公司 饮料瓶的分类方法、装置及电子设备
JP2021084076A (ja) * 2019-11-28 2021-06-03 株式会社御池鐵工所 廃棄物選別装置
JP2021137738A (ja) * 2020-03-05 2021-09-16 株式会社御池鐵工所 廃棄物選別装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002086077A (ja) * 2000-09-20 2002-03-26 Fuji Heavy Ind Ltd 搬送物の選別装置
JP2012158406A (ja) * 2011-01-31 2012-08-23 Shibuya Kogyo Co Ltd 容器処理装置
JP2015020314A (ja) * 2013-07-18 2015-02-02 大阪エヌ・イー・ディー・マシナリー株式会社 ペットボトル選別装置
JP2021084076A (ja) * 2019-11-28 2021-06-03 株式会社御池鐵工所 廃棄物選別装置
JP2021137738A (ja) * 2020-03-05 2021-09-16 株式会社御池鐵工所 廃棄物選別装置
CN112329587A (zh) * 2020-10-30 2021-02-05 苏州中科先进技术研究院有限公司 饮料瓶的分类方法、装置及电子设备

Also Published As

Publication number Publication date
JPWO2023119490A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
CN113351522B (zh) 物品分拣方法、装置及系统
CN108349083B (zh) 用于提供各种物体的分拣的分拣系统和方法
US9364865B2 (en) System and method for sorting parcel
CN113955367B (zh) 包括空间高效的分配站和自动化输出处理的用于处理物体的系统和方法
US10822177B2 (en) Method and system for manipulating articles
CN107790398B (zh) 工件分拣系统以及方法
CN109513629B (zh) 包裹分拣方法、装置和计算机可读存储介质
CN107597600A (zh) 分拣系统和分拣方法
CN112802105A (zh) 对象抓取方法及装置
US20150360877A1 (en) System for loading parcel and method thereof
CN112850186B (zh) 一种基于3d视觉的混合拆码垛方法
JPH08323669A (ja) 部品供給方法およびその装置
US10807808B1 (en) Systems and methods for automated item separation and presentation
CN111590611A (zh) 一种基于多模态主动感知的物品分类回收方法
IL172431A (en) Method for processing mail
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
CN108480227A (zh) 一种基于图像识别的苹果分拣方法及系统
CN108038861A (zh) 一种多机器人协作分拣方法、系统及装置
JP2000219317A (ja) 荷役仕分け装置
WO2023119490A1 (ja) 容器選別システム
CN110705931A (zh) 一种货物抓取方法、装置、系统、设备和存储介质
CN202133625U (zh) 磁环检测系统
CN207887535U (zh) 快递称重区域识别分拣系统
CN110871173B (zh) 一种基于灰度仪的分拣小车装载状态检测系统及分拣系统
JP2555823B2 (ja) 山積み部品の高速ピッキング装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968927

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023568883

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE