[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022004189A1 - 作業判定装置および作業判定方法 - Google Patents

作業判定装置および作業判定方法 Download PDF

Info

Publication number
WO2022004189A1
WO2022004189A1 PCT/JP2021/019506 JP2021019506W WO2022004189A1 WO 2022004189 A1 WO2022004189 A1 WO 2022004189A1 JP 2021019506 W JP2021019506 W JP 2021019506W WO 2022004189 A1 WO2022004189 A1 WO 2022004189A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
component
worker
image
gripped
Prior art date
Application number
PCT/JP2021/019506
Other languages
English (en)
French (fr)
Inventor
一哲 北角
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN202180039479.8A priority Critical patent/CN115699089A/zh
Priority to US17/928,583 priority patent/US20230237637A1/en
Priority to DE112021003451.0T priority patent/DE112021003451T5/de
Publication of WO2022004189A1 publication Critical patent/WO2022004189A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a technique for determining whether or not the work is being performed correctly.
  • Patent Document 1 it is determined whether or not the movement of the worker's body (for example, the movement of the hand or foot) matches a predetermined movement based on the captured image (video), and based on the determination result. Therefore, a technique for determining which work the worker's movement belongs to is disclosed.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of determining whether or not a work is being performed correctly and preventing mistakes and omissions in the work. ..
  • the present invention adopts the following configuration.
  • the first aspect of the present invention is from an image acquisition means for acquiring an image of an operator performing an operation of grasping a component and attaching the component to a work-in-process, and the image acquired by the image acquisition means. Based on the component detecting means for detecting the component and the detection result by the component detecting means, it is determined whether or not the worker grips the component, and the component gripped by the worker becomes the work in process in the work. When the gripping determination means for determining whether or not the component should be attached and the grip determination means for determining that the component gripped by the worker is not a component to be attached to the work in process in the work, a predetermined notification is given.
  • a work determination device characterized by having a notification control means for controlling the operation.
  • the predetermined notification is, for example, a warning (alert) notification that the work is not performed correctly, and is realized by displaying a graphic (icon or message), outputting a voice, lighting a lamp, or the like.
  • the predetermined notification is given to the worker, the manager who manages the work (work supervision), and the like.
  • the parts (types of parts (shape, size, etc.)) that should be attached to work-in-process in work do not depend on the worker and are always constant. Therefore, according to the above-mentioned configuration, by determining whether or not the part grasped by the operator is a part to be attached to the work-in-process in the work, it is highly accurate whether or not the work is performed correctly. It can be judged. Then, when it is determined that the part grasped by the operator is not a part to be attached to the work-in-process in the work, a predetermined notification can be given to prevent mistakes and omissions in the work.
  • the gripping determination means may determine that the worker has gripped the component when the moving distance of the component detected by the component detecting means is equal to or greater than the first threshold value.
  • Parts may move due to shaking of the work table even if they are not gripped by the operator, but in general, the gripped parts move more than the non-grasped parts. Therefore, when a plurality of parts are detected by the parts detecting means, the gripping determination means selects the part having the maximum moving distance from the plurality of parts, and the moving distance of the selected parts is the first. If it is equal to or greater than the threshold value of, it may be determined that the worker has grasped the part. By doing so, even when a plurality of parts are detected, the parts gripped by the operator can be detected (specified) with high accuracy.
  • the grip determination means has an information acquisition means for acquiring information indicating a correspondence relationship between the work and a component to be attached to the work in process, and the grip determination means includes a detection result by the component detection means and the information acquisition means. Based on the information acquired by the operator, it may be determined whether or not the part grasped by the worker is a part to be attached to the work in process in the work.
  • the grip determination means determines that the part gripped by the worker is a part to be attached to the work in process in the work, it is determined that the work is completed based on the detection result by the part detection means. It may be further provided with work completion determination means for determining whether or not the condition of is satisfied. By doing so, it is possible to determine not only whether or not the work is being performed correctly, but also whether or not the work is completed correctly.
  • the predetermined condition may include that the distance between the part grasped by the worker and the work-in-process is equal to or less than the second threshold value.
  • the predetermined condition may include that the relative position of the part with respect to the work in process is a predetermined position, and the predetermined condition may include the relative position of the part with respect to the work in process. It may include that the orientation is a predetermined orientation.
  • the image acquisition means acquires the image of the worker performing the step of placing the work in process in a predetermined place after the work including one or more operations is completed and all of the one or more operations are completed. Then, the component detecting means further detects the work in process from the image acquired by the image acquiring means, and the work completion determining means further detects the work in process based on the detection result by the component detecting means. It is determined whether or not the product has been placed in the predetermined place, and the notification control means further determines that the work in process has been placed in the predetermined place before completing all of the one or more operations. When the completion determination means determines, the predetermined notification may be controlled. By doing so, it is possible to prevent work leakage more reliably.
  • the work completion determination means attaches a part grasped by the worker to the work in process in the work. After the grip determination means determines that the component should be, when the component gripped by the worker is no longer detected by the component detection means, the position of the hand detected by the hand detection means is determined by the worker. It may be used as the position of the part gripped by. By doing so, even if the part gripped by the worker is hidden in the worker's hand and cannot be detected, it can be determined whether or not the work is completed.
  • the present invention can be regarded as a work determination system having at least a part of the above configuration or function. Further, the present invention provides a work determination method or a control method of a work determination system including at least a part of the above processing, a program for causing a computer to execute these methods, or such a program non-temporarily. It can also be regarded as a recorded computer-readable recording medium.
  • a work determination method or a control method of a work determination system including at least a part of the above processing, a program for causing a computer to execute these methods, or such a program non-temporarily. It can also be regarded as a recorded computer-readable recording medium.
  • the present invention it is possible to determine with high accuracy whether or not the work is being performed correctly, and prevent mistakes and omissions in the work.
  • FIG. 1 is a block diagram showing a configuration example of a work determination device to which the present invention is applied.
  • FIG. 2A is a schematic diagram showing a rough configuration example of the work determination system according to the first embodiment
  • FIG. 2B is a PC (work determination device) according to the first embodiment.
  • It is a block diagram which shows the configuration example.
  • FIG. 3 is a diagram showing an example of a work image according to the first embodiment.
  • FIG. 4 is a diagram showing an example of work information according to the first embodiment.
  • FIG. 5 is a flowchart showing an example of a processing flow according to the first embodiment.
  • FIG. 6 is a block diagram showing a configuration example of a PC (work determination device) according to the second embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a work determination device to which the present invention is applied.
  • FIG. 2A is a schematic diagram showing a rough configuration example of the work determination system according to the first embodiment
  • FIG. 2B is a PC
  • FIG. 7 is a flowchart showing an example of a processing flow according to the second embodiment.
  • FIG. 8 is a flowchart showing an example of a processing flow according to the third embodiment.
  • 9 (A) to 9 (E) are diagrams showing an example of the state of parts and work in process.
  • FIG. 1 is a block diagram showing a configuration example of a work determination device 100 to which the present invention is applied.
  • the work determination device 100 includes an image acquisition unit 101, a component detection unit 102, a grip determination unit 103, and a notification control unit 104.
  • the image acquisition unit 101 acquires an image of the operator performing the work of grasping the component and attaching the component to the work-in-process.
  • the component detection unit 102 detects a component from the image acquired by the image acquisition unit 101.
  • the grip determination unit 103 determines whether or not the worker has gripped the part based on the detection result by the part detection unit 102, and whether or not the part gripped by the worker is a part to be attached to the work in process in the work. Is determined.
  • the notification control unit 104 controls to give a predetermined notification when the grip determination unit 103 determines that the part gripped by the operator is not a part to be attached to the work in process in the work.
  • the image acquisition unit 101 is an example of the image acquisition means of the present invention
  • the component detection unit 102 is an example of the component detection means of the present invention
  • the grip determination unit 103 is an example of the grip determination means of the present invention.
  • Section 104 is an example of the notification control means of the present invention.
  • the predetermined notification is, for example, a warning (alert) notification that the work is not performed correctly, and is realized by displaying a graphic (icon or message), outputting a voice, lighting a lamp, or the like. ..
  • the predetermined notification is given to the worker, the manager who manages the work (work supervision), and the like.
  • the parts (types of parts (shape, size, etc.)) that should be attached to work-in-process in work do not depend on the worker and are always constant. Therefore, according to the above-mentioned configuration, by determining whether or not the part grasped by the operator is a part to be attached to the work-in-process in the work, it is highly accurate whether or not the work is performed correctly. It can be judged. Then, when it is determined that the part grasped by the operator is not a part to be attached to the work-in-process in the work, a predetermined notification can be given to prevent mistakes and omissions in the work.
  • FIG. 2A is a schematic diagram showing a rough configuration example of the work determination system according to the first embodiment.
  • the work determination system according to the first embodiment includes a camera 10, a PC200 (personal computer; work determination device), and a notification unit 20.
  • the camera 10 and the PC 200 are connected to each other by wire or wirelessly.
  • the notification unit 20 and the PC 200 are also connected to each other by wire or wirelessly.
  • the camera 10 takes an image using the image sensor provided in the camera 10 and outputs the image obtained by the image to the PC 200.
  • the camera 10 outputs a work image of a state in which an operator performs a work of grasping a part and attaching the part to a work-in-process to a PC 200.
  • the PC 200 determines whether or not the work is performed correctly based on the work image, and outputs a control signal for giving a predetermined notification to the notification unit 20 when it is determined that the work is not performed correctly. do.
  • the notification unit 20 has at least one of a monitor, a speaker, a lamp, and the like.
  • the notification unit 20 is not performing the work correctly by at least one of displaying graphics (icons and messages) on the monitor, outputting voice from the speaker, lighting the lamp, etc. according to the control signal from the PC 200. Notify a warning (alert) such as that.
  • the camera 10, the PC 200, and the notification unit 20 are separate devices, but it is not necessary.
  • the PC 200 may have at least one of the camera 10 and the notification unit 20.
  • the installation location of the PC 200 and the notification unit 20 is not particularly limited.
  • the PC 200 and the notification unit 20 may or may not be installed in the same room as the camera 10.
  • the notification unit 20 may be installed in the same room as the camera 10 or the worker, or the worker's mobile terminal (smartphone, tablet, etc.) may be used as the notification unit 20. ..
  • the notification unit 20 may be installed in the same room as the work supervisor, or the mobile terminal of the work supervisor may be used as the notification unit 20.
  • the PC 200 may or may not be a computer on the cloud.
  • FIG. 2B is a block diagram showing a configuration example of the PC200.
  • the PC 200 has an input unit 210, a storage unit 220, a control unit 230, and an output unit 240.
  • the input unit 210 acquires a work image from the camera 10 and outputs it to the control unit 230.
  • the camera 10 captures a moving image
  • the input unit 210 sequentially performs a process of acquiring one frame of the moving image from the camera 10 and outputting it to the control unit 230.
  • the cycle of image acquisition by the input unit 210 is not particularly limited, but in the first embodiment, the input unit 210 acquires a working image (one frame of a moving image) in synchronization with the image pickup by the camera 10. That is, it is assumed that the input unit 210 acquires the work image from the camera 10 and outputs it to the control unit 230 at the frame rate (for example, 30 fps) of the image taken by the camera 10.
  • the camera 10 may sequentially capture still images, and in that case, the input unit 210 sequentially performs a process of acquiring the still images from the camera 10 and outputting them to the control unit 230.
  • the input unit 210 is an example of the image acquisition means of the present invention.
  • FIG. 3 is a diagram showing an example of a work image according to the first embodiment.
  • the work image 300 of FIG. 3 shows a work table 301, a parts case 302, a work-in-process 303, and a worker 304.
  • a plurality of parts 302a to 302i are separately stored in the part case 302. By doing so, it becomes possible to easily and highly accurately detect parts and calculate the moving distance of parts.
  • the work image captures a state in which a worker performs a step of placing a work-in-process in a predetermined place after one or more works are included and all of the one or more works are completed. It is also assumed that it is an image.
  • next process storage place 305 which is a predetermined place where the work in process 303 is placed after all the work in the process is completed.
  • the number of parts placed on the workbench 301 is not particularly limited, and the parts do not have to be stored in the parts case 302. Although a pile of parts may be formed, it is preferable that the parts are divided in the order of work so that the parts can be detected easily and the moving distance of the parts can be calculated easily and with high accuracy. Further, the imaging range of the work image and the object appearing in the work image are not particularly limited. It suffices if the state in which the work or process is performed is imaged, and for example, the parts case 302 (parts placed on the work table 301) may not be shown in the work image.
  • the storage unit 220 stores programs executed by the control unit 230, various data used by the control unit 230, and the like.
  • the storage unit 220 is an auxiliary storage device such as a hard disk drive or a solid state drive.
  • information (work information) indicating the correspondence relationship between the work and the parts to be attached to the work-in-process in the work is stored in advance in the storage unit 220.
  • the PC 200 may have an information acquisition unit for acquiring work information, and the work information may be stored in an external device of the PC 200.
  • the information acquisition unit is an example of the information acquisition means of the present invention.
  • FIG. 4 is a diagram showing an example of work information according to the first embodiment.
  • the work information 400 in FIG. 4 shows the parts to be attached to the work-in-process in the work in the order of the process and the work.
  • steps 1 to 3 are performed in order
  • steps 1-1 to 1-3 are performed in order
  • steps 2-1 to 2-3 are performed in order
  • work is performed.
  • 3-1 to 3-3 are performed in order.
  • the part 302a is used in the work 1-1
  • the part 302b is used in the work 1-2
  • the part 302c is used in the work 1-3.
  • work 2-1 uses part 302d
  • work 2-2 uses part 302e
  • work 2-3 uses part 302f
  • work 3-1 uses part 302g
  • work 3-2 uses part 302h. It is shown that the component 302i is used in the work 3-3.
  • the control unit 230 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each component and performs various information processing.
  • the control unit 230 acquires a work image from the input unit 210, acquires work information from the storage unit 220, and is the current work performed correctly based on the work image and the work information. Judge whether or not. Then, when it is determined that the current work is not performed correctly, the control unit 230 outputs a control signal for performing a predetermined notification to the output unit 240.
  • the output unit 240 outputs the control signal output from the control unit 230 to the notification unit 20.
  • the control unit 230 includes a component detection unit 231, a grip determination unit 232, a work completion determination unit 233, and a notification control unit 234.
  • the component detection unit 231 acquires a work image from the input unit 210, detects the component from the acquired work image, and determines the component detection result (part type, position, orientation, etc.) of the grip determination unit 232 and the work completion determination unit. Output to 233. Further, the component detection unit 231 detects the work-in-process from the acquired work image, and outputs the detection result of the work-in-process (position, orientation, etc. of the work-in-process) to the work completion determination unit 233.
  • the component detection unit 231 is an example of the component detection means of the present invention.
  • any algorithm may be used for component detection and work-in-process detection by the component detection unit 231.
  • parts and work-in-process may be detected by existing object detection, specifically, parts and work-in-process using a detector (identifier) that combines image features such as HoG and Haar-like with boosting. May be detected.
  • Parts and work-in-progress may be detected using a trained model generated by existing machine learning, specifically generated by deep learning (for example, R-CNN, Fast R-CNN, YOLO, SSD, etc.). Parts and work-in-progress may be detected using the trained model.
  • the grip determination unit 232 determines whether or not the worker has gripped the part based on the detection result (part detection result) by the part detection unit 231, and the part gripped by the worker is a work in process in the current work. Determine if it is a component that should be attached to. Specifically, the grip determination unit 232 should acquire work information from the storage unit 220, and the parts gripped by the operator should be attached to the work-in-process in the current work based on the detection result of the parts and the work information. Determine if it is a part. Work information is used to keep track of the parts that should be attached to work in process in the current work.
  • the grip determination unit 232 determines that the part gripped by the operator is a part to be attached to the work in process in the current work. Then, when the grip determination unit 232 determines that the part gripped by the operator is a part to be attached to the work in process in the current work, the grip determination unit 232 notifies the work completion determination unit 233 of that fact. Further, when the grip determination unit 232 determines that the part gripped by the operator is not a part to be attached to the work in process in the current work, the grip determination unit 232 notifies the notification control unit 234 of that fact.
  • the grip determination unit 232 is an example of the grip determination means of the present invention. In the first embodiment, since the grip determination unit 232 acquires work information from the storage unit 220, it can be said that the grip determination unit 232 also serves as the information acquisition means of the present invention.
  • the work completion determination unit 233 satisfies a predetermined condition that the current work is completed when the grip determination unit 232 determines that the part gripped by the operator is a part to be attached to the work in process in the current work. Determine if it has been done. Whether or not the predetermined condition is satisfied is determined based on the detection result (the detection result of the part and the detection result of the work-in-process) by the part detection unit 231. Further, the work completion determination unit 233 determines whether or not the work in process has been placed in the next process storage place based on the detection result (detection result of the work in process) by the component detection unit 231.
  • the component detection unit 231 can detect the next process storage place (mark of the next process storage place) from the work image, and the work completion determination unit 233 can detect the work in process in the detected next process storage place, the next process. It can be determined that the work in process has been placed in the storage area.
  • the work completion determination unit 233 knows the next process storage place in advance, it is not necessary for the component detection unit 231 to detect the next process storage place.
  • the work completion determination unit 233 acquires work information from the storage unit 220, and grasps each process and each work from the acquired work information. Then, by performing the above two determinations, it is possible to determine whether or not the work-in-process has been placed in the next process storage area before the entire work of the current process is completed.
  • the work completion determination unit 233 is an example of the work completion determination means of the present invention. In the first embodiment, since the work completion determination unit 233 acquires the work information from the storage unit 220, it can be said that the work completion determination unit 233 also serves as the information acquisition means of the present invention.
  • the notification control unit 234 outputs a control signal for giving a predetermined notification to the output unit 240 in response to the notification from the grip determination unit 232 and the work completion determination unit 233. That is, when the grip determination unit 232 determines that the part gripped by the operator is not a part to be attached to the work in process in the current work, the notification control unit 234 controls to give a predetermined notification. Further, even when the work completion determination unit 233 determines that the work-in-process has been placed in the next process storage area before the completion of all the work in the current process, the notification control unit 234 controls to perform a predetermined notification.
  • the notification control unit 234 is an example of the notification control means of the present invention.
  • FIG. 5 is a flowchart showing an example of the processing flow according to the first embodiment.
  • the PC 200 repeatedly executes the processing flow of FIG.
  • the repetition cycle of the processing flow of FIG. 5 is not particularly limited, but it is assumed that the processing flow of FIG. 5 is repeated at the frame rate (for example, 30 fps) of the image taken by the camera 10.
  • the current work flag for grasping the current work (and process) is used.
  • the current work flag corresponds to any work indicated by the work information.
  • the input unit 210 acquires a working image from the camera 10 (step S500).
  • the part detection unit 231 acquires a work image from the input unit 210, and detects parts and work-in-process from the acquired work image (step S501).
  • the work image 300 of FIG. 3 is acquired, the parts 302a to 302i and the work-in-process 303 are detected.
  • the work completion determination unit 233 determines whether or not the work-in-process has been placed in the next process storage area based on the detection result (detection result of the work-in-process) in step S501 (step S502).
  • step S502 detection result of the work-in-process
  • the process proceeds to step S503, and when it is determined that the work in process has not been placed in the next process storage (step S502: YES). In NO), the process proceeds to step S505.
  • step S503 the work completion determination unit 233 determines whether or not all the work in the current process has been completed. When it is determined that all the work of the current process is completed (step S503: YES), the processing flow of FIG. 5 is completed, and when it is determined that there is an unfinished work in the current process (step). In S503: NO), the process proceeds to step S504.
  • the work completion determination unit 233 can determine whether or not all the work in the current process has been completed from the current work flag and the work information.
  • the current work flags are 1 to 3, it can be determined that the current process is step 1 and at least one of the steps 1-1 to 1-3 of step 1 has not been completed. If the work-in-process is placed in the next process storage area for the first time after the current work flag is 4, the current process is process 1, and all of steps 1-1 to 1-3 of process 1 are completed. It can be judged. Even if the current work flag is 4, if the work-in-process has been placed in the next process storage area in the past with the current work flag set to 4, the current process is process 2 and the work of process 2 is performed. It can be determined that 2-1 is not completed.
  • the current work flag is 5 or 6, it can be determined that the current process is step 2 and at least one of work 2-2 and work 2-3 of step 2 has not been completed. If the work-in-process is placed in the next process storage area for the first time after the current work flag is 7, the current process is process 2, and all of steps 2-1 to 2-3 of process 2 have been completed. It can be judged. Even if the current work flag is 7, if the work-in-process has been placed in the next process storage area in the past with the current work flag set to 7, the current process is process 3 and the work of process 3 is performed. It can be determined that 3-1 is not completed.
  • the current work flag is 8 or 9, it can be determined that the current process is step 3 and at least one of work 3-2 and work 3-3 of step 3 has not been completed. If the current work flag is 10, it can be determined that the current process is step 3 and all of the steps 3-1 to 3-3 of step 3 have been completed.
  • step S504 the notification control unit 234 outputs a control signal for performing a predetermined notification to the output unit 240.
  • a control signal is sent from the output unit 240 to the notification unit 20, and the notification unit 20 performs a predetermined notification.
  • step S505 the work completion determination unit 233 determines whether or not the gripping state setting (setting that the worker grips the part to be attached to the work in process in the current work) is effective. If it is determined that the gripping state setting is valid (step S505: YES), the process proceeds to step S511, and if it is determined that the gripping state setting is not valid (step S505: NO), the process proceeds to step S506. Processing will proceed.
  • step S506 the grip determination unit 232 calculates the moving distance D1 of the component detected in step S501.
  • the moving distance D1 of each of the plurality of parts is calculated.
  • the method for calculating the moving distance D1 is not particularly limited, but for example, the distance between the detection position of the component at the start of the current work and the current detection position of the component is calculated as the moving distance D1.
  • the distance between the detected position of the component before a predetermined time and the current detected position of the component, that is, the moving distance of the component in a predetermined period may be calculated as the moving distance D1.
  • step S507 when a plurality of parts are detected in step S501, the grip determination unit 232 selects the part having the maximum moving distance D1 calculated in step S506 from the plurality of parts. If one component is detected in step S501, that component is selected. Even if the part is not gripped by the operator, it may move due to the shaking of the work table or the like, but in general, the gripped part moves more than the non-grasped part. Therefore, by the process of step S507, it is possible to select a component that is likely to be held by the operator from among the plurality of components.
  • step S509 the grip determination unit 232 determines whether or not the part gripped by the operator (the part selected in step S507) is the correct part (the part to be attached to the work in process in the current work). If it is determined that the part gripped by the operator is a correct part (step S509: YES), the process proceeds to step S510. If it is determined that the part gripped by the operator is not a correct part (step S509: NO), the process proceeds to step S504 and a predetermined notification is given.
  • the correct part is determined from the current work flag and work information. Specifically, the grip determination unit 232 determines in the work information the part associated with the work corresponding to the current work flag as the correct part. If the current work flag is 1, the component 302a associated with task 1-1 is determined to be the correct component.
  • step S510 the grip determination unit 232 enables the grip state setting.
  • the work completion determination unit 233 calculates the distance D2 between the part grasped by the operator and the work-in-process.
  • the method for calculating the distance D2 is not particularly limited, but for example, the distance between the detection position (center position, etc.) of the component and the detection position of the work-in-process is calculated as the distance D2.
  • IoU of the detection rectangle ratio (size ratio) of the intersection between the detection rectangle of the part and the detection rectangle of the work-in-process to the union of the detection rectangle of the part and the detection rectangle of the work-in-process
  • the distance D2 May be good.
  • the ratio (size ratio) of the intersection between the detection rectangle of the part and the detection rectangle of the work-in-process to the detection rectangle of one of the part and the work-in-process may be calculated as the distance D2. If it is assumed that the work-in-process is fixed (the position and orientation do not change), the distance D2 may be calculated from the position of the part gripped by the operator without detecting the work-in-process.
  • the work completion determination unit 233 determines whether or not the distance D2 calculated in step S511 is equal to or less than the threshold value Th2 (step S512).
  • the distance D2 is equal to or less than the threshold value Th2 (step S512: YES)
  • the process proceeds to step S513.
  • the distance D2 is larger than the threshold value Th2 (step S512: NO)
  • the processing flow of FIG. 5 ends.
  • the fact that the distance D2 is equal to or less than the threshold value Th2 is an example of the predetermined conditions described above.
  • step S513 the work completion determination unit 233 updates the work treated as the current work to the next work by updating the current work flag (incrementing by 1).
  • the work completion determination unit 233 invalidates the gripping state setting (step S514).
  • the parts (types of parts (shape, size, etc.)) that should be attached to work-in-process in work do not depend on the worker and are always constant. Therefore, according to the first embodiment, it is highly determined whether or not the work is performed correctly by determining whether or not the part grasped by the operator is a part to be attached to the work in process in the work. It can be judged with accuracy. Then, when it is determined that the part grasped by the operator is not a part to be attached to the work-in-process in the work, a predetermined notification can be given to prevent mistakes and omissions in the work.
  • the work completion determination unit 233 it is possible to determine not only whether or not the work is being performed correctly, but also whether or not the work is completed correctly. Even if it is determined that the work-in-process has been placed in a predetermined place before the completion of all the work in the process, the omission of the work can be more reliably prevented by giving a predetermined notification.
  • FIG. 6 is a block diagram showing a configuration example of the PC 200 according to the second embodiment.
  • the PC 200 according to the second embodiment also has an input unit 210, a storage unit 220, a control unit 230, and an output unit 240, as in the first embodiment.
  • the control unit 230 according to the second embodiment also has a component detection unit 231, a grip determination unit 232, a work completion determination unit 233, and a notification control unit 234, as in the first embodiment.
  • the control unit 230 according to the second embodiment further includes a hand detection unit 235.
  • the processes other than the processes described later are the same as those in the first embodiment.
  • the hand detection unit 235 acquires a work image from the input unit 210, detects the worker's hand from the acquired work image, and outputs the hand detection result (hand position, etc.) to the work completion determination unit 233.
  • the hand detection unit 235 is an example of the hand detection means of the present invention.
  • FIG. 7 is a flowchart showing an example of the processing flow according to the second embodiment.
  • the PC 200 repeatedly executes the processing flow of FIG. 7.
  • the repetition cycle of the processing flow of FIG. 7 is not particularly limited, but it is assumed that the processing flow of FIG. 7 is repeated at the frame rate (for example, 30 fps) of the image taken by the camera 10.
  • step S505 the same processing as in FIG. 5 (first embodiment) is designated by the same reference numeral as in FIG.
  • step S505 the gripping state setting is valid
  • step S701 the process proceeds to step S701 instead of step S511.
  • step S701 the work completion determination unit 233 determines whether or not the component gripped by the operator is detected by the component detection unit 231 (whether or not the component gripped by the operator is detected in step S501). .. When it is determined that the part gripped by the operator is detected by the part detection unit 231 (step S701: YES), the process proceeds to step S505. When it is determined that the component gripped by the operator is no longer detected by the component detection unit 231 (step S701: NO), the process proceeds to step S702.
  • step S702 the hand detection unit 235 acquires a work image from the input unit 210 and detects the worker's hand from the acquired work image.
  • the work completion determination unit 233 sets the position of the hand detected in step S702 as the position of the part grasped by the operator (step S703).
  • the position of the detected hand is used as the position of the part grasped by the operator. As a result, even when the part gripped by the worker is hidden in the worker's hand and cannot be detected, it can be determined whether or not the work is completed.
  • FIG. 8 is a flowchart showing an example of the processing flow according to the third embodiment.
  • the PC 200 repeatedly executes the processing flow of FIG.
  • the repetition cycle of the processing flow of FIG. 8 is not particularly limited, but it is assumed that the processing flow of FIG. 8 is repeated at the frame rate (for example, 30 fps) of the image taken by the camera 10.
  • step S512 the same processing as in FIG. 5 (first embodiment) is designated by the same reference numeral as in FIG.
  • step S512 the same processing as in FIG. 5 (first embodiment) is designated by the same reference numeral as in FIG.
  • step S512: YES the process proceeds to step S801 instead of step S513.
  • step S801 the work completion determination unit 233 determines whether or not the relative position of the gripped part (part gripped by the operator) with respect to the work in process is a predetermined position.
  • the relative position of the part with respect to the work-in-process is often predetermined. Therefore, by further performing the process of step S801, it is possible to determine with higher accuracy whether or not the current work has been completed.
  • the work completion determination unit 233 may determine whether or not the relative orientation of the gripped part with respect to the work in process is a predetermined orientation (third determination).
  • the fact that the relative position of the gripped part with respect to the work-in-process is a predetermined position is also an example of the predetermined condition described in the first embodiment.
  • a margin may be used for determining whether or not the relative position of the gripping component is a predetermined position and determining whether or not the relative orientation of the gripping component is a predetermined orientation. .. That is, when the difference between the relative position of the grip component and the predetermined position is equal to or less than the threshold value, it is determined that the relative position of the grip component is the predetermined position, and when the difference is larger than the threshold value, the grip component It may be determined that the relative position is not a predetermined position. Similarly, when the difference between the relative orientation of the grip component and the predetermined orientation (angle difference, etc.) is equal to or less than the threshold value, it is determined that the relative orientation of the grip component is the predetermined orientation, and the difference is larger than the threshold value. If it is large, it may be determined that the relative orientation of the gripped parts is not a predetermined orientation.
  • FIG. 9A shows a state in which the parts are correctly attached to the work in process.
  • the orientation of the component is the orientation of FIG. 9 (A) (the relative orientation of the component is a predetermined orientation).
  • the distance D2 is not equal to or less than the threshold value Th2 and the position of the component is not the position shown in FIG. 9A (the relative position of the component is not a predetermined position)
  • the distance D2 is equal to or less than the threshold value Th2, and the orientation of the component is the orientation of FIG. 9A, but the position of the component is not the position of FIG. 9A, so the work is completed. It is determined that it has not been done.
  • the distance D2 is equal to or less than the threshold value Th2, and the position of the component is the position of FIG. 9A, but the orientation of the component is not the orientation of FIG. 9A, so the work is completed. It is determined that it has not been done.
  • FIG. 9E since the distance D2 is equal to or less than the threshold value Th2, the position of the component is the position of FIG. 9A, and the orientation of the component is the orientation of FIG. 9A, the work is performed. It is judged to be completed.
  • the third embodiment it is possible to obtain the effect according to the first embodiment by using a condition different from the first embodiment as a predetermined condition that the work is completed. can. Further, by including a plurality of conditions in the predetermined conditions, it is possible to determine with higher accuracy whether or not the work is completed.
  • Image acquisition means for acquiring an image of an operator performing the work of grasping a component and attaching the component to work in process
  • a component detecting means for detecting a component from the image acquired by the image acquiring means
  • a component detecting means 102, 231. Based on the detection result by the component detecting means, it is determined whether or not the worker grips the component, and whether or not the component gripped by the worker is a component to be attached to the work in process in the work.
  • Grip determination means (103, 232) for determination and It has a notification control means (104, 234) that controls to give a predetermined notification when the grip determination means determines that the part gripped by the worker is not a part to be attached to the work in process in the work.
  • a work-in-process determination device (100, 200).
  • Work determination device 101 Image acquisition unit 102: Part detection unit 103: Grip determination unit 104: Notification control unit 10: Camera 20: Notification unit 200: PC (work determination device) 210: Input unit 220: Storage unit 230: Control unit 240: Output unit 231: Parts detection unit 232: Grip determination unit 233: Work completion determination unit 234: Notification control unit 235: Hand detection unit 300: Work image 301: Work table 302: Parts case 302a to 302i: Parts 303: Work in process 304: Worker 305: Next process storage 400: Work information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業判定装置が、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段と、前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段と、前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段と、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段とを有する。

Description

作業判定装置および作業判定方法
　本発明は、作業が正しく行われているか否かを判定する技術に関する。
　製品作りのための作業の間違いや漏れによる製品品質へ影響が問題視されている。特許文献１には、撮像された画像（映像）に基づいて、作業者の体の動き（例えば手や足の動き）が所定の動きと一致するか否かを判定し、その判定結果に基づいて、作業者の動作がどの作業のものであるかを判定する技術が開示されている。
特開２００８－００３７８１号公報
　しかしながら、作業者の体格は様々であるし、或る作業において作業者が常に決まった動きをするとは限らない。このため、特許文献１に記載の技術を用いたとしても、作業が正しく行われているか否かを高精度に判定できず、作業の間違いや漏れが発生することがある。
　本発明は上記実情に鑑みなされたものであって、作業が正しく行われているか否かを高精度に判定して、作業の間違いや漏れを防ぐことのできる技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段と、前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段と、前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段と、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段とを有することを特徴とする作業判定装置を提供する。所定の通知は、例えば、作業が正しく行われていないことなどの警告（アラート）の通知であり、グラフィック（アイコンやメッセージ）の表示、音声の出力、ランプの点灯などにより実現される。所定の通知は、作業者や、作業を管理する管理者（作業監督）などに対して行われる。
　作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、上述した構成によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。
　作業者は、把持した部品を仕掛品に取り付けるために、当該部品を大きく動かすことが多い。このため、前記把持判定手段は、前記部品検出手段によって検出された部品の移動距離が第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定するとしてもよい。
　部品は、作業者に把持されていなくても、作業台の揺れなどにより動くことがあるが、一般的に、把持されている部品は、把持されていない部品よりも大きく動く。このため、前記把持判定手段は、前記部品検出手段によって複数の部品が検出された場合に、前記複数の部品から、移動距離が最大の部品を選択し、選択した部品の移動距離が前記第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定するとしてもよい。こうすることで、複数の部品が検出された場合でも、作業者が把持した部品を高精度に検出（特定）することができる。
　前記作業と当該作業において前記仕掛品に取り付けるべき部品との対応関係を示す情報を取得する情報取得手段をさらに有し、前記把持判定手段は、前記部品検出手段による検出結果と、前記情報取得手段によって取得された前記情報とに基づいて、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定するとしてもよい。
　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した場合に、前記部品検出手段による検出結果に基づいて、前記作業が完了したことの所定の条件が満たされたか否かを判定する作業完了判定手段をさらに有するとしてもよい。こうすることで、作業が正しく行われているか否かだけでなく、作業が正しく完了したか否かまで判定することができる。
　一般的に、部品を仕掛品に取り付ける際に、それらの間の距離は小さくなる。このため、前記所定の条件は、前記作業者が把持した部品と前記仕掛品との間の距離が第２の閾値以下となったことを含むとしてもよい。また、一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な位置や向きは予め決まっていることが多い。このため、前記所定の条件は、前記仕掛品に対する前記部品の相対的な位置が所定の位置であることを含むとしてもよいし、前記所定の条件は、前記仕掛品に対する前記部品の相対的な向きが所定の向きであることを含むとしてもよい。
　前記画像取得手段は、１つ以上の作業を含み且つ前記１つ以上の作業の全てを終えた後に前記仕掛品を所定の場所に置く工程を前記作業者が行う様子を撮像した前記画像を取得し、前記部品検出手段は、さらに、前記画像取得手段によって取得された前記画像から前記仕掛品を検出し、前記作業完了判定手段は、さらに、前記部品検出手段による検出結果に基づいて、前記仕掛品が前記所定の場所に置かれたか否かを判定し、前記通知制御手段は、さらに、前記１つ以上の作業の全てを終える前に前記仕掛品が前記所定の場所に置かれたと前記作業完了判定手段が判定した場合に、前記所定の通知を行うように制御するとしてもよい。こうすることで、作業の漏れをより確実に防ぐことができる。
　前記画像取得手段によって取得された前記画像から前記作業者の手を検出する手検出手段をさらに有し、前記作業完了判定手段は、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した後、前記作業者が把持した部品が前記部品検出手段によって検出されなくなった場合に、前記手検出手段によって検出された手の位置を、前記作業者が把持した部品の位置として用いるとしてもよい。こうすることで、作業者が把持した部品が当該作業者の手に隠れて検出されなくなった場合でも、作業が完了したか否かを判定することができる。
　本発明の第二側面は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップと、前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップと、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップとを有することを特徴とする作業判定方法を提供する。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する作業判定システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、作業判定方法又は作業判定システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、作業が正しく行われているか否かを高精度に判定して、作業の間違いや漏れを防ぐことができる。
図１は、本発明が適用された作業判定装置の構成例を示すブロック図である。 図２（Ａ）は、第１の実施形態に係る作業判定システムの大まかな構成例を示す模式図であり、図２（Ｂ）は、第１の実施形態に係るＰＣ（作業判定装置）の構成例を示すブロック図である。 図３は、第１の実施形態に係る作業画像の一例を示す図である。 図４は、第１の実施形態に係る作業情報の一例を示す図である。 図５は、第１の実施形態に係る処理フロー例を示すフローチャートである。 図６は、第２の実施形態に係るＰＣ（作業判定装置）の構成例を示すブロック図である。 図７は、第２の実施形態に係る処理フロー例を示すフローチャートである。 図８は、第３の実施形態に係る処理フロー例を示すフローチャートである。 図９（Ａ）～９（Ｅ）は、部品と仕掛品の状態の一例を示す図である。
　＜適用例＞
　本発明の適用例について説明する。作業者の体格は様々であり、或る作業において作業者が常に決まった動きをするとは限らない。このため、作業者の体の動き（例えば手や足の動き）が所定の動きと一致するか否かを判定する従来技術では、作業が正しく行われているか否かを高精度に判定できず、作業の間違いや漏れが発生することがある。
　図１は、本発明が適用された作業判定装置１００の構成例を示すブロック図である。作業判定装置１００は、画像取得部１０１、部品検出部１０２、把持判定部１０３、及び、通知制御部１０４を有する。画像取得部１０１は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する。部品検出部１０２は、画像取得部１０１によって取得された画像から部品を検出する。把持判定部１０３は、部品検出部１０２による検出結果に基づいて、作業者が部品を把持したか否かを判定し、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定する。通知制御部１０４は、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと把持判定部１０３が判定した場合に、所定の通知を行うように制御する。画像取得部１０１は本発明の画像取得手段の一例であり、部品検出部１０２は本発明の部品検出手段の一例であり、把持判定部１０３は本発明の把持判定手段の一例であり、通知制御部１０４は本発明の通知制御手段の一例である。ここで、所定の通知は、例えば、作業が正しく行われていないことなどの警告（アラート）の通知であり、グラフィック（アイコンやメッセージ）の表示、音声の出力、ランプの点灯などにより実現される。所定の通知は、作業者や、作業を管理する管理者（作業監督）などに対して行われる。
　作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、上述した構成によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。
　＜第１の実施形態＞
　本発明の第１の実施形態について説明する。
　図２（Ａ）は、第１の実施形態に係る作業判定システムの大まかな構成例を示す模式図である。第１の実施形態に係る作業判定システムは、カメラ１０、ＰＣ２００（パーソナルコンピュータ；作業判定装置）、及び、通知部２０を有する。カメラ１０とＰＣ２００は有線または無線で互いに接続されている。同様に、通知部２０とＰＣ２００も有線または無線で互いに接続されている。
　カメラ１０は、カメラ１０に設けられた画像センサを用いて撮像を行い、撮像によって得られた画像をＰＣ２００へ出力する。第１の実施形態では、カメラ１０は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した作業画像をＰＣ２００へ出力する。ＰＣ２００は、作業画像に基づいて、作業が正しく行われているか否かを判定し、作業が正しく行われていないと判定した場合に、所定の通知を行うための制御信号を通知部２０へ出力する。通知部２０は、モニタ、スピーカー、ランプなどの少なくともいずれかを有する。通知部２０は、ＰＣ２００からの制御信号に応じて、モニタでのグラフィック（アイコンやメッセージ）の表示、スピーカーからの音声の出力、ランプの点灯などの少なくともいずれかにより、作業が正しく行われていないことなどの警告（アラート）を通知する。
　なお、第１の実施形態では、カメラ１０、ＰＣ２００、及び、通知部２０が別個の装置であるとするが、そうでなくてもよい。例えば、カメラ１０、ＰＣ２００、及び、通知部２０の少なくとも２つ以上が１つの装置に含まれていていてもよい。具体的には、ＰＣ２００がカメラ１０と通知部２０の少なくとも一方を有していてもよい。また、ＰＣ２００と通知部２０の設置場所は特に限定されない。例えば、ＰＣ２００と通知部２０はカメラ１０と同じ部屋に設置されていてもよいし、そうでなくてもよい。作業者への通知を行う場合には、カメラ１０や作業者と同じ部屋に通知部２０を設置したり、作業者の携帯端末（スマートフォンやタブレットなど）を通知部２０として使用したりすればよい。作業監督への通知を行う場合には、作業監督と同じ部屋に通知部２０を設置したり、作業監督の携帯端末を通知部２０として使用したりすればよい。ＰＣ２００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。
　図２（Ｂ）は、ＰＣ２００の構成例を示すブロック図である。ＰＣ２００は、入力部２１０、記憶部２２０、制御部２３０、及び、出力部２４０を有する。
　入力部２１０は、作業画像をカメラ１０から取得し、制御部２３０へ出力する。第１の実施形態では、カメラ１０は動画を撮像するとし、入力部２１０は、動画の１フレームをカメラ１０から取得して制御部２３０へ出力する処理を、順次行うとする。入力部２１０による画像取得の周期は特に限定されないが、第１の実施形態では、入力部２１０は、カメラ１０による撮像に同期して作業画像（動画の１フレーム）を取得するとする。つまり、入力部２１０は、作業画像をカメラ１０から取得して制御部２３０へ出力する処理を、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で行うとする。なお、カメラ１０は静止画の撮像を順次行ってもよく、その場合に、入力部２１０は、静止画をカメラ１０から取得して制御部２３０へ出力する処理を、順次行う。入力部２１０は、本発明の画像取得手段の一例である。
　図３は、第１の実施形態に係る作業画像の一例を示す図である。図３の作業画像３００には、作業台３０１、部品ケース３０２、仕掛品３０３、及び、作業者３０４が写っている。部品ケース３０２には、複数の部品３０２ａ～３０２ｉが区分けされて収納されている。こうすることで、部品の検出や、部品の移動距離の計算などが、容易かつ高精度に行えるようになる。また、第１の実施形態では、作業画像は、１つ以上の作業を含み且つ当該１つ以上の作業の全てを終えた後に仕掛品を所定の場所に置く工程を作業者が行う様子を撮像した画像でもあるとする。そして、作業台３０１では、テープなどの目印を用いて、工程の全作業を終えた後に仕掛品３０３を置く所定の場所である次工程置き場３０５が示されている。こうすることで、次工程置き場３０５の検出や、仕掛品３０３が次工程置き場３０５に置かれたか否かの判定などが、容易かつ高精度に行えるようになる。
　なお、作業台３０１に置かれる部品の数は特に限定されないし、部品は部品ケース３０２に収納されていなくてもよい。部品の山が作られていてもよいが、部品の検出や部品の移動距離の計算などが容易かつ高精度に行えるように、作業順に部品が区分けされていることが好ましい。また、作業画像の撮像範囲や、作業画像に写る物体なども特に限定されない。作業や工程が行われる様子が撮像されればよく、例えば、部品ケース３０２（作業台３０１に置かれた部品）が作業画像に写っていなくてもよい。
　記憶部２２０は、制御部２３０で実行されるプログラムや、制御部２３０で使用される各種データなどを記憶する。例えば、記憶部２２０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。第１の実施形態では、作業と当該作業において仕掛品に取り付けるべき部品との対応関係を示す情報（作業情報）が、記憶部２２０に予め格納されている。作業情報を使用することで、現在の作業、次に行う作業、作業において使用すべき部品などが容易に把握可能となる。なお、ＰＣ２００が作業情報を取得する情報取得部を有していればよく、作業情報はＰＣ２００の外部装置に格納されていてもよい。情報取得部は、本発明の情報取得手段の一例である。
　図４は、第１の実施形態に係る作業情報の一例を示す図である。図４の作業情報４００は、工程順かつ作業順に、作業において仕掛品に取り付けるべき部品を示している。具体的には、製品作りでは工程１～３を順に行い、工程１では作業１－１～１－３を順に行い、工程２では作業２－１～２－３を順に行い、工程３では作業３－１～３－３を順に行うことが示されている。そして、作業１－１では部品３０２ａを使用し、作業１－２では部品３０２ｂを使用し、作業１－３では部品３０２ｃを使用することが示されている。同様に、作業２－１では部品３０２ｄを、作業２－２では部品３０２ｅを、作業２－３では部品３０２ｆを、作業３－１では部品３０２ｇを、作業３－２では部品３０２ｈを使用し、作業３－３では部品３０２ｉを使用することが示されている。
　制御部２３０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。第１の実施形態では、制御部２３０は、入力部２１０から作業画像を取得し、記憶部２２０から作業情報を取得し、作業画像と作業情報に基づいて、現在の作業が正しく行われているか否かを判定する。そして、制御部２３０は、現在の作業が正しく行われていないと判定した場合に、所定の通知を行うための制御信号を出力部２４０へ出力する。
　出力部２４０は、制御部２３０から出力された制御信号を、通知部２０へ出力する。
　制御部２３０について、より詳細に説明する。制御部２３０は、部品検出部２３１、把持判定部２３２、作業完了判定部２３３、及び、通知制御部２３４を有する。
　部品検出部２３１は、入力部２１０から作業画像を取得し、取得した作業画像から部品を検出し、部品の検出結果（部品の種類や位置、向きなど）を把持判定部２３２と作業完了判定部２３３へ出力する。さらに、部品検出部２３１は、取得した作業画像から仕掛品を検出し、仕掛品の検出結果（仕掛品の位置や向きなど）を作業完了判定部２３３へ出力する。部品検出部２３１は本発明の部品検出手段の一例である。
　なお、部品検出部２３１による部品検出や仕掛品検出にはどのようなアルゴリズムを用いてもよい。例えば、既存の物体検出により部品や仕掛品を検出してもよく、具体的にはＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた検出器（識別器）を用いて部品や仕掛品を検出してもよい。既存の機械学習により生成された学習済みモデルを用いて部品や仕掛品を検出してもよく、具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ　Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いて部品や仕掛品を検出してもよい。
　把持判定部２３２は、部品検出部２３１による検出結果（部品の検出結果）に基づいて、作業者が部品を把持したか否かを判定し、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であるか否かを判定する。具体的には、把持判定部２３２は、記憶部２２０から作業情報を取得し、部品の検出結果と、作業情報とに基づいて、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であるか否かを判定する。作業情報は、現在の作業において仕掛品に取り付けるべき部品を把握するために使用される。そして、把持判定部２３２は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であると判定した場合に、そのことを作業完了判定部２３３へ通知する。さらに、把持判定部２３２は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品でないと判定した場合に、そのことを通知制御部２３４へ通知する。把持判定部２３２は本発明の把持判定手段の一例である。第１の実施形態では、把持判定部２３２は記憶部２２０から作業情報を取得するため、把持判定部２３２は本発明の情報取得手段を兼ねているとも言える。
　作業完了判定部２３３は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であると把持判定部２３２が判定した場合に、現在の作業が完了したことの所定の条件が満たされたか否かを判定する。所定の条件が満たされたか否かは、部品検出部２３１による検出結果（部品の検出結果や、仕掛品の検出結果）に基づいて判定される。さらに、作業完了判定部２３３は、部品検出部２３１による検出結果（仕掛品の検出結果）に基づいて、仕掛品が次工程置き場に置かれたか否かを判定する。例えば、部品検出部２３１は、作業画像から次工程置き場（次工程置き場の目印）を検出でき、作業完了判定部２３３は、検出された次工程置き場で仕掛品が検出された場合に、次工程置き場に仕掛品が置かれたと判定できる。なお、作業完了判定部２３３が次工程置き場を予め把握している場合には、部品検出部２３１による次工程置き場の検出は不要である。第１の実施形態では、作業完了判定部２３３は、記憶部２２０から作業情報を取得し、取得した作業情報から各工程や各作業を把握する。そのうえで、上記２つの判定を行うことで、現在の工程の全作業を終える前に仕掛品が次工程置き場に置かれたか否かを判定できる。そして、作業完了判定部２３３は、現在の工程の全作業を終える前に仕掛品が次工程置き場に置かれたと判定した場合に、そのことを通知制御部２３４へ通知する。作業完了判定部２３３は本発明の作業完了判定手段の一例である。第１の実施形態では、作業完了判定部２３３は記憶部２２０から作業情報を取得するため、作業完了判定部２３３は本発明の情報取得手段を兼ねているとも言える。
　通知制御部２３４は、把持判定部２３２や作業完了判定部２３３からの通知に応じて、所定の通知を行うための制御信号を出力部２４０へ出力する。つまり、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品でないと把持判定部２３２が判定した場合に、通知制御部２３４は、所定の通知を行うように制御する。また、現在の工程の全作業を終える前に仕掛品が次工程置き場に置かれたと作業完了判定部２３３が判定した場合にも、通知制御部２３４は、所定の通知を行うように制御する。通知制御部２３４は本発明の通知制御手段の一例である。
　図５は、第１の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図５の処理フローを繰り返し実行する。図５の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図５の処理フローが繰り返されるとする。
　図５の処理フローでは、現在の作業（および工程）を把握するための現作業フラグが使用される。現作業フラグは、作業情報によって示されたいずれかの作業に対応する。例えば、現作業フラグ＝１は工程１の作業１－１に対応し、現作業フラグ＝２は工程１の作業１－２に対応し、現作業フラグ＝３は工程１の作業１－３に対応する。現作業フラグ＝４は工程２の作業２－１に対応し、現作業フラグ＝５は工程２の作業２－２に対応し、現作業フラグ＝６は工程２の作業２－３に対応する。現作業フラグ＝７は工程３の作業３－１に対応し、現作業フラグ＝８は工程３の作業３－２に対応し、現作業フラグ＝９は工程３の作業３－３に対応する。初期状態では、現作業フラグは１に設定されている。
　まず、入力部２１０は、カメラ１０から作業画像を取得する（ステップＳ５００）。
　次に、部品検出部２３１は、入力部２１０から作業画像を取得し、取得した作業画像から部品と仕掛品を検出する（ステップＳ５０１）。図３の作業画像３００が取得された場合には、部品３０２ａ～３０２ｉと仕掛品３０３が検出される。
　次に、作業完了判定部２３３は、ステップＳ５０１の検出結果（仕掛品の検出結果）に基づいて、仕掛品が次工程置き場に置かれたか否かを判定する（ステップＳ５０２）。仕掛品が次工程置き場に置かれたと判定された場合（ステップＳ５０２：ＹＥＳ）にはステップＳ５０３へ処理が進められ、仕掛品が次工程置き場に置かれていないと判定された場合（ステップＳ５０２：ＮＯ）にはステップＳ５０５へ処理が進められる。
　ステップＳ５０３では、作業完了判定部２３３は、現在の工程の全作業が完了しているか否かを判定する。現在の工程の全作業が完了していると判定された場合（ステップＳ５０３：ＹＥＳ）には図５の処理フローが終了し、現在の工程に未完了の作業があると判定された場合（ステップＳ５０３：ＮＯ）にはステップＳ５０４へ処理が進められる。
　図５の処理フローでは、作業が完了したと判定される度に、現作業フラグを更新する（１インクリメントする）ことにより、現在の作業として扱う作業が次の作業に更新される。このため、作業完了判定部２３３は、現作業フラグと作業情報から、現在の工程の全作業が完了しているか否かを判定できる。
　例えば、現作業フラグが１～３であれば、現在の工程は工程１であり、工程１の作業１－１～１－３の少なくともいずれかが完了していないと判定できる。現作業フラグが４となってから初めて仕掛品が次工程置き場に置かれたのであれば、現在の工程は工程１であり、工程１の作業１－１～１－３の全てが完了したと判定できる。現作業フラグが４であっても、現作業フラグが４の状態で過去に仕掛品が次工程置き場に置かれたことがあるのであれば、現在の工程は工程２であり、工程２の作業２－１が完了していないと判定できる。
　同様に、現作業フラグが５または６であれば、現在の工程は工程２であり、工程２の作業２－２と作業２－３の少なくともいずれかが完了していないと判定できる。現作業フラグが７となってから初めて仕掛品が次工程置き場に置かれたのであれば、現在の工程は工程２であり、工程２の作業２－１～２－３の全てが完了したと判定できる。現作業フラグが７であっても、現作業フラグが７の状態で過去に仕掛品が次工程置き場に置かれたことがあるのであれば、現在の工程は工程３であり、工程３の作業３－１が完了していないと判定できる。現作業フラグが８または９であれば、現在の工程は工程３であり、工程３の作業３－２と作業３－３の少なくともいずれかが完了していないと判定できる。現作業フラグが１０であれば、現在の工程は工程３であり、工程３の作業３－１～３－３の全てが完了したと判定できる。
　ステップＳ５０４では、通知制御部２３４は、所定の通知を行うための制御信号を出力部２４０へ出力する。その結果、出力部２４０から通知部２０へ制御信号が送られ、通知部２０により所定の通知が行われる。
　ステップＳ５０５では、作業完了判定部２３３は、把持状態設定（現在の作業において仕掛品に取り付けるべき部品を作業者が把持した状態であることの設定）が有効であるか否かを判定する。把持状態設定が有効であると判定された場合（ステップＳ５０５：ＹＥＳ）にはステップＳ５１１へ処理が進められ、把持状態設定が有効でないと判定された場合（ステップＳ５０５：ＮＯ）にはステップＳ５０６へ処理が進められる。
　ステップＳ５０６では、把持判定部２３２は、ステップＳ５０１で検出された部品の移動距離Ｄ１を算出する。ステップＳ５０１で複数の部品が検出された場合には、当該複数の部品のそれぞれの移動距離Ｄ１が算出される。移動距離Ｄ１の算出方法は特に限定されないが、例えば、現在の作業の開始時における部品の検出位置と、当該部品の現在の検出位置との間の距離が、移動距離Ｄ１として算出される。所定時間前における部品の検出位置と、当該部品の現在の検出位置との間の距離、つまり所定期間における部品の移動距離を、移動距離Ｄ１として算出してもよい。
　ステップＳ５０７では、把持判定部２３２は、ステップＳ５０１で複数の部品が検出された場合に、当該複数の部品のうち、ステップＳ５０６で算出された移動距離Ｄ１が最大の部品を選択する。ステップＳ５０１で１つの部品が検出された場合には、当該部品が選択される。部品は、作業者に把持されていなくても、作業台の揺れなどにより動くことがあるが、一般的に、把持されている部品は、把持されていない部品よりも大きく動く。このため、ステップＳ５０７の処理により、複数の部品のうち、作業者に把持されている可能性の高い部品を選択することができる。
　次に、把持判定部２３２は、ステップＳ５０７で選択した部品の移動距離Ｄ１が閾値Ｔｈ１以上であるか否かを判定する（ステップＳ５０８）。作業者は、把持した部品を仕掛品に取り付けるために、当該部品を大きく動かすことが多い。このため、ステップＳ５０８の処理により、作業者が部品を把持したか否かを判定することができる。選択された部品の移動距離Ｄ１が閾値Ｔｈ１以上であると判定された場合（ステップＳ５０８：ＹＥＳ）、つまり作業者が部品を把持したと判定された場合には、ステップＳ５０９へ処理が進められる。選択された部品の移動距離Ｄ１が閾値Ｔｈ１未満であると判定された場合（ステップＳ５０８：ＮＯ）、つまり作業者が部品を把持していないと判定された場合には、図５の処理フローが終了する。
　ステップＳ５０９では、把持判定部２３２は、作業者が把持した部品（ステップＳ５０７で選択した部品）が正しい部品（現在の作業において仕掛品に取り付けるべき部品）であるか否かを判定する。作業者が把持した部品が正しい部品であると判定された場合（ステップＳ５０９：ＹＥＳ）には、ステップＳ５１０へ処理が進められる。作業者が把持した部品が正しい部品でないと判定された場合（ステップＳ５０９：ＮＯ）には、ステップＳ５０４へ処理が進められ、所定の通知が行われる。正しい部品は、現作業フラグと作業情報から判断される。具体的には、把持判定部２３２は、作業情報において、現作業フラグに対応する作業に関連付けられている部品を、正しい部品として判断する。現作業フラグが１であれば、作業１－１に関連付けられている部品３０２ａが、正しい部品として判断される。
　ステップＳ５１０では、把持判定部２３２は、把持状態設定を有効にする。
　ステップＳ５１１では、作業完了判定部２３３は、作業者が把持した部品と仕掛品との間の距離Ｄ２を算出する。距離Ｄ２の算出方法は特に限定されないが、例えば、部品の検出位置（中心位置など）と仕掛品の検出位置との間の距離が、距離Ｄ２として算出される。検出矩形のＩｏＵ（部品の検出矩形と仕掛品の検出矩形との和集合に対する、部品の検出矩形と仕掛品の検出矩形との共通部分の割合（サイズ比））を、距離Ｄ２として算出してもよい。部品と仕掛品の一方の検出矩形に対する、部品の検出矩形と仕掛品の検出矩形との共通部分の割合（サイズ比）を、距離Ｄ２として算出してもよい。仕掛品が固定されている（位置や向きが変わらない）という前提があれば、仕掛品を検出せずに、作業者が把持した部品の位置などから距離Ｄ２を算出してもよい。
　次に、作業完了判定部２３３は、ステップＳ５１１で算出した距離Ｄ２が閾値Ｔｈ２以下であるか否かを判定する（ステップＳ５１２）。一般的に、部品を仕掛品に取り付ける際に、それらの間の距離は小さくなる。このため、ステップＳ５１２の処理により、現在の作業が完了したか否かを判定することができる。距離Ｄ２が閾値Ｔｈ２以下であると判定された場合（ステップＳ５１２：ＹＥＳ）、つまり現在の作業が完了したと判定された場合には、ステップＳ５１３へ処理が進められる。距離Ｄ２が閾値Ｔｈ２よりも大きいと判定された場合（ステップＳ５１２：ＮＯ）、つまり現在の作業が完了していないと判定された場合には、図５の処理フローが終了する。距離Ｄ２が閾値Ｔｈ２以下であることは、上述した所定の条件の一例である。
　ステップＳ５１３では、作業完了判定部２３３は、現作業フラグを更新する（１インクリメントする）ことにより、現在の作業として扱う作業を次の作業に更新する。
　次に、作業完了判定部２３３は、把持状態設定を無効にする（ステップＳ５１４）。
　作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、第１の実施形態によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。
　さらに、作業完了判定部２３３を用いたことにより、作業が正しく行われているか否かだけでなく、作業が正しく完了したか否かまで判定することができる。そして、工程の全作業を終える前に仕掛品が所定の場所に置かれたと判定した場合にも、所定の通知を行うことにより、作業の漏れをより確実に防ぐことができる。
　＜第２の実施形態＞
　本発明の第２の実施形態について説明する。
　第２の実施形態に係る作業判定システムの構成は、第１の実施形態と同様である。図６は、第２の実施形態に係るＰＣ２００の構成例を示すブロック図である。第２の実施形態に係るＰＣ２００も、第１の実施形態と同様に、入力部２１０、記憶部２２０、制御部２３０、及び、出力部２４０を有する。そして、第２の実施形態に係る制御部２３０も、第１の実施形態と同様に、部品検出部２３１、把持判定部２３２、作業完了判定部２３３、及び、通知制御部２３４を有する。但し、第２の実施形態に係る制御部２３０は、手検出部２３５をさらに有する。第２の実施形態において、後述する処理以外の処理については、第１の実施形態と同様である。
　手検出部２３５は、入力部２１０から作業画像を取得し、取得した作業画像から作業者の手を検出し、手の検出結果（手の位置など）を作業完了判定部２３３へ出力する。手検出部２３５は本発明の手検出手段の一例である。
　図７は、第２の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図７の処理フローを繰り返し実行する。図７の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図７の処理フローが繰り返されるとする。
　図７において、図５（第１の実施形態）と同じ処理には、図５と同じ符号が付されている。図７のフローチャートでは、ステップＳ５０５で把持状態設定が有効であると判定された場合（ステップＳ５０５：ＹＥＳ）に、ステップＳ５１１ではなくステップＳ７０１へ処理が進められる。
　ステップＳ７０１では、作業完了判定部２３３は、作業者が把持した部品が部品検出部２３１によって検出されているか否か（作業者が把持した部品がステップＳ５０１で検出されているか否か）を判定する。作業者が把持した部品が部品検出部２３１によって検出されていると判定された場合（ステップＳ７０１：
ＹＥＳ）には、ステップＳ５０５へ処理が進められる。作業者が把持した部品が部品検出部２３１によって検出されなくなったと判定された場合（ステップＳ７０１：ＮＯ）には、ステップＳ７０２へ処理が進められる。
　ステップＳ７０２では、手検出部２３５は、入力部２１０から作業画像を取得し、取得した作業画像から作業者の手を検出する。次に、作業完了判定部２３３は、ステップＳ７０２で検出された手の位置を、作業者が把持した部品の位置として設定する（ステップＳ７０３）。
　以上述べたように、第２の実施形態によれば、作業者が把持した部品が検出されなくなった場合に、検出された手の位置が、作業者が把持した部品の位置として用いられる。これにより、作業者が把持した部品が当該作業者の手に隠れて検出されなくなった場合でも、作業が完了したか否かを判定することができる。
　＜第３の実施形態＞
　本発明の第３の実施形態について説明する。第３の実施形態に係る作業判定システムの構成や、第３の実施形態に係るＰＣ２００の構成などは、第１の実施形態と同様である。
　図８は、第３の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図８の処理フローを繰り返し実行する。図８の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図８の処理フローが繰り返されるとする。
　図８において、図５（第１の実施形態）と同じ処理には、図５と同じ符号が付されている。図８のフローチャートでは、ステップＳ５１２で距離Ｄ２が閾値Ｔｈ２以下であると判定された場合（ステップＳ５１２：ＹＥＳ）に、ステップＳ５１３ではなくステップＳ８０１へ処理が進められる。
　ステップＳ８０１では、作業完了判定部２３３は、仕掛品に対する把持部品（作業者が把持した部品）の相対的な位置が所定の位置であるか否かを判定する。一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な位置は予め決まっていることが多い。このため、ステップＳ８０１の処理をさらに行うことにより、現在の作業が完了したか否かをより高精度に判定することができる。仕掛品に対する把持部品の相対的な位置が所定の位置であると判定された場合（ステップＳ８０１：ＹＥＳ）、つまり現在の作業が完了したと判定された場合には、ステップＳ５１３へ処理が進められる。仕掛品に対する把持部品の相対的な位置が所定の位置でないと判定された場合（ステップＳ８０１：ＮＯ）、つまり現在の作業が完了していないと判定された場合には、図８の処理フローが終了する。仕掛品に対する把持部品の相対的な位置が所定の位置であることは、第１の実施形態で述べた所定の条件の一例である。
　なお、一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な向きも予め決まっていることが多い。このため、作業完了判定部２３３は、仕掛品に対する把持部品の相対的な向きが所定の向きであるか否かを判定してもよい（第３の判定）。仕掛品に対する把持部品の相対的な位置が所定の位置であることも、第１の実施形態で述べた所定の条件の一例である。
　以下の３つの判定の少なくともいずれかを行えば、現在の作業が完了したか否か判定することができる。このため、３つの判定のうちの１つを行ってもよいし、３つ判定のうちの２つを行ってもよいし、３つの判定の全てを行ってもよい。２つの判定を行えば、１つの判定を行う場合よりも、現在の作業が完了したか否かの高精度な判定が期待できる。３つの判定を行えば、１つの判定を行う場合や、２つの判定を行う場合よりも、現在の作業が完了したか否かを高精度に判定することができる。
　・距離Ｄ２が閾値Ｔｈ２以下であるか否かの判定
　・把持部品の相対的な位置が所定の位置であるか否かの判定
　・把持部品の相対的な向きが所定の向きであるか否かの判定
　なお、把持部品の相対的な位置が所定の位置であるか否かの判定と、把持部品の相対的な向きが所定の向きであるか否かの判定とには、マージンを用いてもよい。つまり、把持部品の相対的な位置と所定の位置の差が閾値以下の場合に把持部品の相対的な位置が所定の位置であると判定し、当該差が閾値よりも大きい場合に把持部品の相対的な位置が所定の位置でないと判定してもよい。同様に、把持部品の相対的な向きと所定の向きの差（角度差など）が閾値以下の場合に把持部品の相対的な向きが所定の向きであると判定し、当該差が閾値よりも大きい場合に把持部品の相対的な向きが所定の向きでないと判定してもよい。
　ここで、上記３つの判定の全てを行う場合の具体例を説明する。図９（Ａ）～９（Ｅ）は、部品と仕掛品の状態の一例を示す。図９（Ａ）～９（Ｅ）の間で、仕掛品の位置や向きは同じである。図９（Ａ）は、部品が仕掛品に正しく取り付けられた状態を示す。図９（Ｂ）では、部品の向きが図９（Ａ）の向きである（部品の相対的な向きが所定の向きである）。しかし、距離Ｄ２が閾値Ｔｈ２以下でないし、部品の位置が図９（Ａ）の位置でもない（部品の相対的な位置が所定の位置でない）から、作業が完了していないと判定される。図９（Ｃ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の向きが図９（Ａ）の向きであるが、部品の位置が図９（Ａ）の位置でないため、作業が完了していないと判定される。図９（Ｄ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の位置が図９（Ａ）の位置であるが、部品の向きが図９（Ａ）の向きでないため、作業が完了していないと判定される。図９（Ｅ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の位置が図９（Ａ）の位置であり、且つ、部品の向きが図９（Ａ）の向きあるため、作業が完了したと判定される。
　以上述べたように、第３の実施形態によれば、作業が完了したことの所定の条件として第１の実施形態と異なる条件を用いて、第１の実施形態に準じた効果を得ることができる。また、所定の条件に複数の条件を含めることにより、作業が完了したか否かをより高精度に判定することができる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。第１～第３の実施形態に係る処理を適宜組み合わせることも可能である。
　＜付記１＞
　部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段（１０１，２１０）と、
　前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段（１０２，２３１）と、
　前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段（１０３，２３２）と、
　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段（１０４，２３４）と
を有することを特徴とする作業判定装置（１００，２００）。
　＜付記２＞
　部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得ステップ（Ｓ５００）と、
　前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップ（Ｓ５０１）と、
　前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップ（Ｓ５０６～Ｓ５０９）と、
　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップ（Ｓ５０４）と
を有することを特徴とする作業判定方法。
　１００：作業判定装置
　１０１：画像取得部　１０２：部品検出部　１０３：把持判定部　１０４：通知制御部
　１０：カメラ　２０：通知部
　２００：ＰＣ（作業判定装置）
　２１０：入力部　２２０：記憶部　２３０：制御部　２４０：出力部
　２３１：部品検出部　２３２：把持判定部　２３３：作業完了判定部
　２３４：通知制御部　２３５：手検出部
　３００：作業画像
　３０１：作業台　３０２：部品ケース　３０２ａ～３０２ｉ：部品
　３０３：仕掛品　３０４：作業者　３０５：次工程置き場
　４００：作業情報

Claims (12)

  1. 　部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段と、
    　前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段と、
    　前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段と、
    　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段と
    を有することを特徴とする作業判定装置。
  2. 　前記把持判定手段は、前記部品検出手段によって検出された部品の移動距離が第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定する
    ことを特徴とする請求項１に記載の作業判定装置。
  3. 　前記把持判定手段は、前記部品検出手段によって複数の部品が検出された場合に、前記複数の部品から、移動距離が最大の部品を選択し、選択した部品の移動距離が前記第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定する
    ことを特徴とする請求項２に記載の作業判定装置。
  4. 　前記作業と当該作業において前記仕掛品に取り付けるべき部品との対応関係を示す情報を取得する情報取得手段をさらに有し、
    　前記把持判定手段は、前記部品検出手段による検出結果と、前記情報取得手段によって取得された前記情報とに基づいて、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する
    ことを特徴とする請求項１～３のいずれか１項に記載の作業判定装置。
  5. 　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した場合に、前記部品検出手段による検出結果に基づいて、前記作業が完了したことの所定の条件が満たされたか否かを判定する作業完了判定手段をさらに有する
    ことを特徴とする請求項１～４のいずれか１項に記載の作業判定装置。
  6. 　前記所定の条件は、前記作業者が把持した部品と前記仕掛品との間の距離が第２の閾値以下となったことを含む
    ことを特徴とする請求項５に記載の作業判定装置。
  7. 　前記所定の条件は、前記仕掛品に対する前記部品の相対的な位置が所定の位置であることを含む
    ことを特徴とする請求項５または６に記載の作業判定装置。
  8. 　前記所定の条件は、前記仕掛品に対する前記部品の相対的な向きが所定の向きであることを含む
    ことを特徴とする請求項５～７のいずれか１項に記載の作業判定装置。
  9. 　前記画像取得手段は、１つ以上の作業を含み且つ前記１つ以上の作業の全てを終えた後に前記仕掛品を所定の場所に置く工程を前記作業者が行う様子を撮像した前記画像を取得し、
    　前記部品検出手段は、さらに、前記画像取得手段によって取得された前記画像から前記仕掛品を検出し、
    　前記作業完了判定手段は、さらに、前記部品検出手段による検出結果に基づいて、前記仕掛品が前記所定の場所に置かれたか否かを判定し、
    　前記通知制御手段は、さらに、前記１つ以上の作業の全てを終える前に前記仕掛品が前記所定の場所に置かれたと前記作業完了判定手段が判定した場合に、前記所定の通知を行うように制御する
    ことを特徴とする請求項５～８のいずれか１項に記載の作業判定装置。
  10. 　前記画像取得手段によって取得された前記画像から前記作業者の手を検出する手検出手段をさらに有し、
    　前記作業完了判定手段は、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した後、前記作業者が把持した部品が前記部品検出手段によって検出されなくなった場合に、前記手検出手段によって検出された手の位置を、前記作業者が把持した部品の位置として用いる
    ことを特徴とする請求項５～９のいずれか１項に記載の作業判定装置。
  11. 　部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得ステップと、
    　前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップと、
    　前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップと、
    　前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップと
    を有することを特徴とする作業判定方法。
  12. 　請求項１１に記載の作業判定方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2021/019506 2020-06-29 2021-05-24 作業判定装置および作業判定方法 WO2022004189A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180039479.8A CN115699089A (zh) 2020-06-29 2021-05-24 作业判定装置以及作业判定方法
US17/928,583 US20230237637A1 (en) 2020-06-29 2021-05-24 Operation determination apparatus and operation determination method
DE112021003451.0T DE112021003451T5 (de) 2020-06-29 2021-05-24 Arbeitsvorgangsbestimmungseinrichtung und arbeitsvorgangsbestimmungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-111328 2020-06-29
JP2020111328A JP7491089B2 (ja) 2020-06-29 2020-06-29 作業判定装置および作業判定方法

Publications (1)

Publication Number Publication Date
WO2022004189A1 true WO2022004189A1 (ja) 2022-01-06

Family

ID=79315901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019506 WO2022004189A1 (ja) 2020-06-29 2021-05-24 作業判定装置および作業判定方法

Country Status (5)

Country Link
US (1) US20230237637A1 (ja)
JP (1) JP7491089B2 (ja)
CN (1) CN115699089A (ja)
DE (1) DE112021003451T5 (ja)
WO (1) WO2022004189A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
JP2011200331A (ja) * 2010-03-24 2011-10-13 Fuji Xerox Co Ltd 位置計測システム、位置計測装置及び位置計測プログラム
JP2017147689A (ja) * 2016-02-19 2017-08-24 富士通株式会社 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
JP2011200331A (ja) * 2010-03-24 2011-10-13 Fuji Xerox Co Ltd 位置計測システム、位置計測装置及び位置計測プログラム
JP2017147689A (ja) * 2016-02-19 2017-08-24 富士通株式会社 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム

Also Published As

Publication number Publication date
US20230237637A1 (en) 2023-07-27
CN115699089A (zh) 2023-02-03
JP2022010646A (ja) 2022-01-17
DE112021003451T5 (de) 2023-04-20
JP7491089B2 (ja) 2024-05-28

Similar Documents

Publication Publication Date Title
JP6534499B1 (ja) 監視装置、監視システム、及び、監視方法
US8731276B2 (en) Motion space presentation device and motion space presentation method
WO2021082644A1 (zh) 一种故障检测方法及装置、存储介质
CN104811660B (zh) 控制装置及控制方法
JP2018126857A5 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
JP6783713B2 (ja) 人行動推定システム
JP2015526168A5 (ja)
JPWO2017104835A1 (ja) 設定支援装置、設定支援方法及びコンピュータプログラム
WO2018087844A1 (ja) 作業認識装置および作業認識方法
US20180121784A1 (en) Conversation control system
JP7234787B2 (ja) 作業分析装置、作業分析方法およびプログラム
JP6499716B2 (ja) 形状認識装置、形状認識方法及びプログラム
JP2019514125A (ja) 口腔ヘルスケアデバイスのユーザの動きを検出してフィードバックを提供するシステム及び方法
WO2021020500A1 (ja) 情報処理装置、及び、マーケティング活動支援装置
WO2022004189A1 (ja) 作業判定装置および作業判定方法
JP2019093152A5 (ja)
JP2016116137A (ja) 画像処理装置、画像処理方法、及び、プログラム
US11363241B2 (en) Surveillance apparatus, surveillance method, and storage medium
JP2012141884A (ja) 評価支援装置および評価支援システム
JP2019200718A (ja) 監視装置、監視方法及びプログラム
JP7041046B2 (ja) グループ推定装置及びグループ推定方法
JPWO2021149274A5 (ja)
WO2017141570A1 (ja) 監視装置、制御装置、制御システム、監視方法およびプログラム
JP7408731B1 (ja) 行動検知方法、行動検知装置、行動検知システム
JP2015112215A (ja) オフィス空間モニタリングシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832883

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21832883

Country of ref document: EP

Kind code of ref document: A1