JP2016157357A - 作業者品質管理方法及び作業者品質管理装置 - Google Patents

Abstract

【課題】同一の作業を繰り返し行うことを特徴とする作業現場の画像から、各作業者の作業状況が正常であったか異常であったかを自動判定する。
【解決手段】繰り返しの動作が行われる作業に対する作業者の作業品質管理方法であって、過去の作業者の動線データ、当該作業対象品の過去の中間品質データ、当該作業対象品の過去の最終品質データから、前記動線データ及び前記中間品質データを入力とし、前記最終品質データを出力とする予測モデルを統計的に構築するモデル構築ステップ１０２と、撮像された画像データから、作業者の位置を認識する作業者位置認識ステップ１０４と、前記作業者位置認識ステップで認識した作業者位置を、前記モデル構築ステップで構築したモデルに代入し、対象の作業が正常であるか異常であるかを判定する作業者位置異常判定ステップ１０５と、を有する。
【選択図】図１

Description

本発明は作業者品質管理方法及び作業者品質管理装置に関する。

本技術分野の背景技術として、特開2010-211626号公報(特許文献1)がある。この公報には、「動線モニタリングシステムは、搬送装置に搬送される第１及び第２の移動体を撮像した時系列撮像データを生成する撮像装置２００と、時系列撮像データから、第１の移動体の特徴点の位置を時系列に抽出する特徴点抽出手段１４０と、時系列撮像データから求められた、第１の移動体の特徴点に対する第２の移動体の相対位置に基づいて、第１の移動体を静止させた状態で示す基準座標上における第２の移動体の時系列位置座標を算出する時系列位置座標算出手段１５０と、基準座標上における第２の移動体の時系列位置座標を蓄積するデータ蓄積部１７０と、を備える」と記載されている。

特開2010-211626号公報

前記特許文献1には、移動体の動線を撮像データから取得する技術が記載されている。しかし、特許文献1では、取得した動線が正常であるか、異常であるかを判定することができない。

本発明の目的は、同一の作業を繰り返し行うことを特徴とする作業現場の画像から、各作業者の作業状況が正常であったか異常であったかを自動判定することにある。

上記課題を解決するために、例えば特許請求の範囲に記載の方法を採用する。

代表的な手段として、撮像データから取得した作業者の位置（本体位置や間接位置）データと品質検査結果の関係を統計的にモデル化し、判定対象の位置データまたは間接の位置データをモデルに代入することで、動線が正常であるか、異常であるかを判定する方法がある。

本発明によれば、同一の作業を繰り返し行うことを特徴とする作業現場において、各作業者の作業状況が正常であったか異常であったかを自動判定することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

作業者品質管理方法の処理フロー図である。 過去の動線データの例である。 品質データの例である。 距離行列の例である。 Bayesian Networkにおけるネットワーク構造を格納した例である。 Bayesian Networkにおける条件付き確率の例である。 作業品質管理方法およびシステムの二つ目の実施形態の処理フロー図である。 作業状態フラグの例である。 作業品質管理方法およびシステムの二つ目の実施形態の例におけるブロック図である。 異常度推移表示画面の例である。 標準動線比較結果表示画面の例である。 作業時間推移表示画面の例である。 標準動線定義画面の例である。 検知条件設定画面の例である。 確率分布を推定するための処理方法である。

以下、実施例について、図面を用いて説明する。

図１は、作業品質管理方法及び作業者品質管理装置の処理フロー図である。

本実施例は、過去の動線データと、製品完成前の各作業の数値検査である中間品質データと、製品完成後に製品として出荷可能か否かを判定する最終品質データとを取得する過去データ取得ステップ101と、取得した過去データから統計モデルを構築するモデル構築ステップ102と、カメラなどのデバイスで撮像した画像（動画または所定時間間隔で取得した連続的な静止画である。）データを取得する画像データ取得ステップ103と、画像データに含まれる作業者を認識し、その作業者の位置情報を取得する作業者位置認識ステップ104と、作業者位置認識ステップで認識した位置情報である動線データ（重心位置などの作業者全体の動線データまたは頭や関節（肩、肘、膝など）といった作業者の体の一部の動線データ）を前記モデル構築ステップ102で構築したモデルに代入し、正常であるかを判定する作業者位置異常判定ステップ105からなる。

過去データ取得ステップ101では、過去に認識した動線データと、過去の中間品質データ、過去の最終品質データを取得する。

図2に、上記の過去データ取得ステップ101で取得した、過去の動線データの例を示す。

201は対象の画像データのフレームNoを示している。202〜207は取得した作業者の重心、頭の位置、肩の位置のそれぞれのXY座標を示している。208は、対象の画像データの作業開始からの経過時間を示している。

図3に、品質データの例を示す。上記の過去データ取得ステップ101では、中間品質データおよび最終品質データをこのテーブルで取得する。1列目が製品を識別するための製品ID、2列目以降が品質データを示している。

モデル構築ステップ102では、上記の過去データ取得ステップ101で取得した過去データをもとに、動線データと中間品質データを入力とし、最終品質データを予測し、出力とする統計モデルを構築し、DB部901に格納する。この処理は後述する統計モデル構築エンジンが行う。

動線データは、製品IDごとに長さが異なっているので、距離行列に変換する。

図4に距離行列の例を示す。1列目は製品IDを示している。また、例えば、図4の表の2行3列成分は、製品ID１に対する作業者の動線データと製品ID2に対する動線データの距離を示している。距離の例としては、グロモフ・ハウスドルフ距離がある。

次に、距離行列と、中間品質データと最終品質データを製品IDをキーとして、列方向に結合した行列を作成し、統計モデルを構築する。統計モデルの例として、Bayesian Networkなどがある。Bayesian Networkとは、条件付き確率を持つ、有向ネットワークである。

図5にBayesian Networkにおけるネットワーク構造を格納した例を示す。行方向が子ノード、列方向が親ノードを示している。例えば、2行5列目の値が1になっているが、これは、対製品ID＝１距離と中間品質データ1の間に親子関係が存在することを示している。すなわち、中間品質データ1と、対製品ID=1距離は、エッジで接続されており、向きは、中間品質データ1が根本で、対製品ID=1距離が行先である。

図6は、Bayesian Networkにおける条件付き確率の例を示したものである。対象ノード601、親ノード602がそれぞれ、対象のノードを表している。条件付き確率603の数字が確率の値を示している。

画像データ取得ステップ103は、作業現場に設置したカメラなどの電子デバイスから、あるいは、過去に取得した画像データをデータベースから、画像データを取得するステップである。利用できる電子デバイスには、カメラやカメラ画像と深度センサデータを組み合わせた３Dカメラなどがある。

取得する画像データは、電子デバイスから、最新の画像を１フレームのみ取得する方法や、データベースに保存されている過去に取得した画像データと合わせて、複数フレームを取得する方法などがある。

作業者位置認識ステップ104は、取得した画像データ内に写っている作業者を探索し、画像データ内における作業者の重心、頭の位置と肩の位置のXY座標と、作業開始からの経過時間を取得するステップである。

作業者を探索する方法としては、事前に、作業者の写っている画像データと作業者の写っていない画像データをコンピュータに入力し、機械学習技術を用いて、画像データから、作業者が映っているか否かを判断するためのモデルを構築しておき、それを利用する方法や、複数フレームの画像を比較し、動いている物体を抽出し、それを作業者（作業者本体や作業者の体の一部）とみなす方法がある。

作業開始からの経過時間を取得する方法としては、工場の製造実行システムの着完来歴から、作業開始及び終了時刻を取得し、画像データを電子デバイスから取得した時刻と比較する方法や、画像データから作業内容を推定し、作業開始からの経過時間を取得する方法がある。

作業者位置異常判定ステップ105は、作業者位置認識ステップ104で認識した作業者の位置情報をモデル構築ステップ102で構築した予測モデルに代入することで、作業者の位置が正常であるか異常であるかを判定するステップである。

正常時の位置情報のモデルとしては、標準的な位置データの推移を格納しておき、それを用いる方法や、過去の位置データからどの位置に存在している確率がどの程度であるかを示した確率分布を格納しておき、それを用いる方法がある。

図7は、作業品質管理方法およびシステムの二つ目の実施形態の処理フロー図である。

本実施例の処理の流れは、カメラなどのデバイスから画像データを取得する画像データ取得ステップ701と、現時点で、作業状況が作業中であるか、作業中でないかを判定する作業状態判定ステップ702と、取得した画像データから、作業が開始されたかどうかを判定する作業開始認識ステップ703と、作業者の位置を認識する作業者位置認識ステップ704と、作業者の位置が正常であるか異常であるかを判定する作業者位置異常検知ステップ705と、取得した画像データから、作業が終了したかどうかを認識する作業終了認識ステップ706と、認識した作業開始、終了時刻から、作業時間を算出し、作業時間が異常であるか正常であるかを認識する作業時間異常検知ステップ707と、作業開始時刻から作業終了時刻までの間の作業者の位置を動線として認識する動線認識ステップ708と、認識した動線データが異常であるか、正常であるかを判定する動線異常検知ステップ709とを有する。

画像データ取得ステップ701は、図1における過去データ取得ステップ101と同様の処理を行う。

作業状態判定ステップ702は、メモリ上に格納された作業状態フラグにアクセスし、作業状態が作業中であるか、作業中でないかに関する情報を取得する。

図8に、作業状態フラグの例を示す。作業状態フラグ801には作業中であるという情報が保存されている。作業中でないことを示す場合の格納方法として、非作業中という情報を保持する方法などがある。

作業状態判定ステップ702では、作業状態フラグが作業中であった場合、作業者位置認識ステップ704に進み、作業状態フラグが作業中でない場合、作業開始認識ステップ703に進む。これらの処理は作業状態判定エンジンが行う。

作業開始認識ステップ703では、過去の複数フレームの画像における個々の画像の特徴量の推移から、作業の開始を判定する。作業が開始されていない場合は作業状態判定ステップ702に戻る。作業が開始されている場合は作業者位置認識ステップ704に進む。なお、この判定は後述する作業開始判定エンジンが後述する作業開始判定モデルを用いて行う。この作業開始判定モデルを用いた判定方法としては、過去の複数フレームの画像における特徴量の推移と予め設定しておいたしきい値を比較することで、作業開始を認識する方法や、過去の複数フレームの画像における特徴量の推移と、各時刻において、作業中であったか否かのデータから、機械学習技術により、作業中であったか否かを予測する予測モデルを構築する方法などがある。

作業者位置認識ステップ704は、図1における作業者位置認識ステップ104と同様の処理を行う。この処理は後述する作業者位置認識エンジンが行う。

作業者位置異常検知ステップ705は、作業者位置認識ステップ704で認識した作業者の位置情報と、予め設定してある正常時の位置情報モデルとを比較して、作業者の位置が正常であるか異常であるかを判定するステップである。この処理は、後述する作業者位置異常検知エンジンが作業位置異常検知モデルを使って行う。

正常時の位置情報のモデルとしては、標準的な位置データの推移（標準動線）を格納しておき、それを用いる方法や、過去の位置データから、どの位置に存在している確率がどの程度であるかを示した確率分布を格納しておき、それを用いる方法などがある。
作業終了認識ステップ706では、過去の複数フレームの画像における個々の画像の特徴量の推移から、作業の終了を判定する。作業が終了していないと判定した場合、画像データ取得ステップ701に戻る。作業が終了していると判定した場合、作業時間異常検知ステップ707に進む。判定は後述する作業終了判定エンジンが後述する作業終了判定モデルを使って行う。判定する方法としては、過去の複数フレームの画像における特徴量の推移と予め設定しておいたしきい値を比較することで、作業終了を認識する方法や、過去の複数フレームの画像における特徴量の推移と、各時刻において、作業中であったか否かのデータから、機械学習技術により、作業中であったか否かを予測する予測モデルを構築する方法などがある。

作業時間異常検知ステップ707では、作業開始認識ステップ703で認識した作業開始時刻と作業終了認識ステップ706で認識した作業終了時刻との差から作業時間を取得し、予め設定しておいたしきい値と比較し、しきい値との差を異常度とし、異常度が一定値以上であるものを以上と判定し、異常度が一定値未満であれば作業が正常であると判定する方法などがある。この異常度は後述するように表示してもよい。これらの処理は後述する作業時間異常検知エンジンが後述する作業時間異常検知モデルを使って行う。

動線認識ステップ708では、作業位置認識ステップ704で認識した各時刻における作業者位置を基に、各作業者毎の動線データを生成する。この動線データの生成は、後述する動線認識エンジンが後述する動線検知モデルを使って行う。

動線データの生成方法は、時刻t-1と時刻tにおける作業者位置を基に、時刻t+1における位置を予測し、最も近い位置にある作業者位置が、該当の作業者の時刻t+1における位置とみなして、動線を推定する方法などがある。時刻t+1における位置を予測する方法としては、例えば、状態空間モデルなどがある。

動線異常検知ステップ709では、動線認識ステップ708で認識した動線が正常であるか、異常であるかを判定するステップである。この判定は、後述する動線異常検知エンジンが後述する動線異常検知モデルを使って行う。

判定する方法としては、予め設定しておいた、標準的な動線データとの差を算出し、予め設定しておいたしきい値と比較する方法などがある。

このとき、差の算出方法としては、グロモフ・ハウスドルフ距離などがある。

また、そのほかの異常判定方法として、動線データを、1点が動線データからなる空間に埋め込み、同様の埋め込み写像で、過去の動線データも埋め込み、確率分布を推定し、異常判定対象の動線の生起確率を算出する方法などがある。

埋め込み方としては、1点が1次元多様体からなる集合に、グロモフ・ハウスドルフ距離を入れて、距離化した空間に埋め込む方法などがある。

図9は、作業品質管理方法およびシステムの二つ目の実施形態の例におけるブロック図を示している。

DB部901は、作業開始判定モデル、作業位置検知モデル、作業終了判定モデル、作業時間異常検知モデル、動線検知モデル、動線異常検知モデル、過去データからなり、センサ部902、エンジン部903とネットワークで接続されている。

センサ部902は、カメラと３Dカメラを備え、DB部901とエンジン部903とネットワークで接続されている。

エンジン部903は、作業開始判定エンジン、作業終了判定エンジン、作業状態判定エンジン、作業者位置認識エンジン、作業者位置異常検知エンジン、動線認識エンジン、動線異常検知エンジン、作業時間異常検知エンジン、統計モデル構築エンジンを備え、DB部901、センサ部902、表示部904とネットワークで接続されている。

表示部904は、異常度推移表示画面、標準動線比較結果表示画面、作業時間推移表示画面、標準動線定義画面、検知条件設定画面からなり、エンジン部903とネットワークで接続されている。

図10に異常度推移表示画面の例を示す。横軸が処理時刻、縦軸が異常度を示している。横軸は、処理時刻以外にも、処理IDとする方法もある。縦軸の異常度は、作業時間異常検知ステップ707で求めた異常度である。

図11に標準動線比較結果表示画面の例を示す。異常検知対象の動線（Target Path）1101と、標準動線（Normal Path）1102を重ね合わせた図である。検知対象の動線と標準動線は、動線異常検知ステップ709で用いたものである。

図12に作業時間推移表示画面の例を示す。横軸が処理時刻、縦軸が各作業に要した作業時間を示している。横軸は、処理時刻以外にも、処理IDとする方法もある。

図13に標準動線定義画面の例を示す。標準動線定義画面では、エッジでつながれたノード1301をマウス操作で自由に移動できる画面などがある。各ノードには、各ノードが観測されるべき時刻1302が紐づいており、時刻情報もユーザが編集できる。標準動線は、動線異常検知ステップ709で用いるものである。

図14に検知条件設定画面の例を示す。本画面では、注意しきい値や警告しきい値、標準の作業時間などを設定することができる。

図15に、図1における作業者位置異常判定ステップ705で用いた確率分布を推定するための処理方法を示す。

本処理は、過去の動線データを取得する過去の動線データ取得ステップ1501、過去の動線データから、モデル構築に用いるデータを選別する過去の動線データ選別ステップ1502、選別したデータから確率分布を推定する確率分布推定ステップ1503からなる。

過去の動線データ取得ステップ1501では、予め指定した期間における動線データを取得する。

過去の動線データ選別ステップ1502では、取得したデータの作業時間や、異常検知結果から、正常な動線のみを選別する。

確率分布推定ステップ1503では、選別した動線データから、確率分布を推定する。このとき、正規分布のような分布族のみを予め決めておき、パラメータをデータから推定する方法や、カーネル密度推定のように、分布族を前提としないノンパラメトリック推定などがある。

101…過去データ取得ステップ、102…モデル構築ステップ、103…画像データ取得ステップ、104…作業位置認識ステップ、105…作業者位置異常判定ステップ、201…フレームNo、202…重心のX座標、203…重心のY座標、204…頭のX座標、205…頭のY座標、206…肩のX座標、207…肩のY座標、208…経過時間、601…対象ノード、602…親ノード、603…条件付き確率、701…画像データ取得ステップ（画像取得ステップ）、702…作業状態判定ステップ、703…作業開始認識ステップ、704…作業者位置認識ステップ、705…作業者位置異常検知ステップ、706…作業終了認識ステップ、707…作業時間異常検知ステップ、708…動線認識ステップ、709…動線異常検知ステップ、801…作業状態フラグ、901…DB部、902…センサ部、903…エンジン部、904…表示部、1101…異常検知対象の動線、1102…標準の動線、1301…ノード、1302…時刻、1501…過去の動線データ取得ステップ、1502…過去の動線データ選別ステップ、1503…確率分布推定ステップ

Claims (6)

1. 繰り返しの動作が行われる作業に対する作業者の作業品質管理方法であって、
   作業が撮像された画像データを取得する画像データ取得ステップと、
   画像データから、作業者の位置を認識する作業者位置認識ステップと、
   過去の作業者の動線データと中間品質データと過去の最終品質データから統計的に構築した予測モデルを取得する予測モデル取得ステップと、
   前記作業者位置認識ステップで認識した作業者位置を、前記予測モデルに代入し、対象の作業が正常であるか異常であるかを判定する作業者位置異常判定ステップと、
   を有することを特徴とする作業品質管理方法。
2. 請求項１において、
   前記モデル構築ステップでモデル構築に用いる作業者の動線データは、作業者の重心、頭位置または関節位置の動線データを含み、
   前記作業者位置認識ステップで、作業者の位置として、作業者の重心、頭または関節の位置を認識することを特徴とする作業品質管理方法。
3. 請求項１において、
   前記異常の判定は、異常度を用いて判定し、
   前記異常度を表示するステップを有することを特徴とする作業品質管理方法。
4. 繰り返しの動作が行われる作業に対する作業者の作業品質管理装置であって、
   ＤＢ部とエンジン部とを備え、
   前記ＤＢ部は、作業が撮像された画像データと、
   過去の作業者の動線データと中間品質データと過去の最終品質データから統計的に構築した予測モデルと、
   を備え、
   前記エンジン部は、
   作業が撮像された画像データを取得する画像データ取得ステップと、
   画像データから、作業者の位置を認識する作業者位置認識ステップと、
   過去の作業者の動線データと中間品質データと過去の最終品質データから統計的に構築した予測モデルを取得する予測モデル取得ステップと、
   前記作業者位置認識ステップで認識した作業者位置を、前記予測モデルに代入し、対象の作業が正常であるか異常であるかを判定する作業者位置異常判定ステップと、
   を実行することを特徴とする作業品質管理装置。
5. 請求項４において、
   前記モデル構築ステップでモデル構築に用いる作業者の動線データは、作業者の重心、頭位置または関節位置の動線データを含み、
   前記作業者位置認識ステップで、作業者の位置として、作業者の重心、頭または関節の位置を認識することを特徴とする作業品質管理装置。
6. 請求項４において、
   前記エンジン部は、前記異常の判定を異常度を用いて行い、前記異常度を表示する異常度推移表示画面を表示装置に表示させるステップを実行することを特徴とする作業品質管理装置。

Images