JP2013097466A - Work support system, work support method, and terminal for work - Google Patents
Work support system, work support method, and terminal for work Download PDFInfo
- Publication number
- JP2013097466A JP2013097466A JP2011237891A JP2011237891A JP2013097466A JP 2013097466 A JP2013097466 A JP 2013097466A JP 2011237891 A JP2011237891 A JP 2011237891A JP 2011237891 A JP2011237891 A JP 2011237891A JP 2013097466 A JP2013097466 A JP 2013097466A
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- gaze
- worker
- procedure manual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 456
- 230000000007 visual effect Effects 0.000 claims abstract description 53
- 239000000284 extract Substances 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 57
- 238000003860 storage Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 31
- 230000010365 information processing Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 17
- 238000003780 insertion Methods 0.000 description 15
- 230000037431 insertion Effects 0.000 description 15
- 230000007547 defect Effects 0.000 description 13
- 230000002250 progressing effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012966 insertion method Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、作業支援システムに関し、特に、作業手順書に基づいて作業者の安全かつ適切な作業を支援する作業支援システムに関するものである。 The present invention relates to a work support system, and more particularly to a work support system that supports a worker's safe and appropriate work based on a work procedure manual.
建設工事または保全工事等の現場においては、作業不備および事故を未然に防止することが重要な課題である。作業不備および事故を防止するためには、通常、作業を実施する各作業員に、作業対象および作業手順の確認および慎重な作業進行の徹底等が図られているが、疲労および集中力の低下、不注意等に起因するヒューマンエラーを撲滅するには至っていないのが現状である。 In construction work or maintenance work, it is important to prevent work defects and accidents before they occur. In order to prevent work defects and accidents, each worker who performs the work usually confirms the work object and work procedure and carefully progresses the work, but the fatigue and concentration are reduced. The current situation is that human error caused by carelessness has not been eradicated.
この問題を解決するため、ＩＴ技術を用いることにより、作業が適切に進行しているか否かを判定する、または、作業者が作業内容を理解して作業を進めているか否かを判定することにより、作業不備および事故を未然に防止するための作業支援技術が検討されてきた（例えば、特許文献１、特許文献２、および特許文献３参照）。
To solve this problem, use IT technology to determine whether the work is progressing properly or to determine whether the worker understands the work and is working. Therefore, work support technologies for preventing work defects and accidents have been studied (see, for example, Patent Document 1,
特許文献１では、ＩＣタグ等によって作業対象に識別情報を付与し、作業の開始時および終了時に読取り装置を用いて読み取った識別情報に基づいて、作業が正しく進行しているか否かを判定する技術が開示されている。 In Patent Document 1, identification information is given to a work target using an IC tag or the like, and it is determined whether or not the work is proceeding correctly based on the identification information read using a reading device at the start and end of the work. Technology is disclosed.
また、特許文献２では、各種センサを作業対象の機器または作業者に付与することによって、作業中に各種センサから取得された機器の使用状況および作業者の位置等の情報と、あらかじめ作業毎に想定されるセンサ情報とを比較する技術が開示されている。そして、特許文献２では、比較結果に従って、どの作業が実施されたかを判定し、また、実施された作業を一覧表示する技術が開示されている。
Further, in
一方、特許文献３では、計算機における作業を想定した技術が開示されており、利用者の計算機における操作情報を取得し、あらかじめ用意されている基準となる操作情報との類似度に基づいて、作業者が作業内容を理解しながら作業を進めているか否かを判定する技術が開示されている。 On the other hand, Patent Document 3 discloses a technique that assumes work in a computer, obtains operation information in a user's computer, and works based on a similarity with reference operation information prepared in advance. A technique for determining whether or not a person is working while understanding the content of the work is disclosed.
前述の特許文献１および特許文献２が開示する従来技術では、管理者が、ＩＣタグもしくは各種センサ等を作業対象もしくは作業機材等に設置すること、または、ＩＣタグもしくは各種センサが装備された新たな装置を、各システムに導入することが前提となる。また、管理者が、ＩＣタグもしくは各種センサから入力される情報と各作業とを対応付ける情報とを、データベースとしてあらかじめ正しく整備するなどの、準備をしておく必要がある。
In the prior art disclosed in Patent Document 1 and
しかし、大規模な作業現場の場合、多数の作業対象または作業機材を使用するため、それらの作業対象または作業機材をすべて整備し、適切に管理するためには多大な労力を要する。このため、特許文献１および特許文献２における従来技術による作業支援技術を導入することは容易では無いという問題がある。また、特許文献３が開示する技術についても、建設工事または保全工事の現場を対象とする場合、管理者が、特許文献１および特許文献２にあるようなＩＣタグまたは各種センサを事前に多数設置しておく必要があり、特許文献１及び特許文献２における前述の問題と、同様の問題が生じる。
However, in the case of a large-scale work site, since a large number of work objects or work equipment are used, it takes a lot of labor to prepare all of the work objects or work equipment and to manage them appropriately. For this reason, there exists a problem that it is not easy to introduce the work support technology by the prior art in patent document 1 and
さらに、特許文献１が開示する技術を導入する場合、作業者が、読取り装置を用いて識別情報を読み取る、という通常の作業では発生しない新たな作業を行う必要が生じる。詳細に作業状況を判定するためには、このような新たな作業が多数発生することになり、それらが作業者の負担となり、その結果、作業不備および事故を発生させる可能性が高くなるという問題が生じる。 Furthermore, when the technique disclosed in Patent Document 1 is introduced, an operator needs to perform a new operation that does not occur in a normal operation of reading identification information using a reading device. In order to determine the work situation in detail, there will be a lot of such new work, which will be a burden on the worker, and as a result, there is a high possibility that work defects and accidents will occur. Occurs.
本発明の目的は、作業の進行状況が適切であるか否かを客観的に判定することにより、作業不備および事故を未然に防止するための作業支援技術を実現することにあり、特に、作業現場への導入が容易で、かつ、新たな作業の発生等による作業者への負担が少ない作業支援技術を実現することにある。 An object of the present invention is to realize work support technology for preventing work defects and accidents by objectively determining whether or not the progress of work is appropriate. The object is to realize a work support technology that is easy to introduce on the site and has a low burden on the worker due to the occurrence of new work.
本発明の代表的な一例を示せば以下の通りである。すなわち、作業者に作業手順書を表示する出力装置を備えた作業支援システムであって、前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、前記作業支援システムは、プロセッサとメモリと入力装置とを備え、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、前記作業画像列から抽出された作業画像を、前記出力装置に表示する出力部と、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、前記出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する。 A typical example of the present invention is as follows. That is, a work support system including an output device that displays a work procedure manual to an operator, the work procedure manual including a work image indicating work performed by the worker, and the work support system includes a processor An image sequence generation unit that generates a work image sequence including the work images in the order of work performed by the worker from the work procedure manual input to the work support system. The work image extracted from the work image sequence is displayed on the output device, and a plurality of visual field images including images in a direction viewed by the worker obtained via the input device are used for the work. A gaze image extraction unit that extracts a gaze image including an image of a specific object that the person is gazeing at, the extracted gaze image, and the extracted gaze image when the extracted gaze image is acquired as the visual field image A similarity calculation unit for calculating a similarity between the first work image displayed by the output unit and whether or not the worker is appropriately performing the work. An operation time determination unit that determines using the elapsed time from, the extracted gaze image, or the calculated similarity, and the output unit according to the determination result by the work state determination unit, Information related to work performed by the worker is output to the output device.
本発明の一実施形態によると、作業不備および事故を未然に防止するための作業支援システムを、作業現場へ容易に導入できる。 According to one embodiment of the present invention, a work support system for preventing work defects and accidents can be easily introduced to a work site.
本発明は、作業者の視野画像から抽出された注視画像に基づいて、作業者の作業の進捗を判定することによって、作業不備および事故を未然に防止する。 The present invention prevents work defects and accidents by determining the progress of the worker's work based on the gaze image extracted from the worker's visual field image.
（第１の実施形態）
本発明における第１の実施形態を図１から図１１を用いて説明する。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS.
図１は、本発明の第１の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。 FIG. 1 is a block diagram showing a physical configuration when the work support system according to the first embodiment of the present invention is mounted on a computer that is generally used.
第１の実施形態の作業支援システムは、情報処理装置１０１、入力装置１０２、出力装置１０３、記憶装置１０４、作業手順書１１０、及び、作業画像列１１１を有する。作業支援システムに含まれる各要素は、一つの計算機に格納され、バスによって接続されてもよく、また、複数の計算機に格納され、ネットワークインタフェースを介して接続されてもよい。
The work support system according to the first embodiment includes an
情報処理装置１０１は、第１の実施形態の作業支援システムに必要な各種のプログラムを実行するための情報処理装置である。情報処理装置１０１は、例えば、ＣＰＵ等のプロセッサである。
The
入力装置１０２は、作業支援システムに必要な情報を取得するための入力装置である。入力装置１０２は、例えば、作業者の顔が向いている方向の映像である視野映像を取得するためのビデオカメラ、または、視野映像中における作業者の視線位置を取得するための視線入力装置でもよい。また、作業手順書の編集または注意喚起情報に対する作業者または管理者による操作等を行うためのキーボード、マウス、またはタッチパネル等の一般的な入力装置が含まれる。
The
出力装置１０３は、作業手順書の表示および注意喚起の提示等に使用される出力装置である。出力装置１０３は、一般的なパソコン等に用いられるモニタ、スピーカ、または、振動装置等が含まれる。出力装置１０３は、作業手順書の編集のためにも使用される。
The
記憶装置１０４は、作業支援システムに必要な各種のプログラム、および、処理の途中経過に関する情報を格納するための記憶装置である。記憶装置１０４は、例えば、一時的にデータを記憶するメモリ等である。
The
記憶装置１０４は、作業画像列生成プログラム１０５、注視画像抽出プログラム１０６、類似度計算プログラム１０７、作業状況判定プログラム１０８、および、表示プログラム１０９を有する。
The
作業画像列生成プログラム１０５は、後述の作業手順書から、各作業に対応する画像である作業画像を抽出し、抽出された作業画像に基づいて、作業画像列を生成するためのプログラムである。本実施形態の作業画像列とは、抽出された作業画像を作業手順の順に保持する情報の集合である。
The work image
注視画像抽出プログラム１０６は、入力装置１０２から入力された視野映像から、作業者が特定の対象物を注視している際の画像である注視画像を抽出するためのプログラムである。本実施形態の注視画像とは、作業者が特定の対象物を所定の時間の間、見続けている（注視している）場合に、作業者によって注視されている特定の対象物を含む画像である。
The gaze
類似度計算プログラム１０７は、注視画像抽出プログラム１０６および後述の作業状況判定プログラム１０８において、画像間の類似度を算出するために使用されるプログラムである。
The
作業状況判定プログラム１０８は、作業画像と注視画像との類似度に基づいて、作業が適切に終了したか否か、または、作業が適切に進行しているか否か、等の作業状況を判定するためのプログラムである。作業が適切に終了していない、または、作業が適切に進行していない、と作業状況判定プログラム１０８によって判定された場合、作業状況判定プログラム１０８は、後述の表示プログラム１０９を用いることによって、出力装置１０３に注意喚起を示す情報を出力する。
Based on the similarity between the work image and the gaze image, the work
表示プログラム１０９は、作業手順書の内容または注意喚起を示す情報を出力装置１０３に表示するために使用されるプログラムである。
The
作業手順書１１０および作業画像列１１１は、情報を蓄積するための記憶領域であり、例えば、ＨＤＤ等の記憶装置に格納される。作業手順書１１０および作業画像列１１１は、一つの記憶装置に格納されてもよく、また、異なる記憶装置に格納されてもよい。
The
作業手順書１１０には、一連の作業手順における各作業に関する内容を示す作業手順書が格納される。本実施形態における作業に関する内容には、文字および記号の他、図面または写真等の画像情報が含まれる。 The work procedure manual 110 stores a work procedure manual showing contents related to each work in a series of work procedures. The contents regarding the work in the present embodiment include image information such as drawings or photographs in addition to characters and symbols.
なお、作業手順書１１０に含まれる画像情報は、作業手順書１１０とは別の記憶領域に格納されてもよく、作業手順書１１０には、対応する画像情報の格納領域または対応する画像を特定するための情報のみが含まれてもよい。
Note that the image information included in the
作業画像列１１１には、作業画像列生成プログラム１０５によって作業手順書から生成された作業画像列が格納される。
The
図２は、本発明の第１の実施形態の作業者が参照する作業手順書を示す説明図である。 FIG. 2 is an explanatory diagram illustrating a work procedure manual referred to by the worker according to the first embodiment of this invention.
図２に示す作業手順書は、本実施形態において、作業者によって直接参照される作業手順書である。なお、作業手順書から作業画像列を生成できれば、本実施形態の作業手順書は、図２に示す作業手順書に限られず、いかなる形式の作業手順書でもよい。 The work procedure manual shown in FIG. 2 is a work procedure manual that is directly referred to by the worker in this embodiment. If the work image sequence can be generated from the work procedure manual, the work procedure manual of the present embodiment is not limited to the work procedure manual shown in FIG.
図２に示す作業手順書は、領域２０１〜領域２１１を含む。領域２０１は、作業手順書のタイトルを示す。
The work procedure manual shown in FIG. 2 includes
作業手順書は、一般的に、複数の細かい作業によって構成される。領域２０２および領域２０６は、各作業の概要および種類等を示す見出しを示す。領域２０３および領域２０７は、各作業の内容に関する詳細な説明を示す。
The work procedure manual is generally composed of a plurality of detailed operations. An
領域２０４、領域２０８および領域２１０は、各作業の内容に関連する写真または図面等の画像（以下、作業画像と記載）を示す。領域２０５、領域２０９および領域２１１は、各作業画像の説明文を示す。
An
図２に示すように、作業画像およびその説明文は、領域２０２および領域２０６が示す各作業に複数含まれてもよい。また、図２に示す作業手順書は、一連の作業手順が複数の作業により構成される形態であるが、各作業はさらに細かい作業の列によって構成されるてもよく、すなわち、作業手順が複数の階層の作業に細かく再分化されて記載されてもよい。
As shown in FIG. 2, a plurality of work images and explanations thereof may be included in each work indicated by the
図２に示す作業手順書は、紙に印刷された状態、または、画面に表示された作業手順書を示すが、本発明における作業支援システムは、図１の作業手順書１１０に電子的に格納される。
The work procedure manual shown in FIG. 2 shows the work procedure manual printed on paper or displayed on the screen. The work support system according to the present invention is electronically stored in the
図３は、本発明の第１の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
FIG. 3 is an explanatory diagram showing an electronic format of the
図３に示す作業手順書のフォーマットは、タイトル３０１、作業数３０２、および、複数のデータ３０３（データ３０３−１〜データ３０３−ｍ：ｍは任意の自然数）を含む。
The format of the work procedure manual shown in FIG. 3 includes a
図３に示すタイトル３０１は、図２の領域２０１に表示される文字列に対応する。作業数３０２は、作業手順書を構成する作業の数を示す。
The
データ３０３は、各作業の内容を示す。作業数３０２が示す作業の個数分、作業手順書のフォーマットに格納される。図３に示す作業手順書のフォーマットは、ｍ個のデータ（データ３０３−１〜データ３０３−ｍ）を含む。
図３に示すデータ３０３−１は、領域３０５〜領域３１１を含み、データ３０３−ｍは、領域３１２〜領域３１８を含む。
Data 303-1 illustrated in FIG. 3 includes
各データ３０３は、各作業の見出しを示す値を含む。領域３０５および領域３１２には、作業の見出しが格納される。各データ３０３が示す作業の見出し（領域３０５または領域３１２）は、図２に示す領域２０２または領域２０６に表示される文字列に対応する。
Each
各データ３０３は、作業の説明文を示す値を含み、領域３０６および領域３１３には、作業の説明文が格納される。各データ３０３が示す作業の説明文（領域３０６および領域３１３）は、図２に示す領域２０３または領域２０７に表示される文字列に対応する。
Each
各データ３０３は、作業画像数を含み、領域３０７および領域３１４には、作業画像数が格納される。本実施形態における作業画像数とは、各作業を説明するために格納される作業画像の数である。
Each
各データ３０３は、作業画像を示す情報を含み、領域３０８、領域３１０、領域３１５および領域３１７には、作業画像を示す情報が格納される。領域３０８、領域３１０、領域３１５および領域３１７は、図２の領域２０４、領域２０８、または、領域２１０に対応する。
Each
データ３０３には、作業画像として、画像データが格納されてもよいし、また、他の記憶領域に格納される画像データを特定することができる識別子等の情報が格納されてもよい。
The
各データ３０３は、各作業画像を説明するための説明文を含む。領域３０９、領域３１１、領域３１６および領域３１８には、各作業画像に対する説明文が格納される。領域３０９、領域３１１、領域３１６および領域３１８は、図２の領域２０５、領域２０９および領域２１１に対応する。
Each
データ３０３−１は、ｎ個（ｎは任意の自然数）の作業画像を含む。データ３０３−ｍは、ｐ個（ｐは任意の自然数）の作業画像を含む。 The data 303-1 includes n work images (n is an arbitrary natural number). The data 303-m includes p work images (p is an arbitrary natural number).
本実施形態の作業支援システムにおいて、作業画像列生成プログラム１０５は、作業者によって実施される作業に関する作業手順書から作業画像を抽出し、抽出された作業画像に、作業手順書１１０が示す作業手順の順に従って順序を付す。具体的には、番号等を付す。そして、順序を付けられた作業画像を作業画像列１１１に格納する。
In the work support system according to the present embodiment, the work image
表示プログラム１０９が、作業手順書１１０に格納される作業手順書のタイトル（タイトル３０１に格納される値）の一覧を出力装置１０３に表示し、作業者に入力装置１０２を介して、作業手順書のタイトルを選択させることによって、作業者によって実施される作業に関する作業手順書が決定される。
The
なお、表示プログラム１０９は、作業内容に関するキーワードを、作業者に入力させ、作業者が抽出したい作業手順書を作業手順書１１０から抽出する機能、または、作業者によって作業手順書を選択させる際に作業手順書の内容を作業者に確認させる機能等を有してもよい。また、作業手順書中のどの作業から開始するかを、作業者に指定させる機能を有してもよい。
Note that the
実施される作業に関する作業手順書が作業者によって選択された後、作業画像列生成プログラム１０５は、図３に示すフォーマットに従って作業画像が格納されている箇所を作業手順書から検索する。そして、作業画像列生成プログラム１０５は、検索された作業画像を抽出する。そして、作業画像列生成プログラム１０５は、作業手順が示す順序に従って、図４に示すフォーマットのように、抽出された作業画像を作業画像列１１１に格納する。
After the work procedure manual relating to the work to be performed is selected by the worker, the work image
図４は、本発明の第１の実施形態の作業画像列１１１の電子的なフォーマットを示す説明図である。
FIG. 4 is an explanatory diagram illustrating an electronic format of the
図４に示す作業画像列１１１のフォーマットは、領域４０１〜領域４０５を含む。図４に示す作業画像列は、図３に示す作業手順書１１０のフォーマットのデータ３０３から、作業画像を抽出した場合の作業画像列１１１を示す。
The format of the
領域４０１は、作業手順書１１０から抽出された作業画像の数を示す。領域４０１には、作業者が実施する作業を示すデータ３０３の作業画像数の合計が格納される。
An
作業画像列１１１は、作業画像を示す情報を含み、領域４０２および領域４０４には、作業手順書１１０から抽出された各画像データ（作業画像）が格納される。作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像を示す情報が画像データである場合、作業手順書１１０に格納される画像データを領域４０２または領域４０４に格納してもよい。
The
また、作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像に関する情報が、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等である場合、それら識別子またはアドレス等の情報に基づいて、画像データを取得してもよい。そして、取得された画像データを、領域４０２または領域４０４に格納してもよい。また、作業画像列生成プログラム１０５は、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等を領域４０２または領域４０４に格納してもよい。
Further, the work image
領域４０３および領域４０５は、領域４０２および領域４０４が示す作業画像が、作業手順書のいずれの作業の作業画像であるかを示す情報を含む。具体的には、作業手順書の作業を特定する番号と、対応する作業における何番目の作業画像であるかを示す番号とを含む。
The
例えば、領域４０２が示す作業画像が図２における領域２０８に表示される作業画像である場合、領域４０３には、「２−１」のような形式によって値が格納される。この場合、「２−１」の最初の「２」は二番目の作業であることを示し、「２−１」は二番目の作業における一番目の作業画像であることを示す。
For example, when the work image indicated by the
領域４０３および領域４０５に格納される値は、前述の「２−１」のような形式に限定されず、作業手順書の作業を特定する情報と、対応する作業における何番目の作業画像であるかを示す情報とを示すことができれば、いかなる値でもよい。
The values stored in the
作業者によって選択された作業手順書の作業を開始することを、作業者が入力装置１０２を用いて作業支援システムに通知した場合、注視画像抽出プログラム１０６と作業状況判定プログラム１０８が起動される。注視画像抽出プログラム１０６は、注視画像を抽出し、作業状況判定プログラム１０８は、抽出された注視画像に基づいて作業状況の判定処理を行う。
When the worker notifies the work support system using the
本実施形態の作業支援システムは、例えば、入力装置１０２としてビデオカメラを備え、ビデオカメラによって、作業者の顔が向いている方向の映像である視野映像を取得する。
The work support system according to the present embodiment includes, for example, a video camera as the
図５は、本発明の第１の実施形態の入力装置１０２を示す説明図である。
FIG. 5 is an explanatory diagram illustrating the
例えば、入力装置１０２は、図５のように、作業者の眼鏡５０１の左右のレンズを結合するフレームに設置されたビデオカメラ５０２であってよい。そして、本実施形態の視野映像は、眼鏡５０１に設置されたビデオカメラ５０２によって取得されてもよい。また、ビデオカメラ５０２は、各レンズの外側のフレームに設置されてもよい。また、本実施形態の視野映像は、所定の時間間隔において取得された複数の視野画像を含む。
For example, as shown in FIG. 5, the
このように眼鏡５０１にビデオカメラ５０２を設置することによって、顔の向きにビデオカメラの向きが追従するため、視野映像を容易に取得することができる。また、ヘルメットにカメラを設置する等、顔の向きに入力装置１０２の向きが追従できれば、いかなる方法によって入力装置１０２が設置されてもよい。
By installing the
入力装置１０２によって取得された視野映像から、注視画像抽出プログラム１０６は、注視画像を抽出する。注視画像抽出プログラム１０６が視野映像から注視画像を抽出する方法を、図６を用いて説明する。
The gaze
図６は、本発明の第１の実施形態の視野映像から注視画像を抽出する方法を示す説明図である。 FIG. 6 is an explanatory diagram illustrating a method for extracting a gaze image from a visual field image according to the first embodiment of this invention.
注視画像抽出プログラム１０６は、まず、各時刻の視野映像から視野画像を抽出する。図６は、視野画像の画像列６０１、および、視野画像間の類似度を示す。画像列６０１は、注視画像抽出プログラム１０６によって時系列に取得された画像Ａ〜Ｋの集合である。
The gaze
注視画像抽出プログラム１０６は、各時刻の視野映像から画像Ａ〜Ｋを抽出する。次に、類似度計算プログラム１０７は、抽出された画像列６０１において、取得された時刻が隣接する画像間、例えば、図６に示す画像Ａおよび画像Ｂ間、画像Ｂおよび画像Ｃ間、ならびに、画像Ｃおよび画像Ｄ間等の類似度を算出する。
The gaze
類似度計算プログラム１０７は、例えば、既に開示された類似度を算出する技術（例えば、特開２００６−１１４０５３号公報参照）を用いることによって、視野画像間の類似度を算出する。前述の類似度を算出する技術は、色関連の画像特徴量として画像中の色分布を用い、形関連の画像特徴量として画像中の輝度勾配ベクトルの方向成分を用いて、画像間の類似度を算出する方法を示す。
The
しかし、本実施形態の類似度計算プログラム１０７は、特に、前述の技術に開示された方法によってのみ、類似度を算出しなくてもよく、視野画像間の類似性を評価できる方法であれば、どのような方法を用いてもよい。
However, the
図６の画像列６０１の下方に示すグラフにおいて、横軸が時間を示し、縦軸が類似度を示す。また、グラフ中の黒丸「●」は、グラフにおける破線によって対応付けられる視野画像間の類似度を示す。また、図６における類似度は、類似度を算出するために用いられた二つの画像が、似ているほど高い値を示す。
In the graph shown below the
注視画像抽出プログラム１０６は、類似度計算プログラム１０７によって算出された視野画像間の類似度と、あらかじめ保持された所定の閾値６０２とを比較し、類似度が閾値６０２以上になる時間の区間を注視区間６０３として検出する。また、注視画像抽出プログラム１０６は、注視区間６０３の時間長に対する閾値をあらかじめ保持し、選択された注視区間６０３の時間長が閾値以下である場合、選択された注視区間６０３から注視画像を抽出しなくてもよい。これによって注視画像抽出プログラム１０６は、一定時間作業者が注視している画像が含まれる時間（注視区間６０３）を抽出できる。
The gaze
注視画像抽出プログラム１０６は、検出された注視区間６０３における視野画像を、注視画像として抽出する。図６に示す例において、注視画像抽出プログラム１０６は、注視区間６０３に含まれる画像Ｄ、画像Ｅ、画像Ｆ、画像Ｇおよび画像Ｈが注視画像として抽出される。
The gaze
注視画像抽出プログラム１０６は、注視画像として、注視区間６０３に含まれる画像すべてを抽出するだけでなく、例えば、注視区間６０３の中央の時刻における視野画像、または、類似度が最も高くなる時刻およびその前後における視野画像等、代表的な一部の視野画像のみを、注視画像として抽出してもよい。
The gaze
さらに、注視画像抽出プログラム１０６は、注視区間６０３におけるすべての視野画像または特定の一部の視野画像を重ね合わせた平均画像を生成し、生成された平均画像を注視画像として抽出してもよい。注視画像抽出プログラム１０６は、注視区間６０３における視野画像を特徴付ける画像を抽出できれば、どのような方法によって注視画像を抽出してもよい。
Furthermore, the gaze
前述の実施形態における作業支援システムは、入力装置１０２としてビデオカメラのみを用いて注視画像を抽出したが、入力装置１０２として、ビデオカメラと視線入力装置とを用いてもよい。視線入力装置には、例えば、既に開示された視線検出装置に関する技術（例えば、特開平１０−０９６８４９号公報参照）等を用いることができる。
Although the work support system in the above-described embodiment extracts a gaze image using only a video camera as the
前述の技術を本実施形態の視線入力装置を用いた場合、視線移動量の大きさを注視区間６０３の検出に利用することができる。例えば、視線入力装置から入力される視線に関する情報が、視野映像上の座標位置を示していた場合、注視画像抽出プログラム１０６は、隣接する時刻における座標位置の距離を視線移動量として定義し、視線移動量があらかじめ保持された閾値以下となる区間を注視区間６０３として選択できる。
When the above-described technique is used for the line-of-sight input device according to the present embodiment, the magnitude of the line-of-sight movement amount can be used for detection of the
さらに、注視画像抽出プログラム１０６は、視線移動量が閾値以下、かつ、視野画像間の類似度が閾値以上である区間を注視区間６０３として抽出する、という方法を用いてもよい。さらに、視線入力装置を用いる場合は、注視区間６０３おいて、視線位置（視線が向いている（＝注視している）視野映像上の位置）を中心とした、あらかじめ定められた範囲の画像のみを視野映像から注視画像として抽出してもよい。
Further, the gaze
図７は、本発明の第１の実施形態の注視画像の抽出方法を示す説明図である。 FIG. 7 is an explanatory diagram illustrating a gaze image extraction method according to the first embodiment of this invention.
例えば、注視区間６０３における視野映像から抽出された画像が、図７に示す画像７０１であり、この画像上における視線位置が視線位置７０２であったとする。ここで、視線位置７０２を中心とする領域が範囲７０３に示す範囲によって定義されていた場合、注視画像抽出プログラム１０６は、範囲７０３に含まれる領域の画像のみを注視画像として抽出してもよい。これによって、視野映像のみを使用した場合と比較して、注視している対象物に関する画像のみを、精度良く抽出することが可能となる。
For example, it is assumed that an image extracted from the visual field image in the
作業状況判定プログラム１０８は、新たな注視画像が抽出された場合、作業状況の判定処理を行う。図８のフローチャートを用いて、作業状況判定プログラム１０８における処理について説明する。
The work
図８は、本発明の第１の実施形態の作業状況の判定処理を示すフローチャートである。 FIG. 8 is a flowchart showing the work status determination process according to the first embodiment of the present invention.
作業者によって選択された作業手順書に従って作業者が作業を開始した場合、図８に示す処理は開始される。 When the worker starts work according to the work procedure manual selected by the worker, the processing shown in FIG. 8 is started.
作業状況判定プログラム１０８は、まず、作業者によって選択された作業手順書から生成された作業画像列１１１を参照し、作業画像列１１１の最初の作業画像を、実施中の作業に関する作業画像（以下、実施中の作業画像と記載）として設定する（ステップ８０１）。なお、図８に示す処理が開始される際、作業画像列生成プログラム１０５は、作業者によって選択された作業手順書から、作業画像列１１１を生成する。
The work
ステップ８０１、ステップ８１２またはステップ８１８の後、作業状況判定プログラム１０８は、実施中の作業画像として設定された作業画像に対応する作業手順書の内容を、作業手順書１１０から取得する。そして、取得された作業手順書の内容を、表示プログラム１０９を用いて出力装置１０３に表示する（ステップ８０２）。
After
作業画像列１１１には、図４のフォーマットに示すように、各作業画像が作業手順書１１０のいずれの作業に対応しているかを示す情報（例えば、領域４０３および領域４０５に格納される情報）が格納される。このため、作業状況判定プログラム１０８は、ステップ８０２において、作業手順書の内容を表示するために必要な情報を、作業手順書１１０から容易に取得することができる。
In the
図９は、本発明の第１の実施形態の出力装置１０３に表示される実施中の作業画像を示す説明図である。
FIG. 9 is an explanatory diagram illustrating a working image being displayed on the
図９は、図２に示す作業手順書の、領域２０６が示す「２．既設◎◎取り付け金具取り外し」作業の領域２１０が示す作業画像（領域２１１が「図２−２ 金具取り外し」）を表示した例である。
FIG. 9 shows the work image shown by the
作業状況判定プログラム１０８は、実施中の作業に関する情報として、図９に示す表示例のように、作業手順書のタイトル９０１、実施中の作業に関する作業見出し９０２、実施中の作業画像９０３および作業画像の説明文９０４を表示する。作業状況判定プログラム１０８は、表示プログラム１０９および出力装置１０３を用いて、作業手順書を表示する。
The work
タイトル９０１は、図３に示す作業手順書１１０のタイトル３０１に対応し、作業見出し９０２は、図３に示す作業手順書１１０の領域３０５または領域３１２に対応する。また、作業画像９０３は、図３に示す作業手順書１１０の領域３０８、領域３１０、領域３１５、または領域３１７に対応し、説明文９０４は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６または領域３１８に対応する。
The
作業状況判定プログラム１０８は、図９に示す表示例のように、作業手順書１１０の領域３０６または領域３１３に格納される作業の説明を表示しなくてもよく、表示してもよい。作業状況判定プログラム１０８は、表示する作業に関する情報の組み合わせを、必要に応じて変更してもよい。また、作業手順書１１０が、作業中に表示するための情報（備考等）を作業毎に保持している場合、作業毎に保持された情報を表示してもよい。
The work
また作業状況判定プログラム１０８は、図９に示す表示例のように、領域９０５、領域９０６、及び領域９０７を表示する。領域９０５は、一つ前の作業に関する情報を表示するためのボタンである。領域９０６は、一つ先の作業に関する情報を表示するためのボタンである。また、領域９０７は、表示される作業画像が、実施中の作業画像として設定されているか否かを識別するための領域である。
The work
領域９０５および領域９０６によって、作業者は、実施中の作業に関する内容だけでなく、その前後の作業内容も、必要に応じて確認することができる。また、表示されている作業内容が実施中の作業に関する情報であるか否かを作業者に判定させるため、作業状況判定プログラム１０８は、実施中の作業であるか、終了した作業であるか、あるいは未終了の作業であるか、を画面に表示する。
The
例えば、作業状況判定プログラム１０８は、実施中の作業画像を表示する場合、図９に示す領域９０７に「実施中」を示す文字列を表示する。
For example, when displaying the work image being executed, the work
図１０は、本発明の第１の実施形態の出力装置１０３に表示される終了した作業画像を示す説明図である。
FIG. 10 is an explanatory diagram illustrating a completed work image displayed on the
図９に示す表示例において、作業者が領域９０５の「前へ」ボタンを操作した場合、図１０に示す表示例が表示される。作業状況判定プログラム１０８は、図１０に示す領域１００３に「終了」ボタンを表示し、作業画像１００１に一つ前の作業（図２における領域２０９の「図２−１ ボルト取り外し」作業に対応）の内容を表示する。また、作業状況判定プログラム１０８は、図１０に示す表示例のように、作業画像１００１および作業画像説明１００２に、それぞれ図２に示す領域２０８および領域２０９に対応する内容を表示する。
In the display example shown in FIG. 9, when the operator operates the “Previous” button in the
図９に示す表示例において、作業者が領域９０６の「次へ」ボタンを操作した場合、作業状況判定プログラム１０８は、作業画像列１１１を参照し、次の作業画像を取得する。そして、図９に示す作業の一つ後の作業、すなわち、未終了の作業に関する内容を表示する。例えば、作業状況判定プログラム１０８は、領域９０７に、未終了の作業を示す「未完」を表示する。
In the display example shown in FIG. 9, when the operator operates the “next” button in the area 906, the work
作業状況判定プログラム１０８は、領域９０７または領域１００３に、終了、実施中、または未完のいずれかを、文字列によって表示するが、画面の背景色または文字の形式等のレイアウトを変更することによって、作業画像が示す作業が終了、実施中、または未完であるかを示してもよい。
The work
また、作業状況判定プログラム１０８は、図９および図１０に示す表示例のように、作業に関する内容を文字および画像のみによって画面に表示したが、作業に関する内容を画面に表示する毎に、音、声、または、振動等を、作業者に提供してもよい。また作業状況判定プログラム１０８は、実施中の作業が次の作業に移行したと作業支援システムが判定した場合、すなわち、図８に示す処理においてステップ８０１からステップ８０２に移った場合、または、後述のステップ８１２もしくはステップ８１８からステップ８０２に移った場合のみに、音、声、または、振動等を作業者に提供してもよい。
Further, the work
作業状況判定プログラム１０８は、音、声、または、振動等を作業者に提供する場合、表示プログラム１０９および出力装置１０３を用いる。
The work
さらに、作業状況判定プログラム１０８は、領域９０５および領域９０６への操作によって画面の内容が変更された場合と、実施中の作業が次の作業に移行したと作業支援システムが判定した場合とにおいて、使用する音、声、または振動等の種類を変更してもよい。これにより、作業者は、画面に表示されている内容を見ることなく、作業支援システムが作業に関してどのような判定をしているかを確認することができる。
Furthermore, the work
ステップ８０２の後、作業状況判定プログラム１０８は、実施中の作業画像の画像データを作業画像列１１１から取得する（ステップ８０３）。
After step 802, the work
ステップ８０３の後、作業状況判定プログラム１０８は、余分な注視画像の数を記録するため、記憶装置１０４等に保持された変数の値を０にリセットする（ステップ８０４）。ステップ８０４の後、作業状況判定プログラム１０８は、ステップ８０５が実行された時点の時刻を実施中の作業の開始時刻として、記憶装置１０４に保持する（ステップ８０５）。
After step 803, the work
ステップ８０５の後、作業状況判定プログラム１０８は、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたか否かを判定する（ステップ８０６）。新たな注視画像が抽出されていない場合、作業者は特定の対象物を見ておらず、作業を正常に実施していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０７に進む。
After
なお、ステップ８０６において注視画像を抽出するための注視区間６０３の閾値には、作業者が作業を実施するために十分な時間が割り当てられてもよい。これによって、作業者が作業を終了するまで、作業状況判定プログラム１０８は、ステップ８０８以降の処理によって、次の作業画像を表示することを待つことができる。
Note that a sufficient time for the operator to perform the work may be assigned to the threshold value of the
ステップ８０６において、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたと判定された場合、作業者は作業手順に従って作業を実施している可能性が高い。このため、作業状況判定プログラム１０８は、ステップ８０８に進む。
If it is determined in
ステップ８０７において、作業状況判定プログラム１０８は、ステップ８０５において記憶装置１０４に保持された開始時刻から、ステップ８０７を開始した時刻までの経過時間が、あらかじめ定められた閾値（以下、第１の閾値と記載）以上か否かを判定する。そして、ステップ８０５において保持された開始時刻からステップ８０７を開始した時刻までの経過時間が、第１の閾値以上である場合、作業者の視線が一定に定まっておらず、作業者が作業を正常に実施していない可能性が高い。このため、作業状況判定プログラム１０８は、後述のステップ８１５に進む。
In
ステップ８０７において、ステップ８０５において保持された作業の開始時刻からステップ８０７を開始した時刻までの経過時間が第一の閾値より小さい場合、作業者が作業を正常に実施している可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０６に戻り、再度、新たな注視画像が抽出されたか否かを判定する。
In
ステップ８０８において、作業状況判定プログラム１０８は、新たに抽出された注視画像を注視画像抽出プログラム１０６から取得する。
In
ステップ８０８の後、作業状況判定プログラム１０８は、ステップ８０８において取得された注視画像と、ステップ８０３において取得された作業画像との間の類似度を、類似度計算プログラム１０７を用いて算出する（ステップ８０９）。類似度計算プログラム１０７は、例えば、図６に示す方法によって類似度を算出する。
After
ステップ８０９の後、作業状況判定プログラム１０８は、ステップ８０９において算出された類似度があらかじめ定められた閾値（以下、第２の閾値と記載）以上であるか否かを判定する。算出された類似度が第２の閾値以上である場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了したと判定し、ステップ８１１に進む。
After
ステップ８１１において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を作業画像列１１１から検索し、検索の結果、次の作業画像が取得されるか否かを判定する。そして、次の作業画像が取得されない場合、図８に示す処理が開始される際に選択された作業手順書のうち、すべての作業が終了したと判定し、図８に示す処理を終了する。
In
次の作業画像が取得される場合、作業状況判定プログラム１０８は、図８に示す判定処理を継続するため、ステップ８１２に進む。ステップ８１２において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を新たな実施中の作業画像として設定し、ステップ８０２に戻る。
When the next work image is acquired, the work
ステップ８１０において、算出された類似度が第２の閾値より小さいと判定された場合、作業者は作業に集中していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８１３に進む。
If it is determined in
ステップ８１３において、作業状況判定プログラム１０８は、ステップ８０８において取得された新たな注視画像を余分な注視画像であると判定し、余分な注視画像の数を記録するために記憶装置１０４に保持される変数の値に、１を加算する。
In
ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数を記録するための変数の値があらかじめ定められた閾値（以下、第３の閾値と記載）以上であるか否かを判定する。そして、余分な注視画像の数が第３の閾値以上である場合、作業者に注意を促すため、作業状況判定プログラム１０８は、ステップ８１５に進む。
In
余分な注視画像の数が第３の閾値より少ない場合、作業者に注意を促す必要はないため、作業状況判定プログラム１０８は、ステップ８０６に戻る。
If the number of extra gaze images is smaller than the third threshold value, the work
ステップ８１５において、作業状況判定プログラム１０８は、表示プログラム１０９を用いて、作業者に注意喚起を促すメッセージ、音、または声等を出力装置１０３に出力させる。ステップ８１５が実施される状況は、実施中の作業画面が示す作業が適切に終了していない、または、作業が適切に進行されていない、と判定される場合に相当する。このため、表示プログラム１０９によって提示される内容は、それらの状況を作業者に理解させることができる内容である必要がある。
In
図１１は、本発明の第１の実施形態の作業者に提示される注意喚起の画面を示す説明図である。 FIG. 11 is an explanatory diagram illustrating an alerting screen presented to the worker according to the first embodiment of this invention.
図１１が示す画面例は、領域１１０１を含む。領域１１０１は、作業者に注意喚起するためのメッセージ等を表示するための画面である。図１１に示す画面例は、図９に示す画面に重ねられて表示される。 The screen example illustrated in FIG. 11 includes an area 1101. An area 1101 is a screen for displaying a message or the like for alerting the worker. The screen example shown in FIG. 11 is displayed so as to overlap the screen shown in FIG.
領域１１０１は、内容１１０２、領域１１０３、領域１１０４、および領域１１０５を含む。内容１１０２は、注意喚起を促すためのメッセージを示す。作業状況判定プログラム１０８は、実施中の作業画像が示す作業に関する情報を含めて、作業が適切に進行していないことを示すメッセージを生成する。そして、生成されたメッセージを、内容１１０２に表示する。
Area 1101 includes
内容１１０２に表示される、実施中の作業画像が示す作業に関する情報は、実施中の作業画像に対応する作業手順書中の内容でもよい。また、内容１１０２に表示されるメッセージの内容は、作業状況判定プログラム１０８が作業毎に変わる部分を変数とした文の雛形をあらかじめ保持し、作業状況判定プログラム１０８が変数に作業毎に変わる情報を挿入することによって、生成されてもよい。
The information regarding the work indicated by the work image being executed displayed in the
例えば、図１１に示す内容１１０２を表示するため、作業状況判定プログラム１０８は、図１１において「金具取り外し」と記載される箇所を作業画像の説明文を挿入するための変数とする文の雛形を、あらかじめ保持してもよい。
For example, in order to display the
また、ステップ８１５は、ステップ８０５において取得された実施中の作業の開始時刻からステップ８０７が実行されるまでの経過時間が第１の閾値以上の場合と、余分な注視画像の数が第３の閾値以上である場合、の二つの場合に実行される。このため、いずれの場合において、ステップ８１５が実行されたかによって、表示されるメッセージの内容は変更されてもよい。
Step 815 includes a case where the elapsed time from the start time of the work in progress acquired in
例えば、余分な注視画像の数が第３の閾値以上である場合、不必要な「よそ見」が頻繁に発生し、作業に集中できていないと想定されるため、作業状況判定プログラム１０８は、図１１に示す内容１１０２に変えて、領域１１０１に以下のメッセージを表示してもよい。
For example, if the number of extra gaze images is greater than or equal to the third threshold, it is assumed that unnecessary “look away” frequently occurs and the work
「よそ見を控えてください」
「作業に集中してください」
さらに、図１１に示す領域１１０１は、文字のみによる注意喚起を示すが、作業状況判定プログラム１０８は、画像、音、声または振動等を用いて注意喚起を示してもよい。この場合、ステップ８０２において作業手順書の内容を表示する際に使用した音、声または振動とは、異なる音、声または振動等を用いることによって、作業者が注意喚起であることを認識することができる。
"Please refrain from looking away"
"Please concentrate on the work"
Furthermore, although an area 1101 shown in FIG. 11 shows a warning only by characters, the work
また、図１１において、領域１１０３、領域１１０４および領域１１０５は、内容１１０２が示す注意喚起を確認した作業者が操作するためのボタンである。領域１１０３は、実施中の作業画面が示す作業を最初からやり直すためのボタンであり、領域１１０４は、作業をそのまま継続するためのボタンであり、領域１１０５は、作業を中止するためのボタンである。
In FIG. 11, an
領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることによって、作業支援システムは、作業者からの指示を受信する。作業状況判定プログラム１０８は、ステップ８１５において注意喚起を提示した後、ステップ８１６に進み、作業者からの指示を受信するため、図８に示す処理を中断する。
By operating any of the
また、ステップ８１６において作業状況判定プログラム１０８は、領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることを待つことによって、作業者からの指示を待つ。いずれかの領域が操作されたことを検出した場合、作業状況判定プログラム１０８は、ステップ８１７において、いずれのボタンが操作されたかを判定する。
In
ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において、作業状況判定プログラム１０８は、実施中の作業画像を再度、実施中の作業画像に設定しなおし、ステップ８０２に戻る。
If it is determined in
また、ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において作業状況判定プログラム１０８は、作業画像の一覧を表示し、表示された一覧から、やり直す作業を作業者に選択させてもよい。この場合、作業状況判定プログラム１０８は、選択された作業画像をステップ８１８において、実施中の作業画像に設定する。
If it is determined in
ステップ８１７において、領域１１０４が操作されたと判定された場合、作業状況判定プログラム１０８は、ステップ８０６に戻り、処理を継続する。この際、作業状況判定プログラム１０８は、余分な注視画像数を記録するための変数の数、および、ステップ８０５において取得された開始時刻を更新し、作業者が作業を再開した後、直ちに注意喚起が再び提示されることを避ける。
If it is determined in
ステップ８１７において、領域１１０５が操作されたと判定された場合、作業状況判定プログラム１０８は、図８に示す処理を終了する。
If it is determined in
図８に示すフローチャートにおいて、作業画像列１１１の最後の作業画像に対応する作業が終了した場合、ステップ８１１における判定により、図８に示す処理は終了する。しかし、ステップ８１１において最後の作業が終了したと判定された場合、作業状況判定プログラム１０８は、図８に示す処理において抽出されたすべての注視画像と、図８に示す処理において選択された作業手順書の作業画像列１１１とを用いることによって、作業手順書全体に対する評価値を求めてもよい。そして、表示プログラム１０９を用いて、求められた評価値を出力装置１０３に表示してもよい。
In the flowchart shown in FIG. 8, when the work corresponding to the last work image in the
作業状況判定プログラム１０８は、例えば、図８に示す処理において抽出されたすべての注視画像を時系列に並べた注視画像列と、作業画像列をそれぞれ時系列データとみなして、時系列データ同士の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、その類似度を評価値として出力装置１０３に表示してもよい。
The work
作業状況判定プログラム１０８は、注視画像列と作業画像列との類似度を、例えば、各画像間の類似度を、既に開示された類似画像検索方法に関する技術（例えば、特開２００６−１１４０５３号公報参照）を用いて算出する。そして、算出された画像間の類似度に、既に開示された動的計画法（例えば、特開２００２−２２１９８４号公報参照）等によるマッチング手法を適用することによって、評価値を求めることができる。
The work
前述の図８に示す処理において用いられた、第１の閾値、第２の閾値および第３の閾値の３種類の閾値は、作業に拠らず、それぞれ各ステップにおいて同じ値である。しかし、作業状況判定プログラム１０８は、それぞれの閾値について作業毎に異なる閾値を保持し、各ステップにおいて、作業毎の閾値を用いてもよい。また、それらの閾値は、作業手順書１１０に格納してもよいし、また、作業手順書１１０とは別に格納してもよい。
The three types of threshold values used in the process shown in FIG. 8, which are the first threshold value, the second threshold value, and the third threshold value, do not depend on work, and are the same value in each step. However, the work
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、第１の閾値、第２の閾値および第３の閾値のすべてを用いて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、ステップ８０７、ステップ８１０、またはステップ８１４の少なくとも一つの判定処理によって作業が適切に進行しているか否かを判定してもよい。
In the process shown in FIG. 8 described above, the work
なお、ステップ８１４の判定処理が行われない場合、作業状況判定プログラム１０８は、ステップ８１３も行わなくてよい。
If the determination process in
また、図８に示すステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数のみに基づいて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、余分な注視画像の数だけではなく、それらの時間長（注視区間６０３の合計）に基づいて判定してもよい。
In
例えば、注視画像抽出プログラム１０６が注視画像を抽出する際に、注視画像抽出プログラム１０６は、注視画像と、注視していた時間長（図６に示す注視区間６０３の時間長）とを抽出してもよい。そして、ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の時間長の総和を求め、求められた時間長の総和が所定の閾値以上であればステップ８１５に進み、作業者に注意喚起を行うようにしてもよい。また、作業状況判定プログラム１０８は、ステップ８１４において、余分な注視画像と作業中の作業画像との類似度と、注視画像の時間長との積を加算した値を用いて判定する等の方法を用いてもよい。
For example, when the gaze
また、図８に示すステップ８１０において、作業状況判定プログラム１０８は、新たに抽出された注視画像と実施中の作業画像との類似度のみを用いて、作業画像に対応する作業が終了したか否かを判定する。
Further, in
一方、例えば、ステップ８１０において作業状況判定プログラム１０８は、新たに注視画像が抽出された場合、それまでに抽出されたすべての注視画像を時系列に並べた注視画像列と、実施中の作業画像までの作業画像列１１１を時系列に並べた作業画像列とを生成する。そして、二つの時系列データ間の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、求められた類似度が所定の閾値以上になった場合、実施中の作業画像が示す作業が終了したと判定してもよい。また、求められた類似度があらかじめ定められた閾値より低くなった場合、作業が適切に進行していないと判定してもよい。この場合の注視画像列と作業画像列の類似度も、前述の、作業手順全体に対する評価値を求める方法として説明した技術を用いて算出してもよい。
On the other hand, for example, when a new gaze image is extracted in
また、図８に示すステップ８０９において、実施中の作業画像のみを用いて、作業画像に対応する作業が終了したか否かを判定したが、実施中の作業画像より後の作業画像すべてを判定対象としてもよい。この場合、新たに抽出された注視画像と実施中の作業画像との類似度、および、新たに抽出された注視画像とそれ以降の各作業画像（実施中として設定されていない各作業画像）との類似度を求める。
Further, in
そして、実施中として設定されていない各作業画像から、新たに抽出された注視画像と作業画像との類似度が、あらかじめ定められた閾値以上となる作業画像が検出された場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了しなかったと判定し、ステップ８１５において注意喚起を行ってもよい。これによって、経過時間には問題はないが、不適切な状態のまま作業を進めてしまったような状況に対して注意喚起を行うことができる。
When a work image in which the similarity between the newly extracted gaze image and the work image is greater than or equal to a predetermined threshold is detected from each work image that is not set as being executed, a work
また、図８に示す処理において、作業状況判定プログラム１０８は、作業画像列中の各作業画像に対して作業が適切に進められているか否かを判定したが、作業手順書中の一つの作業において複数の作業画像列が対応している場合、作業状況判定プログラム１０８は、各作業を単位として判定してもよい。
Further, in the process shown in FIG. 8, the work
具体的には、作業状況判定プログラム１０８は、ステップ８０３において、実施中の一つの作業画像を抽出する代わりに、実施中の作業に対応する作業画像（例えば、図２に示す領域３０８および領域３１０）をすべて取得する。そして、作業状況判定プログラム１０８は、ステップ８０９において、新たに抽出された注視画像と取得されたすべての作業画像との類似度を求め、求められた類似度が閾値以上であった作業画像に「終了」を示すマーク（例えば、フラグ）を付す。そして、ステップ８１０において、取得されたすべての作業画像に「終了」を示すマークが付されている場合、実施中の作業が終了したと判定し、ステップ８１１に進む。
Specifically, in step 803, the work
また、作業状況判定プログラム１０８は、ステップ８１３に進んだ場合、対象となっているすべての作業画像との類似度が閾値以上でない注視画像の場合、余分な注視画像の数を数えるための変数に１を加算する。これによって、ある作業に複数の作業画像が含まれており、且つ、作業手順書に格納される作業画像の順序と、実際の作業の順序とが一致しない場合など、作業が適切に進行していない場合を判定することが可能となる。
In addition, when the work
また、前述の図８に示す処理において、実施中の作業画像を含む作業手順書の内容、注意喚起、および、作業手順全体に対する評価値は、作業者にのみ表示されるが、さらに、作業者の管理者、または、作業者と共同で作業を進めている他の作業者に表示されてもよい。 In the process shown in FIG. 8 described above, the contents of the work procedure manual including the work image being executed, the alert, and the evaluation value for the entire work procedure are displayed only to the worker. May be displayed to other managers or other workers who are working together with the workers.
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、注視画像のみを用いて、作業者による作業が適切に終了したか、または、作業が適切に進行しているか、を判定した。しかし、例えば、各作業の開始時および終了時に、ＩＣタグ、もしくは、特定の図形によるマーカー等を作業者に読取らせることによって作業の進捗を管理する方法と、作業者の位置を測定する装置を用いることによって作業者の位置に基づいて実施中の作業を判定する方法等とを組み合わせることによって、作業の終了を判定してもよい。
In the processing shown in FIG. 8 described above, the work
第１の実施形態によれば、作業者の視野画像から抽出された注視画像によって、作業の進行状況が適切であるか否かを客観的に判定する。これによって、作業不備および事故を未然に防止することができる。また、本実施形態は作業者の視野画像を取得すればよいため、作業現場への導入が容易であり、かつ、新たな作業の発生等による作業者への負担が少ない。 According to the first embodiment, whether or not the progress of work is appropriate is objectively determined based on the gaze image extracted from the worker's visual field image. As a result, work defects and accidents can be prevented in advance. In addition, since this embodiment only needs to acquire the visual field image of the worker, it can be easily introduced into the work site, and the burden on the worker due to the occurrence of new work is small.
（第２の実施形態）
本発明における第２の実施形態を図１２から図２０を用いて説明する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS.
図１２は、本発明の第２の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。 FIG. 12 is a block diagram showing a physical configuration when the work support system according to the second embodiment of this invention is mounted on a computer that is generally used.
図１２に示す作業支援システムは、図１に示す作業支援システムに、注視画像対応付けプログラム１２０１、手順書編集プログラム１２０２および注視画像を格納する記憶領域である注視画像１２０３を追加したものであり、それ以外は図１と同じである。第２の実施形態の記憶装置１０４は、注視画像対応付けプログラム１２０１、および手順書編集プログラム１２０２を有する。また、第２の実施形態の作業支援システムは、注視画像１２０３を有する。
The work support system shown in FIG. 12 is obtained by adding a gaze image association program 1201, a procedure
注視画像対応付けプログラム１２０１は、作業状況判定プログラム１０８によって余分な注視画像として判定された注視画像を作業手順書の対応箇所に対応付けるためのプログラムである。
The gaze image association program 1201 is a program for associating the gaze image determined as an extra gaze image by the work
図８に示す作業状況判定プログラム１０８の処理のステップ８１０において、注視画像と、実施中の作業画像との類似度が第２の閾値より小さい場合、作業状況判定プログラム１０８は、ステップ８１３において余分な注視画像の数を記録する変数の値に１を加算する。すなわち、ステップ８１０において、作業画像との類似度が第２の閾値より小さいと判定された場合、余分な注視画像が検出されたと判定される。
In
このため、第２の実施形態において、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３による処理の直前、または、直後、すなわち、ステップ８１０からステップ８１５が開始される前に、余分な注視画像と判定された注視画像を作業手順書に対応付ける。
For this reason, in the second embodiment, the gaze image association program 1201 performs extra gaze immediately before or immediately after the processing in
注視画像対応付けプログラム１２０１は、ステップ８１０および８１３が実施される状況において、実施中の作業画像から、図４に示す作業画像列１１１のフォーマットに従って作業手順書中の対応箇所を容易に特定できる。注視画像対応付けプログラム１２０１は、余分な注視画像が検出される毎に、余分な注視画像であると判定された注視画像と、その注視画像の作業手順書中における対応箇所に関する情報を、注視画像１２０３に格納する。
The gaze image association program 1201 can easily identify the corresponding part in the work procedure manual from the work image being executed according to the format of the
注視画像対応付けプログラム１２０１は、余分な注視画像と判定された注視画像を格納するために、注視画像対応付けプログラム１２０１は、作業画像列１１１と同じ図４に示すフォーマットを使用してもよい。また、余分な注視画像そのもの、または、余分な注視画像の格納領域を特定できる情報、のいずれかを作業手順書中の対応箇所に直接挿入してもよい。 The gaze image association program 1201 may store the gaze image determined to be an extra gaze image, and the gaze image association program 1201 may use the same format shown in FIG. Further, either the extra gaze image itself or information that can specify the storage area of the extra gaze image may be directly inserted into the corresponding location in the work procedure manual.
手順書編集プログラム１２０２は、作業手順書の内容に対して追加および修正等の編集作業を行うための機能を、表示プログラム１０９、入力装置１０２および出力装置１０３を用いて作業手順書の管理者または作成者に提供するプログラムである。また、手順書編集プログラム１２０２は、作業見出しおよび作業説明の修正、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
The procedure
さらに、手順書編集プログラム１２０２は、注視画像対応付けプログラム１２０１によって、作業手順書中に対応付けられた注視画像を、新たな作業画像として作業手順書に追加するか、または、注意すべき状況を示す画像として作業手順書に追加するか、を作業手順書を編集する編集者（作業者を含んでもよい）に選択させることができる。また、編集者の選択に従って、注視画像に対する説明文等の情報を作業手順書に追加し、作業手順書の内容を更新することができる。
Further, the procedure
図１３は、本発明の第２の実施形態の注視画像と作業手順書との対応を示す編集画面を示す説明図である。 FIG. 13 is an explanatory diagram showing an editing screen showing the correspondence between the gaze image and the work procedure manual according to the second embodiment of this invention.
手順書編集プログラム１２０２は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図１３に示す編集画面は、領域１３０１および領域１３０２を含む。
The procedure
図１３に示す編集画面において、領域１３０１は、作業手順書に対応付けられた余分な注視画像の一覧が表示される箇所、領域１３０２は編集中の作業手順書の内容が表示される箇所である。領域１３０１は、説明１３０３、説明１３０５および説明１３０８と、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９とを含む。
In the editing screen shown in FIG. 13, an
領域１３０１において、各注視画像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。具体的には、手順書編集プログラム１２０２は、説明１３０３、説明１３０５および説明１３０８に、作業手順書に含まれる各作業を示す説明を表示することによって、各注視画像が対応する作業手順書の箇所を特定可能にする。
In the
また、領域１３０２に示す作業手順書は、一つの作業に複数の作業画像を含むため、手順書編集プログラム１２０２は、注視画像がどの作業画像に対応付いているかを編集者によって識別可能なように、作業画像の説明１３０３、説明１３０５および説明１３０８に対応付けて、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９を表示する。さらに、編集者が領域１３０１に表示される作業画像の説明または注視画像を選択した場合、手順書編集プログラム１２０２は、領域１３０２中の作業手順書において、対応する箇所の表示を変化させてもよい。
Further, since the work procedure manual shown in the
注視画像対応付けプログラム１２０１によって作業手順書に対応付けられた余分な注視画像は、作業手順書中に作業画像として格納されていない画像である。そして、それらの注視画像は、作業の一部を示すが作業画像として作業手順書に格納されていない画像（以下、第１の注視画像と記載）、障害物等の作業上の注意事項を示す画像（以下、第２の注視画像と記載）、または、前述の第１の注視画像および第２の注視画像以外の第３の注視画像のいずれかに該当する。 The extra gaze image associated with the work procedure manual by the gaze image association program 1201 is an image that is not stored as a work image in the work procedure manual. These gaze images show a part of the work, but are not stored as work images in the work procedure manual (hereinafter referred to as the first gaze image), and work precautions such as obstacles. This corresponds to either an image (hereinafter referred to as a second gaze image) or a third gaze image other than the first gaze image and the second gaze image described above.
第１の注視画像は、新たな作業画像として作業手順書に追加される可能性があり、第２の注視画像は、作業上の注意点を指摘するための画像（以下、注意画像と記載）として、作業手順書中に追加される可能性がある。一方、第３の注視画像は、作業手順書中へ挿入される可能性が極めて低い。 There is a possibility that the first gaze image may be added to the work procedure manual as a new work image, and the second gaze image is an image for pointing out work precautions (hereinafter referred to as a caution image). May be added to the work procedure manual. On the other hand, the third gaze image is very unlikely to be inserted into the work procedure manual.
手順書編集プログラム１２０２は、作業手順書の編集者が作業手順書に対応付けられた注視画像を、第１の注視画像、第２の注視画像または第３の注視画像のいずれの種類に該当するかを判定し、判定結果に従って、作業手順書に追加する必要がある注視画像を、追加する機能を提供する。
The procedure
まず、注視画像が第１の注視画像に該当する場合、手順書編集プログラム１２０２は、作業手順書中の作業画像として注視画像を作業手順書に追加する。
First, when the gaze image corresponds to the first gaze image, the procedure
図１４は、本発明の第２の実施形態の注視画像を作業手順として挿入するための編集画面を示す説明図である。 FIG. 14 is an explanatory diagram showing an editing screen for inserting a gaze image according to the second embodiment of the present invention as a work procedure.
図１４は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０７を含む領域１４０１を選択した場合の編集画面を示す。
FIG. 14 shows an editing screen when the editor selects an
例えば、図１４に示すように、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」（説明１３０５に対応）である作業画像に対応している。このため、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」である作業画像の作業手順書における直前の位置１４０２に、手順書編集プログラム１２０２によって追加可能である。
For example, as shown in FIG. 14, a
具体的な挿入方法としては、編集者が、領域１４０１をマウス等により選択し、選択された領域１４０１を位置１４０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０７の作業手順書への挿入を指示する方法がある。
As a specific insertion method, the editor selects the
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１４に示す位置１４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
Note that the procedure
また、手順書編集プログラム１２０２は、作業画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューをキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
Further, the procedure
さらに、前述の実施形態において、注視画像１３０７は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、作業手順書中の任意の作業の作業画像として挿入されてもよい。
Furthermore, in the above-described embodiment, the
作業画像として挿入する注視画像と作業手順書中の挿入箇所とが、編集者によって決定された後、図１５のような画面により、挿入される注視画像の説明文を入力できるようにする。 After the gaze image to be inserted as the work image and the insertion location in the work procedure manual are determined by the editor, the explanatory text of the gaze image to be inserted can be input on the screen as shown in FIG.
図１５は、本発明の第２の実施形態の作業画像の説明文を入力するための画面を示す説明図である。 FIG. 15 is an explanatory diagram illustrating a screen for inputting a description of a work image according to the second embodiment of this invention.
図１５の画面は、領域１５０１、領域１５０２、ＯＫボタン１５０３、およびキャンセルボタン１５０４を含む。領域１５０１は、作業画像として作業手順書中に挿入する注視画像を示し、領域１５０２は、注視画像に対する説明文を入力するための箇所である。
The screen in FIG. 15 includes an
編集者がＯＫボタン１５０３を選択した場合、手順書編集プログラム１２０２によって、領域１５０２に入力された説明文が領域１５０１に示される注視画像と共に作業手順書１１０に挿入される。そして、図１５に示す画面によって挿入された説明文は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６、または、領域３１８等に格納される。
When the editor selects the
手順書編集プログラム１２０２は、図１５においてキャンセルボタン１５０４が選択された場合、注視画像１３０７を作業手順書１１０へ挿入しない。
The procedure
図１４における注視画像１３０７を作業手順書の位置１４０２に挿入した場合に表示される画面を図１６に示す。
FIG. 16 shows a screen displayed when the
図１６は、本発明の第２の実施形態の注視画像を作業画像として挿入した後の編集画面を示す説明図である。 FIG. 16 is an explanatory diagram illustrating an editing screen after inserting a gaze image according to the second embodiment of the present invention as a work image.
図１４および図１５に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の作業画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図１６に示す画像を表示する。
When an instruction to insert a gaze image is given on the screens shown in FIGS. 14 and 15 and an explanatory text as a work image of the gaze image to be inserted is input, the procedure
図１６に示す領域１３０２には、領域１６０１が含まれる。領域１６０１は、作業画像として挿入された注視画像１３０７と説明文とを含む。図１６に示す領域１６０１は、注視画像１３０７の作業画像の説明文として、「機材置き場」を示す。
A
また、手順書編集プログラム１２０２は、作業手順書における通し番号（例えば、図１６に示す「図１−３」、「図１−４」等の番号）を、自動的に割り当てなおす。
The procedure
次に、注視画像が第２の注視画像、すなわち注意画像に該当する場合、手順書編集プログラム１２０２は、ある作業とその次の作業の間に注視画像を追加する。
Next, when the gaze image corresponds to the second gaze image, that is, the attention image, the procedure
図１７は、本発明の第２の実施形態の注視画像を注意画像として挿入するための編集画面を示す説明図である。 FIG. 17 is an explanatory diagram illustrating an editing screen for inserting a gaze image according to the second embodiment of the present invention as a caution image.
図１７は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０６を含む領域１７０１を選択した場合の編集画面を示す。
FIG. 17 shows an editing screen when the editor selects an
例えば、図１７に示すように、領域１７０１に含まれる注視画像１３０６は、作業の説明が「１．作業準備」である作業に対応している。このため、「１．作業準備」に含まれるすべての作業画像と、次の作業（「２．既設◎◎取り付け金具取り外し」）に含まれるすべての作業画像との間の位置１７０２に、手順書編集プログラム１２０２によって追加可能である。
For example, as shown in FIG. 17, the
具体的な挿入方法としては、作業画像としての追加と同じく、編集者が、領域１７０１をマウス等により選択し、選択された領域１７０１を位置１７０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０６の位置１７０２への挿入を指示する方法がある。
As a specific insertion method, the editor selects the
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１７に示す位置１７０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
Note that the procedure
また、手順書編集プログラム１２０２は、注意画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューがキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
Further, the procedure
さらに、図１７の例において、注視画像１３０６は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、本実施形態の注視画像は作業手順書中の任意の作業に対する注意画像として挿入されてもよい。
Further, in the example of FIG. 17, the
図３に示す作業手順書１１０のフォーマットは、注意画像を格納する項目を含まない。このため、第２の実施形態における作業手順書１１０は、図１８に示すフォーマットのように、注意画像を格納する項目を含む。
The format of the
図１８は、本発明の第２の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
FIG. 18 is an explanatory diagram showing an electronic format of the
第２の実施形態における作業手順書１１０は、注意画像に関する情報を格納するための領域１８０１〜領域１８１０を含む。
The
図１８において、領域１８０１および領域１８０６は、注意画像の数を表す。領域１８０２、領域１８０４、領域１８０７および領域１８０９は、注意画像として作業手順書１１０に格納された画像を示す。
In FIG. 18, an
領域１８０２、領域１８０４、領域１８０７および領域１８０９には、注意画像に関する情報として、画像データが格納されてもよい。または、他の格納手段によって格納されている画像データを、特定するための識別子等が格納されてもよい。領域１８０３、領域１８０５、領域１８０８および領域１８１０は、各注意画像に対する説明文である。
In the
図１８に示すデータ３０３−１は、ｉ個（ｉは任意の自然数）の注意画像を含む。データ３０３−ｍは、ｊ個（ｊは任意の自然数）の注意画像を含む。 Data 303-1 illustrated in FIG. 18 includes i (i is an arbitrary natural number) attention images. The data 303-m includes j attention images (j is an arbitrary natural number).
手順書編集プログラム１２０２は、注意画像として挿入される注視画像と、注視画像が作業手順書に挿入される位置が、図１７に示す通り編集者によって決定された後、図１９のような画面によって、注意画像に対する説明文を編集者に入力させる。
The procedure
図１９は、本発明の第２の実施形態の注意画像の説明文を入力するための画面を示す説明図である。 FIG. 19 is an explanatory diagram illustrating a screen for inputting an explanatory text of a caution image according to the second embodiment of this invention.
図１９の画面は、領域１９０１、領域１９０２、ＯＫボタン１９０３、およびキャンセルボタン１９０４を含む。領域１９０１は、注意画像として作業手順書中に挿入する注視画像を示し、領域１９０２は、注視画像に対する説明文を入力するための箇所である。
The screen in FIG. 19 includes an
編集者がＯＫボタン１９０３を選択した場合、手順書編集プログラム１２０２によって、領域１９０２に入力した説明文が注意画像と共に作業手順書１１０に挿入される。手順書編集プログラム１２０２は、キャンセルボタン１９０４が選択された場合、注視画像を作業手順書１１０へ挿入しない。
When the editor selects the
図１７における注視画像１３０６を作業手順書の位置１７０２に挿入した後の状態を図２０に示す。
FIG. 20 shows a state after the
図２０は、本発明の第２の実施形態の注視画像を注意画像として挿入した後の画面を示す説明図である。 FIG. 20 is an explanatory diagram illustrating a screen after inserting a gaze image according to the second embodiment of the present invention as a caution image.
図１７および図１９に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の注意画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図２０に示す画像を表示する。
When an instruction to insert a gaze image is given on the screens shown in FIGS. 17 and 19 and an explanatory note as a caution image of the gaze image to be inserted is input, the procedure
図２０に示す領域１３０２には、領域２００１が含まれる。領域２００１は、注意画像として挿入された注視画像１３０６を含む。図２０において、手順書編集プログラム１２０２は、図２０の領域２００１において、説明文の下に注意画像を表示し、「注意１）」等の番号または記号を説明文の先頭に表示する。これによって、領域２００１の画像が注意画像であることを示す。
An
注意画像およびその説明文の表示方法は、注意事項として作業者が注意画像を識別できれば、いかなる表示方法でもよい。 The display method of the caution image and the explanatory text thereof may be any display method as long as the operator can identify the caution image as a caution.
さらに、第２の実施形態の作業支援システムが入力装置１０２として、例えば、作業者の視線、作業者の位置および作業対象の位置を検出するセンサを備える場合、注視画像対応付けプログラム１２０１は、検出された注視画像が作業対象を含むが否かを判定できる。これによって、注視画像対応付けプログラム１２０１は、例えば、余分な注視画像として検出された注視画像が作業対象を画像として含む場合、作業対象を含む注視画像を作業画像として作業手順書に追加する可能性が高い。また、注視画像が作業対象を含まない場合、注視画像を注意画像として作業手順書に追加しない可能性が高い。
Furthermore, when the work support system of the second embodiment includes, as the
そして、注視画像対応付けプログラム１２０１は、前述のような注視画像の判定と、その判定結果を作業手順書１１０における対応箇所に格納してもよい。また、手順書編集プログラム１２０２は、前述の判定結果を注視画像と共に表示することによって、作業手順書の編集者が注視画像を作業画像または注意画像のいずれとして挿入すべきかを容易に判断させることができる。
Then, the gaze image association program 1201 may store the determination of the gaze image as described above and the determination result in a corresponding location in the
また、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３の前後において、注視画像が新たに作業手順書に対応付けられた場合、作業手順書に注視画像が対応付けられた旨を、作業手順書の管理者や作成者に通知するようにしてもよい。これによって、作業者は、作業手順書に挿入すべき画像が取得されたことを認識することができる。
Further, the gaze image association program 1201 indicates that the gaze image is associated with the work procedure manual when the gaze image is newly associated with the work procedure manual before and after
第２の実施形態によれば、作業者の視野画像から抽出された注視画像を、作業画像または注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。 According to the second embodiment, the gaze image extracted from the worker's visual field image can be inserted into the work procedure manual as a work image or a caution image. Accordingly, the work procedure manual can be updated based on the work of the worker, and work defects and accidents can be prevented in advance.
（第３の実施形態）
本発明における第３の実施形態を図２１から図２６を用いて説明する。
(Third embodiment)
A third embodiment of the present invention will be described with reference to FIGS.
図２１は、本発明の第３の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。 FIG. 21 is a block diagram showing a physical configuration when the work support system according to the third embodiment of the present invention is mounted on a computer that is generally used.
図２１に示す作業支援システムは、図１に示す作業支援システムに、ヒヤリハット検出プログラム２１０１、ヒヤリハット映像抽出プログラム２１０２、ヒヤリハット対応付けプログラム２１０３、手順書編集プログラム２１０４およびヒヤリハット映像２１０５を追加したものであり、それ以外は図１と同じである。
The work support system shown in FIG. 21 is obtained by adding a near-
ヒヤリハット検出プログラム２１０１は、作業者の状態を示す生体情報等のデータを取得して、作業者がヒヤリまたはハットした状態（ヒヤリハット状態）を検出する。ヒヤリハット状態とは、作業が不適切に実施される可能性があったために作業者がヒヤリまたはハッとした状態のことである。
The near-
ヒヤリハット検出プログラム２１０１は、ヒヤリハット状態を検出する方法として、例えば、既にあるヒヤリハット状態を検出する技術（例えば、特開２００７−４７９１４号公報参照）等を用いてもよい。
The near-
また、第３の実施形態の作業支援システムは、ヒヤリハット検出プログラム２１０１において必要となるデータの種類に従った装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を入力装置として備える。ヒヤリハット検出プログラム２１０１は、作業者のヒヤリハット状態を検出した場合、ヒヤリハット状態が検出された時刻を保持する。
The work support system according to the third embodiment uses, as an input device, a device according to the type of data required in the near
また、ヒヤリハット映像抽出プログラム２１０２は、ヒヤリハット映像を視野映像から抽出する。ヒヤリハット映像は、ヒヤリハットが検出された時刻から、あらかじめ定められた時間範囲の視野映像を切り出した映像である。すなわち、第１の時間範囲をＴ１、第２の時間範囲をＴ２、ヒヤリハット状態が検出された時刻をｔとした場合、時刻（ｔ−Ｔ１）から時刻（Ｔ２＋ｔ）までの間における視野映像をヒヤリハット映像として抽出する。なお、本実施形態における映像は、複数の画像を含む。 Moreover, the near-miss video image 2102 extracts a near-miss image from the view image. The near-miss video is an image obtained by cutting out a visual field image in a predetermined time range from the time when the near-miss is detected. That is, assuming that the first time range is T1, the second time range is T2, and the time when the near-miss state is detected is t, the visual field image from time (t−T1) to time (T2 + t) is near-miss Extract as video. Note that the video in the present embodiment includes a plurality of images.
ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像抽出プログラム２１０２によって視野映像から抽出されたヒヤリハット映像を作業手順書１１０の対応箇所に対応付けるためのプログラムである。ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像を作業手順書１１０に対応付けるため、作業状況判定プログラム１０８のステップ８０５において保持された、各作業が開始される時刻に関する情報を取得する。
The near-miss association program 2103 is a program for associating the near-miss video extracted from the visual field image by the near-hat image extraction program 2102 with the corresponding portion of the
そして、取得された各作業が開始された時刻と、ヒヤリハット状態が検出された時刻を比較することによって、各ヒヤリハット映像がどの作業に対応しているかを判定する。すなわち、第１の作業画像の次の作業の画像が第２の作業画像であり、ヒヤリハット状態が検出された時刻をｓ、第１の作業画像に対応する作業が開始された時刻をＳ１、第２の作業画像に対応する作業が開始された時刻をＳ２であり、Ｓ１≦ｓ＜Ｓ２である場合、ヒヤリハット対応付けプログラム２１０３は、検出されたヒヤリハット状態は第１の作業画像に対応付いていると判定できる。
Then, by comparing the time when each acquired work is started and the time when the near-miss state is detected, it is determined which work each near-hat video corresponds to. That is, the next work image after the first work image is the second work image, the time when the near-miss state is detected is s, the time when the work corresponding to the first work image is started is S1, When the time corresponding to the
前述のヒヤリハット映像と作業手順書１１０とを対応付ける方法は、すべての作業が終了した後に、各ヒヤリハット映像が対応する作業手順書１１０の箇所を特定するために適している。しかし、ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求めてもよい。
The above-described method of associating the near-miss video and the
ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求める場合、ヒヤリハット対応付けプログラム２１０３は、新たなヒヤリハット映像が抽出された時点において作業状況判定プログラム１０８から実施中として設定されている作業画像を取得し、その作業画像とヒヤリハット映像とが対応していると判定する。
When obtaining a work image corresponding to the extracted near-miss video every time the near-miss video is extracted, the near-miss association program 2103 is set as being implemented from the work
さらに、ヒヤリハット対応付けプログラム２１０３は、図４に示す作業画像列１１１のフォーマットに基づいて、作業画像が対応する作業手順書１１０の作業に関する情報を取得し、ヒヤリハット映像が作業手順書１１０のどの作業に対応しているかを求める。ヒヤリハット対応付けプログラム２１０３は、前述の方法によって、抽出されたすべてのヒヤリハット映像に対して、作業手順書１１０における対応箇所を求め、ヒヤリハット映像と、ヒヤリハット映像の作業手順書１１０における対応箇所に関する情報と、を図２１のヒヤリハット映像２１０５に格納する。
Further, the near-miss association program 2103 acquires information on the work of the
図２２は、本発明の第３の実施形態のヒヤリハット映像２１０５に格納される情報のフォーマットを示す。
FIG. 22 shows a format of information stored in the near-
図２２に示すヒヤリハット映像２１０５のフォーマットは、領域２２０１〜領域２２０５を含む。また、ｋ個（ｋは、任意の自然数）のヒヤリハット映像を含む。
The format of the
図２２において、領域２２０１は、ヒヤリハット映像２１０５に格納されるヒヤリハット映像の数を示す。領域２２０２および領域２２０４は、ヒヤリハット映像の映像データを格納する。または、他の格納領域に格納されるヒヤリハット映像の映像データを特定するための情報が格納されてもよい。
In FIG. 22, an area 2201 indicates the number of near-miss images stored in the near-
図２２において、領域２２０３および領域２２０５は、領域２２０２および領域２２０４が示すヒヤリハット映像が、作業手順書１１０中のいずれの作業に対応しているかを示す。すなわち、作業手順書１１０において作業を特定するための情報と、対応する作業における何番目の作業画像であるかを示す情報が含まれる。
In FIG. 22, an
領域２２０３および領域２２０５において作業手順書１１０のいずれの作業に対応しているかを示す方法は、図４における領域４０３および領域４０５と同じ方法である。
A method for indicating which work in the
手順書編集プログラム２１０４は、作業手順書１１０の内容に対して追加または修正等の編集作業を行うための機能を作業手順書の管理者または作成者に提供するプログラムである。また、作業見出し、作業説明の修正、および、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
The procedure manual editing program 2104 is a program that provides a manager or creator of a work procedure manual with a function for performing editing operations such as addition or correction to the contents of the
さらに手順書編集プログラム２１０４は、ヒヤリハット対応付けプログラム２１０３によって作業手順書１１０に対応付けられたヒヤリハット映像に対して、作業において注意すべき状況を示す映像としてヒヤリハット映像を追加するか、または、ヒヤリハット映像から抽出された特定の画像を作業において注意すべき状況を示す画像として追加するか、を、編集者に選択させる。また、映像または画像に対する説明文等を追加し、作業手順書の内容を更新する。
Furthermore, the procedure manual editing program 2104 adds a near-miss video to the near-hat video associated with the
図２３は、本発明の第３の実施形態のヒヤリハット画像と作業手順書との対応を示す編集画面を示す説明図である。 FIG. 23 is an explanatory diagram showing an editing screen showing correspondence between a near-miss image and a work procedure manual according to the third embodiment of this invention.
手順書編集プログラム２１０４は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図２３に示す編集画面は、領域２３０１および領域２３０２を含む。
The procedure manual editing program 2104 displays a work procedure manual editing screen by the
図２３に示す編集画面は、基本的には図１３に示す手順書編集プログラム１２０２による編集画面と同様である。領域２３０１は、作業手順書に対応付けられたヒヤリハット映像の一覧が表示される箇所、領域２３０２は、編集中の作業手順書の内容が表示される箇所である。領域２３０１は、説明２３０３、ヒヤリハット映像２３０４、説明２３０５、およびヒヤリハット映像２３０６を含む。
The editing screen shown in FIG. 23 is basically the same as the editing screen by the procedure
領域２３０１において、各ヒヤリハット映像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。
In the
また、領域２３０２に示す作業手順書は、一つの作業に複数の作業画像が含まれているため、手順書編集プログラム２１０４は、ヒヤリハット映像がどの作業画像に対応付いているかを判別可能なように、作業画像の説明２３０３および説明２３０５に対応付けて、ヒヤリハット映像２３０４およびヒヤリハット映像２３０６を表示する。さらに、編集者が領域２３０１に表示される作業画像の説明またはヒヤリハット映像を選択した場合、手順書編集プログラム２１０４は、領域２３０２の作業手順書において、対応する箇所の表示を変化させてもよい。
Further, since the work procedure manual shown in the
また、手順書編集プログラム２１０４は、領域２３０１に含まれるヒヤリハット映像を、常に再生して表示してもよいし、選択された場合に再生し始めてもよい。
In addition, the procedure manual editing program 2104 may always reproduce and display the near-miss video included in the
図２４は、本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入するための編集画面を示す説明図である。 FIG. 24 is an explanatory diagram showing an edit screen for inserting a near-miss video according to the third embodiment of the present invention as a caution image.
図２４は、編集者が作業手順書に挿入するヒヤリハット映像を選択するため、ヒヤリハット映像２３０４を含む領域２４０１を選択した場合の編集画面を示す。
FIG. 24 shows an editing screen when the editor selects an
ヒヤリハット映像は、作業上の注意事項を示す情報になりうるため、ヒヤリハット映像が対応する作業における作業画像と、次の作業の作業画像との間の箇所に挿入される可能性がある。具体的には、領域２４０１に含まれるヒヤリハット映像２３０４が作業手順書に挿入される場合、ヒヤリハット映像２３０４は、位置２４０２に挿入する可能性がある。
Since the near-miss video can be information indicating precautions for work, there is a possibility that the near-miss video may be inserted at a position between the work image in the corresponding work and the work image of the next task. Specifically, when the near-
具体的な挿入方法としては、編集者が、領域２４０１をマウスにより選択し、選択された領域２４０１を位置２４０２へドラッグ・アンド・ドロップすることによって、編集者がヒヤリハット映像２３０４の位置２４０２への挿入を指示する方法がある。
As a specific insertion method, the editor selects the
なお、手順書編集プログラム２１０４は、ドラッグ・アンド・ドロップによってヒヤリハット映像の挿入が指示される際に、図２４に示す位置２４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
Note that the procedure manual editing program 2104 displays a dotted line like the
また、手順書編集プログラム２１０４は、ヒヤリハット映像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューが操作され、挿入する機能が起動された後、ヒヤリハット映像および挿入箇所の選択を編集者に行わせてもよい。また、ヒヤリハット映像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。 Further, the procedure manual editing program 2104 may display a button or menu that activates a function for inserting a near-miss video. Then, after the displayed button or menu is operated and the function to be inserted is activated, the editor may select the near-miss video and the insertion location. Alternatively, a method may be used in which a function to insert is activated after a near-miss video and an insertion location are selected.
さらに、図２４に示す編集画面において、ヒヤリハット映像２３０４は作業手順書上で対応している箇所にのみ挿入可能であったが、作業手順書中の任意の作業の注意画像として挿入されてもよい。
Further, in the editing screen shown in FIG. 24, the near-
第３の実施形態における作業手順書１１０のフォーマットは、図１８に示す第２の実施形態における作業手順書１１０のフォーマットと同様である。ただし、領域１８０２、領域１８０４、領域１８０７および領域１８０９には、ヒヤリハット映像の映像データ、またはヒヤリハット映像から抽出された特定の画像データが格納される。注意画像としては、さらに、映像データまたは画像データそのものが作業手順書１１０に格納されてもよいし、また、他の格納領域に格納される映像データまたは画像データを特定することができる識別子等の情報が格納されてもよい。
The format of the
ドラッグ・アンド・ドロップ等の操作によって、挿入されるヒヤリハット映像および作業手順書中の挿入箇所が決定された後、手順書編集プログラム２１０４は、図２５のような画面により、ヒヤリハット映像に対する説明文を入力できるようにする。 After the near-miss video to be inserted and the insertion location in the work procedure manual are determined by an operation such as drag and drop, the procedure manual editing program 2104 displays an explanation for the near-hat video on the screen as shown in FIG. Allow input.
図２５は、本発明の第３の実施形態の作業画像の説明文を入力するための画面を示す説明図である。 FIG. 25 is an explanatory diagram illustrating a screen for inputting an explanatory text of a work image according to the third embodiment of this invention.
図２５の画面は、領域２５０１、ボタン２５０２〜ボタン２５０４、領域２５０５、ボタン２５０６〜ボタン２５０８を含む。
The screen in FIG. 25 includes an
図２５に示す画面を介して入力される説明文は、図１８に示す作業手順書１１０のフォーマットの第３の実施形態における領域１８０３、領域１８０５、領域１８０８および領域１８１０等に格納される。
The explanatory text input via the screen shown in FIG. 25 is stored in an
領域２５０１は、作業手順書に挿入されるヒヤリハット映像を示す。ボタン２５０２は、編集者が、ヒヤリハット映像の内容を確認するために、ヒヤリハット映像を再生するための指示を入力するためのボタンである。ボタン２５０３は、編集者が、ヒヤリハット映像の再生を一時停止するためのボタンである。ボタン２５０４は、編集者が、ヒヤリハット映像の再生を停止するためのボタンである。
An
手順書編集プログラム２１０４は、領域２５０１に表示されたヒヤリハット映像を操作するための機能として、再生、一時停止および停止の他、巻き戻し、早送り、またはスロー再生など、映像の操作として一般的に使用される機能を表示してもよい。
The procedure manual editing program 2104 is generally used as a function for operating the near-miss video displayed in the
領域２５０５は、編集者がヒヤリハット映像に対する説明文を入力するための箇所である。編集者がボタン２５０６を選択した場合、領域２５０１に表示されたヒヤリハット映像と、領域２５０５に入力された説明文とが作業手順書に追加される。
An
また、編集者がボタン２５０７を選択した場合、領域２５０１に表示されるヒヤリハット映像から抽出されたヒヤリハット画像と、領域２５０５に入力された説明文とが、作業手順書に追加される。
When the editor selects the
前述のボタン２５０７による画像の作業手順書への追加方法は、ヒヤリハット映像から抽出された一枚の画像を作業手順書に追加するが、手順書編集プログラム２１０４は、複数の画像を選択された場合、選択された複数の画像を作業手順書に追加する方法を用いてもよい。
In the method of adding an image to the work procedure manual using the
図２６は、本発明の第３の実施形態のヒヤリハット映像２３０４を注意画像として挿入した後の編集画面を示す説明図である。
FIG. 26 is an explanatory diagram illustrating an editing screen after inserting a near-
図２６は、図２４におけるヒヤリハット映像２３０４を作業手順書の位置２４０２に挿入した後の編集画面を示す。図２６に示す領域２３０２は、領域２６０１を含む。領域２６０１は、図２４の編集画面によって追加されたヒヤリハット映像２３０４と、図２５に示す画面によって入力された説明文を示す。
FIG. 26 shows an editing screen after the near-
手順書編集プログラム２１０４は、図２６の領域２６０１において説明文の下にヒヤリハット映像２３０４を表示し、説明文の先頭に「注意１」」等の番号、または記号を表示する。これによって、領域２６０１の画像が注意画像であることを示す。
The procedure manual editing program 2104 displays a near-
ヒヤリハット映像およびその説明文の表示方法は、注意事項として識別できればいかなる表示方法でもよい。また、手順書編集プログラム２１０４は、ヒヤリハット映像が映像データとして作業手順書中に追加される場合、ヒヤリハット映像を選択すると映像が再生されるように表示してもよい。または、再生および停止等のヒヤリハット映像を操作するためのボタンまたはメニュー等を別途、表示してもよい。 The display method of the near-miss video and the explanatory text thereof may be any display method as long as it can be identified as a notice. Further, when the near-miss video is added to the work procedure manual as video data, the procedure manual editing program 2104 may display the video so that the video is played when the near-hat video is selected. Alternatively, buttons or menus for operating near-miss images such as playback and stop may be displayed separately.
第３の実施形態において、作業支援システムは、視野画像からヒヤリハット映像を抽出し、抽出されたヒヤリハット映像を作業手順書に対応付けた。前述の第３の実施形態は、ヒヤリハット映像を作業手順書中に追加する機能を第１の実施形態の作業支援システムに追加したが、ヒヤリハット映像に関する処理や機能を第２の実施形態の作業支援システムに追加してもよい。これによって、第３の実施形態の作業支援システムは、余分な注視画像とヒヤリハット映像とを作業手順書中に追加することができる。 In the third embodiment, the work support system extracts a near-miss video from the view image, and associates the extracted near-hat video with the work procedure manual. In the third embodiment described above, a function for adding a near-miss video to the work procedure manual is added to the work support system of the first embodiment. However, processing and functions related to the near-hat video are added to the work support of the second embodiment. It may be added to the system. Thereby, the work support system of the third embodiment can add an extra gaze image and a near-miss video to the work procedure manual.
第３の実施形態によれば、作業者の視野画像から抽出されたヒヤリハット映像を、注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。 According to the third embodiment, a near-miss video extracted from the worker's visual field image can be inserted into the work procedure manual as a caution image. Accordingly, the work procedure manual can be updated based on the work of the worker, and work defects and accidents can be prevented in advance.
（第４の実施形態）
本発明における第４の実施形態を図２７により説明する。
(Fourth embodiment)
A fourth embodiment of the present invention will be described with reference to FIG.
図２７は、本発明の第４の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。 FIG. 27 is a block diagram illustrating a physical configuration when the work support system according to the fourth embodiment of this invention is implemented by a plurality of computers.
第４の実施形態の作業支援システムは、手順書管理用端末２７０２と、複数の作業者用端末２７０１とを備える。手順書管理用端末２７０２と作業者用端末２７０１とは、ネットワーク２７０３によって接続される。第４の実施形態の作業支援システムは、第２の実施形態の作業支援システムの各機能を、作業者用端末２７０１と手順書管理用端末２７０２とに分割して有する。
The work support system of the fourth embodiment includes a procedure
作業者用端末２７０１は、計算機であり、情報処理装置２７０４、入力装置２７０５、出力装置２７０６、記憶装置２７０７、および作業画像列２７０８を備える。情報処理装置２７０４は、例えばＣＰＵ等のプロセッサなど、各種プログラムを実行するための装置である。
The
入力装置２７０５は、例えば、視野映像または視線を取得する装置、キーボード、マウス、または、タッチパッド等の装置である。出力装置２７０６は、例えば、モニタ、スピーカ、または振動を検出する装置等である。記憶装置２７０７は、各種プログラムを格納する装置である。作業画像列２７０８は、作業画像列を格納するための記憶装置である。
The
記憶装置２７０７は、注視画像抽出プログラム２７０９、類似度計算プログラム２７１０、作業状況判定プログラム２７１１、表示プログラム２７１２、および注視画像対応付けプログラム２７１３を含む。さらに記憶装置２７０７は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための送受信プログラム２７１４も含む。
The
手順書管理用端末２７０２は、計算機であり、情報処理装置２７１５、入力装置２７１６、出力装置２７１７、記憶装置２７１８、作業手順書２７１９、および注視画像２７２０を備える。情報処理装置２７１５は、例えば、プロセッサなど、各種プログラムを実行するための装置である。
The procedure
入力装置２７１６は、キーボード、マウス、またはタッチパッド等の作業手順書を編集および管理するための操作を行うための装置である。出力装置２７１７は、作業手順書の内容または編集画面を表示するためのモニタまたはスピーカ等の装置である。
The
記憶装置２７１８は、各種プログラムを格納するための装置である。作業手順書２７１９は、作業手順書を格納するための記憶装置である。注視画像２７２０は、注視画像を格納するための記憶装置である。
The
また、記憶装置２７１８は、作業画像列生成プログラム２７２１、手順書編集プログラム２７２２、表示プログラム２７２３を含む。さらに記憶装置２７１８は、作業者用端末２７０１との間で情報を送受信するための送受信プログラム２７２４を含む。
The
第４の実施形態における各機能は、第２の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２７０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２７１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２７１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２７１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。また、注視画像対応付けプログラム２７１３は、注視画像対応付けプログラム１２０１と同じ機能を有する。
Each function in the fourth embodiment is the same as each function in the second embodiment. That is, the gaze
さらに、作業画像列生成プログラム２７２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２７２２は、手順書編集プログラム１２０２と同じ機能を有する。また、表示プログラム２７２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
Further, the work image
なお、第４の実施形態における一部の機能は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための機能を含む。以下、第４の実施形態において追加される機能について説明する。
Note that some functions in the fourth embodiment include a function for transmitting and receiving information between the
まず、作業者用端末２７０１は、作業の開始時に、利用可能な作業手順書から実施する作業に関する作業手順書を作業者に選択させる。これは第１の実施形態に説明した内容と同様に表示プログラム２７１２によって行われるが、作業手順書は手順書管理用端末２７０２の作業手順書２７１９に格納されている。このため、表示プログラム２７１２は、送受信プログラム２７１４を用いて、手順書管理用端末２７０２から作業手順書に関する情報を取得した後、出力装置２７０６に取得された作業手順書の一覧を表示する。
First, the
出力装置２７０６に表示された作業手順書の一覧から、作業者が実施する作業に関する作業手順書を選択した場合、選択結果は送受信プログラム２７１４を用いて作業者用端末２７０１から手順書管理用端末２７０２に送信される。そして、手順書管理用端末２７０２は、作業画像列生成プログラム２７２１を用いて、選択された作業手順書から作業画像列を生成する。
When a work procedure manual related to work performed by the worker is selected from the list of work procedure manuals displayed on the
さらに、送受信プログラム２７２４は、生成された作業画像列を、作業者用端末２７０１に送信する。作業者用端末２７０１によって受信された作業画像列は、作業画像列２７０８に格納される。
Further, the transmission / reception program 2724 transmits the generated work image sequence to the
作業が開始された場合、作業者用端末２７０１は、第１の実施形態と同じく、注視画像抽出プログラム２７０９および類似度計算プログラム２７１０を用いた注視画像の抽出、作業状況判定プログラム２７１１および類似度計算プログラム２７１０を用いた作業状況の判定処理を行う。また、第２の実施形態と同様に、注視画像対応付けプログラム２７１３を用いた余分な注視画像の作業手順書への対応付けを行う。
When the work is started, the
ここで、第４の実施形態における注視画像対応付けプログラム２７１３は、余分な注視画像とその注視画像が対応する作業手順書中の箇所に関する情報とを、送受信プログラム２７１４を用いて手順書管理用端末２７０２に送信する。手順書管理用端末２７０２では、受信した余分な注視画像と作業手順書中の対応箇所に関する情報とを注視画像２７２０に格納する。そして、手順書編集プログラム２７２２は、注視画像２７２０を参照し、第２の実施形態と同じ方法によって作業手順書の編集画面が出力装置２７１７に表示する。
Here, the gaze image association program 2713 according to the fourth embodiment uses the transmission /
第４の実施形態によれば、複数の作業者が各作業を実施することによって抽出された注視画像に基づいて、編集者が作業手順書の編集を行うことができる。また、これによって、作業不備および事故を未然に防ぐことができる。 According to the fourth embodiment, an editor can edit a work procedure manual based on a gaze image extracted by a plurality of workers performing each work. This also prevents work defects and accidents.
（第５の実施形態）
本発明における第５の実施形態を図２８により説明する。
(Fifth embodiment)
A fifth embodiment of the present invention will be described with reference to FIG.
図２８は、本発明の第５の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。 FIG. 28 is a block diagram illustrating a physical configuration when the work support system according to the fifth embodiment of this invention is implemented by a plurality of computers.
第５の実施形態の作業支援システムは、手順書管理用端末２８０２と、複数の作業者用端末２８０１とを備える。手順書管理用端末２８０２と作業者用端末２８０１とは、ネットワーク２８０３によって接続される。第５の実施形態の作業支援システムは、第３の実施形態の作業支援システムの各機能を、作業者用端末２８０１と手順書管理用端末２８０２とに分割して有する。
The work support system of the fifth embodiment includes a procedure
作業者用端末２８０１は、第４の実施形態の作業者用端末２７０１と同じく、情報処理装置２８０４、入力装置２８０５、出力装置２８０６、記憶装置２８０７、および作業画像列２８０８を備える。情報処理装置２８０４は、例えばプロセッサなど、各種プログラムを実行するための装置である。
The
情報処理装置２８０４、出力装置２８０６、および作業画像列２８０８は、第４の実施形態の情報処理装置２７０４、出力装置２７０６、および作業画像列２７０８と同じである。
The
記憶装置２８０７は、注視画像抽出プログラム２８０９、類似度計算プログラム２８１０、作業状況判定プログラム２８１１、表示プログラム２８１２、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を含む。さらに記憶装置２８０７は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための送受信プログラム２８１４も含む。
The
図２８に示す作業者用端末２８０１は、図２７に示す作業者用端末２７０１の構成と同様であるが、注視画像対応付けプログラム２７１３の代わりに、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を記憶装置２８０７に含む。
The
また、第５の実施形態による作業支援システムでは、入力装置２８０５として、視野映像を入力するためのビデオカメラ、視線入力装置、キーボード、マウス、またはタッチパネル等の一般的な入力装置を備える。また、ヒヤリハット検出プログラム２８３１によって必要となるデータの種類に応じた入力装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を備えてもよい。
In the work support system according to the fifth embodiment, the
第５の実施形態における各機能は、第３の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２８０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２８１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２８１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２８１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。
Each function in the fifth embodiment is the same as each function in the third embodiment. That is, the gaze
また、ヒヤリハット検出プログラム２８３１は、ヒヤリハット検出プログラム２１０１と同じ機能を有する。ヒヤリハット映像抽出プログラム２８３２は、ヒヤリハット映像抽出プログラム２１０２と同じ機能を有する。ヒヤリハット対応付けプログラム２８３３は、ヒヤリハット対応付けプログラム２１０３と同じ機能を有する。
The near-miss detection program 2831 has the same function as the near-
手順書管理用端末２８０２も、図２７における手順書管理用端末２７０２の構成と同様であるが、図２７における注視画像２７２０の代わりに、ヒヤリハット映像２８３４を備える。
The procedure
また、作業画像列生成プログラム２８２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２８２２は、手順書編集プログラム２１０４と同じ機能を有する。また、表示プログラム２８２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
The work image sequence generation program 2821 has the same function as the work image
なお、第５の実施形態における一部の機能は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための機能を含む。以下、第５の実施形態において追加される機能について説明する。
Note that some functions in the fifth embodiment include a function for transmitting and receiving information between the
作業者用端末２８０１において、作業者が実施する作業に関する作業手順書を選択した結果を手順書管理用端末２８０２に送信する方法、手順書管理用端末２８０２において、選択された作業手順書から作業画像列を生成する方法、生成された作業画像列を作業者用端末２８０１に送信する方法、および、作業者用端末２８０１に格納する方法は、第４の実施形態と同じであるが、各方法は、第５の実施形態の各機能によって実行される。
A method of transmitting a result of selecting a work procedure manual relating to a work performed by the worker to the procedure
作業が開始された場合、作業者用端末２８０１は、第１の実施形態と同じく、注視画像抽出プログラム２８０９および類似度計算プログラム２８１０を用いた注視画像の抽出、作業状況判定プログラム２８１１および類似度計算プログラム２８１０を用いた作業状況の判定処理を行う。
When the work is started, the
そして、第３の実施形態と同じく、ヒヤリハット検出プログラム２８３１が作業者のヒヤリハット状態を検出し、ヒヤリハット状態の検出結果に基づいてヒヤリハット映像抽出プログラム２８３２が視野映像からヒヤリハット映像を抽出する。さらに、ヒヤリハット対応付けプログラム２８３３が、ヒヤリハット映像が対応する作業手順書中の箇所を特定する。
As in the third embodiment, the near-miss detection program 2831 detects the near-miss condition of the worker, and the near-miss
さらに、第５の実施形態のヒヤリハット対応付けプログラム２８３３は、ヒヤリハット映像とそのヒヤリハット映像が対応する作業手順書の箇所に関する情報を手順書管理用端末２８０２に送信する。
Further, the near-miss association program 2833 of the fifth embodiment transmits information on the location of the work procedure manual corresponding to the near-hat video and the near-hat video to the procedure
手順書管理用端末２８０２では、受信したヒヤリハット映像と作業手順書中の対応箇所に関する情報とをヒヤリハット映像２８３４に格納する。手順書編集プログラム２８２２は、第３の実施形態と同じく、ヒヤリハット映像２８３４に基づいて、作業手順書の編集画面を出力装置１０３に表示する。
The procedure
第５の実施形態によれば、複数の作業者が各作業を実施することによって抽出されたヒヤリハット映像に基づいて、編集者が作業手順書を編集することができる。また、これによって、作業不備および事故を未然に防ぐことができる。 According to the fifth embodiment, an editor can edit a work procedure manual based on a near-miss video extracted by a plurality of workers performing each work. This also prevents work defects and accidents.
なお、本実施形態の情報処理装置（第１、第２、および第３の実施形態における情報処理装置１０１、第４の実施形態における情報処理装置２７０４、ならびに、第５の実施形態における情報処理装置２７０４）は、各作業支援システムが有する前述のプログラムを処理することによって、所定の機能を実現する機能部として動作してもよい。例えば、情報処理装置１０１は、作業画像列生成プログラム１０５を処理することによって、作業画像列生成部として機能してもよい。他のプログラムについても同様である。
Note that the information processing apparatus of this embodiment (the
さらに、本実施形態の情報処理装置は、各プログラムによって実行される複数の処理のそれぞれを実現する機能部としても動作してよい。また、各プログラムは、各処理ごとに分割され、別のプログラムとして実装されてもよい。 Furthermore, the information processing apparatus of the present embodiment may operate as a functional unit that realizes each of a plurality of processes executed by each program. Each program may be divided for each processing and may be mounted as another program.
また、本実施形態のプログラムは、プログラム配布サーバなどの、計算機読み取り可能な非一時的記憶媒体によって作業支援システムにインストールされてもよく、各計算機の不揮発性記憶デバイスに格納されてもよい。 The program of this embodiment may be installed in the work support system by a computer-readable non-transitory storage medium such as a program distribution server, or may be stored in a nonvolatile storage device of each computer.
本実施形態によれば、作業を実施する際に必ず準備される作業手順書に含まれる作業画像の情報と、取得された視野映像とを用いることによって、作業の進行状況が適切であるか否かを判定することができる。このため、判定に必要な入力装置は、例えば、ビデオカメラのみでもよく、作業現場に容易に導入することが可能となる。また、ビデオカメラは、視野を撮影できる状態であれば設置位置や方法に制限は無く、さらに、作業中に作業者が通常の作業と異なる新たな作業を行う必要も無いため、作業者に負担をかけずに作業状況を判定することが可能となる。 According to the present embodiment, whether or not the progress status of the work is appropriate by using the information of the work image included in the work procedure manual that is always prepared when the work is performed and the acquired visual field image. Can be determined. For this reason, the input device necessary for the determination may be, for example, only a video camera, and can be easily introduced into the work site. In addition, as long as the video camera can shoot the field of view, there are no restrictions on the installation position and method, and it is not necessary for the operator to perform new work different from normal work during the work. It is possible to determine the work status without applying the process.
また、作業者の視野画像から、注視画像またはヒヤリハット映像を抽出することによって、作業者が作業において注意すべき作業または追加されるべき作業を示す画像を、作業手順書に追加できる。これによって、作業不備および事故を未然に防ぐことができる。 Further, by extracting a gaze image or a near-miss video from the worker's visual field image, an image indicating the work that the worker should be careful of or work to be added can be added to the work procedure manual. As a result, work defects and accidents can be prevented.
なお、特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。 In addition, the following can be mentioned as typical ones of aspects of the present invention other than those described in the claims.
作業状況判定部は、第４の閾値を保持し、前記作業状況判定部は、前記抽出された注視画像が前記視野画像として取得された時間の合計と前記第４の閾値とを比較した結果、前記時間の合計が小さい場合、前記作業者が適切に作業を実施したと判定することを特徴とする作業支援システム。 The work situation determination unit retains a fourth threshold value, and the work situation determination unit compares the fourth threshold value with the total time when the extracted gaze image is acquired as the visual field image, When the total of the time is small, it is determined that the worker has appropriately performed the work.
１０１ 情報処理装置
１０２ 入力装置
１０３ 出力装置
１０４ 記憶装置
１０５ 作業画像列生成プログラム
１０６ 注視画像抽出プログラム
１０７ 類似度計算プログラム
１０８ 作業状況判定プログラム
１０９ 表示プログラム
１１０ 作業手順書
１１１ 作業画像列
１２０１ 注視画像対応付けプログラム
１２０２ 手順書編集プログラム
１２０３ 注視画像
２１０１ ヒヤリハット検出プログラム
２１０２ ヒヤリハット映像抽出プログラム
２１０３ ヒヤリハット対応付けプログラム
２１０５ ヒヤリハット映像
２７０１ 作業者用端末
２７０２ 手順書管理用端末
２７０３ ネットワーク
２７１４ 送受信プログラム
DESCRIPTION OF
Claims (15)
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、
プロセッサとメモリと入力装置とを備え、
前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業支援システム。 A work support system having an output device for displaying a work procedure manual to an operator,
The work procedure manual includes a work image indicating work performed by the worker,
The work support system includes:
A processor, a memory and an input device;
An image sequence generation unit that generates a work image sequence including the work images in the order of the work performed by the worker from the work procedure manual input to the work support system;
A work output unit for displaying a work image extracted from the work image sequence on the output device;
A gaze image extraction unit that extracts a gaze image that includes an image of a specific object that the worker is gazing from a plurality of field-of-view images that include images in a direction viewed by the worker acquired via the input device. When,
A similarity calculation unit that calculates a similarity between the extracted gaze image and the first work image displayed by the work output unit when the extracted gaze image is acquired as the visual field image. When,
Work for determining whether or not the worker is appropriately performing work using the elapsed time from the time when the work image is displayed, the extracted gaze image, or the calculated similarity. A situation determination unit,
The work output system outputs information related to work performed by the worker to the output device according to the determination result by the work situation determination unit.
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部を備え、
前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する表示用出力部と
前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集部を備えることを特徴とする請求項１に記載の作業支援システム。 The work support system includes:
When it is determined that the gaze image is extracted and the worker is not appropriately performing the work, the first work image and the extracted gaze image are associated with each other in the memory. A gaze image associating unit for storing;
A display output unit for displaying the work procedure manual including the first work image and the gaze image stored in association with the first work image on the output device; and the displayed gaze 2. An editing unit that updates the work procedure manual based on the instruction when an instruction to update the work procedure manual based on an image is input via the input device. The work support system described in 1.
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施される可能性があったために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記表示用出力部は、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示し、
前記編集部は、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新することを特徴とする請求項２に記載の作業支援システム。 The work support system includes:
There is a near-miss state in which the worker's biological information is measured, and the operator is improperly executed based on the measured biological information. , A near-miss detection unit for detecting the time generated in the worker,
Based on the time when the detected near-miss state occurred to an operator, the near-hat image extraction unit that extracts the acquired visual field image in the near-miss state as a near-miss image,
A second work image indicating a work performed by the worker when the extracted near-miss image is acquired as the visual field image and the extracted near-miss image are associated with each other and stored in the memory. An association unit;
The display output unit displays the work procedure manual including the second work image and the near-miss image stored in association with the second work image on the output device,
When the instruction to update the work procedure manual based on the displayed near-miss image is input via the input device, the editing unit updates the work procedure manual based on the instruction. The work support system according to claim 2, wherein the system is a work support system.
前記作業状況判定部は、
前記第１の閾値を保持する場合、前記第１の作業画像が前記作業用出力部によって表示された時刻からの経過時間が、前記第１の閾値よりも長い場合、前記作業者が適切に作業を実施していないと判定し、
前記第２の閾値を保持する場合、前記算出された類似度と前記第２の閾値とを比較した結果、前記算出された類似度が大きい場合、前記作業者が適切に作業を実施したと判定し、
前記第３の閾値を保持する場合、前記抽出された注視画像の数と前記第３の閾値とを比較した結果、前記抽出された注視画像の数が小さい場合、前記作業者が適切に作業を実施したと判定する請求項１から請求項３のいずれかに記載の作業支援システム。 The work situation determination unit holds at least one of a first threshold value, a second threshold value, or a third threshold value,
The work status determination unit
When the first threshold value is held, if the elapsed time from the time when the first work image is displayed by the work output unit is longer than the first threshold value, the worker appropriately works It is determined that
When the second threshold value is retained, if the calculated similarity degree is large as a result of comparing the calculated similarity degree with the second threshold value, it is determined that the worker has appropriately performed the work. And
When the third threshold value is held, if the number of the extracted gaze images is small as a result of comparing the number of the extracted gaze images with the third threshold value, the worker appropriately performs the work. The work support system according to claim 1, wherein the work support system is determined to be implemented.
前記作業用出力部は、前記抽出された次に実施される作業画像を、前記出力装置に表示することを特徴とする請求項１から請求項４のいずれかに記載の作業支援システム。 The work situation determination unit extracts, from the work image sequence, the work image to be executed next to the work indicated by the first work image when it is determined that the worker is appropriately performing the work. And
5. The work support system according to claim 1, wherein the work output unit displays the extracted work image to be executed next on the output device.
前記表示された注視画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示された注視画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入し、
前記表示されたヒヤリハット画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示されたヒヤリハット画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入することを特徴とする請求項３または請求項７に記載の作業支援システム。 The editing unit
When an instruction to insert the displayed gaze image into the work procedure manual is input, based on the instruction, the displayed gaze image is used as the work image indicating a work procedure or an image to be noted. As inserted in the work procedure manual,
When an instruction to insert the displayed near-miss image into the work procedure manual is input, based on the instruction, the displayed near-hat image is used as the work image indicating the work procedure or an image to be noted. The work support system according to claim 3, wherein the work support system is inserted into the work procedure manual.
前記管理用端末は、前記画像列生成部を備え、
前記各作業用端末は、
前記画像列生成部によって生成された前記作業画像列を受信する受信部と、
前記作業用出力部と、前記注視画像抽出部と、前記類似度算出部と、前記作業状況判定部と、を備えることを特徴とする請求項１から請求項８のいずれかに記載の作業支援システム。 The work support system includes a plurality of work terminals and a management terminal connected to each of the terminals,
The management terminal includes the image sequence generation unit,
Each working terminal is
A receiving unit for receiving the work image sequence generated by the image sequence generating unit;
The work support according to claim 1, further comprising: the work output unit, the gaze image extraction unit, the similarity calculation unit, and the work situation determination unit. system.
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、プロセッサとメモリと入力装置とを備え、
前記方法は、
前記プロセッサが、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成手順と、
前記プロセッサが、前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力手順と、
前記プロセッサが、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出手順と、
前記プロセッサが、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力手順によって表示された第１の作業画像と、の類似度を算出する類似度算出手順と、
前記プロセッサが、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定手順と、を含み、
前記作業用出力手順は、前記プロセッサが、前記作業状況判定手順による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する手順を含むことを特徴とする作業支援方法。 A work support method by a work support system including an output device for displaying a work procedure manual to an operator,
The work procedure manual includes a work image indicating work performed by the worker,
The work support system includes a processor, a memory, and an input device,
The method
An image sequence generation procedure for generating a work image sequence including the work images in the order of work performed by the worker from the work procedure manual input to the work support system by the processor;
A work output procedure in which the processor displays a work image extracted from the work image sequence on the output device;
The processor extracts a gaze image that includes an image of a specific object that the worker is gazing from a plurality of field-of-view images that include images in a direction viewed by the worker acquired via the input device. Gaze image extraction procedure;
The processor calculates a similarity between the extracted gaze image and the first work image displayed by the work output procedure when the extracted gaze image is acquired as the visual field image. Similarity calculation procedure,
The processor uses the elapsed time from the time when the work image is displayed, the extracted gaze image, or the calculated similarity as to whether or not the worker is appropriately performing the work. A work situation determination procedure for determining
The work output method includes a work support method, wherein the processor includes a procedure of outputting information on work performed by the worker to the output device according to the determination result of the work situation determination procedure.
前記プロセッサが、前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け手順と、
前記プロセッサが、前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する編集用出力手順と、
前記プロセッサが、前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集手順と、を含むことを特徴とする請求項１０に記載の作業支援方法。 The method
The processor associates the first work image with the extracted gaze image when the gaze image is extracted and it is determined that the worker is not appropriately performing the work. Gaze image association procedure stored in the memory,
An editing output procedure in which the processor displays the work procedure manual including the first work image and the gaze image stored in association with the first work image on the output device;
An editing procedure for updating the work procedure manual based on the instruction when the instruction to update the work procedure manual based on the displayed gaze image is input via the input device; The work support method according to claim 10, further comprising:
前記プロセッサが、前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出手順と、
前記プロセッサが、前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出手順と、
前記プロセッサが、前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け手順と、を備え、
前記編集用出力手順は、前記プロセッサが、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示する手順を含み、
前記編集手順は、前記プロセッサが、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する手順を含むことを特徴とする請求項１０または請求項１１のいずれかに記載の作業支援方法。 The method
The processor measures the biological information of the worker and, based on the measured biological information, the worker is improperly executed, and the worker is in a near-miss state. Is a near-miss detection procedure for detecting the time when the worker occurred,
A near-hat image extraction procedure for extracting the field-of-view image acquired in the near-miss state as a near-miss image based on the time when the detected near-miss state occurred in an operator,
The processor associates a second work image indicating a work performed by the worker when the extracted near-miss image is acquired as the field-of-view image and the extracted near-miss image in association with the memory. A near-miss matching procedure to be stored in
In the output procedure for editing, the processor displays the work procedure manual including the second work image and the near-miss image stored in association with the second work image on the output device. Including steps to
In the editing procedure, when an instruction for the processor to update the work procedure manual based on the displayed near-miss image is input via the input device, the work procedure manual is updated based on the instruction. The work support method according to claim 10, further comprising a renewal procedure.
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業用端末は、
プロセッサとメモリと入力装置とを備え、
前記作業者が実施する作業の順番に前記作業画像を含む作業画像列を、前記管理用端末から受信する受信部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業用端末。 A work terminal that is connected to a management terminal and includes an output device that displays a work procedure manual to an operator,
The work procedure manual includes a work image indicating work performed by the worker,
The work terminal is
A processor, a memory and an input device;
A receiver that receives from the management terminal a work image sequence including the work images in the order of work performed by the worker;
A work output unit for displaying a work image extracted from the work image sequence on the output device;
A gaze image extraction unit that extracts a gaze image that includes an image of a specific object that the worker is gazing from a plurality of field-of-view images that include images in a direction viewed by the worker acquired via the input device. When,
A similarity calculation unit that calculates a similarity between the extracted gaze image and the first work image displayed by the work output unit when the extracted gaze image is acquired as the visual field image. When,
Work for determining whether or not the worker is appropriately performing work using the elapsed time from the time when the work image is displayed, the extracted gaze image, or the calculated similarity. A situation determination unit,
The work output unit outputs information related to work performed by the worker to the output device according to the determination result by the work situation determination unit.
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部と、
前記第１の作業画像と、前記取得された注視画像と、を対応付けて前記管理用端末に送信する送信部と、を備えることを特徴とする請求項１３に記載の作業用端末。 The work terminal is
When it is determined that the gaze image is extracted and the worker is not appropriately performing the work, the first work image and the extracted gaze image are associated with each other in the memory. A gaze image associating unit for storing;
The work terminal according to claim 13, further comprising: a transmission unit that associates the first work image with the acquired gaze image and transmits the image to the management terminal.
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記送信部は、前記第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記管理用端末に送信することを特徴とする請求項１３または請求項１４のいずれかに記載の作業用端末。 The work terminal is
The worker's biological information is measured, and based on the measured biological information, the work is improperly carried out, and the worker is in a near-miss state or near-miss state. A near-miss detection unit for detecting the time generated in the person,
Based on the time when the detected near-miss state occurred to an operator, the near-hat image extraction unit that extracts the acquired visual field image in the near-miss state as a near-miss image,
A second work image indicating a work performed by the worker when the extracted near-miss image is acquired as the visual field image and the extracted near-miss image are associated with each other and stored in the memory. An association unit;
15. The transmission unit according to claim 13, wherein the transmission unit associates the second work image with the extracted near-miss image and transmits the image to the management terminal. Work terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011237891A JP5839553B2 (en) | 2011-10-28 | 2011-10-28 | Work support system, work support method, and work terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011237891A JP5839553B2 (en) | 2011-10-28 | 2011-10-28 | Work support system, work support method, and work terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013097466A true JP2013097466A (en) | 2013-05-20 |
| JP5839553B2 JP5839553B2 (en) | 2016-01-06 |
Family
ID=48619371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011237891A Active JP5839553B2 (en) | 2011-10-28 | 2011-10-28 | Work support system, work support method, and work terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5839553B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015107665A1 (en) * | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | Program for creating work assistance data |
| JP2017191351A (en) * | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | Work support system and method |
| WO2017204253A1 (en) * | 2016-05-26 | 2017-11-30 | コニカミノルタ株式会社 | Caregiving assistance device, method, program and system |
| JP2018005743A (en) * | 2016-07-06 | 2018-01-11 | 富士ゼロックス株式会社 | Information processing apparatus, image forming system, and program |
| JP2018022210A (en) * | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
| JP2018049421A (en) * | 2016-09-21 | 2018-03-29 | 株式会社 日立産業制御ソリューションズ | Work support device and work support method |
| JP2018073155A (en) * | 2016-10-31 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Work support system |
| JP2019159818A (en) * | 2018-03-13 | 2019-09-19 | 矢崎総業株式会社 | Work evaluation device and work evaluation method |
| JP2020003707A (en) * | 2018-06-29 | 2020-01-09 | 株式会社日立システムズ | Content generation system |
| JP2020137000A (en) * | 2019-02-22 | 2020-08-31 | 株式会社日立製作所 | Video recording device and head-mounted display |
| JP2020144776A (en) * | 2019-03-08 | 2020-09-10 | 株式会社日立製作所 | Work support system, work support device, and work support method |
| CN113302027A (en) * | 2019-01-30 | 2021-08-24 | 株式会社富士 | Work coordinate generation device |
| JP7418711B1 (en) | 2023-05-11 | 2024-01-22 | 株式会社 情報システムエンジニアリング | Attention extraction system and attention extraction method |
| JP7481995B2 (en) | 2020-10-28 | 2024-05-13 | 株式会社東芝 | State determination device, method, and program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09276234A (en) * | 1996-04-10 | 1997-10-28 | Omron Corp | System and method for reporting information |
| JPH10293790A (en) * | 1997-04-17 | 1998-11-04 | Toshiba Corp | Power equipment work management device |
| JP2003167613A (en) * | 2001-11-30 | 2003-06-13 | Sharp Corp | Operation management system and method and recording medium with its program for realizing the same method stored |
| WO2006016716A1 (en) * | 2004-08-12 | 2006-02-16 | Jasi Corporation | System for navigating work procedure |
| JP2006157463A (en) * | 2004-11-29 | 2006-06-15 | National Institute Of Advanced Industrial & Technology | Work state recorder, and its recording method, and recording program |
| JP2009037392A (en) * | 2007-08-01 | 2009-02-19 | Olympus Corp | Operation support system |
| JP2010218002A (en) * | 2009-03-13 | 2010-09-30 | Hitachi Ltd | Product assembly method |
| JP2010224749A (en) * | 2009-03-23 | 2010-10-07 | Daihen Corp | Work process management system |
| JP2011164694A (en) * | 2010-02-04 | 2011-08-25 | Nec Corp | Device and method for support of standard operation execution |
-
2011
- 2011-10-28 JP JP2011237891A patent/JP5839553B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09276234A (en) * | 1996-04-10 | 1997-10-28 | Omron Corp | System and method for reporting information |
| JPH10293790A (en) * | 1997-04-17 | 1998-11-04 | Toshiba Corp | Power equipment work management device |
| JP2003167613A (en) * | 2001-11-30 | 2003-06-13 | Sharp Corp | Operation management system and method and recording medium with its program for realizing the same method stored |
| WO2006016716A1 (en) * | 2004-08-12 | 2006-02-16 | Jasi Corporation | System for navigating work procedure |
| JP2006157463A (en) * | 2004-11-29 | 2006-06-15 | National Institute Of Advanced Industrial & Technology | Work state recorder, and its recording method, and recording program |
| JP2009037392A (en) * | 2007-08-01 | 2009-02-19 | Olympus Corp | Operation support system |
| JP2010218002A (en) * | 2009-03-13 | 2010-09-30 | Hitachi Ltd | Product assembly method |
| JP2010224749A (en) * | 2009-03-23 | 2010-10-07 | Daihen Corp | Work process management system |
| JP2011164694A (en) * | 2010-02-04 | 2011-08-25 | Nec Corp | Device and method for support of standard operation execution |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015107665A1 (en) * | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | Program for creating work assistance data |
| CN105745586A (en) * | 2014-01-17 | 2016-07-06 | 株式会社日立制作所 | Program for creating work assistance data |
| JPWO2015107665A1 (en) * | 2014-01-17 | 2017-03-23 | 株式会社日立製作所 | Work support data creation program |
| CN105745586B (en) * | 2014-01-17 | 2018-04-03 | 株式会社日立制作所 | Operation auxiliary data generator |
| JP2017191351A (en) * | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | Work support system and method |
| WO2017204253A1 (en) * | 2016-05-26 | 2017-11-30 | コニカミノルタ株式会社 | Caregiving assistance device, method, program and system |
| JP2018005743A (en) * | 2016-07-06 | 2018-01-11 | 富士ゼロックス株式会社 | Information processing apparatus, image forming system, and program |
| JP2018022210A (en) * | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
| JP2018049421A (en) * | 2016-09-21 | 2018-03-29 | 株式会社 日立産業制御ソリューションズ | Work support device and work support method |
| JP2018073155A (en) * | 2016-10-31 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Work support system |
| JP2019159818A (en) * | 2018-03-13 | 2019-09-19 | 矢崎総業株式会社 | Work evaluation device and work evaluation method |
| JP2020003707A (en) * | 2018-06-29 | 2020-01-09 | 株式会社日立システムズ | Content generation system |
| JP7191560B2 (en) | 2018-06-29 | 2022-12-19 | 株式会社日立システムズ | content creation system |
| CN113302027A (en) * | 2019-01-30 | 2021-08-24 | 株式会社富士 | Work coordinate generation device |
| CN113302027B (en) * | 2019-01-30 | 2023-12-22 | 株式会社富士 | Job coordinate generating device |
| JP2020137000A (en) * | 2019-02-22 | 2020-08-31 | 株式会社日立製作所 | Video recording device and head-mounted display |
| JP7058621B2 (en) | 2019-02-22 | 2022-04-22 | 株式会社日立製作所 | Video recorder and head-mounted display |
| JP2020144776A (en) * | 2019-03-08 | 2020-09-10 | 株式会社日立製作所 | Work support system, work support device, and work support method |
| JP7109395B2 (en) | 2019-03-08 | 2022-07-29 | 株式会社日立製作所 | WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD |
| JP7481995B2 (en) | 2020-10-28 | 2024-05-13 | 株式会社東芝 | State determination device, method, and program |
| JP7418711B1 (en) | 2023-05-11 | 2024-01-22 | 株式会社 情報システムエンジニアリング | Attention extraction system and attention extraction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5839553B2 (en) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5839553B2 (en) | Work support system, work support method, and work terminal | |
| US10313627B2 (en) | Apparatus for playing back recorded video images related to event, and method thereof | |
| JP2014153813A5 (en) | Image processing apparatus, image processing method, and program | |
| KR101925701B1 (en) | Determination of attention towards stimuli based on gaze information | |
| WO2016132731A1 (en) | Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program | |
| JP4858375B2 (en) | Information processing apparatus and program | |
| US20180310066A1 (en) | Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein | |
| US20210329175A1 (en) | Image processing system, image processing method, and program | |
| TW201426628A (en) | Image processing method and image processing system | |
| JP2009169768A (en) | Information processor and program | |
| US10311617B2 (en) | Operation support device, operation support method, and non-transitory computer readable recording medium | |
| US20190339831A1 (en) | Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein, and metadata creation method | |
| CN101869483A (en) | Photographic information treatment facility and photographic information processing method | |
| JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
| JP2017016349A (en) | Work management program, work management method and work management system | |
| JP2010086221A (en) | Image editing method and device, and computer readable recording medium storing program for implementing the method | |
| JP2015103020A (en) | Information processing apparatus, information processing method, and program | |
| JP5317558B2 (en) | Medical information creation device | |
| JP2015135596A (en) | Information processing apparatus and information processing program | |
| CN112698775A (en) | Image display method and device and electronic equipment | |
| US12080408B2 (en) | Information processing system, and information processing method and program | |
| JP2013157034A (en) | Medical information display device | |
| KR20190068880A (en) | Hmd device capable of displaying a vr-based presentation document and operating method thereof | |
| JP2008035921A (en) | Operation support system of medical apparatus, and operation support program of medical apparatus | |
| JP7094759B2 (en) | System, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5839553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |