JP2019120577A - Position estimation device, position estimation method and computer program for position estimation - Google Patents
Position estimation device, position estimation method and computer program for position estimation Download PDFInfo
- Publication number
- JP2019120577A JP2019120577A JP2018000257A JP2018000257A JP2019120577A JP 2019120577 A JP2019120577 A JP 2019120577A JP 2018000257 A JP2018000257 A JP 2018000257A JP 2018000257 A JP2018000257 A JP 2018000257A JP 2019120577 A JP2019120577 A JP 2019120577A
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- position estimation
- contact positions
- groups
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000009826 distribution Methods 0.000 claims abstract description 136
- 238000001514 detection method Methods 0.000 claims description 49
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000005484 gravity Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000002994 Monte Carlo simulated annealing Methods 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 229910019687 S105-No Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば、３次元点群データから物品の位置を推定する位置推定装置、位置推定方法及び位置推定用コンピュータプログラムに関する。 The present invention relates to, for example, a position estimation apparatus, a position estimation method, and a computer program for position estimation which estimate the position of an article from three-dimensional point cloud data.
３次元点群データから、その３次元点群データに表された１以上の物品の位置及びサイズを、グラフカット等の手法を用いて推定する技術が提案されている（例えば、非特許文献１を参照）。 A technique has been proposed for estimating the position and size of one or more objects represented in the three-dimensional point group data from the three-dimensional point group data using a method such as graph cutting (for example, non-patent document 1) See).
非特許文献１に開示された技術では、推定対象となる物品の大凡の位置及び大きさに関する情報が予め与えられることが求められる。しかし、用途によっては、推定対象となる物品の大凡の位置及び大きさに関する情報が無いことがある。 The technique disclosed in Non-Patent Document 1 requires that information on the approximate position and size of an article to be estimated be given in advance. However, depending on the application, there may be no information on the approximate position and size of the article to be estimated.
一つの側面では、本発明は、３次元点群データから推定対象となる物品の位置を推定可能な位置推定装置を提供することを目的とする。 In one aspect, the present invention aims to provide a position estimation apparatus capable of estimating the position of an article to be estimated from three-dimensional point cloud data.
一実施形態によれば、位置推定装置が提供される。この位置推定装置は、距離センサから得た、一連の作業中の作業者の手を撮影することで得られる、複数の３次元点群データのそれぞれについて作業者の手が触れた接触位置を検出することで、接触位置の分布を求める接触位置検出部と、接触位置の分布を一連の作業において作業者の手が触れる１以上の物品のそれぞれに対応する接触位置のグループに分割し、グループのそれぞれごとに、そのグループの代表点を１以上の物品のうちのそのグループに対応する物品の位置として推定する位置推定部とを有する。 According to one embodiment, a position estimation device is provided. The position estimation apparatus detects a contact position at which the operator's hand touches each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of tasks obtained from the distance sensor. By dividing the distribution of contact positions into a group of contact positions corresponding to each of one or more articles touched by the hand of the operator in a series of operations; Each has a position estimation part which estimates the representative point of the group as a position of the articles corresponding to the group among the one or more articles.
一つの側面では、３次元点群データから推定対象となる物品の位置を推定できる。 In one aspect, the position of an article to be estimated can be estimated from three-dimensional point cloud data.
以下、図面を参照しつつ、位置推定装置について説明する。この位置推定装置は、３次元点群データを表す距離画像から、例えば、装置の組み立てといった一連の作業で用いられる、１以上の物品の位置及びサイズを推定する。 The position estimation apparatus will be described below with reference to the drawings. The position estimation device estimates the position and size of one or more articles used in a series of operations such as assembly of the device, from a distance image representing three-dimensional point cloud data.
ここで、発明者は、作業者がその一連の作業を実施する間において、作業者の手が各物品に触れることに着目した。そこでこの位置推定装置は、一連の作業中に得られた一連の距離画像のそれぞれから作業者の手を検出し、検出された手に基づいて、作業者の手が触れた位置を検出する。そしてこの位置推定装置は、作業者の手が触れた位置の分布を物品ごとにグループ化することで、物品ごとの位置及びサイズを推定する。 Here, the inventor focused on the fact that the worker's hand touches each article while the worker carries out the series of work. Therefore, this position estimation device detects the operator's hand from each of the series of distance images obtained during the series of operations, and detects the position touched by the operator's hand based on the detected hand. Then, the position estimation device estimates the position and size of each item by grouping the distribution of the position touched by the operator's hand for each item.
図１は、一つの実施形態による位置推定装置のハードウェア構成図である。図２は、一つの実施形態による位置推定装置で用いられる距離センサによる撮影範囲の一例を示す図である。位置推定装置１は、距離センサ１１と、メモリ１２と、プロセッサ１３と、ディスプレイ１４とを有する。そして距離センサ１１、メモリ１２及びディスプレイ１４は、それぞれ、プロセッサ１３と信号線を介して接続される。また、位置推定装置１は、位置推定装置１を他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。 FIG. 1 is a hardware block diagram of a position estimation device according to one embodiment. FIG. 2 is a diagram showing an example of an imaging range by a distance sensor used in the position estimation device according to one embodiment. The position estimation device 1 has a distance sensor 11, a memory 12, a processor 13, and a display 14. The distance sensor 11, the memory 12, and the display 14 are connected to the processor 13 via signal lines, respectively. Further, the position estimation device 1 may further include a communication interface (not shown) for connecting the position estimation device 1 to another device.
距離センサ１１は、距離測定部の一例である。そして距離センサ１１は、図２に示されるように、例えば、作業台の上方において、例えば鉛直下方へ向けて取り付けられる。そして距離センサ１１の撮影範囲には、例えば、作業対象物が載置される作業台１００、及び、各部品または工具などが収容される、１以上の工具箱１０１が配置される備品棚などが含まれる。さらに、距離センサ１１の撮影範囲には、一連の作業中の作業者の手１０２も含まれる。工具箱１０１は、位置推定対象となる物品の一例である。なお、位置推定対象となる物品は、工具箱に限られず、一連の作業中において作業者の手が触れる様々な備品の何れであってもよい。 The distance sensor 11 is an example of a distance measuring unit. Then, as shown in FIG. 2, the distance sensor 11 is attached, for example, vertically downward, for example, above the workbench. And, in the photographing range of the distance sensor 11, for example, a work bench 100 on which the work object is placed, and an equipment shelf in which one or more tool boxes 101 are disposed, in which each component or tool is accommodated. included. Furthermore, the imaging range of the distance sensor 11 also includes the hands 102 of the operator during a series of operations. The tool box 101 is an example of an article to be subjected to position estimation. The article to be subjected to position estimation is not limited to the tool box, and may be any of various fixtures that the operator's hand touches during a series of operations.
距離センサ１１は、一連の作業中において、一定の周期（例えば、30フレーム／秒〜60フレーム／秒）ごとに、作業者の手を含む撮影範囲の距離画像を生成する。そして距離センサ１１は、生成した距離画像をプロセッサ１３へ出力する。そのために、距離センサ１１は、例えば、デプスカメラとすることができる。あるいは、距離センサ１１は、距離画像とともに、カラーまたはモノクロ画像を生成できるカメラであってもよい。 The distance sensor 11 generates a distance image of an imaging range including the hand of the worker every fixed period (for example, 30 frames / second to 60 frames / second) during a series of operations. Then, the distance sensor 11 outputs the generated distance image to the processor 13. Therefore, the distance sensor 11 can be, for example, a depth camera. Alternatively, the distance sensor 11 may be a camera capable of generating a color or monochrome image together with the distance image.
距離画像は、３次元点群データの一例であり、例えば、画素ごとに、その画素の値により、距離センサ１１からその画素に写っている物体の点までの距離を表す。例えば、距離センサ１１から距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなる。なお、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値が小さくなるようにしてもよい。また、距離画像上の画素の位置は距離センサ１１からの方向を表す。そのため、距離画像の各画素は、距離画像上でのその画素の位置と値とにより、その画素に写っている物体の３次元空間での位置を表す。 The distance image is an example of three-dimensional point group data. For example, for each pixel, the value of the pixel represents the distance from the distance sensor 11 to the point of the object shown in the pixel. For example, as the distance from the distance sensor 11 to the point of the object shown in the pixel in the distance image is longer, the value of the pixel is larger. The value of the pixel may be made smaller as the distance to the point of the object shown in the pixel in the distance image is longer. Further, the position of the pixel on the distance image represents the direction from the distance sensor 11. Therefore, each pixel of the distance image represents the position of the object shown in the pixel in the three-dimensional space by the position and value of the pixel on the distance image.
メモリ１２は、記憶部の一例であり、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そしてメモリ１２は、距離センサ１１により得られた一連の距離画像を含む映像信号などを記憶する。さらに、メモリ１２は、位置推定処理で利用される様々な情報、あるいは、位置推定処理の途中で生成されるデータを記憶する。例えば、メモリ１２は、背景画像及び作業者が手を触れた位置（以下、接触位置と呼ぶ）の分布及び接触位置ごとの頻度を表す接触位置マップなどを記憶する。さらに、メモリ１２は、位置推定処理の結果得られた物品ごとの推定位置及び推定サイズを記憶してもよい。 The memory 12 is an example of a storage unit, and includes, for example, a volatile or nonvolatile semiconductor memory circuit. Then, the memory 12 stores a video signal including a series of distance images obtained by the distance sensor 11 and the like. Furthermore, the memory 12 stores various information used in the position estimation process or data generated during the position estimation process. For example, the memory 12 stores a background image, a distribution of positions touched by the operator (hereinafter referred to as touch positions), and a touch position map representing a frequency for each touch position. Furthermore, the memory 12 may store an estimated position and an estimated size for each item obtained as a result of the position estimation process.
背景画像は、例えば、作業者が距離センサ１１の撮影範囲内に存在していない場合において距離センサ１１により得られた距離画像とすることができ、距離センサ１１から作業台１００及び各工具箱１０１までの距離を表すデータである。なお、一連の作業中において得られた一連の距離画像のうち、作業者の手が検出されない距離画像により、背景画像は更新されてもよい。 The background image can be, for example, a distance image obtained by the distance sensor 11 when the worker is not within the imaging range of the distance sensor 11, and from the distance sensor 11 the work bench 100 and each tool box 101 It is data representing the distance to In addition, a background image may be updated by the distance image in which a worker's hand is not detected among a series of distance images obtained during a series of operations.
プロセッサ１３は、制御部の一例であり、例えば、Central Processing Unit(CPU)と、その周辺回路とを有する。さらに、プロセッサ１３は、数値演算プロセッサを有していてもよい。そしてプロセッサ１３は、位置推定装置１全体を制御する。またプロセッサ１３は、位置推定処理を実行する。なお、位置推定処理の詳細については後述する。 The processor 13 is an example of a control unit, and includes, for example, a central processing unit (CPU) and its peripheral circuits. Furthermore, the processor 13 may have a mathematical operation processor. Then, the processor 13 controls the entire position estimation device 1. The processor 13 also executes a position estimation process. The details of the position estimation process will be described later.
ディスプレイ１４は、表示部の一例であり、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイを有する。そしてディスプレイ１４は、プロセッサ１３による位置推定処理の結果を表示する。 The display 14 is an example of a display unit, and includes, for example, a liquid crystal display or an organic EL display. Then, the display 14 displays the result of the position estimation process by the processor 13.
以下、プロセッサ１３により実行される、位置推定処理に関する構成要素の詳細について説明する。
図３は、プロセッサ１３の機能ブロック図である。プロセッサ１３は、手領域検出部２１と、接触位置検出部２２と、位置推定部２３とを有する。
プロセッサ１３が有するこれらの各部は、プロセッサ１３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ１３が有するこれらの各部は、その各部の機能を実現する専用の回路として、プロセッサ１３に組み込まれてもよい。
Hereinafter, details of components related to the position estimation process executed by the processor 13 will be described.
FIG. 3 is a functional block diagram of the processor 13. The processor 13 includes a hand area detection unit 21, a contact position detection unit 22, and a position estimation unit 23.
These units included in the processor 13 are functional modules implemented by a computer program operating on the processor 13. Alternatively, these units included in the processor 13 may be incorporated in the processor 13 as dedicated circuits for realizing the functions of the units.
本実施形態では、プロセッサ１３は、作業台上で一連の作業を作業者が実行する間に撮影された時系列の複数の距離画像のそれぞれから、作業者の手を検出する。そしてプロセッサ１３は、各距離画像から検出された手の位置に基づいて、手の接触位置を記録することで接触位置マップを生成し、接触位置マップに基づいて１以上の物品の位置及びサイズを推定する。 In the present embodiment, the processor 13 detects an operator's hand from each of a plurality of time-series distance images taken while the operator performs a series of work on the workbench. Then, the processor 13 generates a touch position map by recording the touch position of the hand based on the position of the hand detected from each distance image, and generates the position and the size of one or more articles based on the touch position map. presume.
手領域検出部２１は、距離センサ１１からプロセッサ１３が取得した距離画像から、作業者の手が写っている領域である手領域を検出する。なお、手領域検出部２１は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。 The hand area detection unit 21 detects a hand area, which is an area in which the operator's hand is shown, from the distance image acquired by the processor 13 from the distance sensor 11. In addition, since the hand area detection unit 21 may perform the same process on each distance image obtained during a series of operations, the process on one distance image will be described below.
例えば、手領域検出部２１は、距離画像上の各画素について、その画素の値と、背景画像の対応画素の値とを比較する。手領域検出部２１は、距離画像の画素の値と背景画像の対応画素の値の差の絶対値が所定の検出閾値以上となる画素を抽出する。なお、所定の検出閾値は、例えば、5mm〜10mmに相当する距離画像上の画素値とすることができる。 For example, for each pixel on the distance image, the hand area detection unit 21 compares the value of the pixel with the value of the corresponding pixel of the background image. The hand area detection unit 21 extracts pixels in which the absolute value of the difference between the value of the pixel of the distance image and the value of the corresponding pixel of the background image is equal to or greater than a predetermined detection threshold. The predetermined detection threshold may be, for example, a pixel value on a distance image corresponding to 5 mm to 10 mm.
手領域検出部２１は、抽出された画素に対して、例えば、ラベリング処理を実行して、抽出された画素をグループ化することで、それぞれが抽出された画素を含み、かつ、互いに分離した１以上の候補領域を求める。そして手領域検出部２１は、１以上の候補領域のうち、その候補領域に含まれる画素数が最大となる候補領域を手領域とする。なお、作業者の両方の手が距離画像に写っていることもあるので、手領域検出部２１は、その候補領域に含まれる画素数が多い方から順に二つの候補領域を、それぞれ、手領域としてもよい。この場合、作業者と距離センサ１１の位置関係は、予め分かっているので、距離画像上での左手と右手の位置関係も分かる。例えば、指が伸ばされた状態で距離画像上で指先が上側を向く場合、二つの手領域のうちの右側の手領域が右手であり、左側の手領域が左手であると想定される。そこで手領域検出部２１は、二つの手領域間の相互の位置関係に応じて、手領域ごとに、その手領域が作業者の何れの手を表すかを示す識別情報を付してもよい。 The hand area detection unit 21 executes, for example, a labeling process on the extracted pixels, and groups the extracted pixels, thereby including each extracted pixel and being separated from each other 1 Find the above candidate areas. Then, the hand area detection unit 21 sets a candidate area having the largest number of pixels included in the candidate area among the one or more candidate areas as the hand area. In addition, since both hands of the worker may be shown in the distance image, the hand area detection unit 21 sequentially selects the two candidate areas in order from the one with the largest number of pixels included in the candidate area. It may be In this case, since the positional relationship between the worker and the distance sensor 11 is known in advance, the positional relationship between the left hand and the right hand on the distance image is also known. For example, if the finger points upward on the distance image with the finger extended, it is assumed that the right hand area of the two hand areas is the right hand and the left hand area is the left hand. Therefore, the hand area detection unit 21 may attach identification information indicating which hand of the operator the hand area represents for each hand area according to the positional relationship between the two hand areas. .
あるいはまた、手領域検出部２１は、含まれる画素数が所定の画素数以上となる候補領域が存在しない場合には、距離画像には手領域が含まれない、すなわち、距離画像に作業者の手が写っていないと判定してもよい。
このように、本実施形態では、手領域検出部２１は、距離画像に基づいて作業者の手を検出するので、背景となる作業台及びその周囲が複雑な形状となっている場合でも、作業者の手を正確に検出できる。
Alternatively, if there is no candidate area in which the number of pixels included is equal to or greater than the predetermined number of pixels, the hand area detection unit 21 does not include the hand area in the distance image, that is, the operator does not It may be determined that the hand is not shown.
As described above, in the present embodiment, the hand area detection unit 21 detects the operator's hand on the basis of the distance image, and therefore, even when the work table as a background and the periphery thereof have a complicated shape, the work area People's hands can be detected accurately.
また、距離センサ１１が、距離画像とともに、モノクロ画像またはカラー画像を生成する場合には、手領域検出部２１は、距離センサ１１により生成されたモノクロ画像またはカラー画像に基づいて手領域を検出してもよい。例えば、距離センサ１１がカラー画像を生成する場合、手領域検出部２１は、カラー画像上で肌色を持つ画素を抽出し、抽出された画素に対してラベリング処理を実行して、抽出された画素をグループ化することで１以上の候補領域を求める。そして手領域検出部２１は、１以上の候補領域のうち、その候補領域に含まれる画素数が最大となる候補領域を手領域としてもよい。あるいは、手領域検出部２１は、カラー画像またはモノクロ画像に対して、画像上の手を検出するように予め学習された識別器を用いて手領域を検出してもよい。この場合、手領域検出部２１は、識別器として、例えば、AdaBoost識別器を用い、画像の着目領域から抽出されたHOG特徴を識別器に入力することで、その着目領域に手領域が含まれるか否かを判定できる。 When the distance sensor 11 generates a monochrome image or a color image together with the distance image, the hand area detection unit 21 detects a hand area based on the monochrome image or the color image generated by the distance sensor 11. May be For example, when the distance sensor 11 generates a color image, the hand area detection unit 21 extracts a pixel having a flesh color on the color image, performs a labeling process on the extracted pixel, and extracts the extracted pixel. To group one or more candidate regions. Then, the hand area detection unit 21 may set a candidate area having the largest number of pixels included in the candidate area among the one or more candidate areas as the hand area. Alternatively, the hand area detection unit 21 may detect the hand area by using a classifier previously learned to detect a hand on an image for a color image or a monochrome image. In this case, the hand area detection unit 21 includes, for example, an AdaBoost discriminator as a discriminator and inputs the HOG feature extracted from the attention area of the image to the discriminator, whereby the hand area is included in the attention area. It can be determined whether or not.
手領域検出部２１は、距離画像上の手領域を接触位置検出部２２へ通知する。 The hand area detection unit 21 notifies the touch position detection unit 22 of the hand area on the distance image.
接触位置検出部２２は、一連の作業中に得られた一連の距離画像のそれぞれについて、その距離画像上の手領域に写っている作業者の手が何れかの場所に触れたか否かを判定し、何れかの場所に触れたと判定した場合、その接触位置を記録する。なお、接触位置検出部２２は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。 The contact position detection unit 22 determines, for each of the series of distance images obtained during the series of operations, whether or not the operator's hand in the hand area on the distance image has touched any place. If it is determined that any place is touched, the contact position is recorded. In addition, since the contact position detection part 22 should just perform the same process about each distance image obtained in a series of work, below, the process with respect to one distance image is demonstrated.
例えば、作業者は、指先で部品または工具を把持することが想定される。そのため、作業者が一連の作業を実行している間において、物品内に収容されている工具あるいは部品を取ったり、戻したりするために、物品に手を触れると想定される。 For example, it is assumed that a worker holds a part or a tool with a fingertip. Therefore, it is assumed that while the operator is performing a series of operations, he / she touches the article in order to pick up or return the tool or part contained in the article.
そこで、接触位置検出部２２は、手領域に含まれる画素ごとに、その画素の値と、背景画像の対応画素の値とを比較する。接触位置検出部２２は、手領域内の何れかの画素の値と背景画像の対応画素の値の差の絶対値（以下、単に距離と呼ぶこともある）が接触判定閾値以下となる場合、作業者の手が何れかの場所に触れたと判定する。なお、接触判定閾値は、例えば、手領域の検出に利用される検出閾値よりも大きく、例えば、10mm〜15mmに相当する距離画像上の画素値とすることができる。 Therefore, the contact position detection unit 22 compares, for each pixel included in the hand area, the value of the pixel with the value of the corresponding pixel of the background image. If the absolute value of the difference between the value of any pixel in the hand area and the value of the corresponding pixel of the background image (hereinafter sometimes referred to simply as the distance) is less than or equal to the touch determination threshold value It is determined that the operator's hand has touched any place. The contact determination threshold may be, for example, a pixel value on a distance image corresponding to, for example, 10 mm to 15 mm, which is larger than the detection threshold used for detecting the hand area.
なお、変形例によれば、手領域内の所定数以上の画素について、背景画像の対応画素の値との差の絶対値が接触判定閾値以下となる場合に、接触位置検出部２２は、作業者の手が何れかの場所に触れたと判定してもよい。所定数は、例えば、2〜5に設定される。これは、作業者が物品内に収容された工具などを取る場合に、複数の指で物品に手を触れることが想定されるためである。 According to the modification, when the absolute value of the difference between the value of the corresponding pixel of the background image and the value of the corresponding pixel of the background image is less than or equal to the contact determination threshold value, It may be determined that the hand of the person has touched any place. The predetermined number is set to, for example, 2 to 5. This is because when the worker takes a tool or the like housed in the article, it is assumed that the article is touched with a plurality of fingers.
作業者の手が何れかの場所に触れたと判定とした場合、接触位置検出部２２は、距離が接触判定閾値以下となる各画素に相当する実空間の３次元位置を記録する。例えば、接触位置検出部２２は、距離センサ１１による撮影範囲を含む実空間の３次元の接触位置マップにおいて、距離が接触判定閾値以下となる画素ごとに、その画素に相当する実空間の３次元位置（すなわち、接触位置）に所定の投票値(例えば、1)を加算する。あるいは、接触位置検出部２２は、距離が接触判定閾値以下となる画素ごとの対応する実空間の３次元位置の重心を接触位置としてもよい。なお、作業者の手の接触位置が作業台上である場合には、接触位置検出部２２は、接触位置マップにおけるその接触位置に投票しなくてもよい。これにより、作業台が物品として誤って検出されることが抑制される。なお、接触位置が作業台上であるか否かを判定するために、予め、背景画像上で作業台が表される範囲が記録されてもよい。そして接触位置が作業台が表される範囲内である場合、接触位置検出部２２は、接触位置が作業台上であると判定してもよい。 When it is determined that the operator's hand has touched any place, the touch position detection unit 22 records the three-dimensional position of the real space corresponding to each pixel whose distance is equal to or less than the touch determination threshold. For example, in the three-dimensional touch position map of the real space including the photographing range by the distance sensor 11, the touch position detection unit 22 determines the three-dimensional real space corresponding to the pixel for each pixel whose distance is equal to or less than the touch determination threshold. A predetermined vote value (e.g. 1) is added to the position (i.e. touch position). Alternatively, the touch position detection unit 22 may set the center of gravity of the corresponding three-dimensional position of the real space for each pixel whose distance is equal to or less than the touch determination threshold as the touch position. When the contact position of the hand of the worker is on the work bench, the contact position detection unit 22 may not vote for the contact position in the contact position map. Thereby, it is suppressed that a workbench is erroneously detected as an article. In addition, in order to determine whether the contact position is on the workbench, a range in which the workbench is represented on the background image may be recorded in advance. When the contact position is within the range in which the workbench is displayed, the contact position detection unit 22 may determine that the contact position is on the workbench.
上記のように、距離画像上の画素の位置は距離センサ１１からの方向を表し、距離画像上の画素の値は距離センサ１１からの距離を表している。そのため、接触位置検出部２２は、距離が接触判定閾値以下となる画素の距離画像上の位置と値とに基づいて、その画素に対応する接触位置を特定できる。 As described above, the position of the pixel on the distance image represents the direction from the distance sensor 11, and the value of the pixel on the distance image represents the distance from the distance sensor 11. Therefore, the touch position detection unit 22 can specify the touch position corresponding to the pixel based on the position and the value on the distance image of the pixel where the distance is equal to or less than the touch determination threshold.
接触位置マップは、例えば、距離センサ１１を原点とし、距離センサ１１の光軸方向を一つの軸の方向とする実空間の直交座標系で表すことができる。ただし接触位置マップは、実空間の他の座標系、例えば、作業者の作業空間上の任意の点を原点とする直交座標系で表されてもよく、あるいは、距離センサ１１を原点とする極座標系で表されてもよい。 The contact position map can be represented by, for example, an orthogonal coordinate system in real space, with the distance sensor 11 as the origin and the direction of the optical axis of the distance sensor 11 as the direction of one axis. However, the contact position map may be represented by another coordinate system in real space, for example, an orthogonal coordinate system with an arbitrary point on the work space of the worker as an origin, or polar coordinates with the distance sensor 11 as an origin It may be expressed by a system.
また、作業者の手にはある程度の厚みがあり、かつ、距離センサ１１は、作業者の手を、物品が設置されている側とは反対側から作業者の手を撮影している。そのため、接触位置に相当する距離画像上での画素の値が表す手までの距離は実際の物品までの距離よりも小さい。そこで、接触位置検出部２２は、距離が接触判定閾値以下となる画素の値が表す距離センサ１１と手までの距離に、手の厚さに相当するオフセット値（例えば、10mm）を加算した値を、距離センサ１１から接触位置までの距離としてもよい。 In addition, the hand of the worker has a certain thickness, and the distance sensor 11 captures the hand of the worker from the side opposite to the side on which the article is installed. Therefore, the distance to the hand represented by the value of the pixel on the distance image corresponding to the contact position is smaller than the distance to the actual article. Therefore, the touch position detection unit 22 is a value obtained by adding an offset value (for example, 10 mm) corresponding to the thickness of the hand to the distance from the distance sensor 11 represented by the value of the pixel whose distance is equal to or less than the touch determination threshold to the hand. May be the distance from the distance sensor 11 to the contact position.
さらに、接触位置マップで表される空間は所定単位のブロック（例えば、10mm〜20mm四方のブロック）ごとに分割されてもよい。そして接触位置検出部２２は、ブロックごとに投票してもよい。この場合には、接触位置検出部２２は、接触位置ごとに、その接触位置が含まれるブロックに所定の投票値を投票すればよい。あるいは、接触位置検出部２２は、接触位置から離れるほど小さくなるように投票値を算出し、接触位置ごとに、その接触位置の周囲にも算出された投票値を加算してもよい。この場合、投票値は、例えば、接触位置を平均値とするガウス関数に従って算出されればよい。
このように投票値を加算することで、接触位置検出部２２は、実空間の位置ごとに、作業者が手を触れた頻度を正確に評価することができる。
Furthermore, the space represented by the touch position map may be divided into blocks of predetermined units (e.g., 10 mm to 20 mm square blocks). The contact position detection unit 22 may vote for each block. In this case, for each touch position, the touch position detection unit 22 may vote a predetermined voting value for the block including the touch position. Alternatively, the contact position detection unit 22 may calculate the vote value so as to be smaller as it gets away from the contact position, and add the calculated vote value to the periphery of the contact position for each contact position. In this case, the vote value may be calculated, for example, according to a Gaussian function in which the contact position is an average value.
By thus adding the vote value, the contact position detection unit 22 can accurately evaluate the frequency with which the operator touched the hand, for each position in the real space.
接触位置検出部２２は、距離画像ごとに常時の処理を実行することで、距離画像ごとに接触位置マップを更新する。そして接触位置検出部２２は、接触位置マップを更新する度に、更新された接触位置マップをメモリ１２に保存する。 The contact position detection unit 22 updates the contact position map for each distance image by executing a constant process for each distance image. The touch position detection unit 22 stores the updated touch position map in the memory 12 each time the touch position map is updated.
位置推定部２３は、一連の作業を撮影することで得られた一連の距離画像に基づいて求められた接触位置マップに基づいて、物品の推定位置及び物品の推定サイズを求める。本実施形態では、位置推定部２３は、接触位置マップにより表される接触位置の分布を、一連の作業中に作業者の手が触れる１以上の物品のそれぞれに対応するグループに分割し、各グループの代表点をそのグループに対応する物品の位置として推定する。 The position estimation unit 23 obtains the estimated position of the article and the estimated size of the article based on the contact position map obtained based on the series of distance images obtained by photographing the series of tasks. In the present embodiment, the position estimation unit 23 divides the distribution of contact positions represented by the contact position map into groups corresponding to one or more articles touched by the hand of the operator during a series of operations, The representative point of the group is estimated as the position of the article corresponding to the group.
図４は、位置推定部２３による処理の概要説明図である。図４では、簡単化のために、物品の数は２個であるとした。なお、図４に示される接触位置マップ４００では、色が濃いところほど、頻度が高いものとした。 FIG. 4 is a schematic explanatory view of processing by the position estimation unit 23. In FIG. 4, it is assumed that the number of articles is two for simplification. In the contact position map 400 shown in FIG. 4, the frequency is higher as the color is darker.
作業者が工具箱などの物品に手を触れる場合、物品内に収容されている部品または工具を取り易いよう、あるいは、工具を戻し易いように、物品の中心に近い位置では手が触れる頻度が高く、物品の端部に近づくほど手が触れる頻度が低くなると想定される。そのため、物品４０１または物品４０２が有る位置では、接触位置マップ４００において、作業者の手の接触頻度が高くなる。さらに、物品が大きいほど、手が触れる範囲が広くなると想定される。そこで、本実施形態では、接触位置の分布は、物品ごとの確率分布により近似できると仮定する。例えば、物品４０１の近傍における接触位置の分布は、物品４０１の中心に近い位置を平均値とし、物品４０１の大きさに相当する分散共分散行列を持つ正規分布４１１で近似される。同様に、物品４０２の近傍における接触位置の分布は、物品４０２の中心に近い位置を平均値とし、物品４０２の大きさに相当する分散共分散行列を持つ正規分布４１２で近似される。すなわち、各接触位置は、その接触位置からのマハラノビス距離が最小となる正規分布に属するように、接触位置の分布は個々の正規分布に相当するグループに分割される。 When an operator touches an article such as a tool box, the frequency at which the hand touches the center of the article is to facilitate the removal of parts or tools contained in the article or to return the tool. It is assumed that the higher, the closer to the end of the article the less frequently it will be touched by the hand. Therefore, at the position where the article 401 or the article 402 is present, the contact frequency of the worker's hand in the contact position map 400 is high. Furthermore, it is assumed that the larger the item, the wider the range that the hand can touch. So, in this embodiment, it is assumed that distribution of a contact position can be approximated by probability distribution for every article. For example, the distribution of contact positions in the vicinity of the article 401 is approximated by a normal distribution 411 having a variance-covariance matrix corresponding to the size of the article 401, with the position close to the center of the article 401 as an average value. Similarly, the distribution of contact positions in the vicinity of the article 402 is approximated by a normal distribution 412 having a variance-covariance matrix corresponding to the size of the article 402, with a position near the center of the article 402 as an average value. That is, the distribution of the contact positions is divided into groups corresponding to the individual normal distributions such that each contact position belongs to a normal distribution in which the Mahalanobis distance from the contact position is minimized.
そこで、位置推定部２３は、接触位置マップを、３次元の位置座標を変数とする混合正規分布で近似する。その際、位置推定部２３は、例えば、EMアルゴリズム（期待値最大化法とも呼ばれる）を適用することで、混合正規分布に含まれる各正規分布の位置の平均値及び分散共分散行列などを求める。なお、混合正規分布に含まれる正規分布の数は、物品の数に対応し、個々の正規分布は、一つの物品に対応する接触位置のグループを表す。また、各正規分布の位置の平均値は、その正規分布が表す接触位置のグループの代表点、すなわち、その正規分布にて表される物品の推定位置を表す。例えば、図４において、正規分布４１１の位置の平均４２１が、物品４０１の推定位置を表し、正規分布４１２の位置の平均４２２が、物品４０２の推定位置を表す。また、各正規分布の分散共分散行列は、その正規分布にて表される物品の推定サイズに対応する。 Therefore, the position estimation unit 23 approximates the contact position map by a mixed normal distribution in which three-dimensional position coordinates are variables. At that time, the position estimation unit 23 obtains, for example, an average value and a variance-covariance matrix of the positions of each normal distribution included in the mixed normal distribution by applying the EM algorithm (also called an expected value maximization method). . The number of normal distributions included in the mixed normal distribution corresponds to the number of articles, and each normal distribution represents a group of contact positions corresponding to one article. Further, the average value of the positions of each normal distribution represents the representative point of the group of contact positions represented by the normal distribution, that is, the estimated position of the article represented by the normal distribution. For example, in FIG. 4, the average 421 of the positions of the normal distribution 411 represents the estimated position of the article 401, and the average 422 of the positions of the normal distribution 412 represents the estimated position of the article 402. Also, the variance-covariance matrix of each normal distribution corresponds to the estimated size of the item represented by the normal distribution.
図５は、位置推定部２３による処理の動作フローチャートである。
先ず、位置推定部２３は、物品の数ｎを１と仮定する（ステップＳ１０１）。
FIG. 5 is an operation flowchart of processing by the position estimation unit 23.
First, the position estimation unit 23 assumes that the number n of articles is 1 (step S101).
位置推定部２３は、接触位置マップに含まれる各接触位置の頻度に基づいて、仮定した物品の数ｎと同数の正規分布を持つ混合正規分布で接触位置の分布を近似する（ステップＳ１０２）。その際、位置推定部２３は、例えば、EMアルゴリズムを用いることで、混合正規分布に含まれる正規分布のそれぞれについて、位置の平均値、分散共分散行列及び重み係数を最尤推定すればよい。 The position estimation unit 23 approximates the distribution of the contact position with a mixed normal distribution having the same number of normal distributions as the assumed number n of articles based on the frequency of each contact position included in the contact position map (step S102). At that time, the position estimation unit 23 may perform maximum likelihood estimation of the average value of the position, the variance-covariance matrix, and the weighting coefficient for each of the normal distributions included in the mixed normal distribution, for example, using the EM algorithm.
なお、位置推定部２３は、混合正規分布の各パラメータを求めるために利用するアルゴリズムとして、EMアルゴリズムの代わりに、マルコフ連鎖モンテカルロ法またはシミュレーティッドアニーリングを利用してもよい。 The position estimation unit 23 may use Markov chain Monte Carlo method or simulated annealing instead of the EM algorithm as an algorithm used to obtain each parameter of the mixed normal distribution.
位置推定部２３は、接触位置の分布を近似したｎ個の正規分布を持つ混合正規分布の尤度を算出する（ステップＳ１０３）。混合正規分布の尤度は、推定された物品の数、及び、個々の物品の位置及びサイズの確からしさを表す。その際、位置推定部２３は、例えば、接触位置マップに含まれる接触位置ごとに、その接触位置から混合正規分布に含まれる各正規分布の位置の平均値までの距離のうちの最小値を算出する。そして位置推定部２３は、各接触位置について算出された距離の最小値の和の逆数を尤度として算出する。 The position estimation unit 23 calculates the likelihood of a mixed normal distribution having n normal distributions obtained by approximating the distribution of the contact position (step S103). The likelihood of the mixed normal distribution represents the number of items estimated and the likelihood of the position and size of the individual items. At that time, for example, for each contact position included in the contact position map, the position estimation unit 23 calculates the minimum value of the distances from the contact position to the average value of the positions of the normal distributions included in the mixed normal distribution. Do. Then, the position estimation unit 23 calculates the reciprocal of the sum of the minimum values of the distances calculated for each touch position as the likelihood.
位置推定部２３は、混合正規分布に含まれる正規分布の数ｎ（すなわち、仮定された物品の数）、混合正規分布に含まれる各正規分布の位置の平均値、分散共分散行列及び重み係数、及び、混合正規分布の尤度をメモリ１２に保存する（ステップＳ１０４）。 The position estimation unit 23 calculates the number n of normal distributions included in the mixture normal distribution (that is, the number of articles assumed), the average value of the positions of each normal distribution included in the mixture normal distribution, the variance covariance matrix, and the weighting factor And the likelihood of the mixed normal distribution is stored in the memory 12 (step S104).
位置推定部２３は、仮定された物品の数ｎが想定される物品の数の最大値Nmax未満か否か判定する（ステップＳ１０５）。仮定された物品の数ｎが想定される物品の数の最大値Nmax未満であれば（ステップＳ１０５−Ｙｅｓ）、位置推定部２３は、仮定された物品の数ｎを１増加する（ステップＳ１０６）。そして位置推定部２３は、ステップＳ１０２以降の処理を繰り返す。 The position estimation unit 23 determines whether the assumed number n of articles is less than the maximum value Nmax of the assumed number of articles (step S105). If the assumed number n of articles is less than the maximum value Nmax of the assumed number of articles (step S105-Yes), the position estimation unit 23 increments the assumed number n of articles by 1 (step S106). . Then, the position estimation unit 23 repeats the processing after step S102.
一方、仮定された物品の数ｎが想定される物品の数の最大値Nmax以上であれば（ステップＳ１０５−Ｎｏ）、位置推定部２３は、仮定された物品の数ごとに算出された混合正規分布の尤度のうちの最大値を求める。そして位置推定部２３は、尤度の最大値に対応する物品の数ｎmlの正規分布を含む混合正規分布に基づいて、各物品の推定位置及び推定サイズを求める（ステップＳ１０７）。例えば、位置推定部２３は、混合分布に含まれる正規分布ごとに、その正規分布の位置の平均値を、その正規分布に対応する一つの物品の推定位置とする。また位置推定部２３は、混合分布に含まれる正規分布ごとに、その正規分布の分散共分散行列から算出されるマハラノビス距離が所定値(例えば、1〜2)以下となる範囲を、その正規分布に対応する一つの物品のサイズとして推定する。そしてステップＳ１０７の後、位置推定部２３は処理を終了する。 On the other hand, if the assumed number n of articles is equal to or more than the maximum value Nmax of the assumed number of articles (step S105-No), the position estimation unit 23 calculates the mixture normal calculated for each number of articles assumed. Find the maximum value of the distribution likelihood. Then, the position estimation unit 23 obtains the estimated position and the estimated size of each article based on the mixed normal distribution including the normal distribution of the number nm1 of articles corresponding to the maximum value of the likelihood (step S107). For example, for each normal distribution included in the mixture distribution, the position estimation unit 23 sets the average value of the positions of the normal distribution as the estimated position of one article corresponding to the normal distribution. Further, for each normal distribution included in the mixture distribution, the position estimation unit 23 calculates a range in which the Mahalanobis distance calculated from the variance-covariance matrix of the normal distribution is equal to or less than a predetermined value (for example, 1 to 2). Estimated as the size of one item corresponding to. Then, after step S107, the position estimation unit 23 ends the process.
なお、位置推定部２３は、上記の処理により得られた個々の物品の推定位置及び推定サイズを物品の大凡の位置及びサイズとして用いて、接触位置マップに対して、例えば、非特許文献１に記載されたグラフカット手法を適用してもよい。これにより、位置推定部２３は、各物品の推定位置及び推定サイズをより精密に求めることができる。 Note that the position estimation unit 23 uses the estimated position and estimated size of each article obtained by the above-described processing as the approximate position and size of the article, for example, in Non-Patent Document 1 for the contact position map. The graph cut method described may be applied. Thus, the position estimation unit 23 can more accurately obtain the estimated position and the estimated size of each article.
また、一連の作業中において作業者の手が触れる物品の数が予め分かっている場合、位置推定部２３は、ステップＳ１０１にて、ｎを既知の物品の数に設定すればよい。そしてステップＳ１０３−Ｓ１０６の処理は省略されてもよい。 If the number of articles touched by the operator's hand is known in advance during a series of operations, the position estimation unit 23 may set n to the number of known articles in step S101. And the process of step S103-S106 may be abbreviate | omitted.
位置推定部２３は、各物品の推定位置及び推定サイズをメモリ１２に保存する。また位置推定部２３は、各物品の推定位置及び推定サイズをディスプレイ１４に表示させてもよい。あるいは、位置推定部２３は、各物品の推定位置及び推定サイズを表す情報を、通信インターフェース（図示せず）を介して他の機器へ出力してもよい。 The position estimation unit 23 stores the estimated position and estimated size of each item in the memory 12. Further, the position estimation unit 23 may cause the display 14 to display the estimated position and the estimated size of each item. Alternatively, the position estimation unit 23 may output information indicating the estimated position and estimated size of each item to another device via a communication interface (not shown).
さらに、プロセッサ１３は、各物品の推定位置及び推定サイズと、一連の作業中における作業者の手の接触位置の遷移とに基づいて、最適な物品の配置を推定してもよい。例えば、プロセッサ１３は、一連の作業中に得られた一連の距離画像のそれぞれから検出された手領域を追跡することで、作業者の手ごとに、その手の接触位置の遷移を求めることができる。そしてプロセッサ１３は、作業者の手の接触位置の遷移と、推定された各物品の推定位置及び推定サイズとから、物品ごとに作業者が手を触れる回数、及び、手を触れる順序をもとめる。そしてプロセッサ１３は、各物品の配置の複数の組み合わせの中から、手を触れる順序に従って作業者の手の遷移距離が最小となるように、所定の最適化手法に従って各物品の最適な配置の組み合わせを求めればよい。その際、プロセッサ１３は、例えば、所定の最適化手法として、シミュレーティッドアニーリング、ボルツマンマシンあるいは遺伝的アルゴリズムを利用することができる。 Furthermore, the processor 13 may estimate the optimal placement of the article based on the estimated position and the estimated size of each article and the transition of the touch position of the hand of the worker during the series of operations. For example, the processor 13 may obtain the transition of the contact position of the hand for each hand of the worker by tracking the hand area detected from each of the series of distance images obtained during the series of tasks. it can. Then, the processor 13 obtains the number of times the worker touches the hand and the order of touching the hands for each item from the transition of the contact position of the hand of the worker and the estimated position and estimated size of each item estimated. Then, the processor 13 combines the optimal arrangement of the respective articles according to a predetermined optimization method so that the transition distance of the operator's hand is minimized in the order of touching the hand among the plurality of combinations of the arrangements of the respective articles. You can ask for At that time, the processor 13 can use, for example, simulated annealing, Boltzmann machine or genetic algorithm as a predetermined optimization method.
図６は、位置推定処理の動作フローチャートである。
手領域検出部２１は、一連の作業を距離センサ１１により撮影することで得られた一連の距離画像のそれぞれから手領域を検出する（ステップＳ２０１）。
FIG. 6 is an operation flowchart of position estimation processing.
The hand area detection unit 21 detects a hand area from each of a series of distance images obtained by photographing a series of operations by the distance sensor 11 (step S201).
接触位置検出部２２は、一連の距離画像のそれぞれについて、その距離画像上の手領域に写っている作業者の手が何れかの場所に触れたか否かを判定する。そして接触位置検出部２２は、一連の距離画像のそれぞれについて、何れかの場所に触れたと判定した場合、接触位置に投票値を加算することで接触位置マップを更新する（ステップＳ２０２）。 The contact position detection unit 22 determines, for each of the series of distance images, whether or not the operator's hand in the hand area on the distance image has touched any place. When it is determined that the touch position detection unit 22 has touched any place in each of the series of distance images, the touch position detection unit 22 updates the touch position map by adding a vote value to the touch position (step S202).
一連の距離画像の全てについて、接触位置マップの更新が終了すると、位置推定部２３は、接触位置マップに基づいて、各物品の推定位置及び推定サイズをもとめる（ステップＳ２０３）。そしてプロセッサ１３は、位置推定処理を終了する。 When updating of the touch position map is completed for all of the series of distance images, the position estimation unit 23 obtains the estimated position and estimated size of each article based on the touch position map (step S203). Then, the processor 13 ends the position estimation process.
以上に説明してきたように、この位置推定装置は、一連の作業を距離センサを用いて撮影することで得られた一連の距離画像のそれぞれから、作業者の手の接触位置の分布及び接触位置ごとの頻度をもとめる。そしてこの位置推定装置は、接触位置の分布及び接触位置ごとの頻度を混合正規分布で近似することで、各接触位置を作業者の手が触れる物品ごとにグループ化して、各物品の推定位置及び推定サイズをもとめる。そのため、この位置推定装置は、事前に物品の数、各物品の大凡の位置及びサイズが分かっていなくても、各物品の位置を推定することができるとともに、各物品のサイズを推定できる。 As described above, this position estimation apparatus determines the distribution and contact position of the contact position of the hand of the worker from each of the series of distance images obtained by photographing the series of operations using the distance sensor. Find the frequency of each Then, the position estimation device approximates the distribution of contact positions and the frequency of each contact position by a mixed normal distribution to group each contact position for each item that the operator's hand touches, and to estimate the position of each item and Find the estimated size. Therefore, the position estimation apparatus can estimate the position of each article and estimate the size of each article even if the number of articles, the approximate position and size of each article are not known in advance.
変形例によれば、位置推定部２３は、接触位置ごとの頻度を利用せず、接触位置の分布に対してクラスタリング手法を適用することで、物品ごとに、接触位置をグループ化してもよい。 According to the modification, the position estimation unit 23 may group the contact positions for each article by applying the clustering method to the distribution of the contact positions without using the frequency for each contact position.
図７は、この変形例による、位置推定部２３による処理の概要説明図である。図７では、簡単化のために、物品の数は２個であるとした。なお、図７に示される接触位置マップ７００では、各点が一つの接触位置を表す。 FIG. 7 is a schematic explanatory view of processing by the position estimation unit 23 according to this modification. In FIG. 7, the number of articles is two for the sake of simplicity. In the contact position map 700 shown in FIG. 7, each point represents one contact position.
接触位置マップ７００に表される各接触点は、物品７０１または物品７０２が有る位置に応じて分布する。そのため、接触位置の分布をクラスタリングすることで、各接触位置は、物品ごとにグループ化される。図７に示される例では、各接触位置は、物品７０１と重なる接触位置のグループ７１１と、物品７０２と重なる接触位置のグループ７１２とにグループ化される。そこで、グループ７１１に含まれる各接触位置の重心７２１が、グループ７１１の代表点、すなわち、グループ７１１に対応する物品７０１の推定位置として求められる。同様に、グループ７１２に含まれる各接触位置の重心７２２が、グループ７１２の代表点、すなわち、グループ７１２に対応する物品７０２の推定位置として求められる。また、グループ７１１に含まれる接触位置を全て包含する最小球７３１の半径r1は、グループ７１１に対応する物品７０１の推定サイズを表す。同様に、グループ７１２に含まれる接触位置を全て包含する最小球７３２の半径r2は、グループ７１２に対応する物品７０２の推定サイズを表す。 Each contact point represented in the contact position map 700 is distributed according to the position where the article 701 or the article 702 is present. Therefore, by clustering the distribution of contact positions, each contact position is grouped by item. In the example shown in FIG. 7, each contact position is grouped into a contact position group 711 overlapping the article 701 and a contact position group 712 overlapping the article 702. Therefore, the center of gravity 721 of each contact position included in the group 711 is determined as a representative point of the group 711, that is, an estimated position of the article 701 corresponding to the group 711. Similarly, the center of gravity 722 of each contact position included in the group 712 is determined as the representative point of the group 712, that is, the estimated position of the article 702 corresponding to the group 712. In addition, the radius r1 of the minimum sphere 731 including all contact positions included in the group 711 represents the estimated size of the article 701 corresponding to the group 711. Similarly, the radius r2 of the smallest sphere 732 encompassing all the contact positions contained in the group 712 represents the estimated size of the article 702 corresponding to the group 712.
この場合、接触位置検出部２２は、一連の距離画像のそれぞれについて、何れかの場所に触れたと判定した場合、その接触位置を接触位置マップに記録すればよい。そして位置推定部２３は、接触位置マップに対してクラスタリング手法を適用することで、接触位置の分布を１以上の物品のそれぞれに対応するグループに分割すればよい。なお、位置推定部２３は、適用するクラスタリング手法として、例えば、K-means法を用いることができる。また位置推定部２３は、他のクラスタリング手法、例えば、K近傍法あるいはウォード法を用いてもよい。 In this case, when it is determined that the touch position detection unit 22 has touched any place in each of the series of distance images, the touch position may be recorded in the touch position map. Then, the position estimation unit 23 may divide the distribution of the contact position into groups corresponding to each of the one or more articles by applying a clustering method to the contact position map. The position estimation unit 23 can use, for example, the K-means method as a clustering method to be applied. The position estimation unit 23 may use another clustering method, for example, the K-nearest neighbor method or the Ward method.
図８は、この変形例による位置推定部２３による処理の動作フローチャートである。
先ず、位置推定部２３は、物品の数ｎを１と仮定する（ステップＳ３０１）。
FIG. 8 is an operation flowchart of processing by the position estimation unit 23 according to this modification.
First, the position estimation unit 23 assumes that the number n of articles is 1 (step S301).
位置推定部２３は、接触位置マップにて表される接触位置の分布に対して、K-means法といったクラスタリング手法を適用することで、接触位置の分布を仮定した物品の数ｎと同数のグループに分割し、各グループの重心を算出する（ステップＳ３０２）。 The position estimation unit 23 applies a clustering method such as the K-means method to the distribution of the contact positions represented by the contact position map to group the same number as the number n of articles assuming the distribution of the contact positions. , And calculate the center of gravity of each group (step S302).
位置推定部２３は、得られたｎ個のグループ全体についての尤度を算出する（ステップＳ３０３）。グループ全体についての尤度は、推定された物品の数、及び、個々の物品の位置及びサイズの確からしさを表す。その際、位置推定部２３は、例えば、接触位置マップに含まれる接触位置ごとに、その接触位置から各グループの重心までの距離のうちの最小値を算出する。そして位置推定部２３は、各接触位置について算出された距離の最小値の和の逆数を尤度として算出する。 The position estimation unit 23 calculates the likelihood for the entire n groups obtained (step S303). The likelihood for the whole group represents the estimated number of articles and the likelihood of the position and size of the individual articles. At that time, for example, for each contact position included in the contact position map, the position estimation unit 23 calculates the minimum value of the distances from the contact position to the center of gravity of each group. Then, the position estimation unit 23 calculates the reciprocal of the sum of the minimum values of the distances calculated for each touch position as the likelihood.
位置推定部２３は、グループの数ｎ（すなわち、仮定された物品の数）、各グループの重心、各接触位置が属するグループ、及び、グループ全体の尤度をメモリ１２に記憶する（ステップＳ３０４）。 The position estimation unit 23 stores the number n of groups (that is, the assumed number of articles), the gravity center of each group, the group to which each contact position belongs, and the likelihood of the entire group in the memory 12 (step S304) .
位置推定部２３は、仮定された物品の数ｎが想定される物品の数の最大値Nmax未満か否か判定する（ステップＳ３０５）。仮定された物品の数ｎが想定される物品の数の最大値Nmax未満であれば（ステップＳ３０５−Ｙｅｓ）、位置推定部２３は、仮定された物品の数ｎを１増加する（ステップＳ３０６）。そして位置推定部２３は、ステップＳ３０２以降の処理を繰り返す。 The position estimation unit 23 determines whether the assumed number n of articles is less than the maximum value Nmax of the assumed number of articles (step S305). If the assumed number n of articles is less than the maximum value Nmax of the assumed number of articles (step S305-Yes), the position estimation unit 23 increments the assumed number n of articles by 1 (step S306). . Then, the position estimation unit 23 repeats the processing after step S302.
一方、仮定された物品の数ｎが想定される物品の数の最大値Nmax以上であれば（ステップＳ３０５−Ｎｏ）、位置推定部２３は、仮定された物品の数ごとに算出されたグループの尤度のうちの最大値を求める。そして位置推定部２３は、尤度の最大値に対応する物品の数ｎmlのグループに基づいて、各物品の推定位置及び推定サイズを求める（ステップＳ３０７）。例えば、位置推定部２３は、グループごとに、そのグループに含まれる各接触位置の重心をそのグループに対応する一つの物品の推定位置とする。また位置推定部２３は、グループごとに、そのグループの重心を中心とし、そのグループに属する各接触位置を包含する最小球の半径を、そのグループに対応する一つの物品の推定サイズとする。ステップＳ３０７の後、位置推定部２３は処理を終了する。 On the other hand, if the assumed number n of articles is equal to or more than the maximum value Nmax of the assumed number of articles (step S305-No), the position estimation unit 23 calculates the group calculated for each number of articles assumed. Find the maximum value of the likelihood. Then, the position estimation unit 23 obtains the estimated position and the estimated size of each article based on the group of the number n ml of articles corresponding to the maximum value of the likelihood (step S307). For example, for each group, the position estimation unit 23 sets the center of gravity of each contact position included in the group as an estimated position of one article corresponding to the group. The position estimation unit 23 sets, for each group, the radius of the minimum sphere including the contact position belonging to the group, with the center of gravity of the group as the center, as the estimated size of one article corresponding to the group. After step S307, the position estimation unit 23 ends the process.
なお、この変形例においても、位置推定部２３は、上記の処理により得られた個々の物品の推定位置及び推定サイズを物品の大凡の位置及びサイズとして用いて、接触位置マップに対して、例えば、非特許文献１に記載されたグラフカット手法を適用してもよい。これにより、位置推定部２３は、各物品の推定位置及び推定サイズをより精密に求めることができる。
また、この変形例においても、一連の作業中において作業者の手が触れる物品の数が予め分かっている場合、位置推定部２３は、ステップＳ３０１にて、ｎを既知の物品の数に設定すればよい。そしてステップＳ３０３−Ｓ３０６の処理は省略されてもよい。
Also in this modification, the position estimation unit 23 uses the estimated position and estimated size of each article obtained by the above-described processing as the approximate position and size of the article, for example, for the contact position map, for example The graph cut method described in Non-Patent Document 1 may be applied. Thus, the position estimation unit 23 can more accurately obtain the estimated position and the estimated size of each article.
Also in this modification, if the number of articles touched by the operator's hand is known in advance during a series of operations, position estimating unit 23 sets n to the number of known articles in step S301. Just do it. And the process of step S303-S306 may be abbreviate | omitted.
この変形例についても、位置推定装置は、事前に物品の数、各物品の大凡の位置及び大きさが分かっていなくても、各物品の位置を推定することができるとともに、各物品の大きさを推定できる。またこの位置推定装置は、上記の実施形態と比較して、演算量を削減することができる。 Also in this modification, the position estimation apparatus can estimate the position of each article even if the number of articles, the approximate position and size of each article are not known in advance, and the size of each article Can be estimated. Further, this position estimation device can reduce the amount of calculation compared to the above embodiment.
上記の実施形態において、位置推定部２３は、ステップＳ１０７において、正規分布の数が異なる混合正規分布ごとの尤度を算出する代わりに、正規分布の数が異なる混合正規分布ごとに赤池情報量基準(Akaike's Information Criterion, AIC)を算出してもよい。例えば、位置推定部２３は、正規分布の数が異なる混合正規分布ごとに、次式に従ってAICを算出すればよい。
位置推定部２３は、AICの値が最小となる数の正規分布を含む混合正規分布に基づいて、各物品の推定位置及び推定サイズをもとめればよい。 The position estimation unit 23 may obtain the estimated position and the estimated size of each article based on the mixed normal distribution including the number of normal distributions that minimizes the value of AIC.
あるいは、位置推定部２３は、ステップＳ１０７において、混合正規分布ごとの尤度を算出する代わりに、混合正規分布ごとにベイズ情報量基準(Bayesian information criteria, BIC)を算出してもよい。この場合も、位置推定部２３は、BICの値が最小となる数の正規分布を含む混合正規分布に基づいて、各物品の推定位置及び推定サイズをもとめればよい。 Alternatively, the position estimation unit 23 may calculate Bayesian information criteria (BIC) for each mixed normal distribution instead of calculating the likelihood for each mixed normal distribution in step S107. Also in this case, the position estimation unit 23 may obtain the estimated position and the estimated size of each article based on the mixed normal distribution including the number of normal distributions that minimizes the value of BIC.
このように、赤池情報量基準またはベイズ情報量基準に基づいて、混合正規分布に含まれる正規分布の数を特定することで、位置推定部２３は、物品の数をより高精度に推定できる。その結果として、位置推定部２３は、各物品の位置及びサイズをより高精度で推定できる。 Thus, by specifying the number of normal distributions included in the mixture normal distribution based on the Akaike information criterion or Bayesian information criterion, the position estimation unit 23 can estimate the number of articles with higher accuracy. As a result, the position estimation unit 23 can estimate the position and size of each article with higher accuracy.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms cited herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the art. It should be understood that the present invention is not to be limited to the construction of any of the examples herein, and to the specific listed examples and conditions relating to showing superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
距離センサから得た、一連の作業中の作業者の手を撮影することで得られる、複数の３次元点群データのそれぞれについて前記作業者の手が触れた接触位置を検出することで、前記接触位置の分布を求める接触位置検出部と、
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する位置推定部と、
を有する位置推定装置。
（付記２）
前記位置推定部は、前記接触位置の分布に対して所定のクラスタリング手法を適用することで前記接触位置の分布を前記１以上の物品のそれぞれに対応する前記接触位置のグループに分割する、付記１に記載の位置推定装置。
（付記３）
前記位置推定部は、前記グループのそれぞれについて、当該グループに属する前記接触位置の重心を当該グループの前記代表点とする、付記２に記載の位置推定装置。
（付記４）
前記位置推定部は、前記グループのそれぞれについて、当該グループに属する前記接触位置の重心を中心とし、当該グループに含まれる前記接触位置を含む最小球の半径を、当該グループに対応する前記物品のサイズとして推定する、付記３に記載の位置推定装置。
（付記５）
前記位置推定部は、前記グループの数を変えながら、当該数ごとに前記接触位置の分布に対して前記所定のクラスタリング手法を適用して前記接触位置の分布を当該数の前記グループに分割し、当該数ごとに分割された前記グループ全体の尤度を算出し、算出された尤度が最大となるときの数の前記グループのそれぞれの前記代表点を当該グループに対応する前記物品の位置として推定する、付記２〜４の何れかに記載の位置推定装置。
（付記６）
前記接触位置検出部は、前記接触位置の分布に前記接触位置ごとの頻度を含め、
前記位置推定部は、前記接触位置ごとの頻度を含む前記接触位置の分布を混合正規分布で近似することで前記接触位置の分布を前記１以上の物品のそれぞれに対応する前記接触位置のグループに分割する、付記１に記載の位置推定装置。
（付記７）
前記位置推定部は、前記グループのそれぞれについて、前記混合正規分布に含まれる正規分布のうちの当該グループに対応する正規分布の前記接触位置の平均値を当該グループの前記代表点とする、付記６に記載の位置推定装置。
（付記８）
前記位置推定部は、前記グループのそれぞれについて、前記混合正規分布に含まれる正規分布のうちの当該グループに対応する正規分布の前記接触位置の平均値から所定のマハラノビス距離となる範囲を、当該グループに対応する前記物品のサイズとして推定する、付記７に記載の位置推定装置。
（付記９）
前記位置推定部は、前記グループの数を変えながら、当該数ごとに、当該数の正規分布を含む前記混合正規分布で前記接触位置の分布を近似することで前記接触位置の分布を当該数の前記グループに分割し、当該数ごとに前記混合正規分布の尤度を算出し、算出された尤度が最大となるときの数の前記グループのそれぞれの前記代表点を当該グループに対応する前記物品の位置として推定する、付記６〜８の何れかに記載の位置推定装置。
（付記１０）
前記位置推定部は、前記グループの数を変えながら、当該数ごとに、当該数の正規分布を含む前記混合正規分布で前記接触位置の分布を近似することで前記接触位置の分布を当該数の前記グループに分割し、当該数ごとに前記混合正規分布についての所定の情報量基準値を算出し、算出された情報量基準値が最小となるときの数の前記グループのそれぞれの前記代表点を当該グループに対応する前記物品の位置として推定する、付記６〜８の何れかに記載の位置推定装置。
（付記１１）
距離センサから得た、一連の作業中の作業者の手を撮影することで得られる、複数の３次元点群データのそれぞれについて前記作業者の手が触れた接触位置を検出することで、前記接触位置の分布を求め、
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する、
ことを含む位置推定方法。
（付記１２）
距離センサから得た、一連の作業中の作業者の手を撮影することで得られる、複数の３次元点群データのそれぞれについて前記作業者の手が触れた接触位置を検出することで、前記接触位置の分布を求め、
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する、
ことをコンピュータに実行させるための位置推定用コンピュータプログラム。
The following appendices will be further disclosed regarding the embodiment and its modification described above.
(Supplementary Note 1)
The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. A contact position detection unit for obtaining a distribution of contact positions;
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is A position estimation unit configured to estimate a position of an article corresponding to the group among the one or more articles;
A position estimation device having
(Supplementary Note 2)
The position estimation unit divides the distribution of the contact positions into groups of the contact positions corresponding to the one or more articles by applying a predetermined clustering method to the distribution of the contact positions. The position estimation device described in.
(Supplementary Note 3)
The position estimation apparatus according to Appendix 2, wherein the position estimation unit sets, for each of the groups, a center of gravity of the contact position belonging to the group as the representative point of the group.
(Supplementary Note 4)
For each of the groups, the position estimation unit is centered on the center of gravity of the contact positions belonging to the group, and the radius of the minimum sphere including the contact positions included in the group corresponds to the size of the article corresponding to the group The position estimation device according to appendix 3, which is estimated as
(Supplementary Note 5)
The position estimation unit applies the predetermined clustering method to the distribution of the contact positions for each number while changing the number of the groups, and divides the distribution of the contact positions into the number of the groups. The likelihood of the entire group divided for each number is calculated, and the representative points of the number of the groups at which the calculated likelihood is maximum is estimated as the position of the article corresponding to the group The position estimation device according to any one of appendices 2 to 4.
(Supplementary Note 6)
The contact position detection unit includes the frequency of each contact position in the distribution of the contact positions,
The position estimation unit approximates the distribution of the contact positions including the frequency for each contact position by a mixed normal distribution to approximate the distribution of the contact positions to the group of the contact positions corresponding to each of the one or more articles. The position estimation device according to appendix 1, which is divided.
(Appendix 7)
The position estimation unit determines, for each of the groups, an average value of the contact positions of the normal distribution corresponding to the group among the normal distributions included in the mixed normal distribution as the representative point of the group. The position estimation device described in.
(Supplementary Note 8)
The position estimation unit determines, for each of the groups, a range from a mean value of the contact positions of the normal distribution corresponding to the group among the normal distributions included in the mixed normal distribution to a predetermined Mahalanobis distance from the group The position estimation device according to Appendix 7, estimated as the size of the article corresponding to.
(Appendix 9)
The position estimation unit is configured to approximate the distribution of the contact positions by approximating the distribution of the contact positions with the mixed normal distribution including the normal distribution for each number while changing the number of the groups. The articles are divided into the groups, the likelihood of the mixed normal distribution is calculated for each of the numbers, and the representative points of the groups of the number when the calculated likelihood is maximum are the articles corresponding to the groups The position estimation device according to any one of appendices 6 to 8, which is estimated as a position of.
(Supplementary Note 10)
The position estimation unit is configured to approximate the distribution of the contact positions by approximating the distribution of the contact positions with the mixed normal distribution including the normal distribution for each number while changing the number of the groups. Each representative number is divided into the groups, and a predetermined information amount reference value for the mixed normal distribution is calculated for each number, and the representative points of the groups of the number when the calculated information amount reference value is minimum are calculated. The position estimation device according to any one of appendices 6 to 8, wherein the position estimation device estimates the position of the article corresponding to the group.
(Supplementary Note 11)
The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. Find the distribution of contact positions,
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is Estimated as the position of the item corresponding to the group among the one or more items,
Location estimation method including:
(Supplementary Note 12)
The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. Find the distribution of contact positions,
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is Estimated as the position of the item corresponding to the group among the one or more items,
Computer program for position estimation to make the computer execute.
１ 位置推定装置
１１ 距離センサ
１２ メモリ
１３ プロセッサ
１４ ディスプレイ
２１ 手領域検出部
２２ 接触位置検出部
２３ 位置推定部
DESCRIPTION OF SYMBOLS 1 Position estimation apparatus 11 Distance sensor 12 Memory 13 Processor 14 Display 21 Hand area detection part 22 Contact position detection part 23 Position estimation part
Claims (8)
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する位置推定部と、
を有する位置推定装置。 The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. A contact position detection unit for obtaining a distribution of contact positions;
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is A position estimation unit configured to estimate a position of an article corresponding to the group among the one or more articles;
A position estimation device having
前記位置推定部は、前記接触位置ごとの頻度を含む前記接触位置の分布を混合正規分布で近似することで前記接触位置の分布を前記１以上の物品のそれぞれに対応する前記接触位置のグループに分割する、請求項１に記載の位置推定装置。 The contact position detection unit includes the frequency of each contact position in the distribution of the contact positions,
The position estimation unit approximates the distribution of the contact positions including the frequency for each contact position by a mixed normal distribution to approximate the distribution of the contact positions to the group of the contact positions corresponding to each of the one or more articles. The position estimation device according to claim 1, which is divided.
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する、
ことを含む位置推定方法。 The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. Find the distribution of contact positions,
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is Estimated as the position of the item corresponding to the group among the one or more items,
Location estimation method including:
前記接触位置の分布を前記一連の作業において前記作業者の手が触れる１以上の物品のそれぞれに対応する前記接触位置のグループに分割し、前記グループのそれぞれごとに、当該グループの代表点を前記１以上の物品のうちの当該グループに対応する物品の位置として推定する、
ことをコンピュータに実行させるための位置推定用コンピュータプログラム。 The above-mentioned contact position detected by the operator's hand is detected for each of a plurality of three-dimensional point cloud data obtained by photographing the operator's hands during a series of operations obtained from the distance sensor. Find the distribution of contact positions,
The distribution of the contact positions is divided into groups of the contact positions corresponding to each of one or more articles touched by the hand of the operator in the series of operations, and for each of the groups, the representative point of the group is Estimated as the position of the item corresponding to the group among the one or more items,
Computer program for position estimation to make the computer execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018000257A JP2019120577A (en) | 2018-01-04 | 2018-01-04 | Position estimation device, position estimation method and computer program for position estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018000257A JP2019120577A (en) | 2018-01-04 | 2018-01-04 | Position estimation device, position estimation method and computer program for position estimation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019120577A true JP2019120577A (en) | 2019-07-22 |
Family
ID=67307220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018000257A Pending JP2019120577A (en) | 2018-01-04 | 2018-01-04 | Position estimation device, position estimation method and computer program for position estimation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019120577A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111649690A (en) * | 2019-12-12 | 2020-09-11 | 天目爱视（北京）科技有限公司 | Handheld 3D information acquisition equipment and method |
| WO2021166716A1 (en) | 2020-02-18 | 2021-08-26 | Ｎｅｃプラットフォームズ株式会社 | Work rate measurement device and work rate measurement method |
| WO2022078444A1 (en) * | 2020-10-15 | 2022-04-21 | 左忠斌 | Program control method for 3d information acquisition |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011171876A (en) * | 2010-02-17 | 2011-09-01 | Kddi Corp | Portable terminal for estimating address/whereabouts as user moves, server, program, and method |
| JP2013117832A (en) * | 2011-12-02 | 2013-06-13 | Hitachi Ltd | Work analysis device, work analysis system and work analysis method |
| JP2017147689A (en) * | 2016-02-19 | 2017-08-24 | 富士通株式会社 | Video editing device, video editing method, and computer program for editing video |
-
2018
- 2018-01-04 JP JP2018000257A patent/JP2019120577A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011171876A (en) * | 2010-02-17 | 2011-09-01 | Kddi Corp | Portable terminal for estimating address/whereabouts as user moves, server, program, and method |
| JP2013117832A (en) * | 2011-12-02 | 2013-06-13 | Hitachi Ltd | Work analysis device, work analysis system and work analysis method |
| JP2017147689A (en) * | 2016-02-19 | 2017-08-24 | 富士通株式会社 | Video editing device, video editing method, and computer program for editing video |
Non-Patent Citations (2)
| Title |
|---|
| 中村永友 他: "情報量規準に基づく多変量正規混合分布モデルのコンポーネント数の推定", 応用統計学, vol. 27, no. 3, JPN6021037231, 1998, pages 165 - 180, ISSN: 0004752707 * |
| 瀬尾茂人 他: "混合正規分布モデルを用いた経時観測蛍光画像からの細胞核の検出と追跡手法", 情報処理学会論文誌 数理モデル化と応用, vol. 6, no. 3, JPN6021037228, December 2013 (2013-12-01), pages 140 - 150, ISSN: 0004752706 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111649690A (en) * | 2019-12-12 | 2020-09-11 | 天目爱视（北京）科技有限公司 | Handheld 3D information acquisition equipment and method |
| WO2021166716A1 (en) | 2020-02-18 | 2021-08-26 | Ｎｅｃプラットフォームズ株式会社 | Work rate measurement device and work rate measurement method |
| WO2022078444A1 (en) * | 2020-10-15 | 2022-04-21 | 左忠斌 | Program control method for 3d information acquisition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8755562B2 (en) | Estimation apparatus, control method thereof, and program | |
| US10466797B2 (en) | Pointing interaction method, apparatus, and system | |
| JP6186834B2 (en) | Target tracking device and target tracking program | |
| US20180247150A1 (en) | Information processing device, information processing method, and article manufacturing method | |
| JP6454984B2 (en) | Hand position determination method and device based on depth image | |
| JP6487642B2 (en) | A method of detecting a finger shape, a program thereof, a storage medium of the program, and a system for detecting a shape of a finger. | |
| JP2016091457A (en) | Input device, fingertip-position detection method, and computer program for fingertip-position detection | |
| US10565791B2 (en) | Tracking rigged polygon-mesh models of articulated objects | |
| US20190066311A1 (en) | Object tracking | |
| JPWO2018087933A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| TWI776176B (en) | Device and method for scoring hand work motion and storage medium | |
| KR20150127381A (en) | Method for extracting face feature and apparatus for perforimg the method | |
| KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
| JP2013134628A (en) | Image processing device, image processing method and program | |
| JP6733995B2 (en) | Work analysis device, work analysis method, and program | |
| JP2019120577A (en) | Position estimation device, position estimation method and computer program for position estimation | |
| US11069086B2 (en) | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus | |
| CN110717385A (en) | Dynamic gesture recognition method | |
| US10354409B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium | |
| EP3223035B1 (en) | Estimation apparatus, estimation method and computer-readable medium | |
| JP2018116397A (en) | Image processing device, image processing system, image processing program, and image processing method | |
| JP2017033556A (en) | Image processing method and electronic apparatus | |
| US11610385B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| JP7254262B2 (en) | Work estimating device, work estimating method, and work estimating program | |
| JP2020113202A (en) | Parameter selection device, parameter selection method, and parameter selection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220419 |