CN114846513A - 动作分析系统和动作分析程序 - Google Patents

Abstract

动作分析装置(200)受理连续拍摄进行一系列动作的对象者(111)而得到的多个对象图像数据。动作分析装置检测各对象图像数据的对象图像中映出的对象者的姿态，生成表示检测到的姿态的对象姿态数据。动作分析装置从与多个对象图像数据对应的多个对象姿态数据中，提取2个以上的对象姿态数据作为表示对象者的姿态推移的对象轨迹数据。动作分析装置根据对象轨迹数据得到识别对象者的动作的动作标签。

Description

动作分析系统和动作分析程序

技术领域

本发明涉及动作分析用的技术。

背景技术

在产业领域中，手动进行周期的计测和作业内容的分析这样的处理已成为主流。

周期是作业者组装产品的时间。

作业内容的分析是为了检测作业的遗漏或非常规作业而进行的。非常规作业是未常规地进行的作业。

手动的处理花费大量的人工成本。此外，在手动的处理中，只能将限定的范围设为处理的对象。

如果容易对作业者的动作进行分析，则可认为容易进行周期的计测和作业内容的分析这样的处理。

在专利文献1中记载有自动进行的动作分析。为了进行动作分析，摄像机和三维传感器安装于人的头部，使用该摄像机和三维传感器提取人的动作的特征量。

现有技术文献

专利文献

专利文献1：日本特开2016-099982号公报

发明内容

发明要解决的课题

在专利文献1中，为了进行自动的动作分析，在人的头部安装有摄像机和三维传感器。

在为了对作业者的动作进行分析而应用专利文献1的方法的情况下，作业中不需要的物体安装于作业者的身体。而且，安装于作业者的身体的物体可能妨碍作业。

本发明的目的在于，能够对作业者的动作进行分析而不妨碍作业。

用于解决课题的手段

本发明的动作分析系统具有：对象图像受理部，其受理连续拍摄进行一系列动作的对象者而得到的多个对象图像数据；对象姿态检测部，其检测各对象图像数据的对象图像中映出的所述对象者的姿态，生成表示检测到的姿态的对象姿态数据；对象轨迹提取部，其从与所述多个对象图像数据对应的多个对象姿态数据中，提取包含对象时刻的对象姿态数据以及与所述对象时刻连续的前时刻和与所述对象时刻连续的后时刻中的至少一个时刻的对象姿态数据在内的2个以上的对象姿态数据，作为表示所述对象者的姿态推移的对象轨迹数据；以及动作确定部，其根据所述对象轨迹数据得到识别所述对象者的动作的动作标签。

发明效果

根据本发明，即使摄像机和三维传感器等作业中不需要的物体不安装于作业者(对象者的一例)的身体，也能够确定作业者的动作。即，能够对作业者的动作进行分析而不妨碍作业。

附图说明

图1是实施方式1中的动作分析系统100的结构图。

图2是实施方式1中的动作分析装置200的结构图。

图3是实施方式1中的动作分析方法的流程图。

图4是实施方式1中的对象姿态检测处理(S120)的说明图。

图5是实施方式1中的对象轨迹提取处理(S130)的流程图。

图6是实施方式1中的对象轨迹提取处理(S130)的说明图。

图7是实施方式1中的动作数据库291的结构图。

图8是实施方式1中的动作确定处理(S140)的流程图。

图9是实施方式1中的比较处理(S144)的流程图。

图10是实施方式1中的动态计划法的利用的说明图。

图11是实施方式1中的动作分析系统100的结构图。

图12是实施方式1中的登记部220的结构图。

图13是实施方式1中的登记处理的流程图。

图14是实施方式1中的动作姿态检测处理(S103)的说明图。

图15是实施方式2中的登记部220的结构图。

图16是实施方式2中的登记处理的流程图。

图17是实施方式2中的动作姿态生成处理(S250)的流程图。

图18是示出实施方式2中的采样的具体例的图。

图19是实施方式3中的动作分析装置200的结构图。

图20是实施方式3中的学习部230的结构图。

图21是实施方式3中的动作分析方法的流程图。

图22是实施方式3中的学习处理的流程图。

图23是实施方式中的动作分析装置200的硬件结构图。

具体实施方式

在实施方式和附图中，对相同的要素或对应的要素标注相同标号。标注有与已说明的要素相同的标号的要素的说明适当省略或简化。图中的箭头主要表示数据流或处理流。

实施方式1

根据图1～图14对用于自动分析人的动作的动作分析系统100进行说明。

***结构的说明***

根据图1对动作分析系统100的结构进行说明。

动作分析系统100具有摄像机101和动作分析装置200。

摄像机101拍摄对象者111。摄像机101可以从正面拍摄对象者111，也可以倾斜地拍摄对象者111。此外，摄像机101可以拍摄对象者111的全身，也可以拍摄对象者111的一部分(例如上半身)。

动作分析装置200对对象者111的动作进行分析。

对象者111是成为动作分析对象的人。对象者111的具体例是进行作业的人(作业者)。

根据图2对动作分析装置200的结构进行说明。

动作分析装置200是具有处理器201、存储器202、辅助存储装置203、通信装置204和输入输出接口205这样的硬件的计算机。这些硬件经由信号线相互连接。

处理器201是进行运算处理的IC，对其他硬件进行控制。例如，处理器201是CPU、DSP或GPU。

IC是Integrated Circuit(集成电路)的简称。

CPU是Central Processing Unit(中央处理单元)的简称。

DSP是Digital Signal Processor(数字信号处理器)的简称。

GPU是Graphics Processing Unit(图形处理单元)的简称。

存储器202是易失性或非易失性的存储装置。存储器202也被称作主存储装置或主存储器。例如，存储器202是RAM。存储器202中存储的数据根据需要保存于辅助存储装置203。

RAM是Random Access Memory(随机存取存储器)的简称。

辅助存储装置203是非易失性的存储装置。例如，辅助存储装置203是ROM、HDD或闪存。辅助存储装置203中存储的数据根据需要载入到存储器202。

ROM是Read Only Memory(只读存储器)的简称。

HDD是Hard Disk Drive(硬盘驱动器)的简称。

通信装置204是接收机和发送机。例如，通信装置204是通信芯片或NIC。

NIC是Network Interface Card(网络接口卡)的简称。

输入输出接口205是连接有输入装置和输出装置的端口。例如，输入输出接口205是USB端子，输入装置是键盘和鼠标，输出装置是显示器。

USB是Universal Serial Bus(通用串行总线)的简称。

动作分析装置200具有确定部210和登记部220这样的要素。确定部210具有对象图像受理部211、对象姿态检测部212、对象轨迹提取部213、动作确定部214和结果输出部215这样的要素。这些要素通过软件实现。

在辅助存储装置203中存储有用于使计算机作为确定部210和登记部220发挥功能的动作分析程序。动作分析程序载入到存储器202，由处理器201来执行。

在辅助存储装置203中还存储有OS。OS的至少一部分载入到存储器202，由处理器201来执行。

处理器201一边执行OS，一边执行动作分析程序。

OS是Operating System(操作系统)的简称。

动作分析程序的输入输出数据存储于存储部290。

存储器202作为存储部290发挥功能。但是，辅助存储装置203、处理器201内的寄存器和处理器201内的高速缓冲存储器等存储装置也可以代替存储器202或与存储器202一起作为存储部290发挥功能。

在存储部290中存储有动作数据库291等。

动作分析装置200也可以具有代替处理器201的多个处理器。多个处理器分担处理器201的功能。

动作分析程序能够以计算机能读取的方式记录(存储)于光盘或闪存等非易失性的记录介质。

***动作的说明***

动作分析系统100的动作的顺序相当于动作分析方法。此外，动作分析装置200的动作的顺序相当于基于动作分析程序的处理的顺序。

根据图3对动作分析方法进行说明。

在步骤S110中，对象图像受理部211受理多个对象图像数据。

多个对象图像数据是连续拍摄进行一系列动作的对象者111而得到的。

各对象图像数据表示对象图像。在对象图像中映出对象者111。

例如，多个对象图像数据由利用者输入到动作分析装置200。对象图像受理部211受理被输入的多个对象图像数据。

例如，多个对象图像数据从摄像机101发送而由动作分析装置200接收。对象图像受理部211受理接收到的多个对象图像数据。

在步骤S120中，对象姿态检测部212检测各对象图像数据的对象图像中映出的对象者111的姿态，生成表示检测到的姿态的对象姿态数据。

由此，得到与多个对象图像数据对应的多个对象姿态数据。

根据图4对对象姿态检测处理(S120)进行说明。[m-1]、[m]和[m+1]表示连续的3个拍摄时刻。拍摄时刻是进行拍摄的时刻。

各拍摄时刻的对象图像数据121表示各拍摄时刻的对象图像。在各拍摄时刻的对象图像中映出各拍摄时刻的对象者111。

对象姿态检测部212对各拍摄时刻的对象图像进行图像处理，由此检测各拍摄时刻的对象者111的姿态。

具体而言，对象姿态检测部212检测对象者111的骨骼。根据对象者111的骨骼确定对象者111的姿态。

更具体而言，对象姿态检测部212判别对象者111的各关节的位置。各关节的位置可以是特定坐标系下的绝对位置，也可以是相对于其他关节的相对位置。各关节的位置由坐标值来识别。根据头的关节和肩的关节等多个关节确定骨骼。

对象姿态检测部212生成表示各拍摄时刻的对象者111的姿态的对象姿态数据122。

在各拍摄时刻的对象姿态数据122中，各黑色圆点表示对象者111的关节的位置。

返回图3，继续进行步骤S130以后的说明。

对拍摄时间段的各拍摄时刻执行步骤S130和步骤S140。拍摄时间段是进行拍摄的时间段。

在步骤S130中，对象轨迹提取部213从与多个对象图像数据对应的多个对象姿态数据中提取对象轨迹数据。

对象轨迹数据由2个以上的对象姿态数据构成，表示对象者111的姿态推移。在对象轨迹数据中，2个以上的对象姿态数据按照时间序列排列。但是，对象轨迹数据也可以是近似地表示2个以上的对象姿态数据的多项式函数。

对对象轨迹数据进行补充。轨迹数据是连续的时刻的数据。对象轨迹数据是连续的时刻的对象姿态数据。连续的时刻是对象时刻和与对象时刻连续的时刻。在对象时刻是[t]的情况下，连续的时刻是[t-1]、[t]和[t+1]。

根据图5对对象轨迹提取处理(S130)进行说明。

在步骤S131中，对象轨迹提取部213从拍摄时间段中选择1个未选择的拍摄时刻。

拍摄时间段是进行了拍摄的时间段。

将选择出的拍摄时刻称作“对象时刻”。

在步骤S132中，对象轨迹提取部213决定针对对象时刻的拍摄时刻组。

拍摄时刻组由连续的2个以上的拍摄时刻构成，包含对象时刻。拍摄时刻组中包含的拍摄时刻的数量是预先决定的。

将对象时刻记为“m”。例如，对象轨迹提取部213将由拍摄时刻(m-1)、拍摄时刻(m)和拍摄时刻(m+1)构成的拍摄时刻组决定为针对对象时刻的拍摄时刻组。

将已决定的拍摄时刻组称作“对象时刻组”。

在步骤S133中，对象轨迹提取部213从多个对象姿态数据中提取与对象时刻对应的对象轨迹数据。

例如，在对象时刻组由时刻(m-1)、时刻(m)和时刻(m+1)构成的情况下，对象轨迹提取部213提取时刻(m-1)的对象姿态数据、时刻(m)的对象姿态数据和时刻(m+1)的对象姿态数据。提取出的3个对象姿态数据构成与对象时刻对应的对象轨迹数据。

根据图6对对象轨迹提取处理(S130)进行说明。[m-1]、[m]和[m+1]表示连续的3个拍摄时刻。

假设对象时刻组由[m-1]、[m]和[m+1]构成。

对象轨迹提取部213提取[m-1]的对象姿态数据122、[m]的对象姿态数据122和[m+1]的对象姿态数据122。

提取出的3个对象姿态数据122构成[m]的对象轨迹数据123。

返回图3，从步骤S140起继续进行说明。

在步骤S140中，动作确定部214根据对象轨迹数据得到识别对象者111的动作的动作标签。

具体而言，动作确定部214从动作数据库291中提取与对象轨迹数据一致的动作轨迹数据的动作标签。

动作数据库291是登记有1个以上的动作标签与动作轨迹数据的组的数据库。

动作标签识别动作。

动作轨迹数据表示进行由动作标签识别到的动作的人的姿态推移。

根据图7对动作数据库291的结构进行说明。[t-1]、[t]和[t+1]表示连续的3个拍摄时刻。

在动作数据库291中，多个时刻、多个动作姿态数据和多个动作标签相互对应起来。

动作轨迹数据133由2个以上的动作姿态数据132构成。具体而言，动作轨迹数据133由与连续的2个以上的时刻对应的2个以上的动作姿态数据132构成。

动作姿态数据132表示进行动作的人的姿态。

[t]的动作轨迹数据133由[t-1]的动作姿态数据132、[t]的动作姿态数据132和[t+1]的动作姿态数据132构成。另外，动作轨迹数据133包含以[t]为中心前后连续的时刻的数据。

“t”的动作轨迹数据133表示进行由时刻t的动作标签“作业A”识别到的动作的人的姿态推移。

根据图8对动作确定处理(S140)进行说明。

在步骤S141中，动作确定部214从动作数据库291的“时刻”中选择1个未选择的时刻。具体而言，动作确定部214按照升序选择时刻。

将选择出的时刻称作“比较时刻”。

在步骤S142中，动作确定部214决定针对比较时刻的比较时刻组。

比较时刻组由连续的2个以上的时刻构成，包含比较时刻。比较时刻组中包含的时刻的数量是预先决定的。

将比较时刻记为“t”。例如，动作确定部214将由时刻(t-1)、时刻(t)和时刻(t+1)构成的时刻组决定为针对比较时刻的比较时刻组。

在步骤S143中，动作确定部214从动作数据库291中提取与比较时刻对应的动作轨迹数据。

例如，在比较时刻组由时刻(t-1)、时刻(t)和时刻(t+1)构成的情况下，动作确定部214提取时刻(t-1)的动作姿态数据、时刻(t)的动作姿态数据和时刻(t+1)的动作姿态数据。提取出的3个动作姿态数据构成与比较时刻对应的动作轨迹数据。

在步骤S144中，动作确定部214将动作轨迹数据与对象轨迹数据进行比较。对象轨迹数据是在步骤S130(参照图3)中提取出的。

具体而言，动作确定部214计算动作轨迹数据相对于对象轨迹数据的距离。

动作轨迹数据相对于对象轨迹数据的距离相当于由对象轨迹数据表示的姿态推移与由动作轨迹数据表示的姿态推移之差的大小。

根据图9对比较处理(S144)进行说明。

将对象轨迹数据中包含的对象姿态数据记为I(m)或I(m+k)。

将动作轨迹数据中包含的动作姿态数据记为R(t)或R(t+k)。

“k”是-i以上且+i以下的整数。“i”是1以上的整数。在对象轨迹数据中包含的对象姿态数据的数量是“3”的情况下，“i”是“1”。

在步骤S1441中，动作确定部214计算对象姿态数据I(m+k)相对于对象姿态数据I(m)的距离。将计算出的距离记为I’(m+k)。

距离I’(m+k)相当于由对象姿态数据I(m)表示的姿态与由对象姿态数据I(m+k)表示的姿态之差的大小。

距离I’(m+k)能够用式(1)表示。

I’(m+k) ＝ I(m+k)-I(m) (1)

具体而言，动作确定部214如下所述计算距离I’(m+k)。

对象姿态数据表示多个关节各自的位置。

动作确定部214按照每个关节，计算对象姿态数据I(m)中的关节的位置与对象姿态数据I(m+k)中的关节的位置之间的距离。动作确定部214也可以对各关节进行加权，根据各关节的权重计算各关节的距离。该情况下，重要的关节的距离成为较大的值。

或者，动作确定部214按照每个关节组，计算对象姿态数据I(m)中的关节间的距离与对象姿态数据I(m+k)中的关节间的距离之差作为针对关节组的距离。动作确定部214也可以对各关节组进行加权，根据各关节组的权重计算针对各关节组的距离。该情况下，针对重要的关节组的距离成为较大的值。

动作确定部214计算已计算出的距离的合计。计算出的合计成为距离I’(m+k)。

在步骤S1442中，动作确定部214计算动作姿态数据R(t+k)相对于动作姿态数据R(t)的距离。将计算出的距离记为R’(t+k)。

距离R’(t+k)相当于由动作姿态数据R(t)表示的姿态与由动作姿态数据R(t+k)表示的姿态之差的大小。

距离R’(t+k)能够用式(2)表示。

R’(t+k) ＝ R(t+k)-R(t) (2)

具体而言，动作确定部214如下所示计算距离R’(t+k)。

动作姿态数据表示多个关节各自的位置。

动作确定部214按照每个关节，计算动作姿态数据R(t)中的关节的位置与动作姿态数据R(t+k)中的关节的位置之间的距离。动作确定部214也可以对各关节进行加权，根据各关节的权重计算各关节的距离。该情况下，重要的关节的距离成为较大的值。

或者，动作确定部214按照每个关节组，计算动作姿态数据R(m)中的关节间的距离与动作姿态数据I(m+k)中的关节间的距离之差作为针对关节组的距离。动作确定部214也可以对各关节组进行加权，根据各关节组的权重计算针对各关节组的距离。该情况下，针对重要的关节组的距离成为较大的值。

动作确定部214计算已计算出的距离的合计。计算出的合计成为距离R’(t+k)。

在步骤S1443中，动作确定部214计算距离I’(m+k)与距离R’(t+k)之差的合计。

计算出的合计成为动作轨迹数据相对于对象轨迹数据的距离。

动作轨迹数据相对于对象轨迹数据的距离能够用式(3)表示。

动作轨迹数据相对于对象轨迹数据的距离可以通过动态计划法或隐马尔可夫模型等方法来计算。这些方法使时间序列动态地伸缩来计算最小距离。

在这些方法中，例如，在利用I’(m+k)-R’(m+(k+a))求出的距离比利用I’(m+k)-R’(t+k)求出的距离小的情况下，对“k”和“k+a”的距离进行相加。

根据图10对动态计划法的利用进行说明。

表中的数字表示|I’(m+a)-R’(t+b)|的值。其中，-2≤a，b≤2。实线箭头表示路径(I’和R’的对应)。

在动态计划法中，使“a”“b”变化来计算各网格的距离。然后，选择距离的总和变小的路径(参照实线箭头)。

返回图8，从步骤S145起继续进行说明。

在步骤S145中，动作确定部214判定是否存在未选择的比较时刻。

在存在未选择的比较时刻的情况下，处理进入步骤S141。

在不存在未选择的比较时刻的情况下，处理进入步骤S146。

在步骤S146中，动作确定部214根据各动作轨迹数据与对象轨迹数据的比较结果，选择与对象轨迹数据一致的动作轨迹数据。

具体而言，动作确定部214根据各动作轨迹数据相对于对象轨迹数据的距离，选择与对象轨迹数据一致的动作轨迹数据。

与对象轨迹数据一致的动作轨迹数据如下决定。

动作确定部214选择在步骤S144中计算出的距离中的最小的距离。然后，动作确定部214选择与选择出的距离对应的动作轨迹数据。选择出的动作轨迹数据是与对象轨迹数据一致的动作轨迹数据。

但是，动作确定部214也可以在选择出的距离(最小的距离)大于阈值的情况下，判断为不存在与对象轨迹数据一致的动作轨迹数据。

在步骤S147中，动作确定部214从动作数据库291中提取与对象轨迹数据一致的动作轨迹数据的动作标签。

具体而言，动作确定部214选择与在步骤S146中选择出的动作轨迹数据对应的比较时刻，提取与选择出的比较时刻对应的动作标签。提取出的动作标签是与对象轨迹数据一致的动作轨迹数据的动作标签。

例如，假设在步骤S146中选择了[t]的动作轨迹数据133(参照图7)。该情况下，动作确定部214从动作数据库291中提取与[t]对应的动作标签“作业A”。

但是，在判断为不存在与对象轨迹数据一致的动作轨迹数据的情况下(参照步骤S146)，不提取动作标签。在不提取动作标签的情况下，动作确定部214赋予表示通常不进行的作业(非常规作业)的标签。

返回图3，对步骤S130和步骤S140之后的处理进行说明。

对拍摄时间段的各拍摄时刻执行步骤S130和步骤S140，由此，针对各拍摄时刻得到动作标签。

在对拍摄时间段的各拍摄时刻执行步骤S130和步骤S140后，处理进入步骤S150。

在步骤S150中，结果输出部215输出结果数据。

例如，结果输出部215在显示器显示结果数据。

结果数据包含各拍摄时刻的动作标签。

***预处理的补充***

对生成动作数据库291的方法进行说明。

图11示出生成动作数据库291时的动作分析系统100的结构。

动作分析系统100具有摄像机102和动作分析装置200。

摄像机102拍摄动作者112。摄像机102可以与摄像机101(参照图1)相同，也可以是与摄像机101不同的摄像机。

动作者112是进行成为针对动作数据库291的登记对象的动作(对象动作)的人。动作者112可以是与对象者111(参照图1)相同的人，也可以是与对象者111不同的人。

在动作者112是作业者的情况下，动作者112进行通常进行的作业(常规作业)作为一系列动作。但是，动作者112也可以包含通常不进行的作业(非常规作业)在内进行一系列动作。

图12示出动作分析装置200具有的登记部220的结构。

登记部220具有动作标签受理部221、动作图像受理部222、动作姿态检测部223和动作登记部224这样的要素。

根据图13对登记部220的登记处理进行说明。

通过登记处理生成动作数据库291(参照图7)。

在步骤S101中，动作标签受理部221受理被附加了多个时刻的多个动作标签。

例如，动作标签受理部221受理动作标签列表。动作标签列表表示多个时刻与动作标签的组。

例如，动作标签列表由利用者输入到动作分析装置200。动作标签受理部221受理被输入的动作标签列表。

另外，对常规作业中未包含的动作赋予表示非常规的标签。

在步骤S102中，动作图像受理部222受理被附加了多个时刻的多个动作图像数据。附加给多个动作图像数据的多个时刻与附加给多个动作标签的多个时刻一致。

多个动作图像数据是连续拍摄进行一系列动作的动作者112而得到的。

各动作图像数据表示动作图像。在动作图像中映出动作者112。

例如，动作图像受理部222受理动作图像文件。动作图像文件包含多个时刻与动作图像数据的组。

例如，动作图像文件由利用者输入到动作分析装置200。动作图像受理部222受理被输入的动作图像文件。

在步骤S103中，动作姿态检测部223检测各动作图像数据的动作图像中映出的动作者112的姿态，生成表示检测到的姿态的动作姿态数据。

由此，得到与多个动作图像数据对应的多个动作姿态数据。

根据图14对动作姿态检测处理(S103)进行说明。[t-1]、[t]和[t+1]表示连续的3个时刻。

各时刻的动作图像数据131表示各时刻的动作图像。在各时刻的动作图像中映出各时刻的动作者112。

动作姿态检测部223对各时刻的动作图像进行图像处理，由此检测各时刻的动作者112的姿态。

具体而言，动作姿态检测部223检测动作者112的骨骼。根据动作者112的骨骼确定动作者112的姿态。

更具体而言，动作姿态检测部223判别动作者112的各关节的位置。各关节的位置能够用坐标值或相对于其他关节的相对位置表示。根据头的关节和肩的关节等多个关节确定骨骼。

动作姿态检测部223生成表示各时刻的动作者112的姿态的动作姿态数据132。

在各时刻的动作姿态数据132中，各黑色圆点表示动作者112的关节的位置。

返回图13，对步骤S104进行说明。

在步骤S104中，动作登记部224将多个时刻、多个动作姿态数据和多个动作标签相互对应起来登记于动作数据库291。

***实施例的说明***

动作确定部214也可以确定进行常规作业的时间段和进行非常规作业的时间段。

具体而言，动作确定部214计测被赋予了表示非常规的标签的时刻间的时间段。计测出的时间段是进行非常规作业的时间段。然后，动作确定部214判别进行非常规作业的时间段以外的时间段。判别出的时间段是进行常规作业的时间段。

***实施方式1的效果***

根据实施方式1，即使摄像机和三维传感器等作业中不需要的物体不安装于作业者(对象者的一例)的身体，也能够确定作业者的动作。即，能够对作业者的动作进行分析而不妨碍作业。

进而，能够确定对象者111进行各动作的时间段。即，能够确定进行常规作业的时间段和进行非常规作业的时间段。

此外，对对象轨迹数据和动作轨迹数据这样的轨迹数据(连续时刻数据)彼此进行比较，由此得到以下这种效果。作业有时包含多个动作。因此，不是对单一时刻的动作进行比较，而是对连续的动作即轨迹数据彼此进行比较，由此，能够进行更加适当的作业判定。

实施方式2

关于用于提高动作分析的精度的方式，主要根据图15～图18对与实施方式1不同之处进行说明。

***结构的说明***

动作分析系统100的结构与实施方式1中的结构(参照图1和图11)相同。

但是，在图11中，动作者112多次进行一系列动作，摄像机102拍摄动作者112进行的多次的一系列动作。

动作分析装置200的结构与实施方式1中的结构(参照图2)相同。

但是，登记部220的结构的一部分与实施方式1中的结构(参照图12)不同。

根据图15对登记部220的结构进行说明。

登记部220具有动作标签受理部221、动作图像受理部222、临时姿态检测部225、临时表生成部226、动作姿态生成部227和动作登记部224这样的要素。

***动作的说明***

根据图16对登记部220的登记处理进行说明。

通过登记处理生成动作数据库291(参照图7)。

针对多次的一系列动作分别执行步骤S210～步骤S240。即，在进行3次一系列动作的情况下，执行3次步骤S210～步骤S240。

在步骤S210中，动作标签受理部221受理动作标签组。

动作标签组是被附加了多个时刻的多个动作标签。

步骤S210相当于实施方式1中的步骤S101(参照图13)。

在步骤S220中，动作图像受理部222受理动作图像数据组。

动作图像数据组是拍摄进行一系列动作的动作者而得到的、被附加了多个时刻的多个动作图像数据。

步骤S220相当于实施方式1中的步骤S202(参照图13)。

在步骤S230中，临时姿态检测部225检测动作图像数据组中的各动作图像数据的动作图像中映出的动作者112的姿态，生成表示检测到的姿态的临时姿态数据。

由此，得到与动作图像数据组对应的临时姿态数据组。临时姿态数据组是与多个动作图像数据对应的多个临时姿态数据。

生成临时姿态数据的方法与实施方式1中生成动作姿态数据的方法相同(参照图13的步骤S103)。

在步骤S240中，临时表生成部226生成临时表。

临时表是将时刻组、临时姿态数据组和动作标签组相互对应起来的表。

时刻组是附加给多个动作标签和多个动作图像的多个时刻。

针对多次的一系列动作分别执行步骤S210～步骤S240，由此生成多个临时表。

针对多次的一系列动作分别执行步骤S210～步骤S240后，处理进入步骤S250。

在步骤S250中，动作姿态生成部227按照一系列动作中包含的每个动作，生成与2个以上的时刻对应的2个以上的动作姿态数据。

与2个以上的时刻对应的2个以上的动作姿态数据如下所示生成。

动作姿态生成部227从多个临时表中分别提取与识别相同动作的2个以上的动作标签对应的2个以上的临时姿态数据即临时轨迹数据。

动作姿态生成部227根据从多个临时表中提取出的多个临时轨迹数据，生成与2个以上的时刻对应的2个以上的动作姿态数据。

根据图17对动作姿态生成处理(S250)进行说明。

针对一系列动作中包含的各动作执行步骤S251～步骤S253。

在步骤S251中，动作姿态生成部227从多个临时表中分别提取临时轨迹数据。由此，提取多个临时轨迹数据。

在步骤S252中，动作姿态生成部227决定构成动作轨迹数据的动作姿态数据的数量。将已决定的数量称作“构成数据数”。

例如，构成数据数是多个临时轨迹数据中的临时姿态数据的数量的平均。假设构成第1次的临时轨迹数据的临时姿态数据的数量是“3”，构成第2次的临时轨迹数据的临时姿态数据的数量是“4”，构成第3次的临时轨迹数据的临时姿态数据的数量是“5”。该情况下，构成数据数是“4”。

在步骤S253中，动作姿态生成部227对各临时轨迹数据进行采样。

由此，构成各临时轨迹数据的临时姿态数据的数量成为与构成数据数相同的数量。

图18示出采样的具体例。

“A_n”表示采样前的第n次的临时轨迹数据中包含的临时姿态数据。

“A_n’”表示采样后的第n次的临时轨迹数据中包含的临时姿态数据。

“*”意味着乘法，“+”意味着加法。

各临时姿态数据表示多个关节各自的位置。按照每个关节，对识别关节的位置的坐标值进行乘法和加法。

假设构成数据数是“4”。

在采样前，第1次的临时轨迹数据由3个临时姿态数据A₁(1～3)构成。此外，第2次的临时轨迹数据由4个临时姿态数据A₂(1～4)构成。此外，第3次的临时轨迹数据由5个临时姿态数据A₃(1～5)构成。

通过针对第1次的临时轨迹数据的采样，生成基于3个临时姿态数据A₁(1～3)的4个临时姿态数据A₁’(1～4)。

通过针对第2次的临时轨迹数据的采样，生成基于4个临时姿态数据A₂(1～4)的4个临时姿态数据A₂’(1～4)。

通过针对第3次的临时轨迹数据的采样，生成基于5个临时姿态数据A₃(1～5)的4个临时姿态数据A₃’(1～4)。

在采样后，第1次的临时轨迹数据由4个临时姿态数据A₁’(1～4)构成。此外，第2次的临时轨迹数据由4个临时姿态数据A₂’(1～4)构成。此外，第3次的临时轨迹数据由4个临时姿态数据A₃’(1～4)构成。

返回图17，对步骤S254进行说明。

在步骤S254中，动作姿态生成部227生成与构成数据数相同数量的动作姿态数据。

动作姿态生成部227如下所示生成各时刻的动作姿态数据。

动作姿态生成部227计算与相同时刻对应的多个临时姿态数据之和。按照每个关节，对识别关节的位置的坐标值计算多个临时姿态数据之和。

动作姿态生成部227将多个临时姿态数据之和除以临时姿态数据的数量。由此，计算与相同时刻对应的多个临时姿态数据的平均。多个临时姿态数据的平均成为动作姿态数据。

但是，动作姿态生成部227也可以与多个临时姿态数据的平均一起，计算多个临时姿态数据的方差。

返回图16，对步骤S260进行说明。

在步骤S260中，动作登记部224按照一系列动作中包含的每个动作，将2个以上的时刻、2个以上的动作姿态数据和识别相同动作的2个以上的动作标签相互对应起来登记于动作数据库291。

***实施方式2的效果***

根据实施方式2，能够根据多次进行的一系列动作生成动作数据库291。其结果是，能够提高动作分析的精度。

实施方式3

关于利用学习模型进行动作分析的方式，主要根据图19～图22对与实施方式1和实施方式2不同之处进行说明。

***结构的说明***

动作分析系统100的结构与实施方式1中的结构(参照图1和图11)相同。

根据图19对动作分析装置200的结构进行说明。

动作分析装置200具有确定部210和学习部230这样的要素。这些要素通过软件实现。

动作分析程序使计算机作为确定部210和学习部230发挥功能。

学习部230生成学习模型292。

存储部290存储学习模型292。

学习模型292针对动作轨迹数据的输入而输出动作标签。

根据图20对学习部230的结构进行说明。

学习部230具有动作标签受理部231、动作图像受理部232、动作姿态检测部233和动作学习部234这样的要素。

***动作的说明***

根据图21对动作分析方法进行说明。

在步骤S310中，对象图像受理部211受理多个对象图像数据。

步骤S310与实施方式1中的步骤S110(参照图3)相同。

在步骤S320中，对象姿态检测部212检测各对象图像数据的对象图像中映出的对象者111的姿态，生成表示检测到的姿态的对象姿态数据。

由此，得到与多个对象图像数据对应的多个对象姿态数据。

步骤S320与实施方式1中的步骤S120(参照图3)相同。

在步骤S330中，对象轨迹提取部213从与多个对象图像数据对应的多个对象姿态数据中提取对象轨迹数据。

步骤S330与实施方式1中的步骤S130(参照图3)相同。

在步骤S340中，动作确定部214根据对象轨迹数据得到识别对象者111的动作的动作标签。

动作标签是如下得到的。

动作确定部214将对象轨迹数据输入到学习模型。

学习模型输出与被输入的对象轨迹数据一致的学习轨迹数据的动作标签。

动作确定部214从学习模型得到动作标签。

针对拍摄时间段的各拍摄时刻执行步骤S330和步骤S340。由此，针对各拍摄时刻得到动作标签。

在针对拍摄时间段的各拍摄时刻执行步骤S330和步骤S340后，处理进入步骤S350。

在步骤S350中，结果输出部215输出结果数据。

步骤S350与实施方式1中的步骤S150(参照图3)相同。

***预处理的说明***

根据图22对学习部230的学习处理进行说明。

通过学习处理生成学习模型292。

在步骤S301中，动作标签受理部231受理被附加了多个时刻的多个动作标签。

步骤S301与实施方式1中的步骤S101(参照图13)相同。

在步骤S302中，动作图像受理部232受理被附加了多个时刻的多个动作图像数据。

步骤S302与实施方式1中的步骤S102(参照图13)相同。

在步骤S303中，动作姿态检测部233检测各动作图像数据的动作图像中映出的动作者112的姿态，生成表示检测到的姿态的动作姿态数据。

由此，得到与多个动作图像数据对应的多个动作姿态数据。

步骤S303与实施方式1中的步骤S103(参照图13)相同。

在步骤S304中，动作学习部234针对各时刻，将动作姿态数据与动作标签的组作为学习数据进行学习。

例如，动作学习部234利用现有的机器学习模型进行机器学习。具体而言，动作学习部234将各时刻的学习数据输入到机器学习模型。然后，机器学习模型针对各时刻的学习数据进行机器学习。但是，动作学习部234也可以利用其他方法进行学习。

由此，生成学习模型292。另外，在存在学习模型292的情况下，更新学习模型292。

***实施方式3的效果***

根据实施方式3，能够利用学习模型292进行动作分析。其结果是，能够提高动作分析的精度。

***实施方式的补充***

根据图23对动作分析装置200的硬件结构进行说明。

动作分析装置200具有处理电路209。

处理电路209是实现确定部210、登记部220和学习部230的硬件。

处理电路209可以是专用的硬件，也可以是执行存储器202中存储的程序的处理器201。

在处理电路209是专用的硬件的情况下，处理电路209例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或它们的组合。

ASIC是Application Specific Integrated Circuit(专用集成电路)的简称。

FPGA是Field Programmable Gate Array(现场可编程门阵列)的简称。

动作分析装置200也可以具有代替处理电路209的多个处理电路。多个处理电路分担处理电路209的功能。

在处理电路209中，也可以是，一部分功能通过专用的硬件实现，其余功能通过软件或固件实现。

这样，动作分析装置200的各功能能够通过硬件、软件、固件或它们的组合来实现。

各实施方式是优选方式的例示，并不意图限制本发明的技术范围。各实施方式可以部分地实施，也可以与其他方式组合实施。使用流程图等说明的顺序也可以适当变更。

动作分析装置200的要素“部”也可以改写成“处理”或“工序”。

动作分析装置200也可以通过多个装置实现。

摄像机101和摄像机102也可以置换成深度传感器或其他传感器。通过这些传感器得到三维图像数据。

学习模型292可以通过硬件实现，也可以通过软件和硬件的组合来实现。

标号说明

100：动作分析系统；101：摄像机；102：摄像机；111：对象者；112：动作者；121：对象图像数据；122：对象姿态数据；123：对象轨迹数据；131：动作图像数据；132：动作姿态数据；133：动作轨迹数据；134：临时姿态数据组；200：动作分析装置；201：处理器；202：存储器；203：辅助存储装置；204：通信装置；205：输入输出接口；209：处理电路；210：确定部；211：对象图像受理部；212：对象姿态检测部；213：对象轨迹提取部；214：动作确定部；215：结果输出部；220：登记部；221：动作标签受理部；222：动作图像受理部；223：动作姿态检测部；224：动作登记部；225：临时姿态检测部；226：临时表生成部；227：动作姿态生成部；230：学习部；231：动作标签受理部；232：动作图像受理部；233：动作姿态检测部；234：动作学习部；290：存储部；291：动作数据库；292：学习模型。

Claims (9)

1.一种动作分析系统，该动作分析系统具有：

对象图像受理部，其受理连续拍摄进行一系列动作的对象者而得到的多个对象图像数据；

对象姿态检测部，其检测各对象图像数据的对象图像中映出的所述对象者的姿态，生成表示检测到的姿态的对象姿态数据；

对象轨迹提取部，其从与所述多个对象图像数据对应的多个对象姿态数据中，提取包含对象时刻的对象姿态数据以及与所述对象时刻连续的前时刻和与所述对象时刻连续的后时刻中的至少一个时刻的对象姿态数据在内的2个以上的对象姿态数据，作为表示所述对象者的姿态推移的对象轨迹数据；以及

动作确定部，其根据所述对象轨迹数据得到识别所述对象者的动作的动作标签。

2.根据权利要求1所述的动作分析系统，其中，

所述动作确定部从登记有多个识别动作的动作标签与表示进行由所述动作标签识别的动作的人的姿态推移的动作轨迹数据的组的动作数据库中，提取与所述对象轨迹数据一致的动作轨迹数据的动作标签。

3.根据权利要求2所述的动作分析系统，其中，

在所述动作数据库中，多个时刻、多个动作姿态数据和多个动作标签相互对应起来，

各动作轨迹数据由2个以上的动作姿态数据构成，

所述对象轨迹提取部决定包含所述对象时刻的对象时刻组，提取与构成所述对象时刻组的2个以上的拍摄时刻对应的2个以上的对象姿态数据作为所述对象轨迹数据，

所述动作确定部按照每个比较时刻决定包含比较时刻的比较时刻组，从所述动作数据库中提取与构成所决定的比较时刻组的2个以上的比较时刻对应的2个以上的动作姿态数据，将由提取出的2个以上的动作姿态数据构成的动作轨迹数据与所述对象轨迹数据进行比较，根据各动作轨迹数据和所述对象轨迹数据的比较结果，选择与所述对象轨迹数据一致的所述动作轨迹数据，提取与比较时刻对应的动作标签作为与所述对象轨迹数据一致的动作标签，其中，所述比较时刻与选择出的动作轨迹数据对应。

4.根据权利要求3所述的动作分析系统，其中，

所述动作分析系统具有：

动作标签受理部，其受理被附加了所述多个时刻的所述多个动作标签；

动作图像受理部，其受理连续拍摄进行一系列动作的动作者而得到的、被附加了所述多个时刻的多个动作图像数据；

动作姿态检测部，其检测各动作图像数据的动作图像中映出的所述动作者的姿态，生成表示检测到的姿态的动作姿态数据；以及

动作登记部，其将所述多个时刻、与所述多个动作图像数据对应的所述多个动作姿态数据和所述多个动作标签相互对应起来登记于所述动作数据库。

5.根据权利要求3所述的动作分析系统，其中，

所述动作分析系统具有：

动作标签受理部，其受理多个动作标签组，所述动作标签组是被附加了多个时刻的多个动作标签；

动作图像受理部，其受理多个动作图像数据组，所述动作图像数据组是拍摄进行一系列动作的动作者而得到的、被附加了多个时刻的多个动作图像数据；

临时姿态检测部，其按照受理的每个动作图像数据组，检测动作图像数据组中的各动作图像数据的动作图像中映出的所述动作者的姿态，生成表示检测到的姿态的临时姿态数据；

临时表生成部，其生成多个将时刻组、与动作图像数据组对应的临时姿态数据组和动作标签组相互对应起来的临时表；

动作姿态生成部，其按照所述一系列动作中包含的每个动作，从多个临时表中分别提取与识别相同动作的2个以上的动作标签对应的2个以上的临时姿态数据即临时轨迹数据，根据从所述多个临时表中提取出的多个临时轨迹数据，生成与2个以上的时刻对应的2个以上的动作姿态数据；以及

动作登记部，其按照所述一系列动作中包含的每个动作，将2个以上的时刻、2个以上的动作姿态数据和识别相同动作的2个以上的动作标签相互对应起来登记于动作数据库291。

6.根据权利要求1所述的动作分析系统，其中，

所述动作确定部对针对表示人的姿态推移的动作轨迹数据的输入而输出识别动作的动作标签的学习模型输入所述对象轨迹数据，从所述学习模型得到动作标签。

7.根据权利要求6所述的动作分析系统，其中，

所述动作分析系统具有：

动作标签受理部，其受理被附加了多个时刻的多个动作标签；

动作图像受理部，其受理连续拍摄进行一系列动作的动作者而得到的、被附加了所述多个时刻的多个动作图像数据；

动作姿态检测部，其检测各动作图像数据的动作图像中映出的所述动作者的姿态，生成表示检测到的姿态的动作姿态数据；以及

动作学习部，其针对各时刻，将动作姿态数据与动作标签的组作为学习数据进行学习，由此生成所述学习模型。

8.根据权利要求1～7中的任意一项所述的动作分析系统，其中，

各对象姿态数据表示所述对象者的多个关节各自的位置。

9.一种动作分析程序，该动作分析程序用于使计算机执行以下处理：

对象图像受理处理，受理连续拍摄进行一系列动作的对象者而得到的多个对象图像数据；

对象姿态检测处理，检测各对象图像数据的对象图像中映出的所述对象者的姿态，生成表示检测到的姿态的对象姿态数据；

对象轨迹提取处理，从与所述多个对象图像数据对应的多个对象姿态数据中，提取包含对象时刻的对象姿态数据以及与所述对象时刻连续的前时刻和与所述对象时刻连续的后时刻中的至少一个时刻的对象姿态数据在内的2个以上的对象姿态数据，作为表示所述对象者的姿态推移的对象轨迹数据；以及

动作确定处理，根据所述对象轨迹数据得到识别所述对象者的动作的动作标签。

Images