[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113597614A - 图像处理方法和装置、电子设备及存储介质 - Google Patents

图像处理方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113597614A
CN113597614A CN202180001453.4A CN202180001453A CN113597614A CN 113597614 A CN113597614 A CN 113597614A CN 202180001453 A CN202180001453 A CN 202180001453A CN 113597614 A CN113597614 A CN 113597614A
Authority
CN
China
Prior art keywords
detection frame
target
information
body part
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180001453.4A
Other languages
English (en)
Other versions
CN113597614B (zh
Inventor
王柏润
张学森
刘春亚
陈景焕
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/054306 external-priority patent/WO2022144607A1/en
Publication of CN113597614A publication Critical patent/CN113597614A/zh
Application granted granted Critical
Publication of CN113597614B publication Critical patent/CN113597614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法和装置、神经网络训练方法和装置、动作识别方法和装置、电子设备及存储介质。所述图像处理方法包括：获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。

Description

图像处理方法和装置、电子设备及存储介质
相关申请的交叉引用
本专利申请要求于2020年12月31日提交的、申请号为10202013266S、发明名称为“图像处理方法和装置、电子设备及存储介质”的新加坡专利申请的优先权，该申请的全文以引用的方式并入本文中。
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法和装置、电子设备及存储介质。
背景技术
随着人工智能技术的发展，神经网络被越来越广泛地应用于数据的检测和判别，由此降低了人工成本，提高了效率和准确率。神经网络的训练，需要使用大规模的带有标注的训练样本作为训练集。其中，用于对人体部位之间的关联关系进行识别的神经网络需要使用包含人体的各个部位的标注信息的图像，然而目前无法高效且准确的进行图像中人体部位的标注，因此难以获得足够的训练样本，模型训练的效率和准确性都受到不良影响。
发明内容
本公开提供一种图像处理方法和装置、电子设备及存储介质，以解决相关技术中的不足。
根据本公开的第一方面，提供一种图像处理方法，包括：获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
根据本公开的第二方面，提供一种神经网络的训练方法，所述神经网络用于检测图像中的身体部位之间的关联关系，所述方法包括：利用图像训练集训练所述神经网络；其中，所述图像训练集中的图像包含标注信息，所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，所述关联关系信息根据第一方面所述的方法确定。
根据本公开的第三方面，提供一种动作识别方法，所述方法包括：基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作，其中，所述关联关系信息由经过如第二方面所述的方法训练的神经网络得出。
根据本公开的第四方面，提供一种图像处理装置，包括：关键点获取模块，用于获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；检测框生成模块，用于根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；关联关系确定模块，用于根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
根据本公开的第五方面，提供一种神经网络的训练装置，所述神经网络用于检测图像中的身体部位之间的关联关系，所述装置包括：训练模块，用于利用图像训练集训练所述神经网络；其中，所述图像训练集中的图像包含标注信息，所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，所述关联关系信息根据第一方面所述的方法确定。
根据本公开的第六方面，提供一种动作识别装置，所述装置包括：识别模块，用于基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作，其中，所述关联关系信息由经过如第二方面所述的方法训练的神经网络得出。
根据本公开的第七方面，提供一种电子设备，所述设备包括存储器和处理器，所述存储器用于存储所述处理器可执行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面、第二方面或第三方面所述的方法。
根据本公开的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面、第二方面或第三方面所述的方法。
根据上述实施例可知，通过获取图像中的人体检测框、与目标身体部位对应的目标关键点以及所述人体检测框与所述目标关键点的第一关联关系信息，能够精确获取到图像内的所有人体对应的人体检测框，而且获取与每个人体检测框关联的目标关键点；进一步根据目标关键点和所述人体检测框生成针对目标身体部位的目标检测框；最后根据预先标注的第一身体部位与人体检测框的第二关联关系信息以及上述第一关联关系信息，确定出了目标身体部位与第一身体部位的第三关联关系信息，实现了目标身体部位与第一身体部位的自动关联。所确定出的第三关联关系信息可以作为图像中目标身体部位的标注信息，解决了人工标注低效的问题，提高了图像中身体部位之间的关联性标注效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例示出的图像处理方法的流程图。
图2是本公开实施例示出的图像的处理结果示意图。
图3是本公开实施例示出的图像处理装置的结构示意图。
图4是本公开实施例示出的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着人工智能技术的发展，神经网络能进行数据的检测和判别，降低了人工成本，提高了效率和准确率。神经网络的训练，需要使用大规模的带有标注的训练样本作为训练集。用于训练动作识别模型的人体图像，需要对人体的各个部位进行标注，相关技术中无法高效且准确的进行上述标注，因此模型训练的效率和准确性都受到不良影响。
基于此，第一方面，本公开至少一个实施例提供了一种图像处理方法，请参照附图1，其示出了该方法的流程，包括步骤S101至步骤S103。
其中，该图像处理方法所针对的图像可以为用于训练神经网络模型的图像，其中神经网络模型可以为用于识别人体动作的模型，例如该模型可以用于识别桌上游戏场景的游戏玩家的动作。在一个示例性的应用场景中，可以录制桌上游戏过程中的视频，然后将视频输入至上述模型内，模型可以识别视频中每帧图像中每个人的动作；模型可以通过识别人体的若干部位进行动作识别。该图像处理方法所针对的图像中包含至少一个人体，而且人体的若干身体部位的位置已经预先使用矩形框等标注。
在步骤S101中，获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息。
其中，图像中包含至少一个人体，每个人体对应一个人体检测框，人体检测框能够将对应的人体完整包围，人体检测框可以是包围其对应的人体的最小边框。人体检测框的形状可以是矩形或其他合理形状，本公开无意对此做出具体限制。人体检测框内包含至少一个目标关键点，这些目标关键点对应于人体的目标身体部位，例如手腕、肩膀、肘部等身体部位。人体的一个目标身体部位对应至少一个目标关键点。人体的不同目标身体部位对应的目标关键点的数量可以相同，也可以不同，本公开对此无意作出具体限制。
本步骤中，可以按照如下方式获取人体检测框：可以从图像中检测人体关键点，确定人体对象的边缘，进而构建包围人体对象的人体检测框，从而确定出人体检测框在图像中的位置。具体的，当人体检测框为矩形时，可以获取矩形框的四个顶点的坐标位置。
获取与目标身体部位对应的目标关键点可以包括：获取目标关键点在图像中的位置信息，例如获取目标关键点对应的一个或多个像素点的位置坐标。可以根据目标身体部位在人体中的相对位置特征，通过对人体检测框进行目标关键点检测，或者通过在图像中进行目标关键点检测来确定目标关键点的位置。
目标关键点与人体检测框的第一关联关系信息包括目标关键点与人体检测框对应的人体的归属关系，即，当目标关键点属于人体检测框内的人体时，目标关键点与人体检测框关联；反之，当目标关键点不属于人体检测框内的人体时，目标关键点与人体检测框不关联。可以基于人体检测框与目标关键点的位置确定第一关联关系信息。
在一个示例中，目标身体部位包括下述任意一种：人脸、人手、手肘、膝盖、肩膀和人脚；相应地，与目标身体部位对应的目标关键点包括下述任意一种：人脸关键点、人手关键点、手肘关键点、膝盖关键点、肩膀关键点和人脚关键点。
在步骤S102中，根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框。
其中，目标身体部位是图像中的需要标注位置和/或所关联的人体或其他身体部位的身体部位。可以根据获取到的目标关键点的位置，生成包围该目标关键点的包围框作为对应的目标身体部位的检测框。
当需要标注的目标身体部位为多个时，这些目标身体部位可以批量进行标注，因此在本步骤中就可以批量地确定针对这些目标身体部位的检测框，这些目标身体部位还可以依次进行标注，因此在本步骤中也可以逐个确定针对目标身体部位的检测框。
其中，目标身体部位对应的目标关键点可以是一个，也可以是多个，因此本步骤中根据一个或多个目标关键点以及对应的人体检测框确定针对目标身体部位的检测框。可以将针对目标身体部位的检测框作为目标身体部位的位置标签。
作为示例，图2示出了针对目标身体部位的检测框的示意图。如图2所示，图像中包含210、220和230三个人体，以及人体210对应的手肘的检测框212，人体220对应的手肘的检测框222，人体230对应的手肘的检测框232，且其中针对手肘的检测框212是成对的，即包括左手肘和右手肘。
在步骤S103中，根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
其中，第一身体部位可以是已标注的身体部位，其标注信息可以包括针对第一身体部位的检测框的位置以及与人体之间的关系。可选地，第一身体部位的标注信息还包括但不限于部位名称、方位区分信息中的至少一项。
上述所述第二关联关系信息可以基于第一身体部位的标注信息获得，第一身体部位与人体检测框之间的关联关系可以由该第一身体部位与该人体检测框内的人体的关联关系确定。
可以按照如下方式确定第三关联关系信息：将人体检测框和与其关联的目标检测框关联；并依据该人体检测框与目标检测框之间的关联结果、以及第二关联关系信息，将与同一人体检测框关联的目标检测框和针对第一身体部位的第一检测框关联，由此得到第三关联关系信息。
在一个示例中，第一身体部位为人脸，目标身体部位为手肘，则可以按照上述方法确定人脸和手肘的第三关联关系信息。具体可参照附图2，图中示出了210、220和230三个人体，人体210的第一身体部位为人脸211，人体210的目标身体部位为手肘212，可以确定出人脸211和手肘212的第三关联关系信息。类似地，人体220的第一身体部位为人脸221，人体220的目标身体部位为手肘222，由此可以确定出人脸221和手肘222的第三关联关系信息；人体230的第一身体部位为人脸231，人体230的目标身体部位为手肘232，由此可以确定出人脸231和手肘232的第三关联关系信息。
可以理解的是，手肘仅仅是目标身体部位的一个示例，实际应用中，目标身体部位还可以是手腕、肩膀、脖子、膝盖等部位。在一些场景中，人脸信息被用于区分不同的人，其可以与人的身份信息关联。上述方法通过人体检测框作为媒介，利用图像中已标注的人脸，将同一人体的人脸和手肘关联，由此可以确定手肘对应的人体的身份信息，有助于实现从图像中检测出除人脸之外的其他身体部位与人脸的关联关系，从而确定出其他身体部位对应的人的身份信息。
在另一个示例中，第一身体部位为人手，目标身体部位为手肘，可以确定出人手和手肘的第三关联关系信息。具体可参照附图2，图中示出了210、220和230三个人体，人体210的第一身体部位为人手213，人体210的目标身体部位为手肘212，由此可以确定出人手213和手肘212的第三关联关系信息；人体220的第一身体部位为人手223，人体220的目标身体部位为手肘222，由此可以确定出人手223和手肘222的第三关联关系信息；人体230的第一身体部位为人手233，人体230的目标身体部位为手肘232，由此可以确定出人手233和手肘232的第三关联关系信息。
上述目标检测框和第三关联关系信息可以作为图像中的目标身体部位的标注信息，由此，上述方法实现了图像中目标身体部位的自动标注。在基于图像训练用于识别人体动作或识别身体部位的神经网络时，可以快速地自动标注大量的图像，为神经网络的训练提供充分的训练样本，降低了神经网络的训练样本的获取难度。
根据上述实施例可知，通过获取图像中的人体检测框、与目标身体部位对应的目标关键点以及所述人体检测框与所述目标关键点的第一关联关系信息，进一步根据目标关键点和所述人体检测框生成针对目标身体部位的目标检测框，最后根据预先标注的人体检测框与第一身体部位之间的第二关联关系信息以及上述第一关联关系信息，确定目标检测框与针对所述第一身体部位的第一检测框之间的第三关联关系信息，实现了目标身体部位与第一身体部位的自动关联，进而实现了目标身体部位与第一身体部位的关联关系标注，解决了人工标注低效的问题，提高了图像中身体部位之间的关联性标注效率。
在本公开的一些实施例中，可以采用下述方式获取图像中的人体检测框、目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息：首先，获取图像中的人体检测框和所述人体检测框内的人体关键点；接下来，提取所述人体关键点中与目标身体部位对应的目标关键点；最后，生成所述人体检测框和提取出的所述目标关键点的第一关联关系信息。
其中，人体检测框内包含至少一个人体关键点，这些人体关键点可以对应于人体的至少一个身体部位，例如，手腕、肩膀、肘部、人手、人脚、人脸等身体部位。人体的一个身体部位对应至少一个人体关键点。人体的不同身体部位对应的人体关键点的数量可以相同，也可以不同，本公开对此无意作出具体限制。
本步骤中，可以按照如下方式获取人体关键点：将所述图像输入用于检测图像中的人体对象的神经网络，获取该神经网络输出的人体关键点的位置信息。可选的，该神经网络还可以输出人体检测框的位置信息。其中，所述用于检测图像中的人体对象的神经网络是一个经过海量数据训练的模型，能够准确提取图像每个位置的特征，并依据提取到的特征识别图像的内容，例如可以依据提取到的特征识别图像内人体关键点，并确定人体关键点的位置信息，可选的，还可以依据提取到的特征识别图像内的人体检测框，并确定人体关键点的位置信息。
本步骤中，还可以基于检测出的人体关键点的位置信息，确定对应的人体的边缘，进而构建出包围人体的人体检测框，从而确定出人体检测框在图像中的位置。可以基于图像中的人体检测框与人体关键点的位置包含关系，确定人体检测框与人体关键点的归属关系。
在一个示例中，获取到的人体关键点对应的身体部位包括下述至少一种：人脸、人手、手肘、膝盖、肩膀和人脚，相应地，人体关键点包括下述至少一种：人脸关键点、人手关键点、手肘关键点、膝盖关键点、肩膀关键点和人脚关键点。
本步骤中，可以根据目标身体部位在人体中的相对位置特征，通过对全部的人体关键点的位置信息进行筛查，从而确定出与目标身体部位的相对位置特征匹配的人体关键点为目标关键点。在一个示例中，人体检测框内包含人脸关键点、人手关键点、手肘关键点、膝盖关键点、肩膀关键点和人脚关键点，目标部位为手肘时，可以从上述人体关键点内提取出手肘关键点作为目标关键点。
本步骤中，可以根据提取出的目标关键点与人体检测框的归属关系，确定目标关键点与人体检测框间的第一关联关系信息。
在本公开的一些实施例中，所述目标检测框以所述目标关键点为定位点、且与所述人体检测框和预设检测框中的至少一个满足预设的面积比例关系，其中，所述预设检测框为预先标注的针对预设身体部位的检测框。
其中，目标检测框的定位点可以为检测框的中心，也就是说，目标关键点作为目标检测框的中心。
其中，预设的面积比例关系可以是：在预设的比例区间内，而且该比例区间可以是根据人体工学等先验知识获得的，或者是通过对一些图像中的目标身体部位、预设身体部位以及人体的面积比的统计值进行确定的。针对不同的目标身体部位的检测框与人体检测框的预设面积比例关系可以不同，即每个目标检测框与人体检测框的预设面积比例关系均可以单独进行设置。针对目标身体部位与不同的预设身体部位的检测框的预设面积比例关系可以不同，即目标检测框与不同的预设检测框的预设面积比例关系均可以单独进行设置。
根据上述方式可以快速构建目标检测框，实现目标身体部位的位置标注。
本步骤中，目标检测框的面积可以根据下述参数确定：所述人体检测框的第一权重、所述人体检测框与所述目标检测框的预设面积比例关系、所述人体检测框的面积、所述预设检测框的第二权重、所述预设检测框与所述目标检测框的预设面积比例关系和所述预设检测框的面积。也就是说，目标检测框可以仅与人体检测框满足预设的面积比例关系，即第一权重为1，第二权重为0；也可以仅与预设检测框满足预设的面积比例关系，即第一权重为0，第二权重为1；还可以与人体检测框和预设检测框分别满足对应的预设面积比例关系，即第一权重和第二权重均为0至1中的比例，且二者的和为1。
具体的，可以按照下述公式确定目标检测框的面积：
S＝w1×t1×S1+w2×t2×S2
其中，S为目标检测框的面积，w1为第一权重，t1为所述人体检测框与所述目标检测框的预设面积比例，S1为所述人体检测框的面积，w2为第二权重，t2为所述预设检测框与所述目标检测框的预设面积比例，S2为所述预设检测框的面积。
目标检测框可以和人体检测框的形状相同，例如，人体检测框的形状为矩形，目标检测框也可以为矩形，且人体检测框的长宽比例与所述目标检测框的长宽比例相等；例如，针对作为目标身体部位的手肘的目标检测框与人体检测框的预设面积比例关系为1:9，当人体检测框的形状为矩形时，可以将人体检测框的长宽边分别等比例缩小为1/3，后便可得到目标检测框的长宽边。
目标检测框还可以和对应的人体检测框的形状不同，可以根据不同的部位预设相应的检测框的形状，例如，人体检测框为矩形，人脸的检测框为圆形。目标检测框和人体检测框的形状都为矩形时，长宽比例也可以不同，可以根据不同的身体部位预设矩形检测框的长宽比例。
在一些场景中，人脸的大小在一定程度上可以表征人体的深度信息，即人脸的检测框的面积可以表征人体的深度信息，因此可以将人脸作为预设身体部位，也就是结合人体检测框和人脸检测框两个方面来确定目标检测框的面积。
本公开的实施例中，确定目标检测框可以是确定针对目标身体部位的检测框在图像上的位置，例如，当检测框为矩形时，则可以确定检测框的四个顶点的坐标。本实施例中，根据形状、面积、预设的权重和定位点位置等多方面的约束条件来生成目标检测框，能够获得较高精度的目标检测框，进而根据目标检测框生成的目标身体部位的标注信息也具有较高的精度。而且上述方法通过自动地生成针对目标身体部位的目标检测框的，解决了人工标注低效的问题，提高了目标身体部位的标注效率。
人体的部位中，既包括人脸、脖颈等单独部位，还包括人手、手肘、膝盖、肩膀和人脚等对称部位。对称部位是成对存在的，而且具有方位区分信息，方位区分信息用于区分身体部位在人体中的方位，例如左和右，示例性地，左手、左手肘、左臂的方位区分信息为“左”，右手、右手肘、右臂的方位区分信息为“右”。进而，第一身体部位可以为单独部位，也可以为对称部位，目标身体部位可以为独立部位，也可以为对称部位，而第一身体部位和目标身体部位的种类可以决定生成第三关联关系信息的方式，具体来说，存在下述四种情况。
第一种情况下，也就是当所述第一身体部位包括一个单独部位，且所述目标身体部位包括一个单独部位时，可以采用下述方式生成第三关联关系信息：将与所述人体检测框关联的针对第一身体部位的第一检测框和针对目标身体部位的目标检测框进行关联，生成第三关联关系信息。例如，第一身体部位为人脸，目标身体部位为脖颈，则确定人脸和脖颈的第三关联关系信息。
第二种情况下，也就是当所述第一身体部位包括一个单独部位，且所述目标身体部位包括一人体的两个第一对称部位中的至少一个时，按照下述方式确定第三关联关系信息：首先，获取目标身体部位的方位区分信息；接下来，根据所述第一关联关系信息和预先标注的第二关联关系信息，将与同一人体检测框关联的第一检测框和目标检测框进行关联，生成第三关联关系信息。其中，目标检测框、第三关联关系信息以及目标身体部位的方位区分信息可以作为图像中的目标身体部位的标注信息。
例如，第一身体部位为人脸，目标身体部位包括左手肘和右手肘，则确定人脸与左手肘的第三关联关系信息和人脸与右手肘的第三关联关系信息，进而可以将针对左手肘的检测框、人脸与左手肘的第三关联关系信息以及方位区分信息“左”作为左手肘的标注信息，将针对右手肘的检测框、人脸与右手肘的第三关联关系信息以及方位区分信息“右”作为右手肘的标注信息。
第三种情况下，也就是当所述第一身体部位包括一人体的两个第二对称部位中的至少一个，且所述目标身体部位包括一个单独部位时，按照下述方式确定第三关联关系信息：首先，获取第一身体部位的方位区分信息；接下来，根据所述第一关联关系信息和预先标注的第二关联关系信息，将与同一人体检测框关联的第一检测框和目标检测框进行关联，生成第三关联关系信息；其中，目标检测框、第三关联关系信息以及第一身体部位的方位区分信息可以作为图像中的目标身体部位的标注信息。
例如，目标身体部位为人脸，第一身体部位包括左手肘，则确定人脸与左手肘的第三关联关系信息，进而可以将针对人脸的检测框、人脸与左手肘的第三关联关系信息以及方位区分信息“左”作为人脸的标注信息。
第四种情况下，也就是当所述目标身体部位包括一人体的两个第一对称部位中的至少一个，且所述第一身体部位包括一人体的两个第二对称部位中的至少一个时，按照下述方式确定第三关联关系信息：首先，获取所述目标身体部位的方位区分信息，并获取所述第一身体部位的方位区分信息；接下来，根据所述第一关联关系信息和预先标注的第二关联关系信息，将与同一人体检测框关联且方位区分信息相同的第一检测框和目标检测框进行关联；最后，根据所述第一检测框和目标检测框的关联结果生成第三关联关系信息，其中，目标检测框、第三关联关系信息以及目标身体部位的方位区分信息可以作为图像中的目标身体部位的标注信息。
例如，第一身体部位包括左手和右手，目标身体部位包括左手肘和右手肘，则可以根据检测出的左手、右手以及左手和右手分别与左右手肘之间的相对位置关系，确定左手与左手肘的第三关联关系信息和右手与右手肘的第三关联关系信息，进而可以将针对左手肘的检测框、左手与左手肘的第三关联关系信息以及方位区分信息“左”作为左手肘的标注信息，将针对右手肘的检测框、右手与右手肘的第三关联关系信息以及方位区分信息“右”作为右手肘的标注信息。
其中，第二关联关系信息可以是基于第一身体部位的标注信息获得的；也就是说，第一身体部位的标注信息可以包括第一身体部位、人体和人体检测框的之间的对应关系。第二关联关系信息还可以从人体检测框与人体检测框内的人体关键点的对应关系中获得，具体来说，通过第一身体部位与其内的人体关键点的对应关系，以及上述人体关键点与人体检测框的对应关系，可以获得第一身体部位、人体和人体检测框的对应关系。
其中，第一身体部位的标注信息可以进一步包括至少一个第二对称部位对应的方位区分信息，也就是为至少一个第二对称部位对应标注左或右，因此第一身体部位的方位区分信息可以从第一身体部位的标注信息中获取。第一身体部位的方位区分信息，也可以基于所述人体检测框和所述第一身体部位对应的人体关键点进行确定，也就是说，两个第二对称部位具有不同的人体关键点，因此能够根据其包含的人体关键点的位置信息等确定第二对称部位的方向区分信息，即人体关键点的方向为左，则对应的第二对称部位的方位区分信息为左，人体关键点的方向为右，则对应的第二对称部位的方位区分信息为右。目标身体部位的方位区分信息也可以基于所述人体检测框和所述目标身体部位对应的目标关键点进行确定，具体获取方式与第一身体部位的方位区分信息的获取方式相同，这里不再重复赘述。
其中，可以按照位置归属关系确定与同一人体检测框关联的针对目标身体部位的目标检测框和针对第一身体部位的第一检测框，即，将包含于同一人体检测框的目标检测框和第一检测框，作为与同一人体检测框关联的目标检测框和第一检测框。
本公开的实施例中，针对第一身体部位和目标身体部位的不同种类，分别采取不同方式确定第三关联关系信息，从而提高了第一身体部位和目标身体部位的关联关系的准确性。
本公开的实施例中，还可以在确定了第三关联关系信息后，基于所述第三关联关系信息和所述目标身体部位的方位区分信息，生成所述目标身体部位的关联性标签。
其中，在基于图像训练用于识别人体动作或识别身体部位的神经网络时，关联性标签可以作为图像中目标身体部位的标签之一。进一步地，关联性标签可以包含方位区分信息，由此可以区分对称的身体部位的方位，进一步提高了目标身体部位的标注准确性，从而提高神经网络的训练效率和训练质量。
本公开的一些实施例中，所述图像处理方法还包括：根据所述第二关联关系信息和预先标注的第四关联关系信息，生成第五关联关系信息，其中，第四关联关系信息表征第二身体部位与所述人体检测框的关联关系，所述第五关联关系信息表征所述目标检测框和针对所述第二身体部位的第二检测框之间的关联关系。
其中，第二身体部位即为已标注的身体部位，其标注信息可以包括针对第二身体部位的检测框的位置、部位名称、方位区分信息、与人体的对应关系等。因此，第四关联关系信息可以基于第二身体部位的标注信息获得，即第二身体部位与人体检测框之间的关联关系可以由第二身体部位与人体检测框内的人体的关联关系确定。
其中，第四关联关系信息还可以从人体检测框与人体检测框内的人体关键点的对应关系中获取，具体的获取方式与第一身体部位的获取方式相同，这里不再重复赘述。
其中，根据第一身体部位和第二身体部位的类型，可以划分为四种情况，即第一身体部位和第二身体部位均为单独部位的第一种情况、第一身体部位为对称部位，第二身体部位为单独部位的第二种情况、第一身体部位为单独部位，第二身体部位为对称部位的第三种情况、以及第一身体部位为对称部位，第二身体部位为对称部位的第四种情况，本领域技术人员可以理解，上述四种情况下确定第五关联关系信息的方式可以参照第三关联关系信息的确定方式，这里不再重复赘述。
在一个示例中，所述第一身体部位与所述第二身体部位不同，且所述第二身体部为下述部位中的一种：人脸、人手、手肘、膝盖、肩膀和人脚。
例如，第一身体部位为人脸，第二身体部位为人手，则可以确定人脸和人手的第五关联关系信息；具体可参照附图2，图中示出了210、220和230三个人体，人体210的第一身体部位为人脸211，人体210的第二身体部位为人手213，可以确定出人脸211和人手213的第五关联关系信息；人体220的第一身体部位为人脸221，人体220的第二身体部位为人手223，可以确定出人脸221和人手223的第五关联关系信息；人体230的第一身体部位为人脸231，人体230的第二身体部位为人手233，可以确定出人脸231和人手233的第五关联关系信息。
本公开的实施例中，通过确定第五关联关系信息，能够进一步丰富图像的标注信息，由此，该图像可以被应用于多任务神经网络的训练，例如训练用于检测手肘与人脸和人手的关联性的神经网络，降低了多任务神经网络训练中的样本收集难度，能够帮助提升多任务神经网络的训练质量。
本公开的一些实施例中，所述图像处理方法还包括：根据所述第三关联关系信息、或根据所述第二关联关系信息和所述第三关联关系信息在所述图像上展示对应的关联关系标示信息。
其中，关联关系标示信息可以用连接线的形式进行展示，也就是说，第三关联关系信息可以采用针对目标身体部位的目标检测框与针对第一身体部位的第一检测框的连接线进行展示。
在一个示例中，目标身体部位为左手，第一身体部位为左手肘，确定了左手与左手肘间的第三关联关系信息后，可以将针对左手的检测框和针对左手肘的检测框用连接线进行连接，以作为对应的关联关系标示信息，具体可以参照附图2，图中示出了210、220和230三个人体，人体210的目标身体部位为左手213，人体210的第一身体部位为左手肘212，可以确定将针对左手213的检测框和针对左手肘212的检测框用连接线进行连接，以作为二者间的第三关联关系信息的标示信息；人体220的目标身体部位为左手223，人体220的第一身体部位为左手肘222，可以确定将针对左手223的检测框和针对左手肘222的检测框用连接线进行连接，以作为二者间的第三关联关系信息的标示信息；人体230的目标身体部位为左手233，人体230的第一身体部位为左手肘232，可以确定将针对左手233的检测框和针对左手肘232的检测框用连接线进行连接，以作为二者间的第三关联关系信息的标示信息。
相应的，还可以根据第五关联关系信息，或根据第四关联关系信息和第五关联关系信息在所述图像上展示对应的关联关系标示信息。其中，第关联关系信息可以采用针对第二身体部位的第二检测框与针对第一身体部位的第一检测框的连接线进行展示。
当第三关联关系信息和第五关联关系信息均在图像上展示后，则形成第一身体部位、目标身体部位和第二身体部位的关联关系标示信息，例如，第一身体部位为人脸、目标身体部位为左手肘，第二身体部位为左手，则形成了人脸、左手肘和左手三者的关联关系标示信息；具体可参照附图2，图中示出了210、220和230三个人体，人体210的第一身体部位为人脸211，人体210的目标身体部位为左手肘212，人体210的第二身体部位为左手213，可以将针对人脸211的检测框、针对左手肘212的检测框和针对左手213的检测框依次连接，形成人脸211、左手肘212和左手213的关联关系标示信息；人体220的第一身体部位为人脸221，人体220的目标身体部位为左手肘222，人体220的第二身体部位为左手223，可以将针对人脸221的检测框、针对左手肘222的检测框和针对左手223的检测框依次连接，形成人脸221、左手肘222和左手223的关联关系标示信息；人体230的第一身体部位为人脸231，人体230的目标身体部位为左手肘232，人体230的第二身体部位为左手233，可以将针对人脸231的检测框、针对左手肘232的检测框和针对左手233的检测框依次连接，形成人脸231、左手肘232和左手233的关联关系标示信息。
上述关联关系标示信息不限于采用连接线的方式展示，还可以使用诸如同颜色的检测框标示同一人体关联的不同身体部位、标示同一人体的不同部位对应的人员身份标识等方式。
本公开的实施例中，通过展示第三关联关系信息和第五关联关系信息中的至少一个，能够直观展示标注结果，方便标注人员核查关联性标注结果，在应用于人体动作检测和跟踪时，通过关联关系标示信息可以展示人体动作和跟踪结果，以便评估关联关系的检测结果。
根据本公开实施例的第二方面，提供一种神经网络的训练方法，所述神经网络用于检测图像中的身体部位之间的关联关系，所述方法包括：利用图像训练集训练所述神经网络；其中，所述图像训练集中的图像包含标注信息，所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，所述关联关系信息根据第一方面所述的方法确定。
将上述图像处理方法获得的第三关联关系信息用于标注图像训练集中的图像，能够获得比较准确可靠的标注信息，从而训练得到的用于检测图像中的身体部位之间的关联关系的神经网络具有比较高的精确度。
根据本公开实施例的第三方面，提供一种动作识别方法，所述方法包括：基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作，其中，所述关联关系信息由经过如第二方面所述的方法训练的神经网络得出。
根据上述用于检测图像中的身体部位之间的关联关系的神经网络预测出的人体部位之间的关联关系信息，在人体动作检测中可以准确关联同一人体的不同身体部位，从而帮助分析统一人体的不同身体部位之间的相对位置和角度关系，进而确定人体动作，能够获得比较准确的人体动作识别结果。
请参照附图3，根据本公开实施例的第四方面，提供一种图像处理装置，包括：
关键点获取模块301，用于获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；
检测框生成模块302，用于根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；
关联关系确定模块303，用于根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
根据本公开实施例的第五方面，提供一种神经网络的训练装置，所述神经网络用于检测图像中的身体部位之间的关联关系，所述装置包括：
训练模块，用于利用图像训练集训练所述神经网络。
其中，所述图像训练集中的图像包含标注信息，所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，所述关联关系信息根据第一方面所述的方法确定。
根据本公开实施例的第六方面，提供一种动作识别装置，所述装置包括：
识别模块，用于基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作。其中，所述关联关系信息由经过如第二方面所述的方法训练的神经网络得出。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第三方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
请参照附图4，根据本公开实施例的第七方面，提供一种电子设备，所述设备包括存储器和处理器，所述存储器用于存储所述处理器可执行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面、第二方面或第三方面所述的方法。
根据本公开实施例的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面、第二方面或第三方面所述的方法。
在本公开中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解，本公开不限于以上描述以及在附图中示出的确切结构，并且可以在不脱离本公开范围的情况下进行各种修改和改变。本公开的范围仅由所附权利要求书限定。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；
根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；
根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，
所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，
所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息，包括：
获取所述图像中的人体检测框和所述人体检测框内的人体关键点；
提取所述人体关键点中与所述目标身体部位对应的目标关键点；
生成所述人体检测框和提取出的所述目标关键点的第一关联关系信息。
3.根据权利要求1所述的图像处理方法，其特征在于，
所述目标检测框以所述目标关键点为定位点、且与所述人体检测框和预设检测框中的至少一个满足预设的面积比例关系，
其中，所述预设检测框为预先标注的针对预设身体部位的检测框。
4.根据权利要求3所述的图像处理方法，其特征在于，所述目标检测框的面积根据下述参数确定：
所述人体检测框的第一权重、
所述人体检测框与所述目标检测框的预设面积比例关系、
所述人体检测框的面积、
所述预设检测框的第二权重、
所述预设检测框与所述目标检测框的预设面积比例关系、和
所述预设检测框的面积。
5.根据权利要求1至4中任何一项所述的图像处理方法，其特征在于，所述根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，包括：
将与所述人体检测框关联的第一检测框和所述目标检测框进行关联，生成第三关联关系信息。
6.根据权利要求1至5中任何一项所述的图像处理方法，其特征在于，所述方法还包括：
在所述目标身体部位包括一人体的两个第一对称部位中的至少一个的情况下，获取所述目标身体部位的方位区分信息。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，包括：
在所述第一身体部位包括一人体的两个第二对称部位中的至少一个的情况下，获取所述第一身体部位的方位区分信息；
根据所述第一关联关系信息和预先标注的第二关联关系信息，将与所述人体检测框关联且方位区分信息相同的所述第一检测框和所述目标检测框进行关联；以及
根据所述第一检测框和目标检测框的关联结果生成第三关联关系信息。
8.根据权利要求6或7所述的图像处理方法，其特征在于，所述获取所述目标身体部位的方位区分信息，包括：
基于所述人体检测框和所述目标身体部位对应的目标关键点，确定所述目标身体部位的方位区分信息。
9.根据权利要求6至8中任何一项所述的图像处理方法，其特征在于，所述方法还包括：
基于所述第三关联关系信息和所述目标身体部位的方位区分信息，生成所述目标身体部位的关联性标签。
10.根据权利要求1-9任一项所述的图像处理方法，其特征在于，所述第一身体部位和所述目标身体部位为下述部位中的一种：人脸、人手、手肘、膝盖、肩膀和人脚。
11.根据权利要求1-10任一项所述的图像处理方法，其特征在于，还包括：
根据所述第二关联关系信息和预先标注的第四关联关系信息，生成第五关联关系信息，其中，
所述第四关联关系信息表征第二身体部位与所述人体检测框的关联关系，
所述第五关联关系信息表征所述目标检测框和针对所述第二身体部位的第二检测框之间的关联关系。
12.根据权利要求11所述的图像处理方法，其特征在于，
所述第一身体部位与所述第二身体部位不同，且
所述第二身体部为下述部位中的一种：人脸、人手、手肘、膝盖、肩膀和人脚。
13.根据权利要求1至12中任何一项所述的图像处理方法，其特征在于，
根据所述第三关联关系信息、或根据所述第二关联关系信息和所述第三关联关系信息在所述图像上展示对应的关联关系标示信息。
14.一种神经网络的训练方法，其特征在于，所述神经网络用于检测图像中的身体部位之间的关联关系，所述方法包括：
利用图像训练集训练所述神经网络；
其中，所述图像训练集中的图像包含标注信息，
所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，
所述关联关系信息根据权利要求1-13任一项所述的方法确定。
15.一种动作识别方法，其特征在于，所述方法包括：
基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作，
其中，所述关联关系信息由经过如权利要求14所述的方法训练的神经网络得出。
16.一种图像处理装置，其特征在于，包括：
关键点获取模块，用于获取图像中的人体检测框、与目标身体部位对应的目标关键点、以及所述人体检测框与所述目标关键点的第一关联关系信息；
检测框生成模块，用于根据所述目标关键点和所述人体检测框，生成针对所述目标身体部位的目标检测框；
关联关系确定模块，用于根据所述第一关联关系信息和预先标注的第二关联关系信息，确定第三关联关系信息，其中，所述第二关联关系信息表征第一身体部位与所述人体检测框的关联关系，所述第三关联关系信息表征所述目标检测框与针对所述第一身体部位的第一检测框的关联关系。
17.一种神经网络的训练装置，其特征在于，所述神经网络用于检测图像中的身体部位之间的关联关系，所述装置包括：
训练模块，用于利用图像训练集训练所述神经网络；
其中，所述图像训练集中的图像包含标注信息，所述标注信息包括图像中的第一身体部位和目标身体部位之间的关联关系信息，所述关联关系信息根据权利要求1-13任一项所述的方法确定。
18.一种动作识别装置，其特征在于，所述装置包括：
识别模块，用于基于图像中的第一身体部位和目标身体部位的关联关系信息，识别图像中的人体的动作，其中，所述关联关系信息由经过如权利要求14所述的方法训练的神经网络得出。
19.一种电子设备，包括：
存储器；和
处理器；
所述存储器用于存储所述处理器可执行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至15任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至15任一项所述的方法的操作。
CN202180001453.4A 2020-12-31 2021-05-19 图像处理方法和装置、电子设备及存储介质 Active CN113597614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202013266S 2020-12-31
SG10202013266S 2020-12-31
PCT/IB2021/054306 WO2022144607A1 (en) 2020-12-31 2021-05-19 Methods, devices, electronic apparatuses and storage media of image processing

Publications (2)

Publication Number Publication Date
CN113597614A true CN113597614A (zh) 2021-11-02
CN113597614B CN113597614B (zh) 2024-07-19

Family

ID=78242853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001453.4A Active CN113597614B (zh) 2020-12-31 2021-05-19 图像处理方法和装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220207266A1 (zh)
JP (1) JP2023511243A (zh)
KR (1) KR20220098315A (zh)
CN (1) CN113597614B (zh)
AU (1) AU2021203869B2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677753A (zh) * 2022-03-07 2022-06-28 北京京东尚科信息技术有限公司 人体部位的检测方法、动作识别方法、装置和电子设备
CN115830642A (zh) * 2023-02-13 2023-03-21 粤港澳大湾区数字经济研究院(福田) 2d全身人体关键点标注方法及3d人体网格标注方法
CN116385965A (zh) * 2023-03-17 2023-07-04 深圳市明源云科技有限公司 流浪动物识别方法、设备及计算机可读存储介质
CN117746502A (zh) * 2023-12-20 2024-03-22 北京百度网讯科技有限公司 图像标注方法、动作识别方法、装置和电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457644B (zh) * 2022-11-10 2023-04-28 成都智元汇信息技术股份有限公司 一种基于扩展空间映射获得目标的识图方法及装置
US12106537B1 (en) * 2023-05-03 2024-10-01 Omnilert LLC System and method for bounding box merging for more efficient secondary analysis in video frame processing
US12087059B1 (en) * 2023-05-03 2024-09-10 Omnilert LLC System and method for selective onscreen display for more efficient secondary analysis in video frame processing

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
US20190080457A1 (en) * 2017-09-08 2019-03-14 Samsung Electronics Co., Ltd. Electronic device and method for automatic human segmentation in image
CN109614867A (zh) * 2018-11-09 2019-04-12 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、计算机存储介质
CN109740571A (zh) * 2019-01-22 2019-05-10 南京旷云科技有限公司 图像采集的方法、图像处理的方法、装置和电子设备
CN109934182A (zh) * 2019-03-18 2019-06-25 北京旷视科技有限公司 对象行为分析方法、装置、电子设备及计算机存储介质
US20190278985A1 (en) * 2018-03-09 2019-09-12 Baidu Online Network Technology (Beijing) Co., Ltd . Method, system and terminal for identity authentication, and computer readable storage medium
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
US20200167554A1 (en) * 2017-08-01 2020-05-28 Huawei Technologies Co., Ltd. Gesture Recognition Method, Apparatus, And Device
CN111507327A (zh) * 2020-04-07 2020-08-07 浙江大华技术股份有限公司 一种目标检测方法及装置
EP3696729A1 (en) * 2019-02-12 2020-08-19 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and readable storage medium for image-based data processing
CN112016475A (zh) * 2020-08-31 2020-12-01 支付宝(杭州)信息技术有限公司 一种人体检测识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950567B (zh) * 2020-08-18 2024-04-09 创新奇智(成都)科技有限公司 一种提取器训练方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
US20200167554A1 (en) * 2017-08-01 2020-05-28 Huawei Technologies Co., Ltd. Gesture Recognition Method, Apparatus, And Device
US20190080457A1 (en) * 2017-09-08 2019-03-14 Samsung Electronics Co., Ltd. Electronic device and method for automatic human segmentation in image
US20190278985A1 (en) * 2018-03-09 2019-09-12 Baidu Online Network Technology (Beijing) Co., Ltd . Method, system and terminal for identity authentication, and computer readable storage medium
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN109614867A (zh) * 2018-11-09 2019-04-12 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、计算机存储介质
CN109740571A (zh) * 2019-01-22 2019-05-10 南京旷云科技有限公司 图像采集的方法、图像处理的方法、装置和电子设备
EP3696729A1 (en) * 2019-02-12 2020-08-19 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and readable storage medium for image-based data processing
CN109934182A (zh) * 2019-03-18 2019-06-25 北京旷视科技有限公司 对象行为分析方法、装置、电子设备及计算机存储介质
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN111507327A (zh) * 2020-04-07 2020-08-07 浙江大华技术股份有限公司 一种目标检测方法及装置
CN112016475A (zh) * 2020-08-31 2020-12-01 支付宝(杭州)信息技术有限公司 一种人体检测识别方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677753A (zh) * 2022-03-07 2022-06-28 北京京东尚科信息技术有限公司 人体部位的检测方法、动作识别方法、装置和电子设备
CN115830642A (zh) * 2023-02-13 2023-03-21 粤港澳大湾区数字经济研究院(福田) 2d全身人体关键点标注方法及3d人体网格标注方法
CN115830642B (zh) * 2023-02-13 2024-01-12 粤港澳大湾区数字经济研究院(福田) 2d全身人体关键点标注方法及3d人体网格标注方法
CN116385965A (zh) * 2023-03-17 2023-07-04 深圳市明源云科技有限公司 流浪动物识别方法、设备及计算机可读存储介质
CN117746502A (zh) * 2023-12-20 2024-03-22 北京百度网讯科技有限公司 图像标注方法、动作识别方法、装置和电子设备

Also Published As

Publication number Publication date
JP2023511243A (ja) 2023-03-17
KR20220098315A (ko) 2022-07-12
AU2021203869B2 (en) 2023-02-02
CN113597614B (zh) 2024-07-19
US20220207266A1 (en) 2022-06-30
AU2021203869A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN113597614B (zh) 图像处理方法和装置、电子设备及存储介质
Devanne et al. 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
CN109740446A (zh) 课堂学生行为分析方法及装置
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN108256439A (zh) 一种基于循环生成式对抗网络的行人图像生成方法及系统
Hu et al. Recognising human-object interaction via exemplar based modelling
CN114998934B (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN110309768B (zh) 车检工位的工作人员检测方法及设备
CN110837580A (zh) 一种行人图片标注方法、装置、存储介质和智能设备
Hu et al. Exemplar-based recognition of human–object interactions
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
CN107330363B (zh) 一种快速的互联网广告牌检测方法
CN114743026A (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
CN112307852A (zh) 面部检测目标与打标匹配方法、存储介质及处理器
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
CN114782994A (zh) 姿态识别方法、装置、存储介质及电子设备
WO2022144607A1 (en) Methods, devices, electronic apparatuses and storage media of image processing
Anjum Place recognition for indoor blind navigation
Tabassum et al. Optical Mark Recognition with Object Detection and Clustering
CN111444803A (zh) 图像处理方法、装置、电子设备及存储介质
CN113642565B (zh) 对象检测方法、装置、设备及计算机可读存储介质
WO2023209955A1 (ja) 情報処理装置、情報処理方法及び記録媒体
Patel et al. Mediapipe: Yoga Pose Detection using Deep Learning Models
Ó Conaire et al. User Localisation using Visual Sensing and RF signal strength

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071623

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant