CN116824002A - 一种基于假模特的ai服装试穿结果输出方法及相关设备 - Google Patents
一种基于假模特的ai服装试穿结果输出方法及相关设备 Download PDFInfo
- Publication number
- CN116824002A CN116824002A CN202310731991.XA CN202310731991A CN116824002A CN 116824002 A CN116824002 A CN 116824002A CN 202310731991 A CN202310731991 A CN 202310731991A CN 116824002 A CN116824002 A CN 116824002A
- Authority
- CN
- China
- Prior art keywords
- try
- model
- clothing
- picture
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 108
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 82
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 51
- 238000012805 post-processing Methods 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000009792 diffusion process Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000004091 panning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 229920003023 plastic Polymers 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- DJGAAPFSPWAYTJ-UHFFFAOYSA-M metamizole sodium Chemical compound [Na+].O=C1C(N(CS([O-])(=O)=O)C)=C(C)N(C)N1C1=CC=CC=C1 DJGAAPFSPWAYTJ-UHFFFAOYSA-M 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于假模特的AI服装试穿结果输出方法及相关设备，所述方法包括：获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。本发明通过对假模特试穿结果照片的边缘以及骨架进行控制，并输入到预设算法模型中，能够输出稳定且可预测的AI服装试穿结果，极大的满足了客户的试穿体验感。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于假模特的AI服装试穿结果输出方法、系统、终端及计算机可读存储介质。
背景技术
随着电子商务行业的迅速发展，越来越多的消费者选择在网上购买服装。然而，对于消费者来说，最大的问题之一就是无法试穿衣服，这导致了很多消费者因为尺寸不合适而退货，增加了电商企业的成本。
为了解决这个问题，一些电商企业开始使用数字人模特进行试穿，以便消费者可以更好地了解服装的效果。然而，由于生成数字人模特的稳定性和可预测性不够好，这种方法并不是完美的解决方案。例如，同一件服装在不同的数字人模特身上试穿效果可能会有差异，这会给消费者带来困扰和不满意。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于假模特的AI服装试穿结果输出方法、系统、终端及计算机可读存储介质，旨在解决现有技术中AI服装试穿生成的数字人模特具有不稳定性和不可预测性而无法满足用户需求的问题。
为实现上述目的，本发明提供一种基于假模特的AI服装试穿结果输出方法，所述基于假模特的AI服装试穿结果输出方法包括如下步骤：
获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片，具体包括：
获取目标服装，将所述目标服装在所述假模特上进行试穿，得到假模特试穿结果；
获取用户需求，并根据所述用户需求对所述假模特试穿结果进行拍照，得到所述假模特试穿结果照片；
基于第一预设算法模型对所述假模特试穿结果照片中对应的目标服装部分进行语义分割，得到所述目标服装的服装蒙版图片。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片，具体包括：
基于第二预设算法模型将所述假模特试穿结果照片进行高斯滤波，得到第一预设图片；
计算所述第一预设图片中第一像素的第一梯度幅值和第一梯度方向，并对所述第一梯度方向进行量化，得到多个预设方向的第二梯度方向；
将所述第一梯度幅值与所述第二梯度方向上两个相邻像素的梯度值进行比较，若所述第一梯度幅值大于所述梯度值，则将所述第一梯度幅值进行保留，并得到第二预设图片；
判断所述第二预设图片中第二像素的第二梯度幅值是否处于预设范围阈值中，若是，则将所述第二梯度幅值进行保留，并得到所述边缘提取图片。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片，具体包括：
基于第三预设算法模型对所述假模特试穿结果照片进行预处理，得到第三预设图片；
基于所述第三预设算法模型中的深度学习模型对所述第三预设图片进行人体框生成和关键点检测，得到第四预设图片；
将所述第四预设图片进行第一后处理，得到所述骨架提取图片，其中所述第一后处理包括：骨架连接处理和关键点平滑处理。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述预处理包括：图像缩放处理、图像灰度化处理以及边缘检测处理。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果，具体包括：
基于第四预设算法模型将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同组合为第一输入图像，并将所述第一输入图像进行稳定分布处理，得到第五预设图像，其中，所述稳定分布处理为：缩放处理和平移处理；
对所述第五预设图像重复进行执行扩散处理，当所述第五预设图像达到预设图像质量或预设重复次数时停止，得到第六预设图像，其中，所述执行扩散处理为向所述第五预设图像中添加从稳定分布处理中获取的随机噪声；
对所述第六预设图像进行第二后处理，输出所述目标AI试穿结果。
可选地，所述的基于假模特的AI服装试穿结果输出方法，其中，所述第二后处理包括：亮度调整、对比度调整或通过卷积神经网络进行风格转换。
此外，为实现上述目的，本发明还提供一种基于假模特的AI服装试穿结果输出系统，其中，所述基于假模特的AI服装试穿结果输出系统包括：
图像语义分割模块，用于获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
图像边缘提取模块，用于对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
图像骨架提取模块，用于对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
试穿结果生成模块，用于将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于假模特的AI服装试穿结果输出程序，所述基于假模特的AI服装试穿结果输出程序被所述处理器执行时实现如上所述的基于假模特的AI服装试穿结果输出方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于假模特的AI服装试穿结果输出程序，所述基于假模特的AI服装试穿结果输出程序被处理器执行时实现如上所述的基于假模特的AI服装试穿结果输出方法的步骤。
本发明中，获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。本发明通过采用假模特试穿目标服装并进行拍照，并对假模特试穿照片进行语义分割、边缘提取以及骨骼提取得到多张图片，并一起输入到预设算法模型中，得到了高稳定性且可预测的AI试穿结果，也极大地满足了客户的试穿需求。
附图说明
图1是本发明基于假模特的AI服装试穿结果输出方法的较佳实施例的流程图；
图2是本发明基于假模特的AI服装试穿结果输出方法的较佳实施例的AI试穿结果生成的流程图；
图3是本发明基于假模特的AI服装试穿结果输出方法的较佳实施例的整体解决方案的流程图；
图4是本发明基于假模特的AI服装试穿结果输出系统的较佳实施例的结构图；
图5为本发明终端的较佳实施例的结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于假模特的AI服装试穿结果输出方法，如图1所示，所述基于假模特的AI服装试穿结果输出方法包括以下步骤：
步骤S10、获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片。
本发明中所述假模特(人台)是指用于线上服装试穿展示的假人模特，如商铺中的塑胶模特；AI服装试穿是指通过AI技术把服装穿到生成的AI数字人身上的技术。
假模特是客户自己准备的(也叫人台)，比如服装店里的假模特，客户可以根据自己需求，假模特类型可以选择男模特、女模特或小孩模特，假模特的材质可以选择塑料、木制或金属等，假模特功能可以选择固定姿态类型或可以活动关节的类型。
具体地，获取目标服装，将所述目标服装在所述假模特上进行试穿，得到假模特试穿结果。
如图2所示首先，选择适合的假模特进行服装试穿，假模特可以是塑料模特、树脂模特、木制模特等一切用来进行服装试穿的线下展示模特。
获取用户需求，并根据所述用户需求对所述假模特试穿结果进行拍照，得到所述假模特试穿结果照片。
其中，对假模特进行拍照，为了更好效果，假模特背景选用纯色，比如白色或蓝色。拍照也是根据客户需求，可以拍正面、侧面、背面、全身照或半身照都行，只需要拍一张，一张照片可以生成多张不同的模特样例。
基于第一预设算法模型对所述假模特试穿结果照片中对应的目标服装部分进行语义分割，得到所述目标服装的服装蒙版图片。
其中，语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据(例如，平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。许多人使用术语全像素语义分割(full-pixel semantic segmentation)，其中全像素语义分割会将图像中的每个像素根据其所属的感兴趣对象被分配类别ID。
如图2所示，通过语义分割把服装从假模特照片中分割出来，比如上衣、外套或裤子，同时生成一张对应的蒙版图片。
语义分割采用Segment Anything算法(语义分割算法)模型，Segment Anything是一种计算机视觉技术，用于将图像中的不同对象或区域分割出来。它可以帮助计算机识别图像中的不同元素，例如人、动物、车辆或建筑物等，从而实现更高级别的图像分析和识别。Segment Anything通常通过使用深度学习神经网络等技术来实现，并且在计算机视觉、自动驾驶以及机器人等领域有着广泛的应用。在本发明中，我们把语义固定为以下几类：
1.上衣(blouse)，给Segment Anything算法模型输入提示词，可以得到分割出上衣的蒙版图；
2.外套(outwear)，给Segment Anything算法模型输入提示词，可以得到分割出外套的蒙版图；
3.裤子(trousers)，给Segment Anything算法模型输入提示词，可以得到分割出裤子的蒙版图；
4.裙子(skirt)，给Segment Anything算法模型输入提示词，可以得到分割出裙子的蒙版图；
5.连衣裙(dress)，给Segment Anything算法模型输入提示词，可以得到分割出连衣裙的蒙版图。
其中，语义分割算法还包括：基于阈值的方法：Otsu、K-means或Mean Shift等；基于深度学习的方法：FCN、UNet、DeepLab或Mask R-CNN等。
步骤S20、对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片。
具体地，基于第二预设算法模型将所述假模特试穿结果照片进行高斯滤波，得到第一预设图片。
其中，本发明中的第二预设算法优选采用ControlNet Canny算法(边缘检测算法)模型，所述ControlNet Canny算法是一个计算机视觉算法，用于检测图像中的边缘。该方法由John F.Canny于1986年首次提出，因此得名为Canny边缘检测算法。它是一种流行且有效的边缘检测技术，广泛应用于各种图像处理和计算机视觉任务中。Canny边缘检测算法具有较好的检测性能，能够有效地检测出图像中的边缘信息，其中，所述边缘检测算法还包括细化算法，例如Zhang-Suen细化算法、Guo-Hall细化算法以及Rosenfeld细化算法等。
计算所述第一预设图片中第一像素的第一梯度幅值和第一梯度方向，并对所述第一梯度方向进行量化，得到多个预设方向的第二梯度方向。
将所述第一梯度幅值与所述第二梯度方向上两个相邻像素的梯度值进行比较，若所述第一梯度幅值大于所述梯度值，则将所述第一梯度幅值进行保留，并得到第二预设图片。
判断所述第二预设图片中第二像素的第二梯度幅值是否处于预设范围阈值中，若是，则将所述第二梯度幅值进行保留，并得到所述边缘提取图片。
如图2所示，本发明中通过Controlnet Canny算法检测图像(穿了目标服装的假模特照片)的边缘信息，得到边缘提取结果。
其中，使用Controlnet Canny算法模型对图像进行处理的主要步骤如下：
1、噪声滤波：通过高斯滤波器对图像进行平滑处理，以减少噪声对边缘检测的影响。
2、计算梯度：通过求解图像的梯度幅值和梯度方向，找出图像中的潜在边缘像素。
其中，本发明会对目标图像进行双阈值处理：将像素分为三类：强边缘像素、弱边缘像素和非边缘像素。强边缘像素是指梯度幅值大于高阈值的像素，弱边缘像素是指梯度幅值在低阈值和高阈值之间的像素，非边缘像素是指梯度幅值小于低阈值的像素。通常高阈值和低阈值之间的差异被称为阈值差异。强边缘像素被保留为最终的边缘像素，而弱边缘像素通常与强边缘像素相邻接，也被保留为边缘像素。非边缘像素被抑制为0。
求解图像的梯度幅值和梯度方向的过程如下：1：对图像进行高斯滤波，以平滑噪声和细节，得到平滑后的图像。2：计算平滑后的图像在水平和垂直方向上的梯度，可以使用Sobel算子或Prewitt算子等算子进行计算。3：计算每个像素的梯度幅值和梯度方向，梯度幅值是梯度向量的模长，梯度方向是梯度向量的方向角度，可以使用以下公式进行计算：梯度幅值：G＝sqrt(Gx^2+Gy^2)，梯度方向：θ＝arctan(Gy/Gx)，其中，Gx和Gy分别表示水平和垂直方向上的梯度值。4：对梯度方向进行量化，将其离散成四个方向之一(0度、45度、90度、135度)，以便进行下一步的非极大值抑制。
其中，非极大值抑制(NMS)是一种常用的边缘检测算法，用于在梯度方向上抑制非极大值，从而提取出较细的边缘。其具体过程如下：1.对图像进行梯度计算，得到每个像素在水平和垂直方向上的梯度幅值G和梯度方向θ。2.对于每个像素，将其梯度方向θ离散化为四个方向之一(0度、45度、90度、135度)。3.对于每个像素，比较其梯度幅值G与其在梯度方向θ上相邻的两个像素的梯度幅值G1和G2的大小关系。如果G大于等于G1和G2，则该像素被保留，否则将其抑制为0。4.对于整个图像，执行以上步骤，得到抑制后的梯度幅值图像。通过非极大值抑制，可以保留图像中的潜在边缘像素，抑制非边缘像素，从而提取出较细的边缘。5：得到梯度幅值和梯度方向图像，可以将其用于后续的边缘检测处理。
3、非极大值抑制：对梯度幅值进行非极大值抑制，仅保留局部最大值(对于每个像素，比较其梯度幅值G与其在梯度方向θ上相邻的两个像素的梯度幅值G1和G2的大小关系。如果G大于等于G1和G2，则该像素被保留，否则将其抑制为0)，以消除虚假的边缘(其中，所述虚假的边缘是指在图像边缘检测过程中，由于噪声或者其他因素的影响，导致检测出来的边缘并不是真正的物体边缘。这种情况下，检测出来的边缘可能会出现断裂、重复或者不连续等问题，从而影响后续的图像处理和分析)。本发明中还包括双阈值检测：根据设定的高低阈值对图像边缘进行抑制，以确定最终的边缘像素。根据调试发现阈值在【50，150】之间具有最好的效果。
步骤S30、对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片。
具体地，基于第三预设算法模型对所述假模特试穿结果照片进行预处理，得到第三预设图片。
本发明中所述第三预设算法优选采用ControlNet OpenPose算法(骨架提取算法)模型，所述ControlNet OpenPose算法是一种实时多人关键点检测库，用于估计人体姿态。该库由Carnegie Mellon University的研究人员开发，可以在图像和视频中识别和定位人体的关键点(例如手臂、腿、头部等)的位置。该库基于深度学习和计算机视觉技术，由卡耐基梅隆大学(Carnegie Mellon University)的研究人员开发，其中，所述ControlNetOpenPose算法还可以通过迭代删除边缘像素来实现骨架提取。
将输入的图像或视频进行预处理，所述预处理包括：图像缩放处理、图像灰度化处理以及边缘检测处理。
基于所述第三预设算法模型中的深度学习模型对所述第三预设图片进行人体框生成和关键点检测，得到第四预设图片。
其中，人体检测为使用深度学习模型对图像或视频中的人体进行检测，并生成人体框。
关键点检测为在人体框内，使用深度学习模型对人体关键点进行检测，包括头部、肩膀、手臂、手腕、腰部、膝盖和脚踝等关键点。
将所述第四预设图片进行第一后处理，得到所述骨架提取图片，其中所述第一后处理包括：骨架连接处理和关键点平滑处理。
其中，所述第一后处理是指对估计出的骨架进行后处理，包括骨架连接、关键点平滑等操作，最终生成可视化的骨架图像或视频。
如图2所示，通过Controlnet OpenPose算法模型检测假模特的骨架信息，得到骨架提取结果。Controlnet OpenPose算法的主要特点包括：1.实时性：Controlnet OpenPose算法能够实时处理视频流，为每个关键点生成坐标。2.多人支持：该库可以同时处理多个人物，识别每个人的姿态。3.高度精确：凭借其深度学习模型，Controlnet OpenPose算法可以在各种场景下提供高度精确的姿态估计结果。
Controlnet OpenPose算法的输入权重(这里的权重是指Controlnet OpenPose算法模型获得的骨架对最终输出结果的影响度，1表示输出的骨架完全按照ControlnetOpenPose算法模型获得的骨架来，0表示没有影响)会影响最终的效果，经过验证把权重设置为0.6的时候会有最好的效果。
步骤S40、将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
如图2所示，把假模特照片和蒙版图片，结合Controlnet Canny算法模型检测结果、Controlnet OpenPose算法模型检测结果输入到Stable Diffusion算法(深度学习文本到图像生成)模型中生成AI试穿结果。
其中，Stable Diffusion算法模型是一种生成图像的方法，它使用了随机过程中的稳定分布来生成图像。具体过程如下：
1.初始化图像：随机生成一个初始图像，可以是全黑或全白，也可以是随机噪声。
2.定义稳定分布：稳定分布是一种特殊的概率分布，它具有一些特殊的性质，比如可缩放性和可平移性。在Stable Diffusion算法模型中，使用稳定分布来生成随机噪声。
3.执行扩散过程：在每个时间步骤中，将当前图像添加一些随机噪声。这些噪声是从稳定分布中随机采样得到的，并且随着时间的推移，噪声的强度会逐渐增加。
4.重复执行步骤3，直到图像达到所需的质量或时间步骤的数量。
5.后处理：在生成图像后，可以对其进行一些后处理，例如调整亮度和对比度，或者使用卷积神经网络进行风格转换。
具体地，基于第四预设算法模型将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同组合为第一输入图像，并将所述第一输入图像进行稳定分布处理，得到第五预设图像，其中，所述稳定分布处理为：缩放处理和平移处理。
其中，本发明中所述第四预设算法模型优选采用Stable Diffusion算法模型，所述Stable Diffusion算法模型是2022年发布的深度学习文本到图像生成模型，它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制或外补绘制，以及在提示词(英语)指导下产生图的翻译。
对所述第五预设图像重复进行执行扩散处理，当所述第五预设图像达到预设图像质量或预设重复次数时停止，得到第六预设图像，其中，所述执行扩散处理为向所述第五预设图像中添加从稳定分布处理中获取的随机噪声。
对所述第六预设图像进行第二后处理，输出所述目标AI试穿结果。
所述第二后处理包括：亮度调整、对比度调整或通过卷积神经网络进行风格转换。
如图3所示，把假模特图像、语义分割生成的蒙版图、边缘提取到的信息、骨架图输入到Stable Diffusion算法模型中生成AI数字人试穿效果。Stable Diffusion技术可以通过对假模特的关键点进行控制，使得其能够输出稳定且可预期的结果。这种技术可以应用于各种类型的假模特，如塑料模特、树脂模特或木制模特等。通过假模特、边缘提取以及骨架提取结合的技术，使得Stable Diffusion算法模型能够输出稳定且可预期的结果。
生成结果的输入的格式为json，具体参数如下：
{“src_image”:”base64”，”mask”:”base64”，”canny”:”base64”，”pose”:”base64”}。其中，src_image表示原始图像；mask表示蒙版图像；canny表示提取到的边缘图像；pose表示提取到的骨架图像。
本发明通过假模特进行服装试穿，避免了数字人模特的稳定性和可预测性问题，提高了试穿结果的稳定性和可靠性。
采用Stable Diffusion算法技术对假模特进行姿态和边缘的控制，使得输出结果更加稳定且可预期。
进一步地，如图4所示，基于上述基于假模特的AI服装试穿结果输出方法，本发明还相应提供了一种基于假模特的AI服装试穿结果输出系统，其中，所述基于假模特的AI服装试穿结果输出系统包括：
图像语义分割模块51，用于获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
图像边缘提取模块52，用于对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
图像骨架提取模块53，用于对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
试穿结果生成模块54，用于将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
进一步地，如图5所示，基于上述基于假模特的AI服装试穿结果输出方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图5仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于假模特的AI服装试穿结果输出程序40，该基于假模特的AI服装试穿结果输出程序40可被处理器10所执行，从而实现本申请中基于假模特的AI服装试穿结果输出方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于假模特的AI服装试穿结果输出方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于假模特的AI服装试穿结果输出程序40时实现以下步骤：
获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
其中，所述获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片，具体包括：
获取目标服装，将所述目标服装在所述假模特上进行试穿，得到假模特试穿结果；
获取用户需求，并根据所述用户需求对所述假模特试穿结果进行拍照，得到所述假模特试穿结果照片；
基于第一预设算法模型对所述假模特试穿结果照片中对应的目标服装部分进行语义分割，得到所述目标服装的服装蒙版图片。
其中，所述对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片，具体包括：
基于第二预设算法模型将所述假模特试穿结果照片进行高斯滤波，得到第一预设图片；
计算所述第一预设图片中第一像素的第一梯度幅值和第一梯度方向，并对所述第一梯度方向进行量化，得到多个预设方向的第二梯度方向；
将所述第一梯度幅值与所述第二梯度方向上两个相邻像素的梯度值进行比较，若所述第一梯度幅值大于所述梯度值，则将所述第一梯度幅值进行保留，并得到第二预设图片；
判断所述第二预设图片中第二像素的第二梯度幅值是否处于预设范围阈值中，若是，则将所述第二梯度幅值进行保留，并得到所述边缘提取图片。
其中，所述对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片，具体包括：
基于第三预设算法模型对所述假模特试穿结果照片进行预处理，得到第三预设图片；
基于所述第三预设算法模型中的深度学习模型对所述第三预设图片进行人体框生成和关键点检测，得到第四预设图片；
将所述第四预设图片进行第一后处理，得到所述骨架提取图片，其中所述第一后处理包括：骨架连接处理和关键点平滑处理。
其中，所述预处理包括：图像缩放处理、图像灰度化处理以及边缘检测处理。
其中，所述将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果，具体包括：
基于第四预设算法模型将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同组合为第一输入图像，并将所述第一输入图像进行稳定分布处理，得到第五预设图像，其中，所述稳定分布处理为：缩放处理和平移处理；
对所述第五预设图像重复进行执行扩散处理，当所述第五预设图像达到预设图像质量或预设重复次数时停止，得到第六预设图像，其中，所述执行扩散处理为向所述第五预设图像中添加从稳定分布处理中获取的随机噪声；
对所述第六预设图像进行第二后处理，输出所述目标AI试穿结果。
其中，所述第二后处理包括：亮度调整、对比度调整或通过卷积神经网络进行风格转换。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于假模特的AI服装试穿结果输出程序，所述基于假模特的AI服装试穿结果输出程序被处理器执行时实现如上所述的基于假模特的AI服装试穿结果输出方法的步骤。
综上所述，本发明提供一种基于假模特的AI服装试穿结果输出方法及相关设备，所述方法包括：获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。本发明通过采用假模特试穿目标服装并进行拍照，并对假模特试穿照片进行语义分割、边缘提取以及骨骼提取得到多张图片，并一起输入到预设算法模型中，得到了高稳定性且可预测的AI试穿结果，也极大地满足了客户的试穿需求。
需要说明的是，在本文中，术语“包括“、“包含“或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……“限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于假模特的AI服装试穿结果输出方法，其特征在于，所述基于假模特的AI服装试穿结果输出方法包括：
获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
2.根据权利要求1所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片，具体包括：
获取目标服装，将所述目标服装在所述假模特上进行试穿，得到假模特试穿结果；
获取用户需求，并根据所述用户需求对所述假模特试穿结果进行拍照，得到所述假模特试穿结果照片；
基于第一预设算法模型对所述假模特试穿结果照片中对应的目标服装部分进行语义分割，得到所述目标服装的服装蒙版图片。
3.根据权利要求1所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片，具体包括：
基于第二预设算法模型将所述假模特试穿结果照片进行高斯滤波，得到第一预设图片；
计算所述第一预设图片中第一像素的第一梯度幅值和第一梯度方向，并对所述第一梯度方向进行量化，得到多个预设方向的第二梯度方向；
将所述第一梯度幅值与所述第二梯度方向上两个相邻像素的梯度值进行比较，若所述第一梯度幅值大于所述梯度值，则将所述第一梯度幅值进行保留，并得到第二预设图片；
判断所述第二预设图片中第二像素的第二梯度幅值是否处于预设范围阈值中，若是，则将所述第二梯度幅值进行保留，并得到所述边缘提取图片。
4.根据权利要求1所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片，具体包括：
基于第三预设算法模型对所述假模特试穿结果照片进行预处理，得到第三预设图片；
基于所述第三预设算法模型中的深度学习模型对所述第三预设图片进行人体框生成和关键点检测，得到第四预设图片；
将所述第四预设图片进行第一后处理，得到所述骨架提取图片，其中所述第一后处理包括：骨架连接处理和关键点平滑处理。
5.根据权利要求4所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述预处理包括：图像缩放处理、图像灰度化处理以及边缘检测处理。
6.根据权利要求1所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果，具体包括：
基于第四预设算法模型将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同组合为第一输入图像，并将所述第一输入图像进行稳定分布处理，得到第五预设图像，其中，所述稳定分布处理为：缩放处理和平移处理；
对所述第五预设图像重复进行执行扩散处理，当所述第五预设图像达到预设图像质量或预设重复次数时停止，得到第六预设图像，其中，所述执行扩散处理为向所述第五预设图像中添加从稳定分布处理中获取的随机噪声；
对所述第六预设图像进行第二后处理，输出所述目标AI试穿结果。
7.根据权利要求6所述的基于假模特的AI服装试穿结果输出方法，其特征在于，所述第二后处理包括：亮度调整、对比度调整或通过卷积神经网络进行风格转换。
8.一种基于假模特的AI服装试穿结果输出系统，其特征在于，所述基于假模特的AI服装试穿结果输出系统包括：
图像语义分割模块，用于获取假模特试穿结果照片，并对所述假模特试穿结果照片进行语义分割，得到服装蒙版图片；
图像边缘提取模块，用于对所述假模特试穿结果照片进行边缘提取，得到边缘提取图片；
图像骨架提取模块，用于对所述假模特试穿结果照片进行骨架提取，得到骨架提取图片；
试穿结果生成模块，用于将所述假模特试穿结果照片、所述服装蒙版图片、所述边缘提取图片以及所述骨架提取图片共同输入到预设算法模型中，输出目标AI试穿结果。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于假模特的AI服装试穿结果输出程序，所述基于假模特的AI服装试穿结果输出程序被所述处理器执行时实现如权利要求1-7任一项所述的基于假模特的AI服装试穿结果输出方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于假模特的AI服装试穿结果输出程序，所述基于假模特的AI服装试穿结果输出程序被处理器执行时实现如权利要求1-7任一项所述的基于假模特的AI服装试穿结果输出方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731991.XA CN116824002B (zh) | 2023-06-19 | 2023-06-19 | 一种基于假模特的ai服装试穿结果输出方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731991.XA CN116824002B (zh) | 2023-06-19 | 2023-06-19 | 一种基于假模特的ai服装试穿结果输出方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824002A true CN116824002A (zh) | 2023-09-29 |
| CN116824002B CN116824002B (zh) | 2024-02-20 |
Family
ID=88140366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310731991.XA Active CN116824002B (zh) | 2023-06-19 | 2023-06-19 | 一种基于假模特的ai服装试穿结果输出方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824002B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0944556A (ja) * | 1995-08-03 | 1997-02-14 | Sanyo Electric Co Ltd | 試着シミュレーション方法 |
| CN101819663A (zh) * | 2009-08-27 | 2010-09-01 | 珠海琳琅信息科技有限公司 | 一种服装虚拟试穿系统 |
| CN102567543A (zh) * | 2012-01-12 | 2012-07-11 | 北京搜狗信息服务有限公司 | 一种服装图片的搜索方法和装置 |
| CN105701678A (zh) * | 2014-12-12 | 2016-06-22 | 廖浩钧 | 以实物服装建立等比例试穿影像的方法 |
| CN106855987A (zh) * | 2016-12-21 | 2017-06-16 | 北京存在主义科技有限公司 | 基于模特道具的真实感时装展示方法和装置 |
| CN115272632A (zh) * | 2022-07-07 | 2022-11-01 | 武汉纺织大学 | 基于姿态迁移的虚拟试衣方法 |
| CN115601097A (zh) * | 2022-09-23 | 2023-01-13 | 上海工程技术大学（Cn） | 一种面向自由换衣的二维虚拟试衣方法 |
-
2023
- 2023-06-19 CN CN202310731991.XA patent/CN116824002B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0944556A (ja) * | 1995-08-03 | 1997-02-14 | Sanyo Electric Co Ltd | 試着シミュレーション方法 |
| CN101819663A (zh) * | 2009-08-27 | 2010-09-01 | 珠海琳琅信息科技有限公司 | 一种服装虚拟试穿系统 |
| CN102567543A (zh) * | 2012-01-12 | 2012-07-11 | 北京搜狗信息服务有限公司 | 一种服装图片的搜索方法和装置 |
| CN105701678A (zh) * | 2014-12-12 | 2016-06-22 | 廖浩钧 | 以实物服装建立等比例试穿影像的方法 |
| CN106855987A (zh) * | 2016-12-21 | 2017-06-16 | 北京存在主义科技有限公司 | 基于模特道具的真实感时装展示方法和装置 |
| CN115272632A (zh) * | 2022-07-07 | 2022-11-01 | 武汉纺织大学 | 基于姿态迁移的虚拟试衣方法 |
| CN115601097A (zh) * | 2022-09-23 | 2023-01-13 | 上海工程技术大学（Cn） | 一种面向自由换衣的二维虚拟试衣方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周千明;朱欣娟;胡西民;: "一种面向2D虚拟试穿的个性化体型定制方法", 西安工程大学学报, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824002B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
| Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
| JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
| US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
| US10803604B1 (en) | Layered motion representation and extraction in monocular still camera videos | |
| Unzueta et al. | Efficient generic face model fitting to images and videos | |
| Loconsole et al. | Real-time emotion recognition: an improved hybrid approach for classification performance | |
| Han et al. | Head pose estimation using image abstraction and local directional quaternary patterns for multiclass classification | |
| López-Quintero et al. | Stereo pictorial structure for 2D articulated human pose estimation | |
| CN116824002B (zh) | 一种基于假模特的ai服装试穿结果输出方法及相关设备 | |
| Huang et al. | Multi‐class obstacle detection and classification using stereovision and improved active contour models | |
| CN111368674B (zh) | 图像识别方法及装置 | |
| CN112699784A (zh) | 一种人脸朝向估计方法、装置、电子设备及存储介质 | |
| JP2017097549A (ja) | 画像処理装置、方法、及びプログラム | |
| CN107122714B (zh) | 一种基于边缘约束的实时行人检测方法 | |
| Xu et al. | MultiView-based hand posture recognition method based on point cloud | |
| López‐Quintero et al. | Mixing body‐parts model for 2D human pose estimation in stereo videos | |
| KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
| Anchit et al. | Comparative analysis of Haar and Skin color method for face detection | |
| CN108573230A (zh) | 人脸跟踪方法和人脸跟踪装置 | |
| Chen et al. | Pose estimation based on human detection and segmentation | |
| Puri et al. | Coarse head pose estimation using image abstraction | |
| Laharika et al. | OUTLINING OF CLOTHES USING POSENET POINTS | |
| JP2009157766A (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 | |
| Vijayarani et al. | Comparative analysis of skin segmentation methods in image mining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |