[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106682094B - 一种人脸视频检索方法和系统 - Google Patents

一种人脸视频检索方法和系统 Download PDF

Info

Publication number
CN106682094B
CN106682094B CN201611087529.7A CN201611087529A CN106682094B CN 106682094 B CN106682094 B CN 106682094B CN 201611087529 A CN201611087529 A CN 201611087529A CN 106682094 B CN106682094 B CN 106682094B
Authority
CN
China
Prior art keywords
video
search
block
current
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611087529.7A
Other languages
English (en)
Other versions
CN106682094A (zh
Inventor
马国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co Ltd
Original Assignee
Shenzhen Mengwang Video Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co Ltd filed Critical Shenzhen Mengwang Video Co Ltd
Priority to CN201611087529.7A priority Critical patent/CN106682094B/zh
Publication of CN106682094A publication Critical patent/CN106682094A/zh
Application granted granted Critical
Publication of CN106682094B publication Critical patent/CN106682094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种人脸视频检索方法和系统，本发明方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。

Description

一种人脸视频检索方法和系统
技术领域
本发明涉及视频检索领域，尤其涉及一种人脸视频检索方法和系统。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。人们面临的问题已不再是视频内容的匮乏，而是面对浩如烟海的视频信息，如何快速、有效地找到自己需要的内容。其中，在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。人脸视频检索，成为公安用户监控系统中迫切需求。作为目前最流行的视频搜索技术，无论是基于非压缩域的视频内容检索和基于压缩域的视频内容检索，这种普通设计模式，没有利用人脸检索的特点，从而影响人脸视频检索技术的效率。
发明内容
本发明实施例的目的在于提出一种人脸视频检索方法，旨在解决现有人脸视频检索技术效率低下的问题。
本发明实施例是这样实现的，一种人脸视频检索方法，所述方法包括以下步骤：
步骤A：判断当前搜索视频当前帧pict的判断参数part是否为1，若是则进入步骤B，否则，进入步骤E；
步骤B：使用第一视频搜索模式对当前帧进行搜索；
步骤C：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入步骤D；否则，结束；t表示搜索视频序列的帧序号，t的初始值为1；
步骤D：如果不存在sbkt(i,j)＝1，则进入步骤E；否则进入步骤G。
sbkt(i,j)表示bkt(i,j)识别参数，bkt(i,j)表示pict的第i行第j列解码块；
步骤E：如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
步骤F：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入步骤C；否则，如果tpt≥0.9*bkh*bkw，则进入步骤B；否则，则进入步骤G；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
步骤G：使用第二视频搜索模式对当前帧进行搜索，然后，进入步骤C；
第一视频搜索模式包括以下步骤：
解码当前搜索视频当前帧，获取解码图像；
对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,则进入细分判定模式；否则，进入粗分判定模式；
统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，条件3表示：bkt(i,j)匹配目标。
本发明实施例的另一目的在于提出一种人脸视频检索系统,所述系统包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，
Figure BDA0001168067990000021
pict表示当前搜索视频第t帧，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；
Figure BDA0001168067990000031
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束；
第三判断处理模块，用于判断是否存在存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置；
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
所述第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判定模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置；
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
本发明的有益效果
本发明提出一种人脸视频检索方法，本发明方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。
附图说明
图1是本发明优选实施例一种人脸视频检索方法流程图；
图2是图1中Step1的方法流程图；
图3是本发明优选实施例一种人脸视频检索系统结构图；
图4是图3中第一视频搜索装置结构图；
图5是图4中细分判定装置结构图；
图6是图4中粗分判定装置结构图；
图7是图3中第二视频搜索装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明实施例提出一种人脸视频检索方法和系统，本发明实施例方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。
实施例一
图1是本发明优选实施例一种人脸视频检索方法流程图；所述方法包括以下步骤：
Step:0：判断参数part为1，则进入Step1，否则，进入Step4。
其中，part表示pict的判断参数，
Figure BDA0001168067990000051
pict表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；
Figure BDA0001168067990000052
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
Step1：使用第一视频搜索模式，对当前帧进行搜索。
第一视频搜索模式(图2是图1中Step1的方法流程图)：
Step11：解码当前搜索视频当前帧，获取解码图像。
Step12：根据人脸识别的特点，对解码图像划定搜索区域；即对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,即块作了进一步划分，则进入细分判定模式；否则，进入粗分判定模式。细分判定模式：
步骤A1：将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1。
步骤A2：如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非人脸视频搜索区域。第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。
粗分判定模式：
步骤B1：以块内像素点均值为单位作为肤色判定点，即用块内所有像素点相应分量的均值作为各色彩模型分量的值。
步骤B2：对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非人脸视频搜索区域。
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，
Figure BDA0001168067990000061
获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型
Figure BDA0001168067990000062
获得色彩能量
Figure BDA0001168067990000063
Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型
Figure BDA0001168067990000064
获取Co，Co为YCgCo模型色彩分量值；
第一视频搜索模式中，搜索区域包括人脸视频搜索区域和非人脸视频搜索区域；肤色判定点方法，也可以用业内公开的任何一种方法。
Step13：统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸。
Step14：首先，对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
Step15：按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
Step2：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step3；否则，结束。
Step3：如果不存在sbkt(i,j)＝1，则进入Step4；否则进入Step6。
Step4：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
Step5：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step2；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step6。
Step6：使用第二视频搜索模式，对当前帧进行搜索，然后，进入Step2。
第二视频搜索模式：
Step61：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，
如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标。
其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数。
Step62：对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。
Step63：首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
Step64：按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
实施例二
图3是本发明优选实施例一种人脸视频检索系统结构图；所述系统包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，
Figure BDA0001168067990000081
pict表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；
Figure BDA0001168067990000082
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束。
第三判断处理模块，用于判断是否存在存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置。
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
进一步地，图4是图3中第一视频搜索装置结构图，所述第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判定模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置。
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
进一步地，图5是图4中细分判定装置结构图；
细分判定装置,包括块肤色像素点计数模块和第一人脸视频搜索区域划分模块，
块肤色像素点计数模块，用于将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
第一人脸视频搜索区域划分模块，与块肤色像素点计数模块相连，用于判断如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非为人脸视频搜索区域。
第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。
图6是图4中粗分判定装置结构图；
粗分判定装置,包括块色彩模型分量值计算模块和第二人脸视频搜索区域划分模块，
块色彩模型分量值计算模块，用于以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
第二人脸视频搜索区域划分模块，与块色彩模型分量值设定模块相连，用于对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非为人脸视频搜索区域。
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，
Figure BDA0001168067990000101
获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型
Figure BDA0001168067990000102
获得色彩能量
Figure BDA0001168067990000103
Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型
Figure BDA0001168067990000104
获取Co，Co为YCgCo模型色彩分量值；肤色判定点方法，也可以用业内公开的任何一种方法。
进一步地，图7是图3中第二视频搜索装置结构图，所述第二视频搜索装置包括：
第二搜索区域划定模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标。其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数。
第二尺寸统一模块，与第二搜索区域划定模块相连，用于对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。
第二目标图像搜索模块，用于首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述上述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
第二识别参数标识模块，用于按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸视频检索方法，所述方法包括以下步骤：
步骤A：判断当前搜索视频当前帧pict的判断参数part是否为1，若是则进入步骤B，否则，进入步骤E；
步骤B：使用第一视频搜索模式对当前帧进行搜索；
步骤C：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入步骤D；否则，结束；t表示搜索视频序列的帧序号，t的初始值为1；
步骤D：如果不存在sbkt(i,j)＝1，则进入步骤E；否则进入步骤G；
sbkt(i,j)表示bkt(i,j)识别参数，bkt(i,j)表示pict的第i行第j列解码块；
步骤E：如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；tpt为场景切换参数，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；
步骤F：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入步骤C；否则，如果tpt≥0.9*bkh*bkw，则进入步骤B；否则，则进入步骤G；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
步骤G：使用第二视频搜索模式对当前帧进行搜索，然后，进入步骤C；
其特征在于，
第一视频搜索模式包括以下步骤：
解码当前搜索视频当前帧，获取解码图像；
对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,则进入细分判定模式；否则，进入粗分判定模式；
统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，条件3表示：bkt(i,j)匹配目标。
2.如权利要求1所述的人脸视频检索方法，其特征在于，
Figure FDA0002397051330000021
pict表示当前搜索视频第t帧，条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；
Figure FDA0002397051330000022
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块。
3.如权利要求1所述的人脸视频检索方法，其特征在于，
细分判定模式：
步骤A1：将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
步骤A2：如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非人脸视频搜索区域；
粗分判定模式：
步骤B1：以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
步骤B2：对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非人脸视频搜索区域。
4.如权利要求3所述的人脸视频检索方法，其特征在于，
第十四阈值上限为块的像素点数量总数，下限为块的像素点数量总数的一半。
5.如权利要求3所述的人脸视频检索方法，其特征在于，
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1：Thres1<b-g<Thres2；要求2：Thres3<r-g<Thres4*Wr；
要求3：Gup<g<Gdown；要求4：Thres5<Wr；要求5：Thres6<Co<Thres7；
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，
Figure FDA0002397051330000023
获取归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup，bup，cup为模型参数，绿色分量下界模型Gdown＝adownr2+bdownr+cdown；其中，adown，bdown，cdown为模型参数；基于模型YUV模型
Figure FDA0002397051330000024
获得色彩能量
Figure FDA0002397051330000025
Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型
Figure FDA0002397051330000031
获取Co，Co为YCgCo模型色彩分量值。
6.如权利要求1所述的人脸视频检索方法，其特征在于，所述第二视频搜索模式包括以下步骤：
如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数；
对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸；
首先对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
7.一种人脸视频检索系统，所述系统包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1，若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，
Figure FDA0002397051330000032
pict表示当前搜索视频第t帧，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；
Figure FDA0002397051330000033
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块；否则结束；
第三判断处理模块，用于判断是否存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置；
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
其特征在于，
第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判断模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置；
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
8.如权利要求7所述的人脸视频检索系统，其特征在于，
细分判定装置,包括块肤色像素点计数模块和第一人脸视频搜索区域划分模块，
块肤色像素点计数模块，用于将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
第一人脸视频搜索区域划分模块，与块肤色像素点计数模块相连，用于判断如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非为人脸视频搜索区域；
粗分判定装置,包括块色彩模型分量值计算模块和第二人脸视频搜索区域划分模块，
块色彩模型分量值计算模块，用于以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
第二人脸视频搜索区域划分模块，与块色彩模型分量值设定模块相连，用于对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非为人脸视频搜索区域。
9.如权利要求8所述的人脸视频检索系统，其特征在于，
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1：Thres1<b-g<Thres2；要求2：Thres3<r-g<Thres4*Wr；
要求3：Gup<g<Gdown；要求4：Thres5<Wr；要求5：Thres6<Co<Thres7；
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V
或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，
Figure FDA0002397051330000051
获取归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup，bup，cup为模型参数，绿色分量下界模型Gdown＝adownr2+bdownr+cdown；其中，adown，bdown，cdown为模型参数；基于模型YUV模型
Figure FDA0002397051330000052
获得色彩能量
Figure FDA0002397051330000053
Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型
Figure FDA0002397051330000054
获取Co，Co为YCgCo模型色彩分量值。
10.如权利要求7所述的人脸视频检索系统，其特征在于，
所述第二视频搜索装置包括：
第二搜索区域划定模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标；其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数；
第二尺寸统一模块，与第二搜索区域划定模块相连，用于对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸；
第二目标图像搜索模块，用于首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第二识别参数标识模块，用于按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
CN201611087529.7A 2016-12-01 2016-12-01 一种人脸视频检索方法和系统 Active CN106682094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611087529.7A CN106682094B (zh) 2016-12-01 2016-12-01 一种人脸视频检索方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611087529.7A CN106682094B (zh) 2016-12-01 2016-12-01 一种人脸视频检索方法和系统

Publications (2)

Publication Number Publication Date
CN106682094A CN106682094A (zh) 2017-05-17
CN106682094B true CN106682094B (zh) 2020-05-22

Family

ID=58867143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611087529.7A Active CN106682094B (zh) 2016-12-01 2016-12-01 一种人脸视频检索方法和系统

Country Status (1)

Country Link
CN (1) CN106682094B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527015B (zh) * 2017-07-21 2020-08-04 深圳市梦网视讯有限公司 一种基于肤色检测的人眼视频定位方法和系统
CN107516067B (zh) * 2017-07-21 2020-08-04 深圳市梦网视讯有限公司 一种基于肤色检测的人眼定位方法和系统
CN107481222B (zh) * 2017-07-21 2020-07-03 深圳市梦网视讯有限公司 一种基于肤色检测的快速眼唇视频定位方法和系统
CN107563278B (zh) * 2017-07-21 2020-08-04 深圳市梦网视讯有限公司 一种基于肤色检测的快速眼唇定位方法和系统
CN107423704B (zh) * 2017-07-21 2020-07-03 深圳市梦网视讯有限公司 一种基于肤色检测的唇部视频定位方法和系统
CN107861990B (zh) * 2017-10-17 2020-11-06 深圳市梦网视讯有限公司 一种视频搜索方法及系统、终端设备
CN108710853B (zh) * 2018-05-21 2021-01-01 深圳市梦网科技发展有限公司 人脸识别方法及装置
CN111815653B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129682A (zh) * 2011-03-09 2011-07-20 深圳市融创天下科技发展有限公司 一种前景背景区域划分方法、系统
CN102214291A (zh) * 2010-04-12 2011-10-12 云南清眸科技有限公司 一种快速准确的基于视频序列的人脸检测跟踪方法
CN103167290A (zh) * 2013-04-01 2013-06-19 深圳市云宙多媒体技术有限公司 一种视频编码运动强度量化方法及装置
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214291A (zh) * 2010-04-12 2011-10-12 云南清眸科技有限公司 一种快速准确的基于视频序列的人脸检测跟踪方法
CN102129682A (zh) * 2011-03-09 2011-07-20 深圳市融创天下科技发展有限公司 一种前景背景区域划分方法、系统
CN103167290A (zh) * 2013-04-01 2013-06-19 深圳市云宙多媒体技术有限公司 一种视频编码运动强度量化方法及装置
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法

Also Published As

Publication number Publication date
CN106682094A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106682094B (zh) 一种人脸视频检索方法和系统
CN102917225B (zh) Hevc帧内编码单元快速选择方法
CN108495135B (zh) 一种屏幕内容视频编码的快速编码方法
CN111383201B (zh) 基于场景的图像处理方法、装置、智能终端及存储介质
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
EP2337345A1 (en) Video identifier extracting device
CN109040764B (zh) 一种基于决策树的hevc屏幕内容帧内快速编码算法
CN112507842A (zh) 一种基于关键帧提取的视频文字识别方法和装置
CN107657228A (zh) 视频场景相似性分析方法及系统、视频编解码方法及系统
CN110533117B (zh) 图像比对方法、装置、设备和存储介质
EP4006824A1 (en) Image processing method and apparatus, mobile terminal video processing method and apparatus, device and medium
Duan et al. Optimizing JPEG quantization table for low bit rate mobile visual search
WO2017032245A1 (zh) 一种视频文件索引信息的生成方法和设备
Blanch et al. Chroma intra prediction with attention-based CNN architectures
CN112291562A (zh) 针对h.266/vvc的快速cu分区和帧内模式决策方法
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN102129682A (zh) 一种前景背景区域划分方法、系统
CN106611043B (zh) 一种视频搜索方法及系统
US20080253670A1 (en) Image Signal Re-Encoding Apparatus And Image Signal Re-Encoding Method
US11212518B2 (en) Method for accelerating coding and decoding of an HEVC video sequence
CN113507611B (zh) 图像存储方法、装置、计算机设备和存储介质
CN107481222A (zh) 一种基于肤色检测的快速眼唇视频定位方法和系统
WO2010084738A1 (ja) 照合加重情報抽出装置
CN111901606A (zh) 一种提升字幕编码质量的视频编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen Monternet encyclopedia Information Technology Co. Ltd.

Address before: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit

Applicant before: BAC Information Technology Co., Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant