[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102362491A - 缩略图生成装置及缩略图生成方法 - Google Patents

缩略图生成装置及缩略图生成方法 Download PDF

Info

Publication number
CN102362491A
CN102362491A CN2010800130043A CN201080013004A CN102362491A CN 102362491 A CN102362491 A CN 102362491A CN 2010800130043 A CN2010800130043 A CN 2010800130043A CN 201080013004 A CN201080013004 A CN 201080013004A CN 102362491 A CN102362491 A CN 102362491A
Authority
CN
China
Prior art keywords
face
dynamic image
thumbnail
area
dwindles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800130043A
Other languages
English (en)
Other versions
CN102362491B (zh
Inventor
加藤大作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Publication of CN102362491A publication Critical patent/CN102362491A/zh
Application granted granted Critical
Publication of CN102362491B publication Critical patent/CN102362491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

缩略图生成装置，具备动态图像提取部、缩小放大率计算部以及缩小放大部。动态图像提取部根据从检测动态图像中包含的人脸而生成的脸部检测信息中获得的脸部检出区域的数量及面积，从动态图像中提取比该动态图像的再生时间短的时间量的动态图像。缩小放大率计算部根据通过动态图像提取部提取出的动态图像的脸部检测信息，每隔预定的时间间隔对脸部检出区域进行积分，并根据该积分结果来计算通过动态图像提取部提取出的动态图像的缩小放大率，以便较大地显示通过动态图像提取部提取出的动态图像中包含的人脸。缩小放大部根据通过缩小放大率计算部计算出的缩小放大率，生成对通过动态图像提取部提取出的动态图像进行缩小或放大后的动态图像缩略图。

Description

缩略图生成装置及缩略图生成方法
技术领域
本发明涉及生成用于使用户把握通过再生装置再生的动态图像的内容的动态图像缩略图的缩略图生成装置及缩略图生成方法。
背景技术
人们熟知具有如下静态图像缩略图显示功能的摄像机：针对每个记录的动态图像或这些动态图像中的每个预定的段落(chapter)，生成提取出构成所拍摄、记录的动态图像的多个帧(frame)或场(field)中的任意一枚后缩小而得的静态图像缩略图，并将这些生成的多个静态图像缩略图作为缩略图一览画面，显示在摄像机主体上具备的显示器用的液晶屏上。
另外，作为使用户容易把握与静态图像缩略图对应的图像的内容的技术，例如在专利文献1中公开了一种图像处理装置，其从所拍摄的静态图像中检测出人脸，与该检测出的人脸相匹配地生成将所拍摄的静态图像缩小为预定的尺寸而得的静态图像缩略图。
但是，在专利文献1中记载的技术，与通常的静态图像缩略图显示功能相比，虽然能够使用户容易地把握与静态图像缩略图对应的图像的内容，但是因为显示的缩略图是静态图像，所以在与该静态图像缩略图对应的图像是动态图像时，使用者有时无法把握该动态图像的内容。
另一方面，在HDD(Hard Disk Drive)录影机或DVD(Digital Versatile Disk)录影机中大多具有如下运动缩略图(motion thumbnail)功能：当在缩略图一览画面中通过用户操作等使焦点(高亮框)对准一个静态图像缩略图时，替换该静态图像缩略图来显示动态图像缩略图。该运动缩略图功能是再生与所选择的静态图像缩略图对应的预定期间的动态图像，生成使该再生出的动态图像缩小到与静态图像缩略图相同尺寸而得的动态图像缩略图，并将该生成的动态图像缩略图显示在静态图像缩略图一览画面中对应的静态图像缩略图的区域。使用者通过观看通过该运动缩略图功能所显示的动态图像缩略图，容易把握动态图像的内容。
现有技术文献
专利文献
专利文献1：日本特开2005-269563号公报
发明内容
发明要解决的课题
在此，考虑在摄像机中也应用该运动缩略图功能。
但是，在将运动缩略图功能应用到摄像机中时，在主机中具备的显示器用的液晶屏的画面比较小，因此在缩略图一览画面中显示的动态图像缩略图也变小。因此，使用者难以把握该动态图像缩略图的内容、即与该动态图像缩略图对应的动态图像的内容。
本发明是鉴于上述问题而提出的，其目的在于提供一种生成使使用者容易把握在记录再生装置中所记录的动态图像的内容的动态图像缩略图并进行显示的缩略图生成装置及缩略图生成方法。
用于解决课题的手段
为了达到上述目的，本发明的缩略图生成装置的第一特征在于，具备：动态图像提取部，其在动态图像的第一预定期间内，每隔比所述第一预定期间短的第二预定期间，提取构成所述动态图像的各图像；缩小放大率计算部，其对提取出的各图像中包含的人脸区域进行积分，决定脸部显示区域以包围该被积分的脸部区域，计算所述动态图像的缩小放大率，使得该所决定的脸部显示区域的尺寸与预先为了显示动态图像缩略图而决定的预定的显示区域的尺寸大致相同；以及动态图像缩略图生成部，其根据计算出的所述缩小放大率来缩小或放大所述动态图像，生成所述动态图像缩略图。
为了达到上述目的，本发明的缩略图生成装置的第二特征在于，还具备缩略图区间决定部，其根据通过所述动态图像提取部提取出的各图像中的、存在人脸区域的图像连续的数目，决定一个以上所述第一预定期间。
为了达到上述目的，本发明的缩略图生成装置的第三特征在于，所述缩小放大率计算部，在将所述脸部显示区域的面积的值作为分母、将所述脸部区域的合计面积的值作为分子而求出的比值比预定的阈值小的情况下，将所述脸部区域中、靠近中心且面积最大的脸部区域作为代表区域，计算所述缩小放大率，使得该代表区域的尺寸与所述显示区域的尺寸大致相同。
为了达到上述目的，本发明的缩略图生成装置的第四特征在于，还具备脸部特征信息存储部，其将能够唯一识别人脸的脸部特征作为脸部特征信息来存储，所述缩小放大率计算部判定所述脸部区域内存在的脸部特征是否与在所述脸部特征信息存储部中存储的脸部特征信息表示的脸部特征一致或近似，当判定为一致或近似时，计算所述缩小放大率，使得与该一致或近似的脸部特征对应的所述脸部区域的尺寸与所述显示区域的尺寸大致相同。
为了达到上述目的，本发明的缩略图生成方法的第一特征在于，具备：动态图像提取步骤，在动态图像的第一预定期间内，每隔比所述第一预定期间短的第二预定期间，提取构成所述动态图像的各图像；缩小率计算步骤，对提取出的各图像中包含的人脸区域进行积分，决定脸部显示区域以包围该被积分的脸部区域，计算所述动态图像的缩小放大率，使得该所决定的脸部显示区域的尺寸与预先为了显示缩略图而决定的预定的显示区域的尺寸大致相同；以及动态图像缩略图生成步骤，根据计算出的所述缩小放大率来缩小或放大所述动态图像，生成所述动态图像缩略图。
发明的效果
通过本发明的缩略图生成装置及缩略图生成方法，能够生成使使用者容易把握在记录再生装置中所记录的动态图像的内容的动态图像缩略图并进行显示。
附图说明
图1是表示将用于供给本发明实施例1的缩略图生成装置的AV流及流管理信息记录在记录介质中的摄像机的结构的结构图。
图2是表示本发明实施例1的缩略图生成装置的结构的结构图。
图3是表示本发明实施例1的缩略图生成装置具备的用户界面部显示的画面的一个例子的图。
图4是说明在本发明实施例1的缩略图生成装置具备的用户界面部中的OSD画面和动态图像再生装置的叠加的图。(a)是说明将OSD画面及动态图像再生画面叠加的顺序的图，(b)是分别表示OSD画面及动态图像再生画面的一个例子的图，(c)是表示叠加OSD画面及动态图像再生画面后的合成画面的一个例子的图。
图5是表示在本发明实施例1的缩略图生成装置具备的动态图像缩略图时间存储部中所存储的动态图像缩略图时间信息的一个例子的图。
图6是表示摄像机具备的脸部检测部中的脸部检测处理的流程图。
图7是表示本发明实施例1的缩略图生成装置中的动态图像提取处理的流程图。
图8是说明本发明实施例1的缩略图生成装置中的动态图像提取部提取“单位划分时间的有脸区间”的处理的图。
图9是表示本发明实施例1的缩略图生成装置中的动态图像缩略图显示处理的流程图。
图10是说明通过本发明实施例1的缩略图生成装置具备的CPU的缩小率计算部计算包围脸部检出区域的纵横比16∶9的矩形区域的面积A的图。(a)表示某区间内的t1时刻～t5时刻的脸部检出区域，(b)是已对(a)所示的脸部检出区域进行积分时的动态图像的图，(c)是脸部检出区域分散于动态图像内时的动态图像的图，(d)是脸部检出区域密集于动态图像内时的动态图像的图。
图11是说明通过本发明实施例1的缩略图生成装置具备的缩小率计算部计算动态图像的缩小率的图。(a)表示缩小的动态图像的一个例子，(b)表示OSD画面的一个例子。
图12是说明通过本发明实施例1的缩略图生成装置具备的缩小率计算部计算动态图像的缩小率的图。(a)表示缩小的动态图像的一个例子，(b)表示OSD画面的一个例子。
图13是表示本发明实施例2的缩略图生成装置的结构的结构图。
图14是表示在本发明实施例2的缩略图生成装置具备的脸部特征信息存储部中所存储的脸部特征信息的一个例子的图。
图15是说明通过本发明实施例2的缩略图生成装置具备的缩小率计算部计算动态图像的缩小率的图。(a)表示缩小的动态图像的一个例子，(b)表示OSD画面的一个例子。
具体实施方式
以下参照附图对本发明的实施方式进行说明。
实施例1
在本发明的实施例1中，举例说明具有根据所拍摄的动态图像检测人脸的脸部检测部的摄像机、和根据通过该摄像机生成并记录在记录介质中的AV流及流管理信息生成动态图像缩略图的缩略图生成装置。
<摄像机的结构>
图1是表示生成在本发明实施例1的缩略图生成装置中使用的AV流及流管理信息并记录在记录介质中的摄像机的结构的结构图。
摄像机101具备：光学镜头111、摄像元件112、信号处理部113、H.264编码器114、多路复用器(multiplexer)115、脸部检测部116、加法器117、麦克风121、A/D变换器122、AC3编码器123以及CPU131。
光学镜头111对以轴p为光轴而入射的光进行聚光。
摄像元件112使通过光学镜头111聚光后的光成像，并将成像而得的被拍摄体图像变换为电信号。
信号处理部113根据CPU131的指示，根据通过摄像元件112变换而得的电信号生成视频信号。
H.264编码器114根据CPU131的指示，根据通过信号处理部113所生成的视频信号生成视频流及GOP(Group of picture)信息。
A/D变换部122根据CPU131的指示，将通过麦克风121采集的声音从模拟数据变换为数字数据。
AC3编码器123根据CPU131的指示，通过对通过A/D变换部122变换后的数字数据进行编码，生成音频流及音频信息。
多路复用器115根据CPU131的指示，对通过H.264编码器114编码后的视频流和通过AC3编码器123编码后的音频流进行多路复用，生成依照AVCHD标准的AV流，并将所生成的AV流记录在记录介质A中。
脸部检测部116根据CPU131的指示，根据通过信号处理部113生成的视频信号进行脸部检测。具体来讲，脸部检测部116根据视频信号，以预定的脸部检测时间间隔对动态图像进行取样，从取样后的动态图像中检测出人脸，作为脸部检测信息提供给加法器117。
在此，如果使用能够高速地进行处理的装置或算法，则能够针对每一帧来实现脸部检测处理。但是，如果针对每一帧进行处理，则脸部检测信息的数据量就会无意义地变大。因此，脸部检测时间例如最好设定为0.5秒左右。另外，在脸部检测信息中包含：检测出脸部的脸部检出区域的数目(0～4、0表示没有检测出脸)；每个检测出脸部的脸部检出区域的、以动态图像的左上部为基准点的情况下的检测出脸部的脸部检出区域的左上部坐标(X，Y)；以及检测出脸部的脸部检出区域的尺寸(宽和高)。
另外，动态图像由作为连续的静态图像的帧或场构成，本发明能够应用于任意一种情况，但是以下为了方便说明，将静态图像称为帧。
另外，脸部检测部116计算检测出的人脸的可靠性，即表示是人脸的准确程度有多大的可靠性，并判定该可靠性是否为预定的可靠性阈值以上。
加法器117根据CPU131的指示，生成包含从H.264编码器114提供的GOP信息、从AC3编码器123提供的音频信息以及从脸部检测部116提供的脸部检测信息的流管理信息，并将该流管理信息记录在记录介质A中。
CPU131进行摄像机101的中枢控制。具体来讲，CPU131控制上述摄像元件112、信号处理部113、H.264编码器114、多路复用器115、脸部检测部116、加法器117、A/D变换部122以及AC3编码器123。
<缩略图生成装置的结构>
图2是表示本发明实施例1的缩略图生成装置的结构的结构图。
如图2所示，本发明实施例1的缩略图生成装置1具备：多路分离器(demultiplexer)11、AC3解码器12、扬声器13、H.264解码器14、缩小放大部15、加法器16、用户界面部17、OSD生成部18、CPU20以及动态图像缩略图时间存储部19。
多路分离器11根据CPU20的指示，读取在记录介质A中记录的AV流，对读取出的AV流进行多路信号分离，由此生成视频流和音频流。
AC3解码器12根据CPU20的指示，对从多路分离器11所提供的音频流进行解码，由此生成再生声音数据，从扬声器13输出声音。
H.264解码器14根据CPU20的指示，对从多路分离器11所提供的视频流进行解码，由此生成再生动态图像数据，并将该生成的再生动态图像数据提供给缩小放大部15。
缩小放大部15根据CPU20的指示，对从H.264解码器14所提供的再生动态图像数据进行缩小或放大，由此生成用于作为动态图像缩略图来显示的缩小或放大后的再生动态图像数据。
CPU20进行缩略图生成装置1的中枢控制。具体来讲，CPU20控制多路分离器11、AC3解码器12、扬声器13、H.264解码器14、缩小放大部15、加法器16、用户界面部17以及OSD生成部18。另外，CPU20将从记录介质A读取出的流管理信息提供给OSD生成部18。
OSD生成部18根据CPU20的指示，根据所提供的流管理信息生成用于显示OSD画面的OSD图像数据，提供给加法器16。
加法器16根据CPU20的指示，对从缩小放大部15提供的缩小或放大后的再生动态图像数据叠加从OSD生成部18提供的OSD图像数据，由此生成合成图像数据，并使用户界面部17显示该生成的合成图像数据。
用户界面部17具备由有机EL(electroluminescence)显示器或液晶显示器等构成的图像显示部。并且用户界面部17根据CPU20的指示，根据从加法器17提供的合成图像数据来显示合成画面。
另外，用户界面部17也具备由接触式传感器等构成的操作按钮或滑块等操作部。并且，用户界面部17在通过使用者操作该操作按钮或滑块时，生成与该操作相对应的操作信号，并将所生成的操作信号提供给CPU20。
动态图像缩略图时间存储部19将动态图像的再生时间和与该再生时间相对应的动态图像缩略图的再生时间关联起来进行存储。后面对该关联进行阐述。
图3表示本发明实施例1的缩略图生成装置1具备的用户界面部17的外观和在该用户界面部17的图像显示部上显示的画面的一个例子。
如图3所示那样，用户界面部17包含图像显示部17g、操作按钮17b以及滑块17c而构成。
在图像显示部17g中，将包含基于OSD图像数据而生成的静态图像缩略图的OSD画面、和基于通过缩小放大部15缩小或放大后的再生动态图像数据所生成的动态图像缩略图进行叠加作为合成画面来显示。
在图像显示部17g中显示的OSD画面上，区域分割为缩略图显示区域17d、操作指导显示区域17e以及页码显示区域17f来显示。
缩略图显示区域17d显示静态图像缩略图和动态图像缩略图。后面对该显示方法进行阐述。
在操作指导显示区域17e中显示用于向用户表示分配给操作按钮17b的功能的图标等。
在页码显示区域17f中显示当前在缩略图显示区域17d中所显示的静态图像缩略图一览的页码。例如，在显示8/9时，表示全部共9页、当前正在显示第8页。
在图3的例子中配置有五个操作按钮17b。所配置的五个操作按钮中，左端的操作按钮是用于生成请求选择确定动态图像缩略图的操作信号的OK按钮，右端的操作按钮是用于生成请求显示菜单的操作信号的菜单按钮。另外，这些操作按钮之间的三个操作按钮没有被分配固定的功能，而是由CPU20根据用户的操作的迁移来分配各种功能。并且，为了将分配给各操作按钮的功能表示给用户，使用上述操作指导显示区域17e。在图3的例子中，对左侧的操作按钮分配了摘要(digest)再生功能，对中央的操作按钮分配了缩放再生功能，对右侧的操作按钮分配了垃圾箱功能。
滑块17c用于滑动用于显示后述的动态图像缩略图的显示区域、即高亮框17k。当使用者向下滑动该滑块17c时，高亮框17k从左向右移动，当向上滑动时，高亮框17k从右向左移动。
图4是说明将动态图像缩略图和静态图像缩略图一起进行一览显示的方法的图。
如图4(a)所示那样，在将动态图像缩略图和静态图像缩略图一起进行一览显示时，使用动态图像再生画面17h和OSD画面17a。
首先，如图4(b)所示，CPU20将缩略图显示区域17d显示在OSD画面17a上。在该缩略图显示区域17d中对静态图像缩略图进行一览显示。在此，例如通过提取各动态图像的任意位置的1帧后进行解码，并对其解码后的图像进行缩小或放大来生成静态图像缩略图。
在图4(b)中，通过使用者操作滑块17c，在缩略图显示区域17d内的左上部的静态图像缩略图上显示的高亮框17k移动，以便选择在缩略图显示区域17d中一览显示的静态图像缩略图中的某一个。
然后，在从静态图像缩略图中选择了某一个后，例如经过0.5秒时，CPU20将由高亮框17k包围的静态图像缩略图消除，将高亮框17k内变为透明画面。
另一方面，CPU20通过缩小放大部15将再生动态图像数据缩小或放大到与高亮框17k同等的尺寸的同时，生成将显示位置与该高亮框匹配后的动态图像缩略图17j，并作为动态图像再生画面17h来显示。
然后，如图4(c)所示那样，CPU20通过加法器16将动态图像再生画面17h叠加到OSD画面17a的背面，生成合成画面。由此，在OSD画面17a中、成为透明画面的高亮框17k内显示背面的动态图像再生画面17h内的动态图像缩略图17j。
图5表示在本发明实施例1的缩略图生成装置1具备的动态图像缩略图时间存储部19中所存储的动态图像缩略图时间信息的一个例子。
如图5所示，将列名“动态图像的再生时间”(符号101)、列名“动态图像缩略图的再生时间”(符号102)以及列名“动态图像缩略图再生区间数”(符号103)关联起来，作为动态图像缩略图时间信息来存储。另外，通过将动态图像缩略图再生区间数103与后述的单位划分时间相乘来计算动态图像缩略图的再生时间102。
另外，CPU20除上述功能外，还具备动态图像提取部20a、缩小放大率计算部20b以及缩略图区间决定部20d。
动态图像提取部20a在动态图像的第一预定期间内，针对后述的每个比第一预定期间短的第二预定期间来提取构成动态图像的各图像。
缩略图区间决定部20d根据通过动态图像提取部20a提取出的各图像中的、存在人脸区域的图像的连续的数目来决定一个以上第一预定期间。
缩小放大率计算部20b对所提取出的各图像中包含的人脸区域进行积分，包围该积分后的脸部区域地决定脸部显示区域，计算动态图像的缩小放大率，使得该决定的脸部显示区域的尺寸与预先为了显示动态图像缩略图而决定的预定的显示区域的尺寸大致相同。
另外，缩小放大率计算部20b，在与所决定的对象脸部区域的面积相对应的脸部检出区域的合计面积比预定的阈值小时，将靠近中心且面积大的脸部检出区域作为代表区域，计算所述动态图像的缩小放大率，使得该代表区域的尺寸与动态图像缩略图的尺寸大致相同。
<摄像机101具备的脸部检测部116的作用>
接下来，对摄像机101具备的脸部检测部116执行的脸部检测处理进行说明。
图6是表示摄像机101具备的脸部检测部116中的脸部检测处理的流程图。
如图6所述，脸部检测部116根据视频信号，每隔脸部检测时间(第二预定期间：此处例如为0.5秒)，对构成动态图像的帧进行取样，从所取样的帧中检测人脸，同时生成检测出脸部的脸部检出区域(脸部区域)的临时数(仮数)Np(步骤S201)。
接着，脸部检测部116将初始值“1”代入到检测出脸部的脸部检出区域的计数器i的值中，并将初始值“0”代入到有效人脸数M中(步骤S202)。
然后，脸部检测部116计算检测出脸部的脸部检出区域的临时数Np中的第i个检测出脸部的脸部检出区域的可靠性，并判定该可靠性是否为预定的可靠性阈值以上(步骤S203)。在此，所谓可靠性表示检测出脸部的脸为人脸的准确性有多大程度。
当在步骤S203中判定出第i个脸部检出区域的可靠性小于预定的可靠性阈值时(为“否”时)，脸部检测部116删除第i个脸部检出区域(步骤S204)。
另一方面，当在步骤S203中判定出第i个脸部检出区域的可靠性为预定的可靠性阈值以上时(为“是”时)，脸部检测部116将有效人脸数M的值加“1”(步骤S205)。
接着，脸部检测部116判定计数器i的值是否超过检测出脸部的脸部检出区域的临时数Np(步骤S206)。
当在步骤S206中判定出计数器i的值超过检测出脸部的脸部检出区域的临时数Np时(为“是”时)，脸部检测部116判定有效人脸数M是否超过最大人脸数Mmax(步骤S207)。在此，最大人脸数Mmax例如为“4”那样，需要预先由提供者等计算基于实测的适当值，并且由提供者或使用者等预先设定适当值。
当在步骤S207中判定出有效人脸数M为最大人脸数Mmax以下时(为“否”时)，脸部检测部116将有效人脸数M的值代人到脸部评价数Mval中(步骤S208)。
另一方面，当在步骤S207中判定出有效人脸数M超过最大人脸数Mmax时(为“是”时)，脸部检测部116计算有效人脸数M份的脸部检出区域的面积(步骤S208)。
接着，脸部检测部116按照在步骤S208中计算出的脸部检出区域的面积从大到小的顺序，将有效人脸数M份的脸部检出区域进行排序(步骤S209)。
然后，脸部检测部116从在步骤S209中排序后的有效人脸数M份的脸部检出区域中，从开头选择Mmax个(步骤S210)。
另外，脸部检测部116将Mmax的值代入到脸部评价数Mval中(步骤S211)。
接下来，脸部检测部116生成脸部检测信息(步骤S212)。具体来讲，脸部检测部116将脸部评价数Mval的值代入到检测出脸部的脸部检出区域的数量N中，生成包含该检测出脸部的脸部检出区域的数量N、N份的脸部检出区域的坐标(X，Y)及尺寸(宽和高)的脸部检测信息，并将该所生成的脸部检测信息提供给加法器117。
如此，根据本发明实施例1的摄像机101具备的脸部检测部116，通过执行脸部检测处理，脸部检测部116根据通过信号处理部113所生成的视频信号，以脸部检测时间间隔对动态图像(帧)进行取样，从取样后的动态图像(帧)中检测出人脸，并作为脸部检测信息提供给加法器117，因此，如后述那样，缩略图生成装置1能够根据该脸部检测信息生成动态图像缩略图。
<缩略图生成装置1的作用>
接着，对本发明实施例1的缩略图生成装置1的作用进行说明。
本发明实施例1的缩略图生成装置1主要按顺序执行动态图像提取处理及动态图像缩略图显示处理。因此，以下对各个处理进行详细说明。
(动态图像提取处理)
对本发明实施例1的缩略图生成装置1的动态图像提取处理进行详细说明。
图7是表示本发明实施例1的缩略图生成装置1中的动态图像提取处理的流程图。
首先，CPU20的动态图像提取部20a根据来自用户界面部17的操作信号，从静态图像缩略图中选择某一个，然后在判断出经过了预定时间(例如0.5秒)时(步骤S101)，缩略图区间决定部20d根据从记录介质A中读出的流管理信息的脸部检测信息中包含的检测出脸部的脸部检出区域(脸部区域)的数量N，从预定的单位划分时间(此处设为5秒)以上连续的“有脸区间”中决定“单位划分时间的有脸区间(第一预定期间)”(步骤S102)。
在此，如果单位划分时间过长，则后述的脸部区域的积分时间变长，因此无法进行动态图像缩略图的有效的放大显示，如果过短，则动态图像缩略图的图像在短时间内跳过，因此使用者难以把握内容。因此，例如5秒那样，需要预先由提供者等预先计算基于实测的适当值，并且由提供者或使用者等预先设定适当值。
图8是说明本发明实施例1的缩略图生成装置1的缩略图区间决定部20d决定“单位划分时间的有脸区间”，动态图像提取部20a提取“单位划分时间的有脸区间”的处理的图。
如图8所示那样，在从记录介质A中读出的流管理信息中包含每个脸部检测时间间隔(0.5秒)的脸部检测信息，在该脸部检测信息中包含检测出脸部的脸部检出区域的数量N。
缩略图区间决定部20d将检测出脸部的脸部检出区域的数量N为“0”的区间超过4个而连续的区间、即超过2秒没有检测出人脸的区间作为“无脸区间”，将其它区间作为“有脸区间”。
在图8所示的例子中，将超过2秒没有检测出脸部的区间205作为“无脸区间”，将没有检测出人脸但是为2秒以下的区间206作为“有脸区间”。
然后，动态图像提取部20a从该“有脸区间”中提取单位划分时间的有脸区间207、208。在此，将通过动态图像提取部20a提取出的“单位划分时间的有脸区间”的总数称为提取区间数S。
接下来，动态图像提取部20a根据在流管理信息中包含的动态图像的再生时间和在动态图像缩略图时间存储部19中存储的动态图像缩略图时间信息，判定提取区间数S是否小于动态图像缩略图再生区间数103(步骤S104)。具体来讲，动态图像提取部20a根据图5所示的、在动态图像缩略图时间存储部19中存储的动态图像缩略图时间信息，决定与在流管理信息中包含的动态图像的再生时间相对应的动态图像缩略图再生区间数103，判定提取区间数S是否小于该所决定的动态图像缩略图再生区间数103。
当在步骤S104中判定出提取区间数S小于动态图像缩略图再生区间数103时(为“是”时)，动态图像提取部20a判定除去已经提取的“单位划分时间的有脸区间”之外，是否有不到单位划分时间的“有脸区间”(步骤S105)。
当在步骤S105中判定出除去已经提取的“单位划分时间的有脸区间”之外，有不到单位划分时间的“有脸区间”时(为“是”时)，动态图像提取部20a除去已经提取的“单位划分时间的有脸区间”之外，从动态图像的先头提取不足数量的“有脸区间”(步骤S106)。
然后，动态图像提取部20a将在步骤S106中提取出的区间数与提取区间数S相加，作为确定提取区间数Sf(步骤S107)。
当在步骤S105中判定出除去已经提取的“单位划分时间的有脸区间”之外，没有不到单位划分时间的“有脸区间”时(为“否”时)，动态图像提取部20a将提取区间数S代入到确定提取区间数Sf中(步骤S120)。
另一方面，当在步骤S104中判定出提取区间数S为动态图像缩略图再生区间数103以上时(为“否”时)，动态图像提取部20a判定提取区间数S是否与动态图像缩略图再生区间数103相同(步骤S108)。
当在步骤S108中判定出提取区间数S与动态图像缩略图再生区间数103相同时(为“是”时)，动态图像提取部20a将提取区间数S代入到确定提取区间数Sf中(步骤S109)。
另一方面，当在步骤S108中判定出提取区间数S与动态图像缩略图再生区间数103不同时(为“否”时)，动态图像提取部20a根据脸部检测信息中包含的脸部检出区域的尺寸(宽和高)，针对每个“单位划分时间的有脸区间”，计算脸部检出区域的面积的平均值(步骤S110)。
接着，动态图像提取部20a按照在步骤S110中计算出的脸部检出区域的面积的平均值从大到小的顺序，将提取出的“单位划分时间的有脸区间”进行排序(步骤S111)。
然后，动态图像提取部20a从在步骤S111中排序后的“单位划分时间的有脸区间”中，从开头选择动态图像缩略图再生区间数103的量(步骤S112)。
接着，动态图像提取部20a将动态图像缩略图再生区间数103代入到确定提取区间数Sf中(步骤S113)。
如此，因为从“单位划分时间的有脸区间”中的、脸部检出区域的面积的平均值高的区间优先进行选择，所以优先选择人脸被拍摄得较大的区间。
如以上那样，本发明实施例1的缩略图生成装置1通过执行动态图像提取处理，动态图像提取部20a能够根据动态图像的再生时间、每隔脸部检测时间间隔检测出脸部的脸部检出区域的数量、和检测出脸部的脸部检出区域的尺寸(宽和高)，从除去连续预定时间未检测出脸部的帧的动态图像中提取未超过动态图像的再生时间的、动态图像缩略图的再生时间量的动态图像(帧)。
由此，为了生成与所选择的静态图像缩略图对应的动态图像缩略图，能够提取构成在记录介质A中所记录的动态图像的帧中、适当的区间量的帧。
(动态图像缩略图生成及显示处理)
对本发明实施例1的缩略图生成装置1的动态图像缩略图生成及显示处理进行详细说明。
图9是表示本发明实施例1的缩略图生成装置1中的动态图像缩略图生成及显示处理的流程图。
首先，CPU20的缩小放大率计算部20b将初始值“0”代入到区间的计数器k的值中(步骤S301)，将初始值“1”代入到脸部检出区域的计数器j的值中(步骤S302)。
然后，CPU20的缩小放大率计算部20b根据提取出了确定提取区间数Sf量的“有脸区间”中的、在第k区间中脸部检测信息中包含的脸部检出区域的尺寸(宽和高)，来计算脸部检出区域(脸部区域)的面积的总和B(步骤S303)。
另外，CPU20的缩小放大率计算部20b根据在第k区间中、脸部检测信息中包含的脸部检出区域的左上部的坐标(X，Y)和脸部检出区域的尺寸(宽和高)，来计算与包围脸部检出区域的动态图像相同的纵横比(16∶9)的矩形区域(脸部显示区域)的面积A(步骤S304)。
图10是说明通过本发明实施例1的缩略图生成装置1具备的CPU20的缩小放大率计算部20b计算包围脸部检出区域的纵横比16∶9的矩形区域的面积A的图。(a)表示某区间内的t1时刻到t5时刻的脸部检出区域，(b)是对(a)所示的脸部检出区域进行积分时的帧的图，(c)是脸部检出区域分散于帧内时的图，(d)是脸部检出区域密集于帧内时的图。
如图10(a)所示那样，在t1时刻～t5时刻，随着时间的经过，所检测出的脸部检出区域301～305的位置一点点地移动。
另外，如果对这些脸部检出区域301～305进行积分，则如图10(b)所示那样，成为积分脸部检出区域401。
缩小放大率计算部20b计算包围该积分脸部检出区域401的纵横比(16∶9)的矩形区域402的面积A。
缩小放大率计算部20b这样地计算矩形区域的面积A，因此当脸部检出区域301～305分散于帧内时，如图10(c)所示那样，矩形区域403的面积A变大，当脸部检出区域301～305密集于帧内时，如图10(d)所示那样，矩形区域403的面积A变小。
接着，CPU20的缩小放大率计算部20b判定对应于在步骤S304中计算出的矩形区域的面积A的、在步骤S303中计算出的脸部检出区域的面积的总和B是否比预定的阈值R小(步骤S305)。
在此，如果该阈值R过小，则如后述那样，即使矩形区域的面积A变大，也使矩形区域的面积与动态图像缩略图的面积相同地来计算动态图像的缩小放大率，因此无法进行动态图像缩略图的有效的放大显示。另外，如果阈值R过大，则即使矩形区域的面积A小，想分别放大多个脸部检出区域时，也仅对评价值P最大的一个脸部检出区域进行放大地计算动态图像的缩小放大率，因此，此时也无法进行动态图像缩略图的有效的放大显示。
当在步骤S305中判定出对应于矩形区域的面积A的脸部检出区域的面积的总和B为预定的阈值R以上时(为“否”时)，缩小放大率计算部20b计算动态图像的缩小放大率，使得矩形区域的尺寸(宽和高)与动态图像缩略图的尺寸(宽和高)相同(步骤S306)。
图11是说明通过本发明实施例1的缩略图生成装置1具备的缩小放大率计算部20b计算动态图像的缩小放大率的图。(a)表示缩小放大的动态图像的帧的一个例子，(b)表示OSD画面17a的一个例子。
如图11a所示那样，动态图像的帧的尺寸为X×Y(纵横比16∶9)，矩形区域501的尺寸为X2×Y2(纵横比16∶9)，如图11(b)所示那样，OSD画面17a的动态图像缩略图的尺寸、即高亮框17k的尺寸为X1×Y1(纵横比16∶9)。
此时，缩小放大率计算部20b计算动态图像的缩小放大率，使得矩形区域501的尺寸与高亮框17k的尺寸相同。即如果设缩小放大率为Q，则使用下面的公式1来计算缩小放大率O。
Q＝(X1/X)×(X1/X2)...(1)
另外，(X1/X2)的X2的值表示与图11(b)所示的动态图像缩略图匹配后的动态图像的帧中的X2的大小，不是图11(a)所示的原始动态图像的帧中的X2的大小。如此，缩小放大率计算部20b使矩形区域501的尺寸与高亮框17k的尺寸成为相同地来计算动态图像的缩小放大率，因此在(X1/X2)比(X1/X)大时，看起来作为动态图像缩略图进行了放大显示，但是实际上，该动态图像缩略图的图像是从原来的动态图像缩小或放大后进行显示的。
另一方面，当在图9中的步骤S305中判定出对应于矩形区域的面积A的脸部检出区域的面积的总和B小于预定的阈值R时(为“是”时)，缩小放大率计算部20b使用下面的公式2来计算在第k区间中、N个检测出脸部的脸部检出区域中的第j个脸部检出区域的评价值P(j)(步骤S307)。
P(j)＝第j个脸部检出区域的面积-(从画面中央到第j个脸部检出区域的中央的长度)2×0.2...(2)
然后，缩小放大率计算部20b将计数器j的值加“1”后(步骤S308)，判定计数器j的值是否超过了检测出脸部的脸部检出区域的数量N(步骤S309)。
当在步骤S309中判定出计数器j的值超过了检测出脸部的脸部检出区域的数量N时(为“是”时)，缩小放大率计算部20b选择N个检测出脸部的脸部检出区域中的、靠近画面中心且面积大的脸部检出区域、即评价值P的值最高的脸部检出区域作为代表区域(步骤S310)。
接着，缩小放大率计算部20b计算动态图像的缩小放大率，使得在步骤S310中所选择的代表区域的尺寸(宽和高)与动态图像缩略图的尺寸(宽和高)大致相同(步骤S311)。
图12是说明通过本发明实施例1的缩略图生成装置1具备的缩小放大率计算部20b计算动态图像的缩小放大率的图。(a)表示缩小或放大的动态图像的帧的一个例子，(b)表示OSD画面17a的一个例子。
如图12(a)所示那样，动态图像的帧的尺寸为X×Y(纵横比16∶9)，代表区域502的尺寸为X3×Y3(纵横比16∶9)，如图12(b)所示那样，OSD画面17a的动态图像缩略图的尺寸、即高亮框17k的尺寸为X1×Y1(纵横比16∶9)。
此时，缩小放大率计算部20b计算动态图像的缩小放大率，以使代表区域502的尺寸与高亮框17k的尺寸相同。即如果设缩小放大率为Q，则通过使用上述的公式1，分别将X2、Y2置换为X3、Y3，计算缩小放大率Q。
如此，缩小放大率计算部20b使在步骤S310中所选择的代表区域的尺寸(宽和高)与动态图像缩略图的尺寸(宽和高)大致相同地来计算动态图像的缩小放大率，因此，人脸容易被放大，使用者能够容易地把握动态图像的内容。
接下来，缩小放大部15根据通过缩小放大率计算部20b计算出的缩小放大率来缩小或放大动态图像，生成动态图像缩略图(步骤S312)。
由此，被提供包含该生成的动态图像缩略图的再生图像数据的加法器16根据OSD图像数据，使OSD画面叠加在动态图像再生画面上地合成两个画面，并使用户界面部17显示该合成后的画面。
接着，CPU20的缩小放大率计算部20b在将计数器k的值加“1”后(步骤S313)，判定计数器k是否为确定提取区间数Sf以上(步骤S314)，直到计数器k为确定提取区间数Sf以上为止，重复执行步骤S303～S314的处理。
如以上那样，通过本发明实施例1的缩略图生成装置1，能够生成使用者容易把握动态图像的内容的动态图像缩略图并进行显示。
另外，在本发明实施例1中，举例说明了经由介质A从摄像机101被提供与所检测出的人脸相关的脸部检测信息，并根据所提供的脸部检测信息生成动态图像缩略图的缩略图生成装置，但是并不限于此，也可以经由网络与摄像机101连接，经由该网络从摄像机101提供与检测出的人脸相关的脸部检测信息，并根据所提供的脸部检测信息生成动态图像缩略图。
实施例2
在本发明实施例1中，举例说明了通过应用了根据所拍摄的动态图像来检测人脸的脸部检测装置的摄像机101经由记录介质A提供与检测出的人脸有关的脸部检测信息，并根据所提供的脸部检测信息来缩小或放大动态图像生成动态图像缩略图的缩略图生成装置，但是也可以根据所登录的脸部特征信息缩小或放大动态图像来生成动态图像缩略图。
因此，在本发明实施例2中，举例说明通过应用了根据所拍摄的动态图像来检测人脸的脸部检测装置的摄像机101经由记录介质A提供与检测出的人脸有关的脸部检测信息，并根据所提供的脸部检测信息和脸部特征信息来缩小或放大动态图像生成动态图像缩略图的缩略图生成装置。
<摄像机101的结构>
将用于提供给本发明实施例2的缩略图生成装置的AV流及流管理信息记录在记录介质A中的摄像机101的结构，与将用于提供给本发明实施例1的缩略图生成装置1的AV流及流管理信息记录在记录介质A中的摄像机101具有相同结构，因此省略说明。
<缩略图生成装置的结构>
图13是表示本发明实施例2的缩略图生成装置1A的结构的结构图。
如图13所示那样，本发明实施例2的缩略图生成装置1A具备：多路分离器11、AC3解码器12、扬声器13、H.264解码器14、缩小放大部15、加法器16、用户界面部17、OSD生成部18、CPU20A、动态图像缩略图时间存储部19以及脸部特征信息存储部21。
其中，多路分离器11、AC3解码器12、扬声器13、H.264解码器14、缩小放大部15、加法器16、用户界面部17、OSD生成部18以及动态图像缩略图时间存储部19分别与本发明实施例1的缩略图生成装置1具备的赋予相同符号的结构相同，因此省略说明。
脸部特征信息存储部21将用于唯一识别人物的人物ID和脸部的特征信息关联起来，作为脸部特征信息来存储。
图14是表示在本发明实施例2的缩略图生成装置1A具备的脸部特征信息存储部21中所存储的脸部特征信息的一个例子的图。
如图14所示那样，将列名“人物ID”(符号601)和列名“特征信息”(符号602)关联起来，作为脸部特征信息来存储。另外，所谓脸部特征信息是表示眼、鼻及口等的大小及形状等能够唯一识别人脸的脸部特征的信息。
CPU20A进行缩略图生成装置1A的中枢控制。另外，CPU20A除上述功能外还具备动态图像提取部20a和缩小放大率计算部20c。
动态图像提取部20a根据动态图像的再生时间和每隔脸部检测时间间隔检测出的脸部图像的数目，从除去连续预定时间没有检测出人脸的时间外的动态图像的帧中，提取未超过动态图像缩略图的再生时间的时间量的动态图像的帧。
缩小放大率计算部20c在从摄像机101提供包含脸部特征信息的脸部检测信息时，判定所提供的脸部检测信息中包含的脸部特征信息是否与脸部特征信息存储部21中存储的脸部特征信息一致或近似，当判定出一致或近似时，计算动态图像的缩小放大率，使得与该一致或近似的脸部特征信息对应的脸部检出区域为最大。
具体来讲，缩小放大率计算部20c选择与一致或近似的脸部特征信息对应的脸部检出区域作为登录脸部区域，并计算动态图像的缩小放大率，以使该所选择的登录脸部区域的尺寸与动态图像缩略图的尺寸大致相同。
图15是说明通过本发明实施例2的缩略图生成装置1A具备的缩小放大率计算部20c计算动态图像的缩小放大率的图。(a)表示缩小或放大的动态图像的帧的一个例子，(b)表示OSD画面17a的一个例子。
如图15a所示那样，动态图像的帧的尺寸为X×Y(纵横比16∶9)，登录脸部区域601的尺寸为X4×Y4(纵横比16∶9)，如图15(b)所示那样，OSD画面17a的动态图像缩略图的尺寸、即高亮框17k的尺寸为X1×Y1(纵横比16∶9)。
此时，缩小放大率计算部20b计算动态图像的缩小放大率，以使登录脸部区域601的尺寸与高亮框17k的尺寸相同。即如果设缩小放大率为Q，则通过使用上述的公式1，分别将X2、Y2置换为X4、Y4，计算缩小放大率Q。
如此，缩小放大率计算部20c使所选择的登录脸部区域的尺寸与动态图像缩略图的尺寸大致相同地来计算动态图像的缩小放大率，因此能够容易地放大所登录的人脸。由此，使用者关注所希望的人物的脸部图像，观看起来变得容易，所以能够容易把握动态图像的内容。
如以上那样，根据本发明实施例2的缩略图生成装置1A，具备脸部特征信息存储部21和缩小放大率计算部20c，因此除了本发明实施例1的缩略图生成装置1的效果之外，还能够优先放大预先所登录的一个以上人物，作为动态图像缩略图来显示。
在本实施例2中，当在检测的人脸中检测出与预先存储的脸部特征一致的人脸时，仅将该一致的人脸作为处理对象，由此，例如即使在一起拍摄了他人的孩子与自己的孩子的动态图像中，也能够通过动态图像缩略图仅对自己孩子的脸部进行放大显示。
符号说明
1、1A...缩略图生成装置；
11...多路分离器；
12...AC3解码器；
13...扬声器；
14...H.264解码器；
15...缩小放大部；
16...加法器；
17...用户界面部；
17a...图像显示部；
17b...操作按钮；
17c...滑块；
17d...缩略图显示区域；
17e...操作指导显示区域；
17f...页码显示区域；
17g...图像显示部；
17k...高亮框；
17h...动态图像再生画面；
17j...动态图像缩略图；
18...OSD生成部；
19...动态图像缩略图时间存储部；
20、20A、131...CPU；
20a...动态图像提取部；
20b、20c...缩小放大率计算部；
20d...缩略图区间决定部；
21...脸部特征信息存储部；
101...摄像机；
111...光学镜头；
112...图像元件部；
113...信号处理部；
114...H.264编码器；
115...多路复用器；
116...脸部检测部；
117...加法器；
121...麦克风；
122...A/D变换部；
123...AC3编码器。

Claims (5)

1.一种缩略图生成装置，其特征在于，具备：
动态图像提取部，其在动态图像的第一预定期间内，每隔比所述第一预定期间短的第二预定期间，提取构成所述动态图像的各图像；
缩小放大率计算部，其对提取出的各图像中包含的人脸区域进行积分，决定脸部显示区域以包围该被积分的脸部区域，计算所述动态图像的缩小放大率，使得该所决定的脸部显示区域的尺寸与预先为了显示动态图像缩略图而决定的预定的显示区域的尺寸大致相同；以及
动态图像缩略图生成部，其根据计算出的所述缩小放大率来缩小或放大所述动态图像，生成所述动态图像缩略图。
2.根据权利要求1所述的缩略图生成装置，其特征在于，
还具备缩略图区间决定部，其根据通过所述动态图像提取部提取出的各图像中的、存在人脸区域的图像连续的数目，决定一个以上所述第一预定期间。
3.根据权利要求1或2所述的缩略图生成装置，其特征在于，
所述缩小放大率计算部，在将所述脸部显示区域的面积的值作为分母、将所述脸部区域的合计面积的值作为分子而求出的比值比预定的阈值小的情况下，将所述脸部区域中、靠近中心且面积最大的脸部区域作为代表区域，计算所述缩小放大率，使得该代表区域的尺寸与所述显示区域的尺寸大致相同。
4.根据权利要求1或2所述的缩略图生成装置，其特征在于，
还具备脸部特征信息存储部，其将能够唯一识别人脸的脸部特征作为脸部特征信息来存储，
所述缩小放大率计算部判定所述脸部区域内存在的脸部特征是否与在所述脸部特征信息存储部中存储的脸部特征信息表示的脸部特征一致或近似，当判定为一致或近似时，计算所述缩小放大率，使得与该一致或近似的脸部特征对应的所述脸部区域的尺寸与所述显示区域的尺寸大致相同。
5.一种缩略图生成方法，其特征在于，具备：
动态图像提取步骤，在动态图像的第一预定期间内，每隔比所述第一预定期间短的第二预定期间，提取构成所述动态图像的各图像；
缩小率计算步骤，对提取出的各图像中包含的人脸区域进行积分，决定脸部显示区域以包围该被积分的脸部区域，计算所述动态图像的缩小放大率，使得该所决定的脸部显示区域的尺寸与预先为了显示缩略图而决定的预定的显示区域的尺寸大致相同；以及
动态图像缩略图生成步骤，根据计算出的所述缩小放大率来缩小或放大所述动态图像，生成所述动态图像缩略图。
CN201080013004.3A 2009-03-25 2010-01-28 缩略图生成装置及缩略图生成方法 Active CN102362491B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009073345A JP4640515B2 (ja) 2009-03-25 2009-03-25 サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム
JP2009-073345 2009-03-25
PCT/JP2010/051100 WO2010109943A1 (ja) 2009-03-25 2010-01-28 サムネイル生成装置及びサムネイル生成方法

Publications (2)

Publication Number Publication Date
CN102362491A true CN102362491A (zh) 2012-02-22
CN102362491B CN102362491B (zh) 2014-06-18

Family

ID=42780640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080013004.3A Active CN102362491B (zh) 2009-03-25 2010-01-28 缩略图生成装置及缩略图生成方法

Country Status (6)

Country Link
US (1) US8849093B2 (zh)
EP (1) EP2413597B1 (zh)
JP (1) JP4640515B2 (zh)
KR (1) KR101296152B1 (zh)
CN (1) CN102362491B (zh)
WO (1) WO2010109943A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063844A (zh) * 2013-03-21 2014-09-24 腾讯科技（深圳）有限公司 一种缩略图生成方法及系统
CN104063444A (zh) * 2014-06-13 2014-09-24 百度在线网络技术（北京）有限公司 缩略图的生成方法和装置
CN104252696A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 获取缩略图的方法及装置
CN104504104A (zh) * 2014-12-30 2015-04-08 百度在线网络技术（北京）有限公司 用于搜索引擎的图片物料处理方法、装置和搜索引擎
WO2015161757A1 (zh) * 2014-04-23 2015-10-29 北京锤子数码科技有限公司 图片缩略图的获取方法及装置
CN106341623A (zh) * 2016-10-19 2017-01-18 上海传英信息技术有限公司 连拍图片动态缩略图的生成方法及用户终端
CN108780654A (zh) * 2016-06-30 2018-11-09 谷歌有限责任公司 生成用于视频的移动缩略图

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
US10368010B2 (en) * 2012-07-31 2019-07-30 Nec Corporation Image processing system, image processing method, and program
CN102999599B (zh) * 2012-11-19 2015-10-07 北京奇虎科技有限公司 一种图片展示方法和装置
KR20140100784A (ko) * 2013-02-07 2014-08-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
KR102252448B1 (ko) 2014-09-12 2021-05-14 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
WO2016051803A1 (ja) * 2014-10-03 2016-04-07 パナソニックＩｐマネジメント株式会社 コンテンツ受信装置、コンテンツ受信システム、コンテンツ受信装置の制御方法、およびプログラム
US10051313B2 (en) 2014-10-03 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Content reception device, content reception system, content reception device control method, and program
JP6579925B2 (ja) * 2015-11-17 2019-09-25 キヤノン株式会社 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
JP6958226B2 (ja) * 2017-10-23 2021-11-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7171212B2 (ja) * 2018-04-02 2022-11-15 キヤノン株式会社 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
US20080131073A1 (en) * 2006-07-04 2008-06-05 Sony Corporation Information processing apparatus and method, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3607717B2 (ja) * 1993-07-28 2005-01-05 日本電信電話株式会社 映像切り出し方法
JP4536940B2 (ja) * 2001-01-26 2010-09-01 キヤノン株式会社 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム
JP4340806B2 (ja) 2004-03-22 2009-10-07 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4359773B2 (ja) * 2004-06-22 2009-11-04 ソニー株式会社 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
JP2008147838A (ja) 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4998026B2 (ja) * 2007-03-15 2012-08-15 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
US20080131073A1 (en) * 2006-07-04 2008-06-05 Sony Corporation Information processing apparatus and method, and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063844A (zh) * 2013-03-21 2014-09-24 腾讯科技（深圳）有限公司 一种缩略图生成方法及系统
CN104063844B (zh) * 2013-03-21 2019-01-15 腾讯科技（深圳）有限公司 一种缩略图生成方法及系统
CN104252696A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 获取缩略图的方法及装置
WO2015161757A1 (zh) * 2014-04-23 2015-10-29 北京锤子数码科技有限公司 图片缩略图的获取方法及装置
CN103927713B (zh) * 2014-04-23 2017-07-18 锤子科技（北京）有限公司 图片缩略图的获取方法及装置
CN104063444A (zh) * 2014-06-13 2014-09-24 百度在线网络技术（北京）有限公司 缩略图的生成方法和装置
CN104504104A (zh) * 2014-12-30 2015-04-08 百度在线网络技术（北京）有限公司 用于搜索引擎的图片物料处理方法、装置和搜索引擎
CN104504104B (zh) * 2014-12-30 2018-09-07 百度在线网络技术（北京）有限公司 用于搜索引擎的图片物料处理方法、装置和搜索引擎
CN108780654A (zh) * 2016-06-30 2018-11-09 谷歌有限责任公司 生成用于视频的移动缩略图
CN108780654B (zh) * 2016-06-30 2020-06-30 谷歌有限责任公司 生成用于视频的移动缩略图
CN106341623A (zh) * 2016-10-19 2017-01-18 上海传英信息技术有限公司 连拍图片动态缩略图的生成方法及用户终端

Also Published As

Publication number Publication date
KR101296152B1 (ko) 2013-08-19
WO2010109943A1 (ja) 2010-09-30
JP2010226572A (ja) 2010-10-07
KR20120001765A (ko) 2012-01-04
CN102362491B (zh) 2014-06-18
JP4640515B2 (ja) 2011-03-02
EP2413597A1 (en) 2012-02-01
EP2413597B1 (en) 2015-09-30
US20120020643A1 (en) 2012-01-26
EP2413597A4 (en) 2013-02-06
US8849093B2 (en) 2014-09-30

Similar Documents

Publication Publication Date Title
CN102362491B (zh) 缩略图生成装置及缩略图生成方法
JP4525558B2 (ja) 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4379409B2 (ja) 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP5463739B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5528008B2 (ja) 再生装置及び再生方法
JP2011009846A (ja) 画像処理装置、画像処理方法及びプログラム
CN101267523A (zh) 信息处理和成像设备、图像显示控制方法及计算机程序
JP2010252008A (ja) 撮影装置、表示装置、再生装置、撮影方法、および表示方法
JP2009017598A (ja) 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP5831567B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007288557A (ja) ハードディスクレコーダ
JP5063534B2 (ja) 画像記録装置及び画像記録方法
JP5765444B2 (ja) 情報処理装置、画像処理方法、プログラム及び情報処理システム
JP5012644B2 (ja) プレゼンテーション記録装置、プレゼンテーション再生装置及びプログラム
TWI286905B (en) Video recording device and method, and program
JP4673158B2 (ja) 撮像装置
CN101640781A (zh) 动画图像再现装置
CN100525420C (zh) 记录方法和记录装置
JP5526620B2 (ja) デジタルカメラ
JP2001243694A (ja) 記録再生装置
JP2004172793A (ja) 映像再生装置
JP2014138388A (ja) 撮像装置
JP2008242916A (ja) 撮像装置、撮像画像の表示方法およびプログラム
JP2004180340A (ja) 映像記録装置、映像再生装置、映像記録方法及び映像再生方法
JP2006311119A (ja) 映像再生方法及び映像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: JVC KENWOOD CORPORATION

Free format text: FORMER OWNER: VICTORY CO. LTD.

Effective date: 20140416

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140416

Address after: Kanagawa

Applicant after: JVC Kenwood Corp.

Address before: Kanagawa

Applicant before: Victory Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant