[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4973098B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP4973098B2
JP4973098B2 JP2006265951A JP2006265951A JP4973098B2 JP 4973098 B2 JP4973098 B2 JP 4973098B2 JP 2006265951 A JP2006265951 A JP 2006265951A JP 2006265951 A JP2006265951 A JP 2006265951A JP 4973098 B2 JP4973098 B2 JP 4973098B2
Authority
JP
Japan
Prior art keywords
image
facial expression
face
person
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006265951A
Other languages
Japanese (ja)
Other versions
JP2008084213A (en
JP2008084213A5 (en
Inventor
要 小川
比呂志 陣野
誠 山田
啓二 叶多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006265951A priority Critical patent/JP4973098B2/en
Publication of JP2008084213A publication Critical patent/JP2008084213A/en
Publication of JP2008084213A5 publication Critical patent/JP2008084213A5/ja
Application granted granted Critical
Publication of JP4973098B2 publication Critical patent/JP4973098B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像信号を処理する画像処理装置、画像処理方法およびプログラムに関し、特に、画像に含まれる人物の顔の表情判定機能を備えた画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus for processing an image signal relates images processing method and a program, particularly to an image processing apparatus having a facial expression determination function of the face of a person included in an image, related images processing method and a program.

近年、デジタルスチルカメラ、デジタルビデオカメラなどのデジタル方式の撮像装置が急速に普及し、これらの製品の高性能化が進んでいる。このため、撮像装置としてより高度な機能を搭載して、その商品価値を高めることが強く求められている。一方、近年では、画像信号を基にデジタル演算処理する画像処理技術が急速に進んでおり、その例として、画像から人間の顔を検出する技術がある。このような顔検出技術は、デジタルスチルカメラなど、固体撮像素子で撮像を行うデジタル方式の撮像装置に搭載できるレベルまで開発が進んでいることから、撮像装置の性能や機能を向上させるための技術として大きく注目されている。最近では、検出された顔の表情を判別する技術も注目されている。   In recent years, digital imaging devices such as digital still cameras and digital video cameras have rapidly spread, and the performance of these products is increasing. For this reason, there is a strong demand to increase the commercial value of the image pickup apparatus by incorporating more advanced functions. On the other hand, in recent years, an image processing technique for performing digital arithmetic processing based on an image signal is rapidly progressing, and as an example, there is a technique for detecting a human face from an image. Such face detection technology has been developed to a level that can be mounted on a digital imaging device that performs imaging with a solid-state imaging device, such as a digital still camera, and is a technology for improving the performance and functions of the imaging device. It is attracting a lot of attention. Recently, a technique for discriminating a detected facial expression has also attracted attention.

撮像装置に搭載された顔検出および表情判別の従来の手法としては、例えば、顔領域内の口領域を抽出して解析し、唇領域、歯領域の形状や大きさを基に表情を判別するものがあった（例えば、特許文献１参照）。また、顔検出や表情判別の技術を応用した機能を備える従来の撮像装置としては、例えば、連続して複数コマを撮像した画像信号から、被撮影者の顔の表情などを撮像画像ごとに評価し、それらの評価情報の順位に従って撮像画像を並べて動画像として表示させるようにしたものがあった（例えば、特許文献２参照）。
特開２００５−２３４６８６号公報（段落番号〔００２１〕〜〔００２８〕、図５） 特開２００４−４６５９１号公報（段落番号〔００６３〕〜〔００７１〕、図３） Conventional methods of face detection and facial expression discrimination mounted on the imaging device include, for example, extracting and analyzing the mouth area within the facial area, and discriminating facial expressions based on the shape and size of the lip area and tooth area There was a thing (for example, refer to patent documents 1). In addition, as a conventional imaging apparatus having a function that applies face detection and facial expression discrimination technology, for example, the facial expression of a person to be photographed is evaluated for each captured image from an image signal obtained by continuously imaging a plurality of frames. In some cases, the captured images are arranged and displayed as a moving image according to the order of the evaluation information (see, for example, Patent Document 2).
Japanese Patent Laying-Open No. 2005-234686 (paragraph numbers [0021] to [0028], FIG. 5) JP 2004-46591 A (paragraph numbers [0063] to [0071], FIG. 3)

ところで、上述したように、デジタル方式の撮像装置においては、さらなる性能の向上や、付加価値の高い機能を搭載することが求められている。顔検出や表情判別の技術は、現時点でそのような要求に応えるための代表的な技術として注目されているが、この技術を応用した機能を持つ撮像装置は限られており、さらなる高付加価値の機能が求められている。特に、この技術を、撮像された画像の再生画像の表示に対して効果的に応用することが求められていた。   By the way, as described above, in a digital imaging apparatus, it is required to further improve performance and to install a function with high added value. Face detection and facial expression discrimination technologies are currently attracting attention as representative technologies for meeting such demands, but there are only a limited number of imaging devices that have functions that apply this technology. The function of is required. In particular, this technique has been required to be effectively applied to display of a reproduced image of a captured image.

本発明はこのような課題に鑑みてなされたものであり、顔を含む画像をその顔の表情の度合いに応じて効果的に再生できるようにした画像処理装置、画像処理方法およびプログラムを提供することを目的とする。 The present invention has been made in view of such problems, an image processing apparatus capable of reproducing effectively in accordance with the image including a face on the degree of expression of the face, provide the images processing method and program The purpose is to do.

本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、識別対象の人物ごとに用意された判定対象の表情種別の表情を持つサンプル顔画像に基づき、前記識別対象の人物の識別に用いる顔代表データと、前記識別対象の人物の表情種別の判定に用いる表情種別ごとの表情代表データとを生成し、前記顔代表データおよび前記表情代表データを、当該人物を識別する人物ＩＤに対応付けて登録した登録情報を記憶する記憶部と、画像信号を入力し、前記画像信号に基づく入力画像に含まれる人物の顔を検出し、顔が検出された顔領域を示す位置情報を有する顔検出情報と、前記入力画像から前記顔領域を切り出した顔画像とを生成する顔画像情報検出部と、前記顔画像を前記登録情報に登録されている前記顔代表データと比較して前記顔画像の人物を識別し、当該顔画像の人物の人物ＩＤを取得する顔識別部と、前記登録情報から前記顔識別部によって取得された前記人物ＩＤに対応する前記表情種別ごとの表情代表データを抽出し、前記表情種別ごとに、前記表情代表データと、前記顔画像の表情とがどれだけ近いかの度合いを示す表情強度を算出し、前記表情強度に基づいて前記顔画像の表情種別を判定するとともに、前記顔画像の人物の人物ＩＤ、前記表情種別と当該表情種別の表情強度、および前記顔検出情報に基づく顔領域の位置情報を有する表情判定情報を生成する表情判定部と、前記表情判定情報を取得し、取得した前記表情判定情報の前記表情強度に基づき、表情種別ごとに表情強度に応じて予め決められた画像加工処理を選択し、前記画像信号に対して選択した前記画像加工処理を施し、前記表情強度に応じた画像効果を与える画像加工処理を施す画像効果処理部と、を有する画像処理装置が提供される。
In the present invention, in order to solve the above-mentioned problem, in the image processing apparatus that processes the image signal, the person to be identified is based on a sample face image having a facial expression of the facial expression type to be determined prepared for each person to be identified. Generating facial representative data used for identification and facial expression representative data for each facial expression type used for determining the facial expression type of the person to be identified, and using the facial representative data and facial expression representative data to identify the person A storage unit that stores registration information registered in association with an ID, and position information indicating a face area in which an image signal is input, a human face included in the input image based on the image signal is detected, and the face is detected A face image information detector for generating a face image obtained by cutting out the face area from the input image, and the face representative data registered in the registration information. A face identification unit that identifies a person of the face image as compared with the face image and obtains a person ID of the person of the face image, and the facial expression corresponding to the person ID obtained by the face identification unit from the registration information Expression representative data for each type is extracted, and for each facial expression type, a facial expression strength indicating the degree of similarity between the facial expression representative data and the facial image facial expression is calculated, and the facial expression strength is calculated based on the facial expression strength. The facial expression type is determined , and facial expression determination information including the person ID of the facial image, the facial expression type and the facial expression strength of the facial expression type, and the position information of the facial region based on the face detection information is generated. a facial expression determination unit acquires the facial expression determination information, based on the expression intensities of the acquired facial expression determination information, select the predetermined image processing in accordance with the expression intensities for each facial expression types, the Subjecting the image processing selected for the image signal, the image processing apparatus is provided with an image effect processing unit which performs image processing to provide an image effect in accordance with the expression intensities.

このような画像処理装置では、画像信号に基づく画像に含まれる人物の顔の表情の判定結果が、表情判定情報として顔識別部および表情判定部によって取得される。そして、画像効果処理部により、画像信号に対して、判定された表情種別に応じた画像効果を与える画像加工処理が施される。
In the image processing apparatus, the determination result of the facial expression of a person included in an image based on the images signals, Ru is acquired by the face identification unit and the facial expression determination unit as facial expression determination information. Then, the image effect processing unit, with respect to images signals, image processing is performed to give an image effect corresponding to the determined expression type.

本発明の画像処理装置によれば、入力画像信号に対して、画像に含まれる人物の顔の表情に応じた画像効果を与える処理が施されるので、その入力画像信号を効果的に再生できるようになり、画像処理装置の商品価値を高めることができる。   According to the image processing apparatus of the present invention, the input image signal is subjected to a process for giving an image effect according to the facial expression of the person included in the image, so that the input image signal can be effectively reproduced. As a result, the commercial value of the image processing apparatus can be increased.

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、例えばデジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、光学ブロック駆動部１１ａ、撮像素子１２、撮像素子駆動部１２ａ、Ａ／Ｄ（アナログ／デジタル）変換部１３、カメラ信号処理部１４、画像加工処理部１５、画像圧縮・伸張部１６、圧縮・伸張制御部１６ａ、書込・読出ドライブ１７、記録媒体１７ａ、ドライブ制御部１７ｂ、システム制御部１８、ＨＩ（ヒューマン・インタフェース）制御部１９、入力部２０、ＬＣＤ（Liquid Crystal Display）２１、カメラ制御部２２、加速度センサ２３、および手ぶれ検出部２４を具備する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a main configuration of an imaging apparatus according to an embodiment of the present invention.
The imaging apparatus shown in FIG. 1 is realized as a digital still camera or a digital video camera, for example. The imaging apparatus includes an optical block 11, an optical block driving unit 11a, an imaging element 12, an imaging element driving unit 12a, an A / D (analog / digital) conversion unit 13, a camera signal processing unit 14, an image processing processing unit 15, and an image. Compression / decompression unit 16, compression / decompression control unit 16a, writing / reading drive 17, recording medium 17a, drive control unit 17b, system control unit 18, HI (human interface) control unit 19, input unit 20, LCD ( Liquid Crystal Display) 21, camera control unit 22, acceleration sensor 23, and camera shake detection unit 24.

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミング、光軸調整（手ぶれ補正）を行うための駆動機構、シャッタ機構、アイリス機構などを具備している。光学ブロック駆動部１１ａは、カメラ制御部２２からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。   The optical block 11 includes a lens for condensing light from a subject on the image sensor 12, a drive mechanism for moving the lens to perform focusing, zooming, and optical axis adjustment (camera shake correction), a shutter mechanism, and an iris mechanism. Etc. The optical block driving unit 11 a controls driving of each mechanism in the optical block 11 based on a control signal from the camera control unit 22.

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、撮像素子駆動部１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。撮像素子１２では、被写体の画像が例えばＲＧＢ（Red，Green，Blue）の３原色のアナログ画像信号として取り出される。撮像素子駆動部１２ａは、カメラ制御部２２の制御の下で撮像素子１２に対してタイミング信号を出力する。   The image pickup device 12 is a solid-state image pickup device such as a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal Oxide Semiconductor) type, and is driven based on a timing signal output from the image pickup device driving unit 12a. Is converted into an electrical signal. In the image sensor 12, the image of the subject is extracted as an analog image signal of three primary colors of RGB (Red, Green, Blue), for example. The image sensor driving unit 12 a outputs a timing signal to the image sensor 12 under the control of the camera control unit 22.

Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号を、デジタル画像データに変換する。カメラ信号処理部１４は、Ａ／Ｄ変換部１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にカメラ制御部２２から出力される制御信号に応じた画質補正処理を施す。画質補正処理としては、例えば、ノイズ除去処理やホワイトバランス調整処理などが実行される。   The A / D converter 13 converts the image signal output from the image sensor 12 into digital image data. The camera signal processing unit 14 performs detection processing for AF (Auto Focus), AE (Auto Exposure), various image quality correction processing on the image data from the A / D conversion unit 13, and based on detection information. Image quality correction processing is performed according to the control signal output from the control unit 22. As the image quality correction processing, for example, noise removal processing, white balance adjustment processing, and the like are executed.

画像加工処理部１５は、システム制御部１８の制御の下で、カメラ信号処理部１４の出力画像データを基に各種の画像処理を実行する。例えば、カメラ信号処理部１４からの画像データに対して、例えばユーザ設定に応じて画像をセピア、モノクロなどの色調やモザイク状に変換するといった様々な画像効果を施す処理（エフェクト処理）を実行する。また、後述するように、カメラ信号処理部１４からの画像データを基に、顔検出および表情判定の処理を実行する。顔検出および表情判定によって得た情報は、システム制御部１８に出力される。   The image processing unit 15 executes various types of image processing based on the output image data of the camera signal processing unit 14 under the control of the system control unit 18. For example, processing (effect processing) is performed on the image data from the camera signal processing unit 14 to perform various image effects such as converting the image into sepia, monochrome, or other tone or mosaic according to user settings. . Further, as will be described later, face detection and facial expression determination processing is executed based on the image data from the camera signal processing unit 14. Information obtained by face detection and facial expression determination is output to the system control unit 18.

画像圧縮・伸張部１６は、圧縮・伸張制御部１６ａの制御の下で、動画像および静止画像のデータの圧縮符号化および伸張復号化処理を実行する。静止画像の符号化方式としては、例えばＪＰＥＧ（Joint Photographic Experts Group）方式など、動画像の符号化方式としては、例えばＭＰＥＧ（Moving Picture Experts Group）方式あるいはＨ．２６４方式などが適用される。   The image compression / decompression unit 16 performs compression coding and decompression decoding processing of moving image data and still image data under the control of the compression / decompression control unit 16a. As a still image encoding method, for example, the JPEG (Joint Photographic Experts Group) method is used. As a moving image encoding method, for example, the MPEG (Moving Picture Experts Group) method or the H.264 standard is used. H.264 system or the like is applied.

画像圧縮・伸張部１６は、画像加工処理部１５から出力された画像データを圧縮符号化し、符号化データを書込・読出ドライブ１７に出力する。また、書込・読出ドライブ１７によって記録媒体１７ａから読み出された符号化画像データを伸張復号化し、圧縮・伸張制御部１６ａおよびシステム制御部１８を介してＨＩ制御部１９に供給する。   The image compression / decompression unit 16 compresses and encodes the image data output from the image processing unit 15 and outputs the encoded data to the writing / reading drive 17. The encoded image data read from the recording medium 17 a by the writing / reading drive 17 is decompressed and decoded and supplied to the HI control unit 19 via the compression / decompression control unit 16 a and the system control unit 18.

圧縮・伸張制御部１６ａは、システム制御部１８からの制御信号に応じて、画像圧縮・伸張部１６の処理を制御する。また、画像圧縮・伸張部１６における処理パラメータをシステム制御部１８に供給することもできる。   The compression / decompression control unit 16 a controls processing of the image compression / decompression unit 16 in accordance with a control signal from the system control unit 18. The processing parameters in the image compression / decompression unit 16 can also be supplied to the system control unit 18.

なお、圧縮・伸張制御部１６ａには、例えば、カメラ制御部２２で算出されるレンズ制御情報、露光調整情報、ホワイトバランスなどの画質調整情報、手ぶれ検出情報などが、システム制御部１８を介して入力されている。また、システム制御部１８から画像加工処理部１５に対して指示している画像加工情報も入力されている。そして、圧縮・伸張制御部１６ａは、圧縮レート制御を行う際に、これらの入力情報を基に、画像圧縮・伸張部１６に対して撮影シーンの特徴を事前に通知し、また、各種撮像条件や画像に施した加工の状況に応じて最適な圧縮符号化処理を行うように指示する。これにより、符号化画像の品質を向上させるとともに圧縮率を高めるように圧縮符号化処理を制御することができる。   The compression / decompression control unit 16a receives, for example, lens control information calculated by the camera control unit 22, exposure adjustment information, image quality adjustment information such as white balance, camera shake detection information, and the like via the system control unit 18. Have been entered. Further, image processing information instructed from the system control unit 18 to the image processing unit 15 is also input. Then, the compression / decompression control unit 16a notifies the image compression / decompression unit 16 of the characteristics of the shooting scene in advance based on these input information when performing compression rate control, and various imaging conditions And instructing the optimum compression encoding process to be performed according to the state of processing applied to the image. Thereby, it is possible to control the compression encoding process so as to improve the quality of the encoded image and increase the compression rate.

書込・読出ドライブ１７は、ドライブ制御部１７ｂからの制御の下で、可搬型の記録媒体１７ａに対するデータの書き込み、および記録媒体１７ａからのデータの読み出しを行う装置である。ドライブ制御部１７ｂは、システム制御部１８からの制御信号に応じて、書込・読出ドライブ１７の動作を制御する。また、書込・読出ドライブ１７により読み出されたメタデータを、システム制御部１８に供給することもできる。   The writing / reading drive 17 is a device that writes data to the portable recording medium 17a and reads data from the recording medium 17a under the control of the drive control unit 17b. The drive control unit 17 b controls the operation of the write / read drive 17 in accordance with a control signal from the system control unit 18. Further, the metadata read by the writing / reading drive 17 can be supplied to the system control unit 18.

書込・読出ドライブ１７は、画像圧縮・伸張部１６からの符号化画像データや、図示しない音声符号化部からの符号化音声データを、コンテンツデータファイルとして記録媒体１７ａに記録する。このとき、画像加工処理部１５における顔検出、表情判定によって得られた情報などを、コンテンツデータファイルに対してメタデータとして付加することができるようになっている。また、画像圧縮・伸張部１６は、記録媒体１７ａから読み出した画像データを画像圧縮・伸張部１６に供給し、音声データを図示しない音声復号化部に供給する。このとき、コンテンツデータファイルに付加されたメタデータを抽出して、ドライブ制御部１７ｂを介してシステム制御部１８に供給できるようになっている。   The writing / reading drive 17 records the encoded image data from the image compression / decompression unit 16 and the encoded audio data from an audio encoding unit (not shown) on the recording medium 17a as a content data file. At this time, information obtained by face detection and facial expression determination in the image processing unit 15 can be added as metadata to the content data file. The image compression / decompression unit 16 supplies the image data read from the recording medium 17a to the image compression / decompression unit 16, and supplies the audio data to an audio decoding unit (not shown). At this time, metadata added to the content data file can be extracted and supplied to the system control unit 18 via the drive control unit 17b.

なお、記録媒体１７ａとしては、例えば、磁気テープ、光ディスク、フラッシュメモリなどを適用できる。また、可搬型の記録媒体の代わりに、ＨＤＤ（Hard Disc Drive）などの内蔵型記録媒体を適用することもできる。   As the recording medium 17a, for example, a magnetic tape, an optical disk, a flash memory, or the like can be applied. Further, a built-in recording medium such as an HDD (Hard Disc Drive) can be applied instead of the portable recording medium.

システム制御部１８は、この撮像装置の全体を統括的に制御するブロックである。システム制御部１８は、例えば、カメラ制御部２２との間でのＡＥ、ＡＦなどの各種撮像パラメータの受け渡し、画像加工処理部１５との間での加工制御情報や顔検出、表情判定の結果情報の受け渡し、画像圧縮・伸張部１６との間での圧縮・伸張動作の制御信号やその処理パラメータの受け渡し、書込・読出ドライブ１７に対する記録動作の開始・停止の制御などの機能を担っている。   The system control unit 18 is a block that comprehensively controls the entire imaging apparatus. For example, the system control unit 18 exchanges various imaging parameters such as AE and AF with the camera control unit 22, processing control information with the image processing unit 15, face detection, and facial expression determination result information Functions such as control of the compression / decompression operation control signal and its processing parameters with the image compression / decompression unit 16, and control of start / stop of the recording operation to the writing / reading drive 17. .

ＨＩ制御部１９は、入力部２０に対するユーザの操作入力を検出したときに、その入力に応じた制御情報をシステム制御部１８に供給する。また、画像加工処理部１５からシステム制御部１８を介して供給された画像データを基に、ＬＣＤ２１に表示するための表示画像信号を生成し、ＬＣＤ２１に供給して画像を表示させる。なお、ＨＩ制御部１９には、この他にも、例えば図示しない音声出力部が接続され、図示しない収音部や音声復号化部からの音声データを基に再生音声信号を生成し、音声出力部に供給して音声を出力させる。   When the HI control unit 19 detects a user operation input to the input unit 20, the HI control unit 19 supplies control information corresponding to the input to the system control unit 18. Further, a display image signal to be displayed on the LCD 21 is generated based on the image data supplied from the image processing processing unit 15 via the system control unit 18 and is supplied to the LCD 21 to display an image. In addition to this, for example, an audio output unit (not shown) is connected to the HI control unit 19 to generate a reproduction audio signal based on audio data from a sound collection unit and an audio decoding unit (not shown), and output the audio. To output the sound.

入力部２０は、各種の入力スイッチに対するユーザによる操作入力に応じた制御信号を、ＨＩ制御部１９に出力する。この入力スイッチとしては、例えば、シャッタレリーズボタン、各種メニュー選択や動作モードの設定などを行うための十字キーなどが設けられる。   The input unit 20 outputs a control signal corresponding to an operation input by the user to various input switches to the HI control unit 19. As this input switch, for example, a shutter release button, a cross key for selecting various menus, setting an operation mode, and the like are provided.

カメラ制御部２２は、システム制御部１８の制御の下で、撮像機能の各種調整制御を実行する。例えば、カメラ信号処理部１４による検波結果に応じて、光学ブロック駆動部１１ａ、撮像素子駆動部１２ａに対して、ＡＦやＡＥのための制御信号を供給し、カメラ信号処理部１４に対して、各種画質補正のための制御信号を供給する。また、入力部２０に対する操作入力に応じた制御信号をシステム制御部１８から受けて、光学ブロック駆動部１１ａに対してズーム操作の制御信号を供給する。さらに、手ぶれ検出部２４による手ぶれの検出結果に応じて、光学ブロック駆動部１１ａに対して光軸調整レンズの駆動のための制御信号を供給する。   The camera control unit 22 executes various adjustment controls of the imaging function under the control of the system control unit 18. For example, the control signal for AF or AE is supplied to the optical block driving unit 11a and the image sensor driving unit 12a according to the detection result by the camera signal processing unit 14, and the camera signal processing unit 14 is Provides control signals for various image quality corrections. Further, the control signal corresponding to the operation input to the input unit 20 is received from the system control unit 18 and the control signal for the zoom operation is supplied to the optical block driving unit 11a. Further, a control signal for driving the optical axis adjusting lens is supplied to the optical block driving unit 11a in accordance with the detection result of the camera shake by the camera shake detection unit 24.

加速度センサ２３は、光学ブロック１１内の撮像レンズの光軸に対して、水平方向および垂直方向に対する加速度を検出する。手ぶれ検出部２４は、加速度センサ２３による検出結果に基づき、手ぶれの発生量やその方向を検出して、カメラ制御部２２に出力する。   The acceleration sensor 23 detects acceleration in the horizontal direction and the vertical direction with respect to the optical axis of the imaging lens in the optical block 11. Based on the detection result by the acceleration sensor 23, the camera shake detection unit 24 detects the amount and direction of camera shake and outputs them to the camera control unit 22.

なお、上記の圧縮・伸張制御部１６ａ、ドライブ制御部１７ｂ、システム制御部１８、ＨＩ制御部１９、およびカメラ制御部２２は、それぞれ、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備え、メモリに格納されたプログラムを実行することで上記制御を行うマイクロコンピュータとして実現される。   The compression / decompression control unit 16a, the drive control unit 17b, the system control unit 18, the HI control unit 19, and the camera control unit 22 are respectively a CPU (Central Processing Unit), a ROM (Read Only Memory), The microcomputer includes a memory such as a RAM (Random Access Memory), and is realized as a microcomputer that performs the above-described control by executing a program stored in the memory.

この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換部１３に供給されて、デジタル画像データに変換される。カメラ信号処理部１４は、Ａ／Ｄ変換部１３からの画像データを画質補正処理し、処理後の画像データは画像加工処理部１５およびシステム制御部１８を介してＨＩ制御部１９に供給されて、表示画像信号に変換される。これにより、ＬＣＤ２１には現在撮像中の画像が表示され、撮影者はこの画像を視認して画角を確認できるようになる。   In this image pickup apparatus, signals received and photoelectrically converted by the image pickup device 12 are sequentially supplied to the A / D converter 13 and converted into digital image data. The camera signal processing unit 14 performs image quality correction processing on the image data from the A / D conversion unit 13, and the processed image data is supplied to the HI control unit 19 via the image processing processing unit 15 and the system control unit 18. Are converted into display image signals. As a result, the image currently being captured is displayed on the LCD 21, and the photographer can check the angle of view by visually recognizing this image.

また、入力部２０に対するユーザの記録要求があった場合には、カメラ信号処理部１４からの画像データは画像加工処理部１５を介して画像圧縮・伸張部１６に供給され、圧縮符号化処理が施されて、符号化画像データが書込・読出ドライブ１７を介して記録媒体１７ａにコンテンツデータファイルとして記録される。静止画像の記録の際には、１フレーム分の画像データが画像圧縮・伸張部１６に供給され、動画像の記録の際には、処理された画像データが画像圧縮・伸張部１６に連続的に供給される。   When there is a user recording request for the input unit 20, the image data from the camera signal processing unit 14 is supplied to the image compression / decompression unit 16 through the image processing unit 15, and compression encoding processing is performed. Thus, the encoded image data is recorded as a content data file on the recording medium 17a via the writing / reading drive 17. When recording a still image, image data for one frame is supplied to the image compression / decompression unit 16, and when recording a moving image, the processed image data is continuously transmitted to the image compression / decompression unit 16. To be supplied.

さらに、記録媒体１７ａに記録された画像データを再生する場合には、記録媒体１７ａから書込・読出ドライブ１７によって読み出された画像データが、画像圧縮・伸張部１６によって伸張復号化され、処理後の画像データは画像加工処理部１５およびシステム制御部１８を介してＨＩ制御部１９に供給される。これにより、再生画像がＬＣＤ２１に表示される。   Further, when reproducing the image data recorded on the recording medium 17a, the image data read from the recording medium 17a by the writing / reading drive 17 is decompressed and decoded by the image compression / decompression unit 16 and processed. The subsequent image data is supplied to the HI control unit 19 via the image processing unit 15 and the system control unit 18. Thereby, the reproduced image is displayed on the LCD 21.

次に、この撮像装置が備える顔検出・表情判定処理と、その結果に応じた画像の加工処理について説明する。この撮像装置は、撮像によって得られた画像から人物の顔を検出し、その顔の表情を判定する機能を備えている。また、検出した顔が特定の人物のものであるか否かを識別できるようにもなっている。そして、そのような顔の検出情報や表情の判定情報を、撮像により得た画像データにメタデータとして付加して記録媒体１７ａに記録できるようになっている。なお、このような顔検出・表情判定を、記録媒体１７ａに記録された画像データを基に行うこともできる。さらに、このようにして付加されたメタデータに基づき、対応する画像を表情の判定結果に応じて加工し、エフェクト処理を施すことができるようになっている。   Next, face detection / expression determination processing provided in the imaging apparatus and image processing according to the result will be described. This imaging apparatus has a function of detecting a human face from an image obtained by imaging and determining the facial expression of the person. Further, it is possible to identify whether or not the detected face belongs to a specific person. Such face detection information and facial expression determination information can be added to image data obtained by imaging as metadata and recorded on the recording medium 17a. Such face detection and facial expression determination can also be performed based on image data recorded on the recording medium 17a. Furthermore, based on the metadata added in this way, the corresponding image can be processed according to the facial expression determination result and effect processing can be performed.

まず、このような動作を実現するための構成について説明する。図２は、画像加工処理部の内部構成を示すブロック図である。
画像加工処理部１５は、上述した顔検出・表情判定の機能やエフェクト処理を備えている。この画像加工処理部１５は、ノイズ除去器３１、拡大・縮小器３２、信号変換器３３、画像情報検出器３４、画像合成器３５、フレームメモリ３６、および画像メモリ３７を具備する。なお、フレームメモリ３６および画像メモリ３７は、画像加工処理部１５の外部に接続されていてもよい。 First, a configuration for realizing such an operation will be described. FIG. 2 is a block diagram illustrating an internal configuration of the image processing unit.
The image processing unit 15 includes the above-described face detection / expression determination functions and effect processing. The image processing unit 15 includes a noise remover 31, an enlargement / reduction unit 32, a signal converter 33, an image information detector 34, an image synthesizer 35, a frame memory 36, and an image memory 37. The frame memory 36 and the image memory 37 may be connected to the outside of the image processing unit 15.

ノイズ除去器３１は、カメラ信号処理部１４または画像圧縮・伸張部１６から供給される画像データに含まれる不要なノイズ成分を除去する。このノイズ除去器３１は、１フレーム前にノイズ除去した画像データをフレームメモリ３６から読み込み、その画像データと、カメラ信号処理部１４からの新たな画像データとからノイズ成分を抽出し、新たな画像データからノイズ成分を除去する。そして、ノイズ除去後の画像データを拡大・縮小器３２に出力するとともに、その画像データをフレームメモリ３６にも格納する。なお、ノイズ除去処理の際には、システム制御部１８から、撮像画像に応じたノイズ除去の強度調節パラメータが指定される。   The noise remover 31 removes unnecessary noise components included in the image data supplied from the camera signal processing unit 14 or the image compression / decompression unit 16. The noise remover 31 reads image data from which noise has been removed one frame before from the frame memory 36, extracts a noise component from the image data and new image data from the camera signal processing unit 14, and creates a new image. Remove noise components from data. The image data after noise removal is output to the enlargement / reduction unit 32 and the image data is also stored in the frame memory 36. In the noise removal process, the system control unit 18 designates a noise removal intensity adjustment parameter corresponding to the captured image.

拡大・縮小器３２は、システム制御部１８からの拡大・縮小率の制御情報を受けて、ノイズ除去器３１からの画像データの画像サイズを必要に応じて変換する。
信号変換器３３は、システム制御部１８からの制御情報を受けて、拡大・縮小器３２からの画像データに対して、必要に応じて、画像成分自体を変化させるようなエフェクト処理を施す。例えば、画像の色をセピア調やモノクロなどに変換する処理や、ネガ・ポジ反転処理、モザイク処理、ぼかし処理などを施すことができる。 The enlargement / reduction unit 32 receives the enlargement / reduction rate control information from the system control unit 18 and converts the image size of the image data from the noise remover 31 as necessary.
The signal converter 33 receives control information from the system control unit 18 and applies effect processing to the image data from the enlargement / reduction unit 32 so as to change the image component itself as necessary. For example, processing for converting the color of an image into sepia tone or monochrome, negative / positive inversion processing, mosaic processing, blurring processing, or the like can be performed.

画像情報検出器３４は、信号変換器３３からの画像データを画像処理により解析し、画像中の文字情報や人物の顔の検出、特定の人物の識別、検出した顔の表情判定などの処理を行う。これらの検出情報、識別情報、判定情報はシステム制御部１８に出力され、メタデータとして利用される。また、人物の識別に必要な情報は、システム制御部１８から供給される。   The image information detector 34 analyzes the image data from the signal converter 33 by image processing, and performs processing such as character information in the image and detection of a human face, identification of a specific person, and facial expression determination of the detected face. Do. These detection information, identification information, and determination information are output to the system control unit 18 and used as metadata. Information necessary for identifying a person is supplied from the system control unit 18.

画像合成器３５は、信号変換器３３から画像情報検出器３４を通過して供給された画像データに対して、画像合成を伴うエフェクト処理を施す。例えば、画像メモリ３７に合成用のグラフィック画像のデータを事前に格納しておき、システム制御部１８からの制御情報に応じて、画像メモリ３７から読み込んだグラフィック画像を、αブレンディングにより透過合成したり、あるいは画像中の指定された領域にのみ合成する。また、動画像データに対しては、時間軸に沿って合成比を徐々に遷移させるフェーダ処理を行うこともできる。   The image synthesizer 35 performs effect processing with image synthesis on the image data supplied from the signal converter 33 through the image information detector 34. For example, graphic image data for synthesis is stored in the image memory 37 in advance, and the graphic image read from the image memory 37 is transparently synthesized by α blending according to control information from the system control unit 18. Or, it composes only to the specified area in the image. In addition, fader processing for gradually changing the composition ratio along the time axis can be performed on the moving image data.

図３は、画像情報検出器の内部構成を示すブロック図である。
画像情報検出器３４は、拡大・縮小器３２からの画像データを基に画像に含まれる顔を検出し、検出した顔の情報を生成する顔画像情報検出器４０と、検出された顔から特定の人物を識別し、またその顔の表情を判定して、識別結果や判定結果の情報を生成する表情情報検出器５０とを具備する。顔画像情報検出器４０は、静止画像生成部４１、顔検出部４２、顔画像・サムネイル生成部４３、および顔画像情報生成部４４を備える。また、表情情報検出器５０は、顔識別部５１、識別情報生成部５２、表情判定部５３、および表情情報生成部５４を備える。 FIG. 3 is a block diagram showing the internal configuration of the image information detector.
The image information detector 34 detects a face included in the image based on the image data from the enlargement / reduction unit 32, and generates a face image information detector 40 that generates detected face information. And a facial expression information detector 50 for determining facial expressions and generating identification results and information on the determination results. The face image information detector 40 includes a still image generation unit 41, a face detection unit 42, a face image / thumbnail generation unit 43, and a face image information generation unit 44. The facial expression information detector 50 includes a face identification unit 51, an identification information generation unit 52, a facial expression determination unit 53, and a facial expression information generation unit 54.

顔画像情報検出器４０において、静止画像生成部４１は、拡大・縮小器３２から供給された画像データが動画像データの場合に、その動画像データからフレームごとの静止画像データを生成する。なお、後段の顔検出・識別処理や表情判定処理に要する時間が１フレームの周期より長い場合や、処理負荷を軽減して消費電力を抑制する場合などでは、動画像データから所定フレームごとに静止画像を間引いて出力してもよい。   In the face image information detector 40, when the image data supplied from the enlarging / reducing device 32 is moving image data, the still image generating unit 41 generates still image data for each frame from the moving image data. When the time required for the subsequent face detection / identification process or facial expression determination process is longer than the period of one frame, or when the processing load is reduced and the power consumption is reduced, the moving image data is stopped every predetermined frame. The image may be thinned out and output.

顔検出部４２は、静止画像生成部４１を介して供給された画像データを基に、画像に含まれる人物の顔を検出し、検出結果を顔画像・サムネイル生成部４３に出力するとともに、顔が検出されたことをシステム制御部１８に通知する。   The face detection unit 42 detects the face of a person included in the image based on the image data supplied via the still image generation unit 41 and outputs the detection result to the face image / thumbnail generation unit 43. Is detected to the system control unit 18.

顔画像・サムネイル生成部４３は、顔検出部４２による顔の検出結果に基づいて、入力画像から顔画像を切り出し、その画像データをシステム制御部１８に供給する。また、入力画像のサムネイル画像を生成して、その画像データもシステム制御部１８に供給する。サムネイル画像は、後述するように、生成した画像データファイルにメタデータとして付加され、再生画像の選択時に一覧表示するために利用される。このサムネイル画像としては、例えば、入力画像を単に所定サイズに縮小したものでもよく、顔が検出されている場合には、その検出領域を切り出した画像を所定サイズに変換したものでもよい。   The face image / thumbnail generation unit 43 cuts out a face image from the input image based on the face detection result by the face detection unit 42 and supplies the image data to the system control unit 18. Further, a thumbnail image of the input image is generated, and the image data is also supplied to the system control unit 18. As will be described later, the thumbnail image is added as metadata to the generated image data file, and is used to display a list when selecting a reproduction image. As the thumbnail image, for example, an input image may be simply reduced to a predetermined size. If a face is detected, an image obtained by cutting out the detection area may be converted to a predetermined size.

なお、動画像データの記録中においては、システム制御部１８の処理により、例えば、顔の検出開始時に生成されたサムネイル画像を記憶した後、そのサムネイル画像を、表情情報検出器５０からの表情情報に基づいて、表情の強さの度合いを示す情報（後述する表情スコア）が高くなったときに生成されるサムネイル画像により更新して、表情スコアが最も高いサムネイル画像のデータをメタデータに登録するようにしてもよい。これにより、再生ファイルの選択のためにサムネイル画像を一覧表示させたときに、所望の表情の人物が写っている画像ファイルをユーザが簡単に探し出すことができるようになる。   During recording of moving image data, for example, after the thumbnail image generated at the start of face detection is stored by the processing of the system control unit 18, the thumbnail image is converted into the expression information from the expression information detector 50. The thumbnail image data having the highest facial expression score is registered in the metadata by updating the thumbnail image generated when the information indicating the degree of facial expression strength (facial expression score, which will be described later) is high. You may do it. As a result, when thumbnail images are displayed as a list for selecting a playback file, the user can easily find an image file in which a person with a desired facial expression is shown.

顔画像情報生成部４４は、顔検出部４２による顔の検出結果を、顔画像情報としてシステム制御部１８に供給する。なお、この顔検出情報としては、例えば、検出された顔の画像内での領域を示す位置情報およびサイズ情報などが生成される。   The face image information generation unit 44 supplies the face detection result by the face detection unit 42 to the system control unit 18 as face image information. As the face detection information, for example, position information and size information indicating a region in the detected face image are generated.

一方、表情情報検出器５０において、顔識別部５１は、検出された顔画像のデータをシステム制御部１８から受け取り、システム制御部１８から人物指定情報により指定された人物を識別する。識別情報生成部５２は、識別結果を示す情報を顔識別情報としてシステム制御部１８に出力する。   On the other hand, in the facial expression information detector 50, the face identifying unit 51 receives the detected face image data from the system control unit 18, and identifies the person designated by the person designation information from the system control unit 18. The identification information generation unit 52 outputs information indicating the identification result to the system control unit 18 as face identification information.

表情判定部５３は、顔識別部５１から識別情報生成部５２を介して供給された顔画像のデータを基に、顔の表情を判定する。ここでは、その顔の表情が、笑顔、怒り顔、泣き顔などのどのような種類であるかを示す表情種別と、その種類の表情にどれだけ近いかの度合い、すなわち表情の強度を示す表情スコアとを出力する。表情情報生成部５４は、表情種別や表情スコアを含む、表情判定部５３による判定結果を、表情情報としてシステム制御部１８に出力する。   The facial expression determination unit 53 determines the facial expression based on the facial image data supplied from the face identification unit 51 via the identification information generation unit 52. Here, the facial expression type indicates what kind of facial expression the smile, angry face, crying face, etc., and how close the facial expression is, that is, the facial expression score that indicates the strength of the facial expression. Is output. The facial expression information generation unit 54 outputs the determination result by the facial expression determination unit 53 including the facial expression type and facial expression score to the system control unit 18 as facial expression information.

図４は、書込・読出ドライブの内部構成を示すブロック図である。
書込・読出ドライブ１７は、バッファ６１と、ファイル管理情報処理部６２とを具備する。また、記録媒体１７ａには、静止画像データ、動画像データを含むコンテンツファイルが格納されるコンテンツ領域７１と、それらのコンテンツファイルを管理するファイル管理情報が格納される管理情報領域７２とが設けられている。 FIG. 4 is a block diagram showing the internal configuration of the write / read drive.
The writing / reading drive 17 includes a buffer 61 and a file management information processing unit 62. The recording medium 17a is provided with a content area 71 for storing content files including still image data and moving image data, and a management information area 72 for storing file management information for managing these content files. ing.

バッファ６１は、データ記録時には、画像圧縮・伸張部１６から供給された画像データを含む、記録媒体１７ａに記録するコンテンツファイルを一時的に記憶し、記録媒体１７ａのコンテンツ領域７１に書き込む。また、データ再生時には、記録媒体１７ａのコンテンツ領域７１から読み出したコンテンツファイルを一時的に記憶し、画像圧縮・伸張部１６などに供給する。   At the time of data recording, the buffer 61 temporarily stores a content file to be recorded on the recording medium 17a including the image data supplied from the image compression / decompression unit 16, and writes it in the content area 71 of the recording medium 17a. When reproducing data, the content file read from the content area 71 of the recording medium 17a is temporarily stored and supplied to the image compression / decompression unit 16 and the like.

ファイル管理情報処理部６２は、データ記録時には、システム制御部１８からドライブ制御部１７ｂを介して供給される情報に基づいて、バッファ６１に記憶されたコンテンツファイルに対応するファイル管理情報を生成し、記録媒体１７ａの管理情報領域７２に書き込む。また、データ再生時には、記録媒体１７ａの管理情報領域７２からファイル管理情報を読み出し、ドライブ制御部１７ｂを介してシステム制御部１８に供給する。   The file management information processing unit 62 generates file management information corresponding to the content file stored in the buffer 61 based on information supplied from the system control unit 18 via the drive control unit 17b during data recording. Write to the management information area 72 of the recording medium 17a. When reproducing data, the file management information is read from the management information area 72 of the recording medium 17a and supplied to the system control unit 18 via the drive control unit 17b.

なお、記録媒体１７ａに対するデータの書き込み、および記録媒体１７ａからのデータの読み出しは、書込・読出ドライブ１７の物理リード／ライト層６３を介して行われる。この物理リード／ライト層６３は、書き込み対象のデータの変調や読み出したデータの復調、これらのデータの誤り訂正処理などを実行する。   Note that data writing to the recording medium 17a and data reading from the recording medium 17a are performed via the physical read / write layer 63 of the writing / reading drive 17. The physical read / write layer 63 performs modulation of data to be written, demodulation of read data, error correction processing of these data, and the like.

図５は、記録媒体に記録されるデータについて説明するための図である。
記録媒体１７ａのコンテンツ領域７１には、静止画像ファイル７１ａ、音声ファイル７１ｂ、動画像ファイル７１ｃなどのコンテンツファイルが格納される。一方、管理情報領域７２には、コンテンツ領域７１に格納されたコンテンツファイルを一括して管理するためのファイル管理情報８０が格納される。 FIG. 5 is a diagram for explaining data recorded on the recording medium.
The content area 71 of the recording medium 17a stores content files such as a still image file 71a, an audio file 71b, and a moving image file 71c. On the other hand, the management information area 72 stores file management information 80 for collectively managing the content files stored in the content area 71.

ファイル管理情報８０には、関連情報８１、サムネイル画像データ８２、メタデータ８３などが含まれる。関連情報８１には、コンテンツファイルのファイル名やそのファイルの記録媒体１７ａ上の格納位置など、コンテンツ領域７１内の各コンテンツファイルとの関連付けを行うための基本的なリンク情報が含まれる。サムネイル画像データ８２には、静止画像ファイル７１ａおよび動画像ファイル７１ｃに対応するサムネイル画像のデータが含まれ、画像加工処理部１５内の顔画像・サムネイル生成部４３において生成されるサムネイル画像のデータも、これに含まれる。   The file management information 80 includes related information 81, thumbnail image data 82, metadata 83, and the like. The related information 81 includes basic link information for associating with each content file in the content area 71 such as the file name of the content file and the storage position of the file on the recording medium 17a. The thumbnail image data 82 includes thumbnail image data corresponding to the still image file 71a and the moving image file 71c, and the thumbnail image data generated by the face image / thumbnail generation unit 43 in the image processing unit 15 is also included. Included in this.

メタデータ８３には、コンテンツ領域７１内の各コンテンツファイルに対応する属性データが含まれる。そして、静止画像ファイル７１ａや動画像ファイル７１ｃに対応するメタデータ８３として、顔・表情データ８３ａを含めることができる。顔・表情データ８３ａには、その画像の中から検出された顔の領域の位置やサイズなどを示す顔位置情報、顔画像から識別された人物を特定するための識別情報である人物ＩＤ、人物ＩＤごと（または顔位置情報ごと）の表情種別、表情スコア（動画像ファイル７１ｃの場合、例えばその最高値）などを含めることができる。また、動画像ファイルに対しては、人物ＩＤ（または顔位置情報）に対応する顔が検出されている時系列上の位置情報を含めてもよい。このような位置情報として、例えば、顔が検出されている始点・終了点を、経過時間やフレーム数などによって示した始点・終了点情報を含めてもよい。また、特定の種類の表情に対する表情スコアが最大値になったタイミングを示す情報などを含めてもよい。   The metadata 83 includes attribute data corresponding to each content file in the content area 71. The face / expression data 83a can be included as the metadata 83 corresponding to the still image file 71a or the moving image file 71c. The face / expression data 83a includes face position information indicating the position and size of a face area detected from the image, a person ID that is identification information for identifying a person identified from the face image, a person An expression type for each ID (or for each face position information), an expression score (in the case of the moving image file 71c, for example, its maximum value), and the like can be included. The moving image file may include time-series position information in which a face corresponding to the person ID (or face position information) is detected. As such position information, for example, start point / end point information indicating a start point / end point at which a face is detected by an elapsed time or the number of frames may be included. Moreover, you may include the information etc. which show the timing when the facial expression score with respect to a specific kind of facial expression became the maximum value.

なお、本実施の形態では、コンテンツファイルのリンク情報やメタデータ８３などをファイル管理情報８０により一括して管理しているが、リンク情報やメタデータ８３などをコンテンツファイルごとに付加して記録しておいてもよい。   In this embodiment, the link information and metadata 83 of the content file are collectively managed by the file management information 80. However, the link information and metadata 83 are added and recorded for each content file. You may keep it.

ここで、記録媒体１７ａに記録されたコンテンツファイルのうち、静止画像ファイル７１ａあるいは動画像ファイル７１ｃを上記の撮像装置で再生する場合には、まずファイル管理情報８０が読み出され、このファイル管理情報８０が、書込・読出ドライブ１７のファイル管理情報処理部６２、ドライブ制御部１７ｂを介してシステム制御部１８に供給される。システム制御部１８は、ファイル管理情報８０内のサムネイル画像のデータをＨＩ制御部１９に供給し、このサムネイル画像を一覧表示させたファイル選択画面をＬＣＤ２１に表示させる。   Here, among the content files recorded on the recording medium 17a, when the still image file 71a or the moving image file 71c is reproduced by the above-described imaging device, the file management information 80 is first read, and this file management information is read out. 80 is supplied to the system control unit 18 via the file management information processing unit 62 of the write / read drive 17 and the drive control unit 17b. The system control unit 18 supplies the thumbnail image data in the file management information 80 to the HI control unit 19 and causes the LCD 21 to display a file selection screen on which the thumbnail images are displayed as a list.

この状態で、入力部２０を通じたユーザの選択操作によりサムネイル画像が選択され、再生が要求されると、その選択情報がシステム制御部１８からドライブ制御部１７ｂを介して書込・読出ドライブ１７に通知される。書込・読出ドライブ１７は、ファイル管理情報処理部６２の処理により、通知されたコンテンツファイルの記録媒体１７ａ内の位置を示すリンク情報をファイル管理情報８０から抽出し、抽出したリンク情報を基に記録媒体１７ａから対応するコンテンツファイルを読み出してバッファ６１に格納した後、画像圧縮・伸張部１６に供給する。これにより、読み出されたコンテンツファイルの再生動作が実行される。   In this state, when a thumbnail image is selected by a user's selection operation through the input unit 20 and playback is requested, the selection information is transferred from the system control unit 18 to the writing / reading drive 17 via the drive control unit 17b. Be notified. The writing / reading drive 17 extracts link information indicating the position of the notified content file in the recording medium 17a from the file management information 80 by the processing of the file management information processing unit 62, and based on the extracted link information A corresponding content file is read from the recording medium 17 a and stored in the buffer 61, and then supplied to the image compression / decompression unit 16. Thereby, the reproduction operation of the read content file is executed.

また、コンテンツファイルの読み出しとともに、このファイルに対応するメタデータ８３を読み出して、ドライブ制御部１７ｂを介してシステム制御部１８に供給することもできる。これにより、以下で説明するように、再生された画像に対して表情種別や表情スコアに応じたエフェクト処理を施すことが可能になる。   In addition to the reading of the content file, the metadata 83 corresponding to the file can be read and supplied to the system control unit 18 via the drive control unit 17b. As a result, as described below, it is possible to perform effect processing according to the expression type and expression score on the reproduced image.

以下、例として静止画像の撮像時および再生時の処理例について説明する。まず、図６は、撮像画像データの記録処理手順を示すフローチャートである。
〔ステップＳ１１〕システム制御部１８は、ユーザ操作によって画像の記録要求があったか否かを判定する。記録要求があった場合には、ステップＳ１２の処理が実行される。 Hereinafter, as an example, a processing example at the time of capturing and reproducing a still image will be described. First, FIG. 6 is a flowchart showing a procedure for recording captured image data.
[Step S11] The system control unit 18 determines whether an image recording request has been made by a user operation. If there is a recording request, the process of step S12 is executed.

〔ステップＳ１２〕カメラ信号処理部１４から出力される画像のデータに対して、画像加工処理部１５において、顔検出に適したフィルタリング処理が施される。このフィルタリング処理は、例えば、画像加工処理部１５の信号変換器３３によって実行される。   [Step S12] The image processing unit 15 performs filtering processing suitable for face detection on the image data output from the camera signal processing unit. This filtering process is executed by the signal converter 33 of the image processing unit 15, for example.

〔ステップＳ１３〕顔画像情報検出器４０の顔検出部４２において、入力画像から顔が検出される。このとき、顔画像・サムネイル生成部４３において、顔領域を切り出した顔画像とサムネイル画像の各データが生成されて、顔画像情報生成部４４において顔画像情報が生成されて、これらがシステム制御部１８に供給される。なお、顔が検出されなかった場合には、その静止画像のデータが通常通り、記録媒体１７ａに記録される。   [Step S13] The face detection unit 42 of the face image information detector 40 detects a face from the input image. At this time, the face image / thumbnail generation unit 43 generates face image data and thumbnail image data obtained by cutting out the face area, and the face image information generation unit 44 generates face image information, which is stored in the system control unit. 18 is supplied. If no face is detected, the still image data is recorded on the recording medium 17a as usual.

〔ステップＳ１４〕表情情報検出器５０の顔識別部５１において、生成された顔画像から特定の人物の識別が行われる。複数の顔が検出されていた場合には、それらのうちの１つの顔画像から識別を行う。   [Step S14] The face identification unit 51 of the facial expression information detector 50 identifies a specific person from the generated face image. When a plurality of faces are detected, identification is performed from one of the face images.

このステップでは、まず、あらかじめ登録されていた人物を識別するための情報が、システム制御部１８から顔識別部５１に対して与えられ、顔識別部５１は、この登録情報を基に特定の人物を識別する。登録情報を基に人物を識別できた場合には、識別情報生成部５２により、その人物を識別するための人物ＩＤがシステム制御部１８に対して通知される。また、識別の仕方としては、登録されているいずれかの人物に該当するか否かを識別する他、識別する人物をユーザ操作などによって指定し、検出された顔がその人物のものであるか否かを識別してもよい。   In this step, first, information for identifying a person registered in advance is given from the system control unit 18 to the face identifying unit 51, and the face identifying unit 51 selects a specific person based on the registered information. Identify When the person can be identified based on the registered information, the identification information generating unit 52 notifies the system control unit 18 of a person ID for identifying the person. In addition to identifying whether the person falls under any registered person, the person to be identified is specified by a user operation or the like, and whether the detected face belongs to that person. You may identify whether or not.

〔ステップＳ１５〕システム制御部１８は、顔識別部５１において特定の人物が識別されたか否かを判定する。識別された場合には、ステップＳ１６の処理が実行され、識別されなかった場合には、ステップＳ２０の処理が実行される。   [Step S15] The system control unit 18 determines whether or not a specific person has been identified by the face identification unit 51. If it is identified, the process of step S16 is executed. If it is not identified, the process of step S20 is executed.

〔ステップＳ１６〕表情情報検出器５０の表情判定部５３において、識別された人物に対応する登録情報を基に、その顔の表情が判定される。この処理では、例えば、表情種別とその表情スコアとが判定され、それらの情報が表情情報生成部５４からシステム制御部１８に出力される。なお、登録情報には、例えば、特定の人物ＩＤに対して表情種別ごとに表情判定用データが格納されている。   [Step S16] The facial expression determination unit 53 of the facial expression information detector 50 determines the facial expression of the face based on the registered information corresponding to the identified person. In this process, for example, the facial expression type and the facial expression score are determined, and the information is output from the facial expression information generation unit 54 to the system control unit 18. The registration information stores, for example, facial expression determination data for each facial expression type for a specific person ID.

〔ステップＳ１７〕システム制御部１８は、表情スコアがしきい値を超えたか否かを判定する。しきい値を超えていた場合、ステップＳ１８の処理が実行され、超えていなかった場合、ステップＳ１９の処理が実行される。   [Step S17] The system control unit 18 determines whether or not the facial expression score exceeds a threshold value. When the threshold value is exceeded, the process of step S18 is executed. When the threshold value is not exceeded, the process of step S19 is executed.

〔ステップＳ１８〕システム制御部１８の制御の下で、撮像により得られた静止画像のデータが記録媒体１７ａのコンテンツ領域７１に記録されるとともに、検出された顔に関する顔位置情報、識別された人物の人物ＩＤ、表情スコア、表情種別などの情報が、顔・表情データ８３ａとして記録媒体１７ａのファイル管理情報８０に記録される。   [Step S18] Under the control of the system control unit 18, still image data obtained by imaging is recorded in the content area 71 of the recording medium 17a, face position information regarding the detected face, and the identified person Is recorded in the file management information 80 of the recording medium 17a as face / expression data 83a.

〔ステップＳ１９〕システム制御部１８の制御の下で、撮像により得られた静止画像のデータが記録媒体１７ａのコンテンツ領域７１に記録されるとともに、顔・表情データ８３ａとして記録媒体１７ａのファイル管理情報８０に記録される。顔・表情データ８３ａには、検出された顔に関する顔位置情報、識別された人物の人物ＩＤの他、無表情であることを示す情報が記録される。   [Step S19] Under control of the system control unit 18, still image data obtained by imaging is recorded in the content area 71 of the recording medium 17a, and file management information of the recording medium 17a as face / expression data 83a. 80. In the face / expression data 83a, information indicating that there is no expression is recorded in addition to the face position information regarding the detected face and the person ID of the identified person.

〔ステップＳ２０〕システム制御部１８は、検出されたすべての顔についての処理が終了したか否かを判定する。終了していない場合には、ステップＳ１４に戻って処理が実行される。そして、すべての顔についての人物の識別や表情の判定などが終了するまで処理が繰り返され、これにより静止画像のデータファイルと、これに対応するメタデータ８３中の顔・表情データ８３ａとが、記録媒体１７ａに記録される。   [Step S20] The system control unit 18 determines whether or not the processing has been completed for all detected faces. If not completed, the process returns to step S14 to execute the process. Then, the process is repeated until the identification of persons and the determination of facial expressions for all the faces are completed, whereby the still image data file and the corresponding face / expression data 83a in the metadata 83 are It is recorded on the recording medium 17a.

なお、動画像データを記録する場合には、画像加工処理部１５に対して画像データが入力される間、顔の検出や表情の判定が随時実行される。例えば、一旦顔が検出され、それに対応する人物が識別されると、顔・表情データ８３ａに登録する顔位置情報や人物ＩＤが設定され、その後、その顔が検出されなくなるまで表情判定が実行される。また、顔が検出されている期間の始点・終了点情報も記録される。顔・表情データ８３ａには、例えば、１つの表情種別に対応する表情スコアの最大値が記録されてもよいし、あるいは表情スコアおよび表情種別の遷移が記録されてもよい。   When moving image data is recorded, face detection and facial expression determination are performed as needed while image data is input to the image processing unit 15. For example, once a face is detected and a person corresponding to the face is detected, face position information and a person ID registered in the face / expression data 83a are set, and then the expression determination is performed until the face is not detected. The In addition, start / end point information of a period during which a face is detected is also recorded. In the face / expression data 83a, for example, the maximum value of the expression score corresponding to one expression type may be recorded, or the transition of the expression score and the expression type may be recorded.

図７は、記録された撮像画像データの再生処理手順を示すフローチャートである。
この図７に示す処理は、例えば、ユーザの操作によって、記録媒体１７ａ内に記録された静止画像ファイル７１ａの１つが選択され、表情判定結果に応じたエフェクト処理を伴うエフェクト再生モードで再生することが要求された場合に実行される。具体的な手順の例を挙げると、まず、記録媒体１７ａに格納された静止画像ファイル７１ａのそれぞれを示す、サムネイル画像データ８２に基づくサムネイル画像が、ＬＣＤ２１に一覧表示される。このとき、顔が検出されているファイル、すなわち顔・表情データ８３ａが記録されているファイルに対応するサムネイル画像には、例えばその画像枠の色を変化させることによってそのファイルを視覚的に識別できるようにしてもよい。また、表情スコアや表情種別、人物ＩＤに応じた識別ができるようにしてもよい。 FIG. 7 is a flowchart showing a reproduction processing procedure of recorded captured image data.
In the process shown in FIG. 7, for example, one of the still image files 71a recorded in the recording medium 17a is selected by the user's operation, and is reproduced in the effect reproduction mode with the effect process according to the facial expression determination result. Executed when requested. As an example of a specific procedure, first, thumbnail images based on the thumbnail image data 82 indicating each of the still image files 71a stored in the recording medium 17a are displayed as a list on the LCD 21. At this time, the thumbnail image corresponding to the file in which the face is detected, that is, the file in which the face / expression data 83a is recorded can be visually identified by changing the color of the image frame, for example. You may do it. Moreover, you may enable it to identify according to a facial expression score, facial expression classification, and person ID.

そして、その後、ユーザ操作によってサムネイル画像のうちの１つが選択され、エフェクト再生モードでの再生を要求するための特定のキーに対する入力が行われることで、以下の処理が開始される。また、通常再生モードで再生中またはその再生終了直後に、エフェクト再生モードに切り替えることで、以下の処理が開始されてもよい。   Thereafter, one of the thumbnail images is selected by a user operation, and an input to a specific key for requesting reproduction in the effect reproduction mode is performed, whereby the following processing is started. In addition, the following processing may be started by switching to the effect playback mode during playback in the normal playback mode or immediately after the end of playback.

〔ステップＳ２１〕システム制御部１８は、選択されたサムネイル画像に対応するメタデータ８３に、顔・表情データ８３ａが付加されているか否かを判定する。付加されている場合は、ステップＳ２２の処理が実行され、付加されていない場合は、ステップＳ２３の処理が実行される。   [Step S21] The system control unit 18 determines whether the face / expression data 83a is added to the metadata 83 corresponding to the selected thumbnail image. If added, the process of step S22 is executed. If not added, the process of step S23 is executed.

〔ステップＳ２２〕記録媒体１７ａから対応する静止画像ファイル７１ａが読み出され、画像の再生が開始される。このとき、対応する顔・表情データ８３ａが読み込まれ、その中に記述された表情種別、表情スコアに応じて、再生画像に対してエフェクト処理が画像加工処理部１５によって施される。なお、エフェクト処理の具体例については後述する。   [Step S22] The corresponding still image file 71a is read from the recording medium 17a, and image reproduction is started. At this time, the corresponding face / expression data 83a is read, and the effect processing is performed on the reproduced image by the image processing unit 15 according to the expression type and expression score described therein. A specific example of effect processing will be described later.

〔ステップＳ２３〕記録媒体１７ａから対応する静止画像ファイル７１ａが読み出され、画像の再生が開始される。このとき、画像圧縮・伸張部１６によって復号化された画像データは、画像加工処理部１５に入力される。   [Step S23] The corresponding still image file 71a is read from the recording medium 17a, and image reproduction is started. At this time, the image data decoded by the image compression / decompression unit 16 is input to the image processing unit 15.

〔ステップＳ２４〜Ｓ２６〕システム制御部１８による制御の下で、再生画像からの顔の検出、および表情の判定が実行される。すなわち、画像加工処理部１５において、画像圧縮・伸張部１６からの画像データを基に顔の検出および表情の判定が実行される。基本的な手順は図６で説明した通りであり、顔が検出されると顔画像が生成され（ステップＳ２４）、その顔画像から表情が判定されて（ステップＳ２５）、顔検出結果、表情判定結果を基に顔・表情データ８３ａが生成される（ステップＳ２６）。また、図６と同様に人物の識別が行われてもよい。ここで、生成された顔・表情データ８３ａは、撮像装置内部で一旦バッファリングされ、次のステップＳ２２でその顔・表情データ８３ａが参照されて、エフェクト処理が実行される。また、再生終了後に、その顔・表情データ８３ａを、対応するメタデータ８３に記録してもよい。   [Steps S24 to S26] Under the control of the system control unit 18, face detection and facial expression determination from the reproduced image are executed. That is, the image processing unit 15 executes face detection and facial expression determination based on the image data from the image compression / decompression unit 16. The basic procedure is as described with reference to FIG. 6. When a face is detected, a face image is generated (step S24), an expression is determined from the face image (step S25), and the face detection result and expression determination are performed. Based on the result, face / expression data 83a is generated (step S26). Further, the person may be identified as in FIG. Here, the generated face / expression data 83a is temporarily buffered in the imaging apparatus, and the face / expression data 83a is referred to in the next step S22 to execute effect processing. Further, the face / expression data 83a may be recorded in the corresponding metadata 83 after the reproduction is finished.

以上の図７の処理手順によれば、静止画像ファイル７１ａに付加されていた顔・表情データ８３ａを基に、再生画像にエフェクト処理を施すことができるだけでなく、顔・表情データ８３ａが付加されていない場合でも、その再生画像から顔検出や表情判定を行って、同様にエフェクト処理を施すことが可能になる。   According to the processing procedure shown in FIG. 7, not only can the effect processing be performed on the reproduced image based on the face / expression data 83a added to the still image file 71a, but also the face / expression data 83a is added. Even if not, it is possible to perform effect processing in the same manner by performing face detection and facial expression determination from the reproduced image.

なお、上記の図６の処理手順においても、顔検出や表情判定の結果に応じて、撮像画像に対してエフェクト処理を施し、その処理後の画像データを符号化して記録媒体１７ａに記録するようにしてもよい。また、エフェクト処理を施した撮像画像をＬＣＤ２１にリアルタイムに表示してもよい。この場合、エフェクト処理を施した撮像画像のデータを並行して記録媒体１７ａに記録してもよい。また、エフェクト処理を施した撮像画像のＬＣＤ２１への表示を記録待機時（すなわちモニタリング時）に行うことで、被写体の表情が好適であるときに記録できるように、その表情を確認する用途に用いることもできる。   In the processing procedure of FIG. 6 as well, the effect processing is performed on the captured image in accordance with the results of face detection and facial expression determination, and the processed image data is encoded and recorded on the recording medium 17a. It may be. Further, the captured image subjected to the effect processing may be displayed on the LCD 21 in real time. In this case, captured image data subjected to effect processing may be recorded in parallel on the recording medium 17a. In addition, when the captured image subjected to the effect processing is displayed on the LCD 21 during recording standby (that is, during monitoring), it is used for checking the facial expression so that it can be recorded when the facial expression of the subject is suitable. You can also.

また、記録された画像データを再生する場合には、例えば、サムネイル画像をファイル選択画面に一覧表示させる前に、ユーザ操作によってあらかじめエフェクト再生モードに設定してもよい。この場合、顔・表情データ８３ａが付加されているファイルのサムネイル画像のみを一覧表示してもよい。また、記録媒体１７ａ内のメタデータ８３を参照して、特定の（またはすべての）表情種別での表情スコアが高い順にサムネイル画像を一覧表示させるなど、ファイル選択画面上にメタデータ８３内の情報を反映させるようにしてもよい。   When playing back recorded image data, for example, before displaying thumbnail images in a list on the file selection screen, the effect playback mode may be set in advance by a user operation. In this case, only thumbnail images of files to which the face / expression data 83a is added may be displayed as a list. In addition, information in the metadata 83 is displayed on the file selection screen by referring to the metadata 83 in the recording medium 17a and displaying a list of thumbnail images in descending order of facial expression score for a specific (or all) facial expression type. May be reflected.

また、サムネイル画像を一覧表示させたファイル選択画面からユーザが画像を選択した後、登録されている中からユーザがさらに人物を指定して、その人物に対応する顔のメタデータ８３のみに基づいて再生画像にエフェクト処理を施すようにしてもよい。また、事前に人物を指定し、その人物ＩＤが顔・表情データ８３ａに記録された画像ファイルのサムネイル画像のみを検索してファイル選択画面に一覧表示させた後に、画像を選択して同様な再生処理を実行するようにしてもよい。あるいは、事前に表情種別を指定し、その表情種別の表情を持つ顔が撮像された画像ファイルのサムネイル画像のみを検索して、ファイル選択画面に一覧表示させた後、画像を選択して同様な再生処理を実行するようにしてもよい。   Further, after the user selects an image from the file selection screen displaying a list of thumbnail images, the user designates a person from among the registered images, and only based on the face metadata 83 corresponding to the person. You may make it perform an effect process to a reproduction | regeneration image. Also, a person is specified in advance, and only thumbnail images of image files whose person IDs are recorded in the face / expression data 83a are searched and displayed in a list on the file selection screen, and then images are selected and reproduced in the same manner. Processing may be executed. Alternatively, a facial expression type is designated in advance, and only thumbnail images of image files in which a face having a facial expression of that facial expression type is imaged are displayed and displayed in a list on the file selection screen. You may make it perform reproduction | regeneration processing.

さらに、他の再生モードの例として、記録媒体１７ａ内のメタデータ８３を参照して、特定の（またはすべての）表情種別での表情スコアが高い順に、自動的に静止画像ファイル７１ａを順次再生するなど、再生動作自体にメタデータ８３内の情報を反映させてもよい。   Furthermore, as another example of the playback mode, the still image file 71a is automatically played back sequentially in descending order of facial expression score for a specific (or all) facial expression type with reference to the metadata 83 in the recording medium 17a. For example, the information in the metadata 83 may be reflected in the reproduction operation itself.

ところで、検出した顔の画像から特定の人物を識別するためには、その識別に必要な情報を撮像装置にあらかじめ登録しておかなければならない。また、各種の表情の度合いを判定するためには、表情種別ごとにその判定に必要な情報を登録しておかなければならない。このような人物識別や表情判定に必要な情報は、一般的に、識別する人物ごとや、判定する表情ごとに、実際の人物の顔を撮像した画像テンプレートから生成されることが多い。   By the way, in order to identify a specific person from the detected face image, information necessary for the identification must be registered in the imaging apparatus in advance. In order to determine the degree of various facial expressions, information necessary for the determination must be registered for each facial expression type. Information necessary for such person identification and facial expression determination is generally generated from an image template that captures the face of an actual person for each person to be identified and each facial expression to be determined.

上記の撮像装置では、撮像した画像から顔を検出したときに、生成した顔画像を、上記の人物識別や表情判定のための画像テンプレートとして内部に記憶しておくようにしてもよい。この場合、それらの画像テンプレートを基に、その後の人物識別や表情判定に必要な情報を撮像装置の内部で演算し、自動的に登録するようにしてもよい。また、その画像テンプレートを用いて、すでに登録されている情報を更新して、識別・判定の精度を向上できるようにしてもよい。なお、登録された情報は内部の不揮発性記録媒体に格納され、システム制御部１８によって必要に応じて読み出されて、表情情報検出器５０に対して設定される。   In the above imaging apparatus, when a face is detected from the captured image, the generated face image may be stored therein as an image template for the above-described person identification and facial expression determination. In this case, based on those image templates, information necessary for subsequent person identification and facial expression determination may be calculated inside the imaging apparatus and automatically registered. In addition, the already registered information may be updated using the image template so that the accuracy of identification / determination can be improved. The registered information is stored in an internal non-volatile recording medium, read by the system control unit 18 as necessary, and set for the facial expression information detector 50.

また、撮像装置では画像テンプレートの記憶のみを行い、その撮像装置をＵＳＢ（Universal Serial Bus）などの通信インタフェースを通じてＰＣ（パーソナルコンピュータ）などの外部機器に接続し、外部機器で専用のプログラムを実行することで、撮像装置内の画像テンプレートを基に人物識別や表情判定に必要な情報を算出し、撮像装置に登録するようにしてもよい。また、画像テンプレートや、それを基に算出した情報の受け渡しを、記録媒体１７ａを通じて行うようにしてもよい。なお、当然ながら、撮像により得られていた画像ファイルを基に、ＰＣなどの外部機器において顔を検出し、その検出結果を基に必要な情報を算出して撮像装置に登録してもよい。   Further, the imaging device only stores the image template, connects the imaging device to an external device such as a PC (personal computer) through a communication interface such as USB (Universal Serial Bus), and executes a dedicated program on the external device. Thus, information necessary for person identification and facial expression determination may be calculated based on the image template in the imaging apparatus and registered in the imaging apparatus. Further, the image template and information calculated based on the image template may be transferred through the recording medium 17a. Of course, a face may be detected by an external device such as a PC based on an image file obtained by imaging, and necessary information may be calculated based on the detection result and registered in the imaging apparatus.

次に、表情の判定結果に応じたエフェクト処理の具体例について説明する。エフェクト処理の例としては、判定結果に応じた特定のグラフィック画像を基の画像上に合成する、色調や輝度を変化させる、画像を変形させるといった処理を適用できる。   Next, a specific example of effect processing according to the facial expression determination result will be described. As an example of the effect process, a process of combining a specific graphic image corresponding to the determination result on the base image, changing a color tone or luminance, or deforming the image can be applied.

以下の図８〜図１１では、例として、画像加工処理部１５において、入力画像中の顔の領域と衣服の領域とを検出し、顔および衣服の領域以外、すなわち背景領域のみの色調を変化させるとともに、必要に応じてさらに別の画像をその上に合成するなどのエフェクト処理を施している。なお、図８〜図１１の例では、図中上方にエフェクト処理前の入力画像を、下方にエフェクト処理後の出力画像を示している。また、これらの例では、各表情種別に対して３段階の表情スコアを出力するものとしている。   In the following FIGS. 8 to 11, as an example, the image processing unit 15 detects the face area and the clothes area in the input image, and changes the color tone of only the background area other than the face and clothes areas. In addition, effect processing such as compositing another image on the image is performed as necessary. In the examples of FIGS. 8 to 11, the input image before the effect processing is shown in the upper part of the drawing, and the output image after the effect processing is shown in the lower part of the drawing. In these examples, three-stage facial expression scores are output for each facial expression type.

図８は、表情種別が「笑顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が笑顔であると判定された場合、図８に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた嬉しさの度合いが強いほど、背景領域の色調を明るくする。これとともに、嬉しさを表すようなグラフィック画像（画像１０１〜１０４など）を合成し、このようなグラフィック画像を表情スコアが高いほど多く合成したり、表情スコアに応じて個別のグラフィック画像を合成している。さらに、最も表情スコアが高い場合には、顔画像１０５を水平方向に拡大し、嬉しさを表現している。 FIG. 8 is a diagram illustrating an example of effect processing when the facial expression type is “smile”.
When it is determined that the detected facial expression is a smile, as the facial expression score is higher, that is, as the degree of happiness that appears in the detected facial expression is higher, the background region is increased as shown in FIG. Brighten the color tone. Along with this, graphic images (such as images 101 to 104) that express joy are synthesized, and such graphic images are synthesized more as the facial expression score is higher, or individual graphic images are synthesized according to the facial expression score. ing. Further, when the facial expression score is highest, the facial image 105 is expanded in the horizontal direction to express happiness.

図９は、表情種別が「怒り顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が怒り顔であると判定された場合、図９に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた怒りの度合いが強いほど、背景領域の色調を暗くする。これとともに、怒りを表すようなグラフィック画像（画像１１１〜１１３など）を合成し、このようなグラフィック画像を表情スコアが高いほど多く合成したり、表情スコアに応じて個別のグラフィック画像を合成している。さらに、最も表情スコアが高い場合には、顔画像１１４を水平方向に縮小し、怒りを表現している。 FIG. 9 is a diagram illustrating an example of effect processing when the expression type is “angry face”.
If it is determined that the detected facial expression is an angry face, as shown in FIG. 9, the higher the facial expression score, that is, the stronger the anger level that appears in the detected facial expression, Darken the color tone. At the same time, graphic images (such as images 111 to 113) representing anger are synthesized, and such graphic images are synthesized more as the facial expression score is higher, or individual graphic images are synthesized according to the facial expression score. Yes. Furthermore, when the facial expression score is highest, the face image 114 is reduced in the horizontal direction to express anger.

図１０は、表情種別が「泣き顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が泣き顔であると判定された場合、図１０に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた泣き方の度合いが強いほど、背景領域の色調を暗くする。これとともに、背景に斜め状の破線（破線１２１，１２２など）を合成し、その本数を表情スコアが高いほど多くしている。さらに、最も表情スコアが高い場合には、顔画像１２３を水平方向に縮小するとともに、悲しみを表すようなグラフィック画像１２４を合成して、泣き方の強さを表現している。 FIG. 10 is a diagram illustrating an example of effect processing when the expression type is “crying face”.
When it is determined that the detected facial expression is a crying face, the higher the facial expression score, that is, the stronger the degree of crying that appears in the detected facial expression, the more the background region, as shown in FIG. Darken the color tone. Along with this, diagonal broken lines (broken lines 121, 122, etc.) are combined with the background, and the number is increased as the facial expression score is higher. Further, when the facial expression score is the highest, the facial image 123 is reduced in the horizontal direction, and a graphic image 124 representing sadness is synthesized to express the strength of crying.

図１１は、表情種別が「驚いた顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が驚いている表情と判定された場合、図１１に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた驚きの度合いが強いほど、背景領域の色調を暗くする。これとともに、顔画像１３１〜１３３を、表情スコアが高いほど斜め方向に大きく引き延ばしている。さらに、最も表情スコアが高い場合には、線状のグラフィック画像１３４を合成して、驚きの強さを表現している。 FIG. 11 is a diagram illustrating an example of effect processing when the expression type is “surprised face”.
When it is determined that the detected facial expression is a surprised facial expression, as shown in FIG. 11, the higher the facial expression score, that is, the stronger the degree of surprise that appears in the detected facial expression, Darken the color tone. At the same time, the facial images 131 to 133 are greatly extended in the oblique direction as the facial expression score is higher. Further, when the facial expression score is the highest, a linear graphic image 134 is synthesized to express the surprising strength.

以上のように、表情種別および表情スコアに応じて種々のエフェクト処理を施した画像を再生できるようにしたことで、顔検出や表情判定の機能、およびそれらの機能によって生成された情報を効果的に利用して、撮像装置に高い付加価値を持たせることが可能になる。また、撮像およびその撮像画像の記録後にエフェクト処理を伴う画像再生を行うことで、記録した画像において人物が所望の表情をしているかを簡単に確認できるようにもなる。   As described above, by enabling playback of images that have been subjected to various types of effect processing according to facial expression type and facial expression score, the functions of face detection and facial expression determination, and the information generated by those functions can be effectively used. It is possible to give a high added value to the imaging apparatus. In addition, by performing image reproduction with effect processing after image capture and recording of the captured image, it is possible to easily confirm whether a person has a desired facial expression in the recorded image.

なお、上記の図８〜図１１では、１つの顔を中心としてエフェクト処理を施した場合の例を示したが、複数の顔が検出されていた場合には、例えば、ユーザによって指定された１人の顔を中心として、他の顔を無視して（すなわち、他の顔を背景の一部として）エフェクト処理を施すようにすればよい。あるいは、複数の顔に対して、それぞれの顔の周囲に、表情の判定結果に応じた異なるグラフィック画像を合成してもよい。   8 to 11 show an example in which the effect processing is performed centering on one face. However, when a plurality of faces are detected, for example, 1 specified by the user is used. What is necessary is just to perform an effect process centering on a human face and ignoring other faces (that is, using other faces as part of the background). Or you may synthesize | combine a different graphic image according to the determination result of an expression around each face with respect to a some face.

最後に、上記の撮像装置で用いられる表情判定および人物識別の手法の例について説明する。
まず、学習用の顔画像（サンプル顔画像と呼ぶ）を事前に多数用意しておき、これらのサンプル顔画像を表すベクトルデータに対して主成分分析（ＰＣＡ：Principal Component Analysis）を行い、顔の特徴だけを効率よく表すような次元の低い空間（顔空間と呼ぶ）のデータに変換（次元圧縮）する。そして、この顔空間上で、笑顔、怒り顔、泣き顔などの表情の種類ごとに代表ベクトルを算出し、この代表ベクトルを撮像装置内部に登録しておく。そして、表情の判定時においては、その入力画像データをＰＣＡ処理して顔空間上のベクトルデータに変換し、識別対象とする表情の代表ベクトルと比較することで類似度を算出し、これを表情スコアとする。また、人物識別のためには、人物ごとに代表ベクトルを登録しておき、入力画像データを変換してベクトルデータと比較することで、特定の人物との類似度を判定する。 Finally, an example of facial expression determination and person identification methods used in the imaging apparatus will be described.
First, a large number of learning face images (referred to as sample face images) are prepared in advance, and principal component analysis (PCA) is performed on vector data representing these sample face images, The data is converted (dimensionally compressed) into low-dimensional space data (referred to as face space) that efficiently represents only the features. In this face space, a representative vector is calculated for each type of expression such as a smile, an angry face, and a crying face, and this representative vector is registered in the imaging apparatus. At the time of facial expression determination, the input image data is subjected to PCA processing and converted into vector data on the face space, and the similarity is calculated by comparing with the representative vector of the facial expression to be identified. Score. For person identification, a representative vector is registered for each person, and the similarity with a specific person is determined by converting input image data and comparing it with vector data.

以下、上記の処理についてさらに詳しく説明する。まず、例えば笑顔などの特定種類の表情を持つ顔のサンプル顔画像データを多数（例えば１００個）用意し、それらを輝度成分のみで表し、さらに一定サイズに変換する。変換した画像のサイズを４８画素×４８画素とすると、これらのサンプル画像データを（４８×４８）次元のベクトルデータとして表すことができる。次に、この次元の空間より低次元で特定の特徴を持つ顔ごとの分散を効率よく表すサブスペース（すなわち顔空間）を、ＰＣＡ処理により生成する。   Hereinafter, the above processing will be described in more detail. First, a large number (for example, 100) of sample face image data of a face having a specific type of facial expression such as a smile is prepared, and these are represented only by luminance components and further converted to a certain size. If the size of the converted image is 48 pixels × 48 pixels, these sample image data can be expressed as (48 × 48) -dimensional vector data. Next, a subspace (that is, a face space) that efficiently expresses the variance of each face having a specific feature in a lower dimension than this space is generated by PCA processing.

Ｍ個のサンプル顔画像をΓi（ｉ＝１，２，３，……，Ｍ）とすると、これらのサンプル顔画像に基づく平均顔Ψは、以下の式（１）で求められる。 Assuming that M sample face images are Γ i (i = 1, 2, 3,..., M), an average face Ψ based on these sample face images is obtained by the following equation (1).

Figure 0004973098
Figure 0004973098

ここで、平均顔Ψとの偏差を示す差分顔ΦiをΓi−Φとし、差分顔Φiの配列Ａを｛Φ1，Φ2，Φ3，……，ΦN｝とすると、Ｍ個のサンプル顔画像の共分散行列Ｃallは、次の式（２）で表される。 Here, the differential face [Phi i indicating a deviation between the average face Ψ and - [Phi] gamma i, an array A of the differential face Φ i {Φ 1, Φ 2 , Φ 3, ......, Φ N} When, M The covariance matrix C all of the sample face images is expressed by the following equation (2).

Figure 0004973098
Figure 0004973098

ＰＣＡ処理では、Ｍ個（Ｍ＝１００）のＮ次元（Ｎ＝４８×４８）のサンプル顔画像データのバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、式（２）で示した共分散行列の固有値問題の解（固有ベクトル）として求められ、係数の比較的大きいベクトル成分のみを主成分として取り出すことで、顔の特徴を表すのに適したベクトル成分のみのＮ’次元（Ｎ＞＞Ｎ’）のデータに圧縮することができる。例えばＮ’＝４０程度とすることで、顔の表情判別について十分な精度を維持できることがわかっている。また、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度（例えば３個）を除外することで、明るさの影響をなくし、表情判定や人物識別の精度を高めることができる。   In the PCA process, it is considered to obtain M axes so that the variation (variance) of M (M = 100) N-dimensional (N = 48 × 48) sample face image data is maximized. Such an axis is obtained as a solution (eigenvector) of the eigenvalue problem of the covariance matrix shown in Equation (2), and expresses facial features by extracting only vector components having relatively large coefficients as principal components. Can be compressed into N′-dimensional (N >> N ′) data having only vector components suitable for the above. For example, it has been found that by setting N ′ = 40 or so, sufficient accuracy can be maintained for facial expression discrimination. In addition, by removing about several (for example, three) components in descending order of the coefficient from the main components obtained by PCA processing, the influence of brightness is eliminated, and the accuracy of facial expression determination and person identification is improved. Can do.

以上のＰＣＡ処理を、笑顔、怒り顔、泣き顔などの表情の種類にそれぞれ対応するサンプル顔画像データごとに実行して、各表情種別について固有ベクトルを求める。そして、表情種別ごとに求められた複数の固有ベクトルを基に例えば平均をとることにより、表情種別ごとに代表ベクトルを算出する。また、人物識別のためには、人物ごとのサンプル顔画像データを基にＰＣＡ処理を行い、人物ごとの代表ベクトルを算出する。こうして求められた代表ベクトルの情報を、撮像装置の内部に登録しておく。   The above PCA processing is executed for each sample face image data corresponding to each type of expression such as smile, angry face, and crying face, and eigenvectors are obtained for each expression type. Then, a representative vector is calculated for each facial expression type, for example, by taking an average based on a plurality of eigenvectors obtained for each facial expression type. For person identification, PCA processing is performed based on sample face image data for each person, and a representative vector for each person is calculated. Information on the representative vector thus obtained is registered in the imaging apparatus.

図１２は、顔空間上にサンプル顔画像を投影したときの様子を模式的に示す図である。
上記のＰＣＡ処理によって求められた各サンプル顔画像の固有ベクトルは、上述した差分顔Φiの配列Ａとの内積をとることで、Ｎ’次元の顔画像上の座標位置に変換される。図１２では、このような変換により顔空間上に投影されたサンプル顔画像を、白丸によって示している。この図に示すように、似た特徴を持つ顔画像は、顔空間において互いに近い位置に分布する。例えば、同図（Ａ）では、領域１５１に笑顔のサンプル顔画像が分布し、領域１５２に怒り顔のサンプル顔画像が分布し、領域１５３に泣き顔のサンプル顔画像が分布している。また、同図（Ｂ）では、領域１６１に人物Ａのサンプル顔画像が分布し、領域１６２に人物Ｂのサンプル顔画像が分布し、領域１６３に人物Ｃのサンプル顔画像が分布している。 FIG. 12 is a diagram schematically showing a state when a sample face image is projected on the face space.
The eigenvector of each sample face image obtained by the above PCA processing is converted into a coordinate position on the N′-dimensional face image by taking the inner product with the array A of the difference face Φ i described above. In FIG. 12, the sample face image projected on the face space by such conversion is indicated by white circles. As shown in this figure, face images having similar characteristics are distributed at positions close to each other in the face space. For example, in FIG. 3A, sample face images of smiles are distributed in the area 151, sample face images of angry faces are distributed in the area 152, and sample face images of crying faces are distributed in the area 153. In FIG. 5B, the sample face image of the person A is distributed in the area 161, the sample face image of the person B is distributed in the area 162, and the sample face image of the person C is distributed in the area 163.

図１３は、表情判定および人物識別の計算について説明するための図である。
上記のような性質を利用すると、表情判定の際には、表情種別ごとの代表ベクトルデータと、入力画像をＰＣＡ処理して求めたベクトルデータとを比較することで、表情種別ごとに表情の近さ（すなわち強度）を求めることができる。具体的には、図１３に示すように、ある表情種別に対応する代表ベクトル１７１と、入力画像のベクトル１７２とのユークリッド距離の大きさによって、表情スコアを表すことができる。同様に、人物識別の際には、人物ごとの代表ベクトルと入力画像のベクトルとから、その人物である可能性の大きさを求めることができる。 FIG. 13 is a diagram for explaining calculation of facial expression determination and person identification.
When the above-described properties are used, the facial expression determination is performed by comparing the representative vector data for each facial expression type with the vector data obtained by performing the PCA process on the input image, so The thickness (ie strength) can be determined. Specifically, as shown in FIG. 13, the facial expression score can be expressed by the magnitude of the Euclidean distance between the representative vector 171 corresponding to a certain facial expression type and the vector 172 of the input image. Similarly, when identifying a person, the magnitude of the possibility of being a person can be obtained from the representative vector for each person and the vector of the input image.

以上のような表情判定および人物識別の手法では、例えば、多数の顔画像のテンプレートと検出された顔画像とのマッチングにより表情を評価する手法と比較しても、はるかに低処理負荷かつ高精度の表情評価を行うことが可能である。テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像からさらに目や口などのパーツを抽出し、パーツごとにマッチング処理を行う必要がある。これに対して、本実施の形態の手法では、検出した顔画像のデータを例えば一定サイズに正規化した後、その顔画像をベクトル情報に置き換えて、ベクトルの成分同士の減算、乗算、加算を行うのみであり、しかもＰＣＡ処理によりベクトルの成分の次元は圧縮されており、入力画像に基づくベクトル中の演算に必要な成分があらかじめわかっているので、非常に単純な計算で済むようになる。このため、表情判定および人物識別の処理を、例えば動画像の撮像中にリアルタイムに容易に実行できるようになる。また、このような処理を、専用のハードウェアのみならず、ソフトウェアによって実装することも容易に可能である。   The facial expression determination and person identification methods as described above, for example, have a much lower processing load and high accuracy than the method of evaluating facial expressions by matching a large number of facial image templates with detected facial images. It is possible to perform facial expression evaluation. When performing matching using a template, it is usually necessary to further extract parts such as eyes and mouth from the detected face image and perform matching processing for each part. On the other hand, in the method of the present embodiment, after normalizing the detected face image data to a certain size, for example, the face image is replaced with vector information, and subtraction, multiplication, and addition of vector components are performed. In addition, the dimension of the vector component is compressed by the PCA process, and the component necessary for the calculation in the vector based on the input image is known in advance, so that a very simple calculation can be performed. For this reason, the facial expression determination and person identification processing can be easily executed in real time during, for example, capturing a moving image. Further, such processing can be easily implemented not only by dedicated hardware but also by software.

なお、以上の実施の形態では、本発明をデジタルスチルカメラやビデオカメラといった撮像専用の装置に適用した場合について説明したが、同様な動画像および音声の記録機能を備えた携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。さらに、このような撮像機能を持たない画像再生機器に対して、本発明を適用することもできる。   In the above embodiment, the case where the present invention is applied to an imaging-dedicated apparatus such as a digital still camera or a video camera has been described. However, a mobile phone, a mobile terminal, and the like having a similar moving image and audio recording function are described. The present invention can also be applied to various electronic devices. Furthermore, the present invention can also be applied to an image reproducing device that does not have such an imaging function.

また、撮像機能を外付けしたＰＣ（パーソナルコンピュータ）などの情報処理機器、または撮像機能を持たず、画像再生機能のみを持つ情報処理機器において、上記の機能をプログラムの実行によって実現することもできる。その場合、上記の撮像装置の画像記録機能または画像再生機能、あるいはこれらの双方の機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。   The above functions can also be realized by executing a program in an information processing device such as a PC (personal computer) with an external imaging function, or an information processing device that does not have an imaging function and has only an image reproduction function. . In that case, a program describing the processing contents of the image recording function and / or the image reproduction function of the imaging apparatus described above, or both of these functions is provided. And the said processing function is implement | achieved on a computer by running the program with a computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory.

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。   When the program is distributed, for example, a portable recording medium such as an optical disk on which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging device which concerns on embodiment of this invention. 画像加工処理部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of an image process part. 画像情報検出器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of an image information detector. 書込・読出ドライブの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a writing / reading drive. 記録媒体に記録されるデータについて説明するための図である。It is a figure for demonstrating the data recorded on a recording medium. 撮像画像データの記録処理手順を示すフローチャートである。It is a flowchart which shows the recording processing procedure of captured image data. 記録された撮像画像データの再生処理手順を示すフローチャートである。It is a flowchart which shows the reproduction | regeneration processing procedure of the recorded captured image data. 表情種別が「笑顔」である場合のエフェクト処理例を示す図である。It is a figure which shows the example of an effect process in case a facial expression classification is "smile". 表情種別が「怒り顔」である場合のエフェクト処理例を示す図である。It is a figure which shows the example of an effect process in case a facial expression classification is "anger face." 表情種別が「泣き顔」である場合のエフェクト処理例を示す図である。It is a figure which shows the example of an effect process in case a facial expression classification is a "crying face." 表情種別が「驚いた顔」である場合のエフェクト処理例を示す図である。It is a figure which shows the example of an effect process in case a facial expression classification is a "surprised face." 顔空間上にサンプル顔画像を投影したときの様子を模式的に示す図である。It is a figure which shows typically a mode when a sample face image is projected on face space. 表情判定および人物識別の計算について説明するための図である。It is a figure for demonstrating the calculation of facial expression determination and person identification.

符号の説明Explanation of symbols

１１……光学ブロック、１１ａ……光学ブロック駆動部、１２……撮像素子、１２ａ……撮像素子駆動部、１３……Ａ／Ｄ変換部、１４……カメラ信号処理部、１５……画像加工処理部、１６……画像圧縮・伸張部、１６ａ……圧縮・伸張制御部、１７……書込・読出ドライブ、１７ａ……記録媒体、１７ｂ……ドライブ制御部、１８……システム制御部、１９……ＨＩ制御部、２０……入力部、２１……ＬＣＤ、２２……カメラ制御部、２３……加速度センサ、２４……手ぶれ検出部   DESCRIPTION OF SYMBOLS 11 ... Optical block, 11a ... Optical block drive part, 12 ... Image sensor, 12a ... Image sensor drive part, 13 ... A / D conversion part, 14 ... Camera signal processing part, 15 ... Image processing Processing unit 16: Image compression / decompression unit 16a: Compression / decompression control unit 17: Write / read drive 17a: Recording medium 17b: Drive control unit 18: System control unit 19... HI control unit, 20... Input unit, 21... LCD, 22... Camera control unit, 23.

Claims (7)

画像信号を処理する画像処理装置において、
識別対象の人物ごとに用意された判定対象の表情種別の表情を持つサンプル顔画像に基づき、前記識別対象の人物の識別に用いる顔代表データと、前記識別対象の人物の表情種別の判定に用いる表情種別ごとの表情代表データとを生成し、前記顔代表データおよび前記表情代表データを、当該人物を識別する人物ＩＤに対応付けて登録した登録情報を記憶する記憶部と、
画像信号を入力し、前記画像信号に基づく入力画像に含まれる人物の顔を検出し、顔が検出された顔領域を示す位置情報を有する顔検出情報と、前記入力画像から前記顔領域を切り出した顔画像とを生成する顔画像情報検出部と、
前記顔画像を前記登録情報に登録されている前記顔代表データと比較して前記顔画像の人物を識別し、当該顔画像の人物の人物ＩＤを取得する顔識別部と、
前記登録情報から前記顔識別部によって取得された前記人物ＩＤに対応する前記表情種別ごとの表情代表データを抽出し、前記表情種別ごとに、前記表情代表データと、前記顔画像の表情とがどれだけ近いかの度合いを示す表情強度を算出し、前記表情強度に基づいて前記顔画像の表情種別を判定するとともに、前記顔画像の人物の人物ＩＤ、前記表情種別と当該表情種別の表情強度、および前記顔検出情報に基づく顔領域の位置情報を有する表情判定情報を生成する表情判定部と、
前記表情判定情報を取得し、取得した前記表情判定情報の前記表情強度に基づき、表情種別ごとに表情強度に応じて予め決められた画像加工処理を選択し、前記画像信号に対して選択した前記画像加工処理を施し、前記表情強度に応じた画像効果を与える画像加工処理を施す画像効果処理部と、
を有する画像処理装置。 In an image processing apparatus that processes an image signal,
Based on the sample face image having a facial expression of the facial expression type of the judgment target prepared for each person to be identified, the face representative data used to identify the person to be identified and the facial expression type of the person to be identified are used for determination. A storage unit that generates facial expression representative data for each facial expression type, and stores registration information in which the facial representative data and the facial expression representative data are registered in association with a person ID that identifies the person;
An image signal is input, a human face included in the input image based on the image signal is detected, face detection information having position information indicating the face area where the face is detected, and the face area is cut out from the input image A face image information detection unit for generating a face image;
Comparing the face image with the face representative data registered in the registration information to identify a person of the face image and obtaining a person ID of the person of the face image;
The facial expression representative data for each facial expression type corresponding to the person ID acquired by the face identification unit is extracted from the registered information, and for each facial expression type, which facial expression representative data and facial expression of the facial image are selected. A facial expression intensity indicating the degree of closeness, and determining a facial expression type of the facial image based on the facial expression strength, and a person ID of the facial image, the facial expression type and the facial expression intensity of the facial expression type, A facial expression determination unit that generates facial expression determination information including position information of a face region based on the face detection information;
The facial expression determination information is acquired, and based on the facial expression strength of the acquired facial expression determination information, an image processing process determined in advance according to facial expression strength is selected for each facial expression type, and the selected image signal is selected for the image signal. An image effect processing unit that performs image processing and performs image processing that gives an image effect according to the expression intensity ;
An image processing apparatus. 前記画像効果処理部は、取得した前記表情判定情報に設定されている前記入力画像に含まれる顔の前記位置情報に基づいて前記入力画像中の顔の領域と衣服の領域とを検出し、前記入力画像から前記顔の領域および前記衣服の領域を除いた背景領域を特定し、前記背景領域の明るさまたは色の少なくとも一方を変化させるか、もしくは予め前記表情種別に応じて用意された背景画像を前記背景領域の画像と合成し、前記表情強度に応じた画像効果を与える、The image effect processing unit detects a face region and a clothing region in the input image based on the position information of the face included in the input image set in the acquired facial expression determination information, and A background image obtained by identifying a background area excluding the face area and the clothes area from an input image and changing at least one of brightness and color of the background area, or a background image prepared in advance according to the expression type Is combined with the image of the background region to give an image effect according to the expression intensity,
ことを特徴とする請求項１記載の画像処理装置。The image processing apparatus according to claim 1. 固体撮像素子を用いて画像を撮像し、撮像により得られた前記画像信号を記録媒体に記録する撮像処理部と、An imaging processing unit that captures an image using a solid-state image sensor and records the image signal obtained by the imaging on a recording medium;
前記画像信号を対象として前記顔画像情報検出部、前記顔識別部および前記表情判定部が行った処理によって生成された前記画像信号に基づく画像に含まれる顔に関する前記表情判定情報を、前記画像信号に対応するメタデータとして前記記録媒体に記録するメタデータ記録処理部と、The facial expression information on the face included in the image based on the image signal generated by the processing performed by the facial image information detection unit, the facial identification unit, and the facial expression determination unit for the image signal, and the image signal A metadata recording processing unit for recording on the recording medium as metadata corresponding to
をさらに有することを特徴とする請求項１記載の画像処理装置。The image processing apparatus according to claim 1, further comprising: 前記メタデータ記録処理部は、前記画像信号が動画像信号であるときは、前記動画像信号から生成されるフレームごとの静止画像信号を対象として、前記顔画像情報検出部、前記顔識別部および前記表情判定部によって生成された前記表情判定情報に基づき、前記動画像信号に同じ人物の顔が検出された期間を示す顔検出期間情報を生成し、前記動画像信号に対応する前記メタデータに含める、When the image signal is a moving image signal, the metadata recording processing unit targets the still image signal for each frame generated from the moving image signal, the face image information detecting unit, the face identifying unit, and Based on the facial expression determination information generated by the facial expression determination unit, face detection period information indicating a period during which the face of the same person is detected in the moving image signal is generated, and the metadata corresponding to the moving image signal is generated. include,
ことを特徴とする請求項３記載の画像処理装置。The image processing apparatus according to claim 3. 前記登録情報は、複数用意された前記サンプル顔画像それぞれについて、前記サンプル顔画像を輝度成分のみで表わして所定の画素サイズに変換したサンプル顔画像データを生成し、当該サンプル画像データを前記所定の画素数に応じた次元で前記輝度成分を表わしたベクトルデータに変換し、当該ベクトルデータを主成分分析によって顔の特徴を効率よく表わす次元の低い顔空間のベクトルデータに圧縮した後、前記識別対象の人物の前記サンプル顔画像から算出された前記顔空間のベクトルデータに基づいて生成される前記顔代表データと、前記識別対象の人物の前記表情種別ごとの前記サンプル顔画像から算出された前記顔空間のベクトルデータに基づいて前記表情種別ごとに生成される前記表情代表データと、が前記識別対象の人物の前記人物ＩＤに対応付けられている、The registration information generates sample face image data in which the sample face image is represented by only a luminance component and converted into a predetermined pixel size for each of the prepared sample face images, and the sample image data is converted into the predetermined face image data. After converting into vector data representing the luminance component in a dimension according to the number of pixels, the vector data is compressed into vector data in a low-dimensional face space that efficiently represents facial features by principal component analysis, and then the identification target The face representative data generated based on the vector data of the face space calculated from the sample face image of the person and the face calculated from the sample face image for each facial expression type of the person to be identified The facial expression representative data generated for each facial expression type based on space vector data is the person to be identified It is associated with the person ID,
ことを特徴とする請求項１記載の画像処理装置。The image processing apparatus according to claim 1. 画像信号を処理するための画像処理方法において、In an image processing method for processing an image signal,
記憶部に、識別対象の人物ごとに用意された判定対象の表情種別の表情を持つサンプル顔画像に基づき、前記識別対象の人物の識別に用いる顔代表データと、前記識別対象の人物の表情種別の判定に用いる表情種別ごとの表情代表データとを生成し、前記顔代表データおよび前記表情代表データを、当該人物を識別する人物ＩＤに対応付けて登録した登録情報を記憶しておき、Based on a sample face image having a facial expression of a determination target facial expression prepared for each identification target person in the storage unit, facial representative data used for identification of the identification target person, and the facial expression type of the identification target person Generating facial expression representative data for each facial expression type used for the determination, storing registration information in which the facial representative data and the facial expression representative data are registered in association with a person ID for identifying the person,
顔画像情報検出部が、画像信号を入力し、前記画像信号に基づく入力画像に含まれる人物の顔を検出し、顔が検出された顔領域を示す位置情報を有する顔検出情報と、前記入力画像から前記顔領域を切り出した顔画像とを生成し、A face image information detection unit that inputs an image signal, detects a human face included in the input image based on the image signal, and includes face detection information having position information indicating a face area in which the face is detected; and the input Generating a face image obtained by cutting out the face area from the image;
顔識別部が、前記顔画像を前記登録情報に登録されている前記顔代表データと比較して前記顔画像の人物を識別し、当該顔画像の人物の人物ＩＤを取得し、A face identification unit compares the face image with the face representative data registered in the registration information to identify a person of the face image, and obtains a person ID of the person of the face image;
表情判定部が、前記登録情報から前記顔識別部によって取得された前記人物ＩＤに対応する前記表情種別ごとの表情代表データを抽出し、前記表情種別ごとに、前記表情代表データと、前記顔画像の表情とがどれだけ近いかの度合いを示す表情強度を算出し、前記表情強度に基づいて前記顔画像の表情種別を判定するとともに、前記顔画像の人物の人物ＩＤ、前記表情種別と当該表情種別の表情強度、および前記顔検出情報に基づく顔領域の位置情報を有する表情判定情報を生成し、A facial expression determination unit extracts facial expression representative data for each facial expression type corresponding to the person ID acquired by the face identification unit from the registration information, and the facial expression representative data and the facial image for each facial expression type A facial expression strength indicating how close the facial expression is to the facial expression, and determining the facial expression type of the facial image based on the facial expression strength, and also the person ID of the facial image, the facial expression type and the facial expression Generating facial expression determination information having facial expression position information based on facial expression intensity of the type and the face detection information;
画像効果処理部が、前記表情判定情報を取得し、取得した前記表情判定情報の前記表情強度に基づき、表情種別ごとに表情強度に応じて予め決められた画像加工処理を選択し、前記画像信号に対して選択した前記画像加工処理を施し、前記表情強度に応じた画像効果を与える画像加工処理を施す、An image effect processing unit acquires the facial expression determination information, selects an image processing process determined in advance according to facial expression strength for each facial expression type based on the facial expression strength of the acquired facial expression determination information, and the image signal The selected image processing processing is performed, and the image processing processing is performed to give an image effect according to the expression intensity.
画像処理方法。Image processing method. 画像信号に対する処理をコンピュータに実行させる画像処理プログラムにおいて、In an image processing program for causing a computer to execute processing on an image signal,
識別対象の人物ごとに用意された判定対象の表情種別の表情を持つサンプル顔画像に基づき、前記識別対象の人物の識別に用いる顔代表データと、前記識別対象の人物の表情種別の判定に用いる表情種別ごとの表情代表データとを生成し、前記顔代表データおよび前記表情代表データを、当該人物を識別する人物ＩＤに対応付けて登録した登録情報を記憶する記憶部、Based on the sample face image having a facial expression of the facial expression type of the judgment target prepared for each person to be identified, the face representative data used to identify the person to be identified and the facial expression type of the person to be identified are used for determination. A storage unit that generates facial expression representative data for each facial expression type, and stores registration information in which the facial representative data and the facial expression representative data are registered in association with a person ID that identifies the person;
画像信号を入力し、前記画像信号に基づく入力画像に含まれる人物の顔を検出し、顔が検出された顔領域を示す位置情報を有する顔検出情報と、前記入力画像から前記顔領域を切り出した顔画像とを生成する顔画像情報検出部、An image signal is input, a human face included in the input image based on the image signal is detected, face detection information having position information indicating the face area where the face is detected, and the face area is cut out from the input image A face image information detecting unit for generating a face image,
前記顔画像を前記登録情報に登録されている前記顔代表データと比較して前記顔画像の人物を識別し、当該顔画像の人物の人物ＩＤを取得する顔識別部、A face identifying unit that identifies the person of the face image by comparing the face image with the face representative data registered in the registration information, and acquires a person ID of the person of the face image;
前記登録情報から前記顔識別部によって取得された前記人物ＩＤに対応する前記表情種別ごとの表情代表データを抽出し、前記表情種別ごとに、前記表情代表データと、前記顔画像の表情とがどれだけ近いかの度合いを示す表情強度を算出し、前記表情強度に基づいて前記顔画像の表情種別を判定するとともに、前記顔画像の人物の人物ＩＤ、前記表情種別と当該表情種別の表情強度、および前記顔検出情報に基づく顔領域の位置情報を有する表情判定情報を生成する表情判定部、The facial expression representative data for each facial expression type corresponding to the person ID acquired by the face identification unit is extracted from the registered information, and for each facial expression type, which facial expression representative data and facial expression of the facial image are selected. A facial expression intensity indicating the degree of closeness, and determining a facial expression type of the facial image based on the facial expression strength, and a person ID of the facial image, the facial expression type and the facial expression intensity of the facial expression type, A facial expression determination unit that generates facial expression determination information having position information of a face region based on the face detection information;
前記表情判定情報を取得し、取得した前記表情判定情報の前記表情強度に基づき、表情種別ごとに表情強度に応じて予め決められた画像加工処理を選択し、前記画像信号に対して選択した前記画像加工処理を施し、前記表情強度に応じた画像効果を与える画像加工処理を施す画像効果処理部、The facial expression determination information is acquired, and based on the facial expression strength of the acquired facial expression determination information, an image processing process determined in advance according to facial expression strength is selected for each facial expression type, and the selected image signal is selected for the image signal. An image effect processing unit that performs image processing and performs image processing that gives an image effect according to the expression intensity;
として前記コンピュータを機能させる画像処理プログラム。An image processing program for causing the computer to function as:
JP2006265951A 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program Active JP4973098B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006265951A JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006265951A JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Publications (3)

Publication Number Publication Date
JP2008084213A JP2008084213A (en) 2008-04-10
JP2008084213A5 JP2008084213A5 (en) 2009-07-23
JP4973098B2 true JP4973098B2 (en) 2012-07-11

Family

ID=39354984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006265951A Active JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP4973098B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632496A (en) * 2013-07-23 2018-10-09 三星电子株式会社 User terminal apparatus and its control method

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124206A (en) * 2007-11-12 2009-06-04 Mega Chips Corp Multimedia composing data generation device
JP5083559B2 (en) * 2008-06-02 2012-11-28 カシオ計算機株式会社 Image composition apparatus, image composition method, and program
JP5185027B2 (en) * 2008-09-01 2013-04-17 オリンパスイメージング株式会社 Image display device, imaging device, image display method, and imaging method
JP4770929B2 (en) * 2009-01-14 2011-09-14 ソニー株式会社 Imaging apparatus, imaging method, and imaging program.
JP5279520B2 (en) * 2009-01-20 2013-09-04 キヤノン株式会社 Moving image processing apparatus, moving image processing method, program, and storage medium
JP5200959B2 (en) * 2009-01-27 2013-06-05 株式会社ニコン Digital camera
JP5293223B2 (en) * 2009-01-27 2013-09-18 株式会社ニコン Digital camera
JP5353293B2 (en) * 2009-02-23 2013-11-27 株式会社ニコン Image processing apparatus and electronic still camera
JP5321173B2 (en) * 2009-03-18 2013-10-23 カシオ計算機株式会社 Image reproducing apparatus and program
JP5178662B2 (en) * 2009-07-31 2013-04-10 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506273B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506274B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506272B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5423219B2 (en) * 2009-08-05 2014-02-19 日本電気株式会社 Portable terminal device, image management method and program
JP2011147119A (en) 2009-12-14 2011-07-28 Panasonic Corp Image processing apparatus and image processing program
JP5434582B2 (en) * 2009-12-28 2014-03-05 カシオ計算機株式会社 Image processing apparatus and image processing program
JP5556194B2 (en) * 2010-01-27 2014-07-23 カシオ計算機株式会社 Display control apparatus and display control program
JP5550447B2 (en) * 2010-05-20 2014-07-16 株式会社東芝 Electronic apparatus and method
JP5550446B2 (en) * 2010-05-20 2014-07-16 株式会社東芝 Electronic apparatus and moving image generation method
CN101867730B (en) * 2010-06-09 2011-11-16 马明 Multimedia integration method based on user trajectory
JP2012004747A (en) * 2010-06-15 2012-01-05 Toshiba Corp Electronic equipment and image display method
JP5615088B2 (en) 2010-08-18 2014-10-29 キヤノン株式会社 Image processing apparatus and method, program, and imaging apparatus
JP6032996B2 (en) * 2012-08-08 2016-11-30 オリンパス株式会社 Image display device, image display method, and image display program
JP2014119879A (en) * 2012-12-14 2014-06-30 Nippon Hoso Kyokai <Nhk> Face expression evaluation result smoothing device and face expression evaluation result smoothing program
JP6270784B2 (en) * 2015-07-17 2018-01-31 オリンパス株式会社 Image processing apparatus and image processing method
KR101894956B1 (en) * 2017-06-21 2018-10-24 주식회사 미디어프론트 Server and method for image generation using real-time enhancement synthesis technology
CN115174822A (en) * 2022-06-21 2022-10-11 咪咕文化科技有限公司 Video special effect adding method and device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796797B2 (en) * 1996-02-27 2006-07-12 カシオ計算機株式会社 Object image creation device and object image creation method
AUPQ464099A0 (en) * 1999-12-14 2000-01-13 Canon Kabushiki Kaisha Emotive editing system
JP4291963B2 (en) * 2000-04-13 2009-07-08 富士フイルム株式会社 Image processing method
JP4743823B2 (en) * 2003-07-18 2011-08-10 キヤノン株式会社 Image processing apparatus, imaging apparatus, and image processing method
JP2005056175A (en) * 2003-08-05 2005-03-03 Konica Minolta Photo Imaging Inc Image estimation device
JP4221308B2 (en) * 2004-01-15 2009-02-12 パナソニック株式会社 Still image reproduction device, still image reproduction method and program
JP2005242566A (en) * 2004-02-25 2005-09-08 Canon Inc Image composition device and method
JP4877762B2 (en) * 2006-07-19 2012-02-15 株式会社ソニー・コンピュータエンタテインメント Facial expression guidance device, facial expression guidance method, and facial expression guidance system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632496A (en) * 2013-07-23 2018-10-09 三星电子株式会社 User terminal apparatus and its control method
CN108632496B (en) * 2013-07-23 2020-12-29 三星电子株式会社 User terminal device and control method thereof

Also Published As

Publication number Publication date
JP2008084213A (en) 2008-04-10

Similar Documents

Publication Publication Date Title
JP4973098B2 (en) Image processing apparatus, image processing method, and program
US10037455B2 (en) Face detection device, imaging apparatus, and face detection method
US8897501B2 (en) Face detection device, imaging apparatus, and face detection method
US20150172537A1 (en) Photographing apparatus, method and program
JP4884251B2 (en) Imaging apparatus, method, and program
US8244059B2 (en) Image processing method, apparatus, recording medium, and image pickup apparatus
JP5201203B2 (en) Image processing apparatus, image processing method, and program
US8477207B2 (en) Image capturing apparatus, image capturing method, and computer program
JP4839908B2 (en) Imaging apparatus, automatic focus adjustment method, and program
JP2011166442A (en) Imaging device
JP2005086516A (en) Imaging device, printer, image processor and program
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP4802884B2 (en) Imaging apparatus, captured image recording method, and program
CN105744144A (en) Image creation method and image creation apparatus
JP2010028608A (en) Image processor, image sensing device, reproducer and method for processing image
JP5375846B2 (en) Imaging apparatus, automatic focus adjustment method, and program
JP5655668B2 (en) Imaging apparatus, image processing method, and program
JP5266701B2 (en) Imaging apparatus, subject separation method, and program
US7903164B2 (en) Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range
JP2007265149A (en) Image processor, image processing method and imaging device
JP2010199681A (en) Image processing apparatus and program
JP2008172395A (en) Imaging apparatus and image processing apparatus, method, and program
JP2010237911A (en) Electronic apparatus
JP5316869B2 (en) Image processing apparatus, image processing method, and program
JP2008197763A (en) Photographing device, method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

R151 Written notification of patent or utility model registration

Ref document number: 4973098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250