JP4510718B2 - 画像出力装置及びその制御方法 - Google Patents

Description

本発明は、画像出力装置及び画像出力方法に関し、特に複数の画像を同時に出力する際の各画像の配置やサイズを制御する画像出力技術に関する。

デジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラ）の普及に伴い、一般の家庭においても画像データを扱う機会が増加している。また、電子データを記憶する記憶媒体の大容量化に伴って、画像データを蓄積、保存する機会も増えてきている。

一方、テレビ受信装置においても放送のデジタル化に伴い高機能・高画質化が進み、近年では単にテレビを視聴するだけでなく、デジタルカメラで撮影した静止画や動画などの画像データを視聴するような楽しみ方も増えてきている。

このような背景から、これら画像データを整理、閲覧するためのアプリケーションソフトウェアが数多く販売されている。このアプリケーションソフトウェアの１つにフォトアルバムアプリケーションがある。

フォトアルバムアプリケーションは、従来の銀塩写真におけるアルバムのような感覚で画像データを整理したり閲覧できるものである。

フォトアルバムアプリケーションには、アルバムを手動で作成するものと、半自動で作成できるものとがある。

手動で作成するタイプでは、特にPC(Personal Computer)に用いるマウスのように比較的複雑な入力操作が可能なデバイスを備えたものに多く提供されている。このタイプでは、フォトアルバムの１ページあたりの表示枚数を選択したり、各画像データの表示位置や表示サイズの変更が可能である。

また、特許文献１には、半自動で作成するタイプとして、予め画像データの配置位置が用意されたようなレイアウトテンプレートと呼ばれる背景画に、ユーザが選択した画像データ群を時系列順に貼り付ける方法が記載されている。また、特許文献１では、「お気に入り度」と呼ばれる画像データの重要度を個々に設定することで、重要度の高い画像データのみを選択して表示する方法も記載されている。
特開2004-246868公報

しかしながら、上記手動で作成するタイプでは、詳細な設定ができる代わりに、画像データの枚数の増加に伴って、画像データ毎に表示位置を設定したり、表示サイズを変更する等の必要な作業項目が増加し、ユーザの作業負担が増加する等の問題がある。

また、上記特許文献１のような半自動で作成するタイプでは、ユーザにとって重要度の高い画像データのみを表示することが可能になるものの、画像データ毎に重要度の設定が必要であり、画像データの枚数の増加に伴って設定に要するユーザの負担も増加する。また、画像データの配置位置についても、画像データの内容にかかわらずレイアウトテンプレート上に時系列順に配置されるだけなので、レイアウト自由度が少ないといった問題がある。

本発明は、上記課題に鑑みてなされ、その目的は、画像データに関するフォトアルバム作成時に、画像データに含まれる顔画像から重要度を算出し、この重要度から画像データを好適なレイアウトで出力することができる画像出力技術を実現することである。

上記目的を達成するために、本発明に係る画像出力装置は、複数の画像データを入力する入力手段と、前記入力手段により入力された個々の画像データから顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された個々の顔画像から特徴情報を取得し、当該取得した特徴情報に応じた顔識別ＩＤを個々の顔画像に対応付けて登録する登録手段と、前記顔画像検出手段により前記複数の画像データから検出された顔画像の出現回数の合計に対する、個々の顔識別ＩＤを有する顔画像の出現回数の割合から、個々の顔識別ＩＤの主要度を算出する主要度算出手段と、個々の画像データに含まれる顔画像に対応付けられた顔識別ＩＤの主要度の合計値から、個々の画像データの重要度を算出する重要度算出手段と、前記重要度算出手段により算出された個々の画像データの重要度を比較して、前記重要度の高い画像データの表示サイズが、前記重要度の低い画像データの表示サイズよりも大きくなるように、個々の画像データのレイアウトを決定する決定手段と、前記決定手段により決定されたレイアウトで前記複数の画像データを出力する出力手段と、を備える。

また、本発明に係る画像出力装置の制御方法は、前記画像出力装置の入力手段が、複数の画像データを入力する入力工程と、前記画像出力装置の顔画像検出手段が、前記入力工程により入力された個々の画像データから顔画像を検出する顔画像検出工程と、前記画像出力装置の登録手段が、前記顔画像検出工程により検出された個々の顔画像から特徴情報を取得し、当該取得した特徴情報に応じた顔識別ＩＤを個々の顔画像に対応付けて登録する登録工程と、前記画像出力装置の主要度算出手段が、前記顔画像検出工程により前記複数の画像データから検出された顔画像の出現回数の合計に対する、個々の顔識別ＩＤを有する顔画像の出現回数の割合から、個々の顔識別ＩＤの主要度を算出する主要度算出工程と、前記画像出力装置の重要度算出手段が、個々の画像データに含まれる顔画像に対応付けられた顔識別ＩＤの主要度の合計値から、個々の画像データの重要度を算出する重要度算出工程と、前記画像出力装置の決定手段が、前記重要度算出工程により算出された個々の画像データの重要度を比較して、前記重要度の高い画像データの表示サイズが、前記重要度の低い画像データの表示サイズよりも大きくなるように、個々の画像データのレイアウトを決定する決定工程と、前記画像出力装置の出力手段が、前記決定工程により決定されたレイアウトで前記複数の画像データを出力する出力工程と、を備える。

本発明によれば、画像データに関するフォトアルバム作成時に、画像データに含まれる顔画像から重要度を算出し、この重要度から画像データを好適なレイアウトで出力することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
先ず、本発明に係る第１の実施形態について説明する。

図１は本発明の画像出力装置が適用されるデジタルテレビ受信装置１００の構成を示すブロック図である。

図１において、不図示のアンテナにより受信された信号はチューナ部１０１に入力される。チューナ部１０１は、入力された信号に対して、復調、誤り訂正等の処理を施し、トランスポートストリーム（以下、ＴＳ）と呼ばれる形式のデジタルデータを生成する。チューナ部１０１は更に、生成したＴＳデータに対してデスクランブル処理を行い、デマルチプレクサ部１０２に出力する。

デマルチプレクサ部１０２は、チューナ部１０１より入力された複数チャネル分の映像、音声データ、データ放送データ等が時分割多重されているＴＳデータの中から、映像データ及び音声データを取り出し、映像・音声デコーダ部１０３に出力する。映像・音声デコーダ部１０３で処理された映像データはビデオメモリ１０５に書き込まれ、表示合成部１０６を介して表示部１０７へ出力される。音声データは音声出力部１０４にて出力される。

カードスロット１０８にはメモリカード等が接続され、本実施形態ではデジタルカメラとの画像データ等のやり取りに使用される。

データ入力部１０９は、カードスロット１０８に接続されたメモリカードから画像データを読み込む。１１０は画像デコーダ部であり、データ入力部１０９より読み込んだ画像データをデコード処理する。

制御部１１１は、データ入力部１０９に対する画像データの読み込み指示、画像デコーダ部１１０に対する処理実行の指示を行いシステムを統合的に制御する。また、制御部１１１は、ビデオメモリ１０５への表示データの書き込み指示、表示合成部１０６に対する合成処理の指示、記憶部１１２に対する情報の記憶指示等を行いシステムを統合的に制御する。更に、制御部１１１はリモートコントローラ１１４（以下、リモコン）からの入力データをユーザ入力部１１３を介して取得しシステムを制御する。

記憶部１１２は、例えばHDD（ハードディスク）等の補助記憶装置を備える。記憶部１１２には、画像データや、後述する顔認識部１１５によって作成された顔画像の特徴データベース（以下、特徴DB）、主要被写体判定部１１９による判定結果、重要度判定部１２０による判定結果が格納される。また、本実施形態により作成されるフォトアルバムを蓄積する。

顔認識部１１５は、顔検出部１１６、登録部１１７、識別部１１８を有する。

顔検出部１１６は、データ入力部１０９から画像データが入力されると顔検出処理を行う。顔検出処理は、例えば階調分布を持つ画像中の瞳を検出することにより顔領域を特定する。

登録部１１７は、入力された画像データについて、パターン認識手法の一つである固有顔法を用いて顔検出処理により検出された顔画像の特徴ベクトルを算出し、顔画像に顔IDを割り当て、特徴ベクトルを顔IDと共に特徴DBとして記憶部１１２に登録する。

固有顔法では目の位置を基準として予め位置・大きさを正規化した多数の顔画像に対して主成分分析を行い、予め１００程度の固有ベクトルで表現される固有顔を求めて記憶部１１２に記憶しておく。そして入力された画像データと記憶部１１２に記憶しておいた固有顔との間で積和演算を行い、固有顔に対する入力画像データの特徴ベクトルを１００個の重みの組として表現する。

識別部１１８は入力された画像データについて、固有顔との演算を行って特徴ベクトルを算出し、予め登録されている特徴DBと１対多数の比較を行う。その結果、識別部１１８では特徴DBに登録された顔画像と“同一”か“同一でない”かを識別する。

主要被写体判定部１１９は、ユーザにより指定されたフォトアルバムを構成する画像データ群において、顔認識部１１５により認識された顔画像の統計をとって各被写体の主要の度合い（以下、主要度）を求める。主要度の算出方法については後述する。

重要度判定部１２０は、入力された画像データに含まれる顔画像と主要被写体判定部１１９で求めた各被写体の主要度から画像データの重要度を判定する。重要度の算出方法については後述する。

表示部１０７は、例えばCRTや液晶ディスプレイ(LCD)等の出力デバイスであり、本実施形態におけるフォトアルバムを表示出力する。

図２は、本実施形態で使用されるリモコンの外観図である。

発光部２０１は、図１のユーザ入力部１１３との間で赤外線通信を行う。電源キー２０２は、本装置１００の電源をON/OFFする際に使用される。メニューキー２０３は、各種のモードに応じて利用可能なメニューリストを表示する際に使用され、本実施形態におけるフォトアルバムアプリケーションを起動する際にも使用される。上下左右キー２０４は、前述のメニューリスト上でメニューを選択操作するためのフォーカスを移動させる際に使用される。決定キー２０５は、前述のメニューリスト上でフォーカスされたメニュー項目を決定操作するために使用される。数字キー２０６は、０〜９の数字がマトリクス状に配置され、例えばテレビ放送におけるチャンネルの選局を行う際等に使用される。

本実施形態において用いる画像データはデジタルカメラにて撮影された静止画データであり、静止画データはデジタルカメラにてJPEG圧縮処理を施された後、静止画像データファイルとしてメモリカードに記録されている。静止画像データファイルはExif規格に基づき画像ヘッダ情報に撮影情報（以下、Exif情報）が付与されている。Exif情報には、例えば撮影日情報、カメラ機種名、メーカー名、カメラ設定情報等が含まれる。

また、Exif情報にはMakerNoteと呼ばれるメーカー独自の情報を付与できる領域があり、撮影時のユーザコメントや“人物”や“風景”といったExif規格で規定された撮影シーン情報を付与することが可能である。更に加えて、“体育祭”や“結婚式”といった詳細な撮影シーン情報をオプションとして付与することが可能である。これらExif情報は撮影後にも設定可能であり、ユーザは所望の詳細情報を付与することが可能である。

以下の説明で「画像データ」とは静止画像データファイルを示すものとする。

本実施形態のデジタルテレビ受信装置１００において、フォトアルバムアプリケーションは、ユーザがカードスロット１０８にメモリカードを接続することで画像データの読み込みを行う。また、ユーザがリモコン１１４のメニューキー２０３を操作することでフォトアルバムの作成機能を起動できる。

図３乃至８は、本実施形態におけるフォトアルバム作成機能の呼び出し及び動作の一部を説明するための表示画面例を示す。

ユーザが図２に示すリモコン２００のメニューキー２０３を押下すると、制御部１１１はメニューリストを表示する（図３）。メニューリストとして、例えば「画像一覧」、「スライドショー」、「アルバム作成」が表示されている。

ユーザはリモコン２００の上下左右キー２０４にてフォーカス３０１を移動させ、メニューリストから「アルバム作成」を選択する。

メニューリストの「アルバム作成」が選択されると、制御部１１１はアルバム作成メニューのサブメニューを表示する（図４）。

ここではサブメニューの例として「個別に選択」、「日付で選択」、「イベントで選択」が表示されている。

例えば「個別に選択」をユーザが選択すると、マトリクス状に表示された画像からフォトアルバムを作成するための画像データを選択する画面に移行する（図５）。

ユーザはマトリクス状に表示された画像データ上のフォーカス５０１を移動させてリモコン２００により決定操作し、同様に繰り返し決定操作をすることによって、複数の所望の画像データを選択できる。また、一度決定操作した画像データに対して再度決定操作を行うと選択解除される。そして、登録ボタン５０２にフォーカスを移動させてリモコン２００により決定操作すると、フォトアルバムを構成するための複数の画像データ（以下、画像データ群）の選択が終了する。

「日付で選択」をユーザが選択すると、撮影日リストの画面に移行する（図６）。

画像データの撮影日情報は、Exif情報を利用することにより取得可能である。

ユーザは撮影日リスト上のフォーカス６０１を移動させてリモコン２００により決定操作すると、フォトアルバムを作成する画像データ群の選択が終了する。

「イベントで選択」をユーザが選択すると、イベントリストの画面に移行する（図７）。イベントリストは、例えば画像データの撮影日と撮影シーン情報とに基づいて図７に示すような結婚式等のリストが表示される。

撮影シーン情報は、撮影日情報と同様にExif情報に含まれるメーカー独自の撮影シーン情報や、設定可能なユーザコメント情報を利用することにより取得可能である。

ユーザはイベントリスト上のフォーカス７０１を移動させてリモコン２００により決定操作すると、フォトアルバムを作成する画像データ群の選択が終了する。

例えば、ここでは撮影日が“２００５年１０月１４日”で、イベント情報に“結婚式”を持つ画像データ群が選択されたことになる。制御部１１１は、選択されたイベントに合うような複数のレイアウトテンプレートを記憶部１１２から取得し、表示部１０７に表示出力する（図８）。

レイアウトテンプレートは、フォトアルバムとして画像データをどのように表示するかを示す型であり、１ページに表示させる枚数、配置位置、大きさ、背景の設定情報が予め決められている。

ここで、本実施形態におけるレイアウトテンプレートは上記設定情報に加えて、配置位置の優先度情報を備えている。配置位置の優先度情報とは、配置位置のランク付けのようなもので、後述する画像データの重要度が高いものほど優先度の高い位置に配置する。

次に、図９を参照して画像データ読み込み時の動作について説明する。

ユーザがカードスロット１０８にメモリカードを接続すると自動で画像データの読み込みを開始する（Ｓ９０１）。

次に、顔認識部１１５の顔検出部１１６により顔検出処理を行い、顔領域部分の画像データ（以下、顔画像）を取得する（Ｓ９０２）。

次に、登録部１１７では顔検出処理により取得した顔画像に対して、正規化処理を行った後、固有顔法を用いて特徴ベクトルを算出し（Ｓ９０３、Ｓ９０４）、顔画像に顔IDを割り当て特徴ベクトルと共に特徴DBとして記憶部１１２に登録する（Ｓ９０５）。

次に、図１０を参照してフォトアルバム作成時の動作について説明する。

ステップＳ１００１において、フォトアルバムを作成するための画像データ群を読み込む。

ここで読み込む画像データ群とは図３〜８を用いて説明した手順によってユーザにより設定されたフォトアルバムを構成する画像データである。

次に、ステップＳ１００２では、画像データ群に含まれる各顔画像の主要度を求める。

次に、ステップＳ１００３では、各顔画像の主要度を用いて各画像データの重要度を求める。

次に、ステップＳ１００４では、読み込んだ画像データ群をフォトアルバムのレイアウトテンプレート情報に従って１ページ毎にグループ分けする。

レイアウトテンプレート情報には、各ページの画像枚数、配置位置、表示サイズ情報が含まれており、ここでは、時系列順で取得した画像データ群を１ページ目に４枚、２ページ目に２枚、３ページ目に３枚、…、といった具合にグループ分けする。

次に、ステップＳ１００５ではステップＳ１００４で１ページ毎にグループ分けされた画像データ同士を比較して、同一ページ内における画像データの重要度の順位を求める。

但し、重要度の順位付けは、顔画像を含まない画像データについては重要度をいずれも同じもの（同順位）として判断する。また、同一ページ内に顔画像を含む画像データが少なくとも１枚以上ある場合には、顔画像を含まない画像データは顔画像を含む画像データよりも重要度が低いものとして順位を決定する。

次に、ステップＳ１００６では、ステップＳ１００５で求めた画像データの重要度の順位に基づいて、前述の配置位置の優先度情報を備えるレイアウトテンプレートを決定する。このレイアウトテンプレートの決定方法については後述する。

次に、ステップＳ１００７では、ステップＳ１００６で決定したレイアウトテンプレートに、ステップＳ１００５で求めた画像データの重要度の順位に基づいて画像データを配置する。

なお、画像データの配置は重要度の順位に基づくことを基本とするが、例えば同一ページ内の画像データの重要度がいずれも同じような場合（Ｓ１００５）や、顔画像を含まない画像データが同一ページ内にグループ分けされた場合には時系列順で配置する。

次に、ステップＳ１００８では、ステップＳ１００７で配置した画像データを表示部１０７に出力する。

図１１は、主要被写体判定部１１９において、フォトアルバムを構成する画像データ群における各顔画像の主要度の算出方法を説明するフローチャートである。

先ず、制御部１１１は主要度を求める前に初期化処理として作成するフォトアルバム用の特徴DB（以下、PADB）を格納する領域を記憶部１１２に確保する（Ｓ１１０１）。PADBにはフォトアルバムを構成する画像データ群の画像データ名、各画像データに含まれる顔ID、顔IDに対応する特徴ベクトル、フォトアルバム内における各顔画像の主要度ならびに後述の画像データの重要度が格納される。

次に、制御部１１１は画像データ群の枚数を取得する（Ｓ１１０２）。

次に、制御部１１１はＮ番目の画像データに含まれる顔画像数を取得する（Ｓ１１０３）。

次に、記憶部１１２からＮ番目の画像データに含まれるｆｎ番目の顔画像に対応する特徴ベクトルを取得する（Ｓ１１０４）。

ここで制御部１１１は画像データを撮影日順で取得し、顔画像については顔検出部１１６で検出された順番で取得するものとする。

次に、制御部１１１はｆｎ番目の顔画像の特徴ベクトルとPADBに登録されている特徴ベクトルとを比較する（Ｓ１１０５）。

ｆｎ番目の顔画像の特徴ベクトルが、既にPADBに登録されている特徴ベクトルと一致しない場合には、新規の顔画像と判断して新規の識別ID（以下、顔識別ID）を割り当てる。

また、一致する場合には既に登録されている顔画像であると判断して一致する顔画像の顔識別IDを割り当てる（Ｓ１１０６〜Ｓ１１０９）。

図１２は前述の図９による画像データの読み込み時に作成された顔ID１２０１と各顔IDに対する特徴ベクトル１２０２の関係を表している。

これらの画像データからフォトアルバムが構成されると仮定してIMG_0004.jpgを用いて具体的に説明する。

IMG_0004.jpgには顔ID“img0004_f1”、特徴ベクトル“vector(x,y,z)”を持つ顔画像と、顔ID“img0004_f2”、特徴ベクトル“vector(c,f,g)”を持つ顔画像が含まれている。

ここで、IMG_0004.jpgを既にPADBに登録されているIMG_0001.jpgと比較すると、IMG_0004.jpgの特徴ベクトル“vector(x,y,z)”がIMG_0001.jpgの特徴ベクトルと一致することが分かる。

従って、IMG_0004.jpgの顔ID“img0004_f1”の顔画像とIMG_0001.jpgの顔ID“img0001_f0”の顔画像とが同一であると判断する。そして、IMG_0001.jpgに割り当てた顔識別IDと同一の顔識別IDを割り当ててPADBに登録する。

一方、IMG_0004.jpgの顔ID“img0004_f2”の特徴ベクトル“vector(c,f,g)”についてはPADBに一致するものがない。このため、新規の顔画像と判断して新たな顔識別ID“albumA_f5”を割り当ててPADBに登録する。

以上の処理を顔画像数及び画像データ数分だけ繰り返し行う（図１２の１２０３）。

このとき、割り当てた顔識別ID毎にカウントすることにより（Ｓ１１１０）、図１３に示すような顔識別ID１３０１とその出現回数１３０２の関係が得られる。

次に、割り当てられた顔識別IDとその出現回数から主要度を算出する（Ｓ１１１１〜Ｓ１１１５）。

ここで主要度は以下の関係により表される。
（任意の顔識別IDの主要度）＝（任意の顔識別IDの出現回数）／（全ての顔識別IDの出現回数の合計）
具体的に図１３の顔識別ID“albumA_f0”を用いて説明すると、“albumA_f0”の出現回数は３回、全ての顔識別IDの出現回数の合計は１００回ということから
（“albumA_f0”の主要度）＝３／１００
により表される。

以下、同様にして各顔識別IDの主要度が求められる（図１３の１３０３）。

図１４は重要度判定部１２０において、フォトアルバムを構成する画像データ群の各画像データの重要度の算出方法について説明するフローチャートである。

制御部１１１は画像データ群の枚数を取得する（Ｓ１４０１）。

次に、制御部１１１はＮ番目の画像データに含まれる顔画像数を取得する（Ｓ１４０２）。

次に、PADBからＮ番目の画像データに含まれるｄｆｎ番目の顔画像に対応する主要度を取得する（Ｓ１４０３）。

そして、上記ステップをＮ番目の画像データに含まれる顔画像数分だけ繰り返し、取得した主要度を累積加算する（Ｓ１４０４）。

以上、画像データ数分だけ同様の処理を行うことにより各画像データの重要度が求められる。

図１５のIMG_0001.jpgを用いて具体的に説明すると、IMG_0001.jpgには顔識別ID“albumA_f0”、主要度“３／１００”と顔識別ID“albumA_f1”、主要度“５／１００”を持つ顔画像が含まれている。

従って、上記ステップを適用すると、
（IMG_0001.jpgの重要度）＝（３／１００）＋（５／１００）＝８／１００
により求まる。

以下、同様にして各画像データの重要度が求められる（図１５の１５０１）。

図１６は配置位置の優先度情報を備えるレイアウトテンプレートの決定、及び画像データの重要度の順位に基づいて配置位置を決定する処理を示すフローチャートである。

先ず、前述のステップＳ１００４及びＳ１００５により、グループ化された画像データの順位付け結果を取得する（Ｓ１６０１）。

図１５で説明した画像データ群を用いて具体的に説明すると、以下のようになる。
例えば、図１７の１７０１に示すグループ１(IMG_0001.jpg〜IMG_0004.jpg)、グループ２(IMG_0005.jpg,IMG_0006.jpg)、…、を対象にする。これらに対して図１７の１７０２に示す順位付け結果を取得する。ここでの順位付けは、重要度の値が大きいほど重要な画像データとして行われる。

次に、ステップＳ１６０２で取得した順位付け結果から画像データ間の優先度の関係を求める。

優先度の関係とは重要度の大小関係であり、例えば図１７のグループ１では１７０２の順位に従ってIMG_0003.jpg＞IMG_0002.jpg＞IMG_0004.jpg＞IMG_0001.jpgとなる。

従って、図１８(ｄ)に示すような重要度順に表示サイズが変わるような重要度の関係を表すレイアウトテンプレートを選択する。

ここでは図１７中の重要度１５０１に厳密に従って順位の関係を導いている。しかし、例えば重要度の関係を比較する際にある程度の許容差を考慮することによりIMG_0003.jpg＞IMG_0002.jpg≒IMG_0004.jpg≒IMG_0001.jpgと判断することもできる。

この場合、図１８（ｂ）に示すような最も重要なものだけが大きく表示されるようなレイアウトテンプレートを選択する（Ｓ１６０３）。

そして、画像データの優先度の関係と、予めレイアウトテンプレートに割り当てられている優先度との関係に対応させて画像データを出力制御し表示部１０７へ出力する（Ｓ１６０４、Ｓ１６０５）。

図１９に本実施形態を適用した表示結果を示す。

図示の例では結婚式のフォトアルバムの一画面例であるが、フォトアルバムを構成する画像データ群には新郎新婦が多く写る傾向となる。この結果、被写体として主役の新郎新婦のいずれの顔画像においても重要度が高く判定され、レイアウトテンプレート上の優先度の高い位置に配置されることになる。従って、従来例のように単に時系列順に画像データを配置する場合（図２８）に比べてより好適な位置で出力制御できていることが分かる。

上記制御の結果、画像データに含まれる被写体の重要度を判定し、重要度に基づいたレイアウトテンプレートを利用することで、画像の内容を反映させたより好適な位置に出力制御する画像出力装置を実現できる。

本実施形態によれば、フォトアルバムを構成する画像データ群に対して顔認識処理を実行し、出現回数の多い顔画像ほど主要な被写体であることを利用して、フォトアルバム内における各画像データの重要度を決定できる。更に、各画像データの重要度を反映して画像データを配置することにより、重要な画像データをレイアウト上より重要な位置に配置するといった、効果的なフォトアルバムの作成が可能となる。

［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。

第２の実施形態は第１の実施形態に係る顔認識部に異なる特徴を有するものである。

以下、第２の実施形態では、第１の実施形態で説明したものと共通の構成、動作については同じ符号で示し異なるものについてのみ説明する。

図２０は第２の実施形態のデジタルテレビ受信装置２０００の構成を示すブロック図である。

図２０において、顔認識部２００１は第１の実施形態と異なる顔検出部２００２と識別部２００３とを備える。

顔検出部２００２では画像データ内から顔領域候補と両目、鼻孔、口という３種類の顔要素を抽出し、予め記憶部１１２に記憶している人物検出用のプロファイルと比較する。そして、輝度値の変化量、顔領域候補の色情報、顔領域候補のサイズ、顔要素の幾何学的位置関係から顔らしさの算出を行う。即ち、第２の実施形態における顔検出部２００２は第１の実施形態と同様に顔検出処理を行うが、顔領域が“ある”又は“ない”の判断に加え顔確率を出力する。

顔確率は０から１００の間の値で求められ、１００に近いほど顔領域である確率が高いことを示し、０に近いほど顔領域である確率が小さいことを示す。

識別部２００３は第１の実施形態と同様に固有顔法を用いて特徴DBと１対多数の比較を行うが、登録された顔画像と“同一”又は“同一ではない”の識別に加え、類似度判定を行う。類似度判定では、特徴DBに登録されている特徴ベクトルと、判定対象となる画像データの特徴ベクトルとの類似の度合いを定量的に表現する。この値は０から１の間の値で求められ、１に近いほど２つの顔画像は同一である確率が高いことを示し、０に近いほど２つの顔画像が異なるものである確率が高いことを示す。

図２１は第２の実施形態における画像データ読み込み時の動作を説明するフローチャートである。

ユーザがカードスロット１０８にメモリカードを接続すると自動で画像データの読み込みを開始する（Ｓ９０１）。

次に、顔認識部２００１の顔検出部２００２により顔検出処理を行う。ここで、第２の実施形態における顔検出処理では顔画像と顔検出確率Ｐを取得する（Ｓ２１０１）。

次に、顔検出確率Ｐと予め設定している閾値ＦＴｈとを比較し、Ｐ＜ＦＴｈ場合には顔領域ではないと判断して以降の処理は行わない。一方、Ｐ≧ＦＴｈの場合には顔領域と判断して次のステップへと進み（Ｓ２１０２）、特徴ベクトルの算出及び登録処理を行う。

ここで、閾値ＦＴｈはフォトアルバムアプリケーションの提供者が予め経験的に設定するものであり、顔検出部２００２の顔確率アルゴリズムに依存するものである。フォトアルバムを作成するユーザに対して閾値の設定について特に制限はしないが、できるだけ設定操作を不要にするほうが望ましい。

図２２は、第２の実施形態における顔画像の主要度の算出方法を説明するものである。

先ず、制御部１１１は第１の実施形態と同様に初期化処理としてPADBを作成する領域を記憶部１１２に確保する（Ｓ１１０１）。

制御部１１１は画像データ群の枚数、Ｎ番目の画像データ及びＮ番目の画像データに含まれるｆｎ番目の顔画像に対応する特徴ベクトルを取得する（Ｓ１１０２〜１１０４）。

次に、制御部１１１はｆｎ番目の顔画像の特徴ベクトルとPADBに登録されている特徴ベクトルとの類似度を判定する（Ｓ２２０１）。

この結果取得した類似度ｓと予め設定している閾値Ｔｈとを比較し、ｓ＜Ｔｈの場合には同一の顔画像は登録されていないと判断して新規に顔識別IDを割り当てる。一方、ｓ≧Ｔｈの場合には、複数類似していると考えられる顔画像の中から最も類似度の高い顔画像を同一であると判断して、この顔画像の顔識別IDを割り当てる（Ｓ２２０２〜Ｓ２２０３）。

以上の処理を画像データ数分だけ繰り返し行って、第１の実施形態と同様に各顔画像の主要度を算出する（Ｓ１１１１〜Ｓ１１１５）。

以上説明したように、第２の実施形態では、第１の実施形態における顔検出部と主要度判定部は以下の処理を行う。
（１）顔検出確率Ｐと閾値ＦＴｈの関係が、Ｐ＜ＦＴｈの場合にはPADBへ登録処理を行わない。
（２）顔検出確率Ｐと閾値ＦＴｈ及び類似度ｓと閾値Ｔｈの関係がＰ≧ＦＴｈかつｓ≧Ｔｈとなる場合には既にPADBに登録された顔識別IDを割り当る。また、Ｐ≧ＦＴｈかつｓ＜Ｔｈとなる場合には新規の顔画像として顔識別IDを割り当てて各顔画像の主要度を算出する。

以上より、より精度の高い顔画像の主要度判定ならびに画像データの重要度判定が可能となり、画像の内容を反映させた好適な位置に出力制御する画像出力装置を実現できる。

［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。

第３の実施形態は第１の実施形態に係る重要度判定部に異なる特徴を有するものである。

以下、第３の実施形態では、第１の実施形態で説明したものと共通の構成、動作については同じ符号で示し、異なるものについてのみ説明する。

例えばフォトアルバムを作成する１００枚の画像データがある場合に、その中に１枚だけ顔画像を含む画像データがあった場合、その顔画像が偶然写ったものなのか、本当の被写体なのか判断することは困難である。

上記問題に鑑みて、本実施形態は特にフォトアルバムを構成する画像データ群に顔画像を含む画像データがほとんど含まれない場合に効果を得るものである。

図２３は第３の実施形態のデジタルテレビ受信装置２３００の構成を示すブロック図である。

図２３において、重要度判定部２３０１は、第１の実施形態と同様に主要被写体判定部１１９による判定結果に基づいて画像データの重要度を判定する。

ここで、第３の実施形態の特徴として重要度判定部２３０１は主要被写体判定部１１９の判定結果に対して主要度の割合を算出し、その割合が極めて小さい場合に過去に作成したPADBと比較して重要な被写体であるかどうかの判断を行う機能を備える。

図２４は第３の実施形態の重要度判定部の動作を説明するフローチャートである。

先ず、制御部１１１は画像データ群の枚数、及び画像データ群全体に含まれる顔画像数を取得する（Ｓ１４０１〜Ｓ１４０２）。

次に、PADBからＮ番目の画像データに含まれるｄｆｎ番目の顔画像に対応する主要度を取得する（Ｓ１４０３）。

そして主要度の割合として以下の計算を行う。
（主要度の割合）＝｛（画像データ群に含まれる顔画像数）／（画像データ群の枚数）｝×（主要度）
この結果、例えば主要度の割合が０．０１以下の場合には、既に作成したことのあるフォトアルバムのPADBと比較する。そして、既に主要な被写体として判断されたことがある場合にはステップＳ１４０４へ進んで主要度の累積加算を行い、判断されたことがない場合にはステップＳ１４０５へ進み、画像データの重要度へは反映しない（Ｓ２４０１〜Ｓ２４０４）。

具体的には、例えばフォトアルバムを構成する画像データ群Ａと画像データ群Ｂがあるとする。

画像データ群Ａはフォトアルバムを構成する画像データ数を１０、検出された顔画像数を１とし、画像データ群Ｂはフォトアルバムを構成する画像データ数を１００、検出された顔画像数を同じく１とする。

このとき、１０枚中１枚に顔画像が含まれる場合に比べ、１００枚中１枚の顔画像が含まれる場合の方が偶然に写った顔画像である可能性が高いと考えられる。

しかし、第１又は第２の実施の形態を適用すると、顔画像を含む画像データの主要度はいずれも（１／１）となり、フォトアルバムを構成する枚数に関係なく、同等の主要度とみなしてしまうことがある。

そこで、前述の画像データの主要度を主要度の割合として求めると、
（画像データ群Ａの主要度の割合）＝（１／１０）×（１／１）
（画像データ群Ｂの主要度の割合）＝（１／１００）×（１／１）
となる。この時、画像データ群Ｂの主要度の割合が０．０１以下となり、既に作成したことのあるPADBと比較することになる。

もし、既に主要な被写体として判断されたことがある場合には、偶然に写った顔画像ではない可能性が高いと判断して画像データの重要度判定に反映する。一方、いままで主要な被写体として判断されたことがない顔画像の場合には偶然に写った顔画像であることも考えられ重要度判定に反映しない。

以上のように、フォトアルバムを構成する画像データ群の母数を考慮して被写体の主要度判定を行う。これにより、偶然写ってしまったような顔画像や、たまたま検出されてしまったような顔画像（例えば誤検出等も含む）についても、主要な顔画像として画像データの重要度に反映してよいかどうかの判定が可能になる。

更に、主要な顔画像でない可能性がある場合には過去の主要被写体判定結果（具体的には既に作成したことのあるフォトアルバムの特徴DB）に基づいて重要度へ反映するので、より精度の高い画像データの重要度判定が可能となる。

その結果、第１及び第２の実施の形態と併せて、より画像の内容を反映させた好適な位置に出力制御する画像出力装置を実現できる。

［第４の実施形態］
次に、本発明に係る第４の実施形態について説明する。

係る第４の実施形態は第１の実施形態に係るレイアウトテンプレートの決定及び出力制御方法に異なる特徴を有するものである。

以下、第４の実施形態では、第１の実施形態で説明したものと共通の構成、動作については同じ付番で示し、異なるものについてのみ説明する。

図２５は第４の実施形態のデジタルテレビ受信装置２５００の構成を示すブロック図である。

図２５において、制御部２５０１は第１の実施形態と異なるレイアウト制御を行い、画像データの重要度の順位に基づいて出力サイズを変更する。

本実施形態におけるレイアウトテンプレートは、出力制御時の設定情報として１ページに表示させる枚数、配置位置情報としての表示画面上の座標値、背景の設定情報と前述の画像データの重要度に対する出力サイズの倍率情報を備えている。

図２６を用いて本実施形態における画像出力制御の動作について説明する。

制御部２５０１は、第１の実施形態と同様にグループ化された画像データの重要度ならびに重要度の順位を取得する（Ｓ１００１〜Ｓ１００５）。

次に、制御部２５０１は、レイアウトテンプレートの設定情報を取得する（Ｓ２６０１）。

次に、制御部２５０１は、画像データの重要度の順位に基づき出力サイズを決定する（Ｓ２６０２）。

次に、制御部２５０１は、レイアウトテンプレートの設定情報に基づいて各画像データの配置位置、出力サイズで表示部１０７に出力制御する。

具体的には、第１の実施形態と同様にして画像データのグループ化を行い、顔画像の主要度を判定する。

そして、顔画像の主要度の判定結果と画像データに含まれる顔画像に基づく重要度を取得する。

続いて、レイアウトテンプレートの設定情報を取得する。設定情報には、例えば、同一画面内（１ページ）に画像が４枚という情報が含まれる。また、配置位置の座標値(960,320)、(350,800)、(960,800)、(1570,800)が含まれる。更には、背景画像がSky.jpg、デフォルト表示サイズが縦３２０画素、横２４０画素といった情報が含まれる。

次に、第１の実施形態と同様にして算出した画像データの重要度を用いて、同一ページ内に配置される画像データの重要度の比較を行う。

そして、重要度の順位に従って、予め定めている出力倍率に基づいて出力サイズを決定する。

例えば、重要度の最も高い画像データの場合には出力サイズを２００％として縦６４０画素、横４８０画素で出力し、最も重要度が低い画像データの場合には出力サイズを５０％として横１６０画素、縦１２０画素で出力制御する。

なお、本実施形態では画像データの重要度の順位に従って、予め定めていた出力倍率に基づいて出力サイズを決定するとしたが、例えばこれを重要度の順位に基づく表示効果とすることも可能である。

例えば、前述と同様に同一ページ内の画像データの重要度を比較し、最も重要な画像データについてはズームイン等より目を引き付けるような表示効果を行い、その他の画像データについては表示効果を与えないといった出力制御を行う。

以上説明したように、本実施の形態を適用した場合、時系列順に画像データを配置できるだけでなく、従来と同様のレイアウトを行った場合でも表示サイズを画像データの重要度に従ってダイナミックに出力制御する。このため、フォトアルバム作成者としては重要な画像データをアピールでき、また、視聴者としては重要な画像データを一目で把握できるような印象的で効果的なフォトアルバムの作成が可能となる。

［第５の実施形態］
次に、本発明に係る第５の実施形態について説明する。

第５の実施形態は第１の実施形態に係る構成にプリンタＩ／Ｆを備えるものである。

以下、第５の実施形態では、第１の実施形態で説明したものと共通の構成、動作については同じ付番で示し、異なるものについてのみ説明する。

図２７は第５の実施形態のデジタルテレビ受信装置２７００の構成を示すブロック図である。

制御部１１１はユーザ入力部を介してユーザからの印刷指示を受け付けると、出力制御部２７０１へ印刷処理を指示する。

出力制御部２７０１は制御部１１１から印刷処理の指示を受け付けると、顔認識部１１５、主要被写体判定部１１９、重要度判定部１２０で決定された配置情報を記憶部１１２より読み出す。これをプリント可能な状態にデータを処理し、プリンタＩ／Ｆ２７０２を介してプリントデータとして外部プリンタ２７０３へ出力する。

上記処理により、画像の内容を反映させた画像配置及び画像サイズのフォトアルバムを表示部に表示させるのみならず、プリントアウトすることが可能となり、銀塩写真におけるアルバムの如くアルバム視聴を楽しむことができる。

［他の実施形態］
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該プログラムコードを読み出して実行することになる。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。

本発明に係る第１の実施形態のデジタルテレビ受信装置の構成を示すブロック図である。 本実施形態におけるリモコンの外観図である。 第１の実施形態におけるメニューリスト表示画面例を説明する図である。 第１の実施形態におけるアルバム作成メニューの表示画面例を説明する図である。 アルバム作成メニューから「個別に選択」を選択操作した場合の表示画面例を説明する図である。 アルバム作成メニューから「日付で選択」を選択操作した場合の表示画面例を説明する図である。 アルバム作成メニューから「イベントで選択」を選択操作した場合の表示画面例を説明する図である。 第１の実施形態においてテンプレートを選択する表示画面例を説明する図である。 第１の実施形態における画像読み込み時の動作を示すフローチャートである。 第１の実施形態におけるフォトアルバムを作成して表示出力制御する動作を示すフローチャートである。 第１の実施形態における顔画像の主要度の算出方法のフローチャートである。 第１の実施形態における顔認識結果例を説明する図である。 第１の実施形態における主要度判定結果例を説明する図である。 第１の実施形態における画像データの重要度判定を示すフローチャートである。 第１の実施形態における重要度判定結果例を説明する図である。 第１の実施形態における画像データのレイアウトテンプレートへの配置動作を示すフローチャートである。 第１の実施形態における重要度に基づく画像データの順位付け結果例を説明する図である。 本発明に係る実施形態における優先度情報を備えるレイアウトテンプレート例を説明する図である。 第１の実施形態におけるフォトアルバム表示出力結果例を説明する図である。 第２の実施形態に係るデジタルテレビ受信装置の構成を示すブロック図である。 第２の実施形態における顔検出処理を示すフローチャートである。 第２の実施形態における顔画像の主要度の算出方法を示すフローチャートである。 第３の実施形態のデジタルテレビ受信装置の構成を示すブロック図である。 第３の実施形態における画像データの重要度判定を示すフローチャートである。 第４の実施形態のデジタルテレビ受信装置の構成を示すブロック図である。 第４の実施形態におけるレイアウトテンプレートへの出力制御を説明する図である。 第５の実施形態のデジタルテレビ受信装置の構成を示すブロック図である。 従来例のフォトアルバム表示出力結果例を説明する図である。

符号の説明

１００，２０００，２３００，２５００，２７００ デジタルテレビ受信装置
１０１ チューナ部
１０２ デマルチプレクサ部
１０３ 映像・音声でコーダ
１０４ 音声出力部
１０５ ビデオメモリ
１０６ 表示合成部
１０７ 表示部
１０８ カードスロット
１０９ データ入力部
１１０ 画像デコーダ部
１１１，２５０１ 制御部
１１２ 記憶部
１１３ ユーザ入力部
１１４ リモコン
１１５，２００１ 顔認識部
１１９ 主要被写体判定部
１２０、２３０１ 重要度判定部
２００ リモコン
２７０１ 出力制御部
２７０２ プリンタＩ／Ｆ
２７０３ プリンタ

Claims (6)

1. 複数の画像データを入力する入力手段と、
   前記入力手段により入力された個々の画像データから顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により検出された個々の顔画像から特徴情報を取得し、当該取得した特徴情報に応じた顔識別ＩＤを個々の顔画像に対応付けて登録する登録手段と、
   前記顔画像検出手段により前記複数の画像データから検出された顔画像の出現回数の合計に対する、個々の顔識別ＩＤを有する顔画像の出現回数の割合から、個々の顔識別ＩＤの主要度を算出する主要度算出手段と、
   個々の画像データに含まれる顔画像に対応付けられた顔識別ＩＤの主要度の合計値から、個々の画像データの重要度を算出する重要度算出手段と、
   前記重要度算出手段により算出された個々の画像データの重要度を比較して、前記重要度の高い画像データの表示サイズが、前記重要度の低い画像データの表示サイズよりも大きくなるように、個々の画像データのレイアウトを決定する決定手段と、
   前記決定手段により決定されたレイアウトで前記複数の画像データを出力する出力手段と、を備えることを特徴とする画像出力装置。
2. 前記入力手段により入力された複数の画像データについて、前記出力手段により同時に出力する画像データ群ごとにグループ化するグループ化手段を更に備え、
   前記決定手段は、同一グループ内の画像データの重要度を比較して、同一グループ内で重要度の高い画像データの表示サイズが、重要度の低い画像データの表示サイズよりも大きくなるように、個々の画像データのレイアウトを決定することを特徴とする請求項１に記載の画像出力装置。
3. 前記特徴情報は、顔画像のパターン認識により算出される特徴ベクトルであって、
   前記登録手段は、前記顔画像検出手段により検出された個々の顔画像の特徴ベクトルの類似度を判定して、特徴ベクトルの類似度が所定の閾値以上の顔画像に対して同一の顔識別ＩＤを割り当てることを特徴とする請求項１に記載の画像出力装置。
4. 画像出力装置の制御方法であって、
   前記画像出力装置の入力手段が、複数の画像データを入力する入力工程と、
   前記画像出力装置の顔画像検出手段が、前記入力工程により入力された個々の画像データから顔画像を検出する顔画像検出工程と、
   前記画像出力装置の登録手段が、前記顔画像検出工程により検出された個々の顔画像から特徴情報を取得し、当該取得した特徴情報に応じた顔識別ＩＤを個々の顔画像に対応付けて登録する登録工程と、
   前記画像出力装置の主要度算出手段が、前記顔画像検出工程により前記複数の画像データから検出された顔画像の出現回数の合計に対する、個々の顔識別ＩＤを有する顔画像の出現回数の割合から、個々の顔識別ＩＤの主要度を算出する主要度算出工程と、
   前記画像出力装置の重要度算出手段が、個々の画像データに含まれる顔画像に対応付けられた顔識別ＩＤの主要度の合計値から、個々の画像データの重要度を算出する重要度算出工程と、
   前記画像出力装置の決定手段が、前記重要度算出工程により算出された個々の画像データの重要度を比較して、前記重要度の高い画像データの表示サイズが、前記重要度の低い画像データの表示サイズよりも大きくなるように、個々の画像データのレイアウトを決定する決定工程と、
   前記画像出力装置の出力手段が、前記決定工程により決定されたレイアウトで前記複数の画像データを出力する出力工程と、を備えることを特徴とする制御方法。
5. 請求項４に記載の制御方法をコンピュータに実行させるためのプログラム。
6. 請求項５に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。

Images