JP6525862B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像データを処理する画像処理装置、画像処理方法およびプログラムに関する。

近年、カメラ機能を搭載したモバイル端末の普及を背景として、個人の撮影する画像枚数が増加している。そのため、個人の所有する画像データの総量も増加してきている。フィルムカメラが主流であった頃は少ない撮影枚数をアルバムにまとめることは比較的簡単であったが、現在のような大量の画像データをアルバムにまとめることは容易ではなくなってきている。このような大量の画像データの有効活用を促す自動レイアウト機能を持ったアルバム作成サービスが提供され始めている。

自動レイアウトとは、アルバム作成に関する一部もしくは全機能が自動処理されることを指す。例えば、アルバム掲載用に自動で画像を選択する、アルバムに使用するテンプレートを自動で決定する、テンプレートに自動で画像を割り当てる、等が該当する。自動レイアウト機能によってユーザは迅速にアルバム製作を行うことができ、理想のアルバムを作成する際の作成指針として活用することもできる。

特に、画像の自動選択に関しては、ユーザから与えられた画像を評価して得られる得点に基づいて、ユーザが好ましいと感じる画像を選択する必要がある。画像の得点化について、特許文献１には、ユーザが入力した画像群から、ある選定基準で選定された画像を自動的に評価する画像評価装置が記載されている。

特開２００８−０８４０４７号公報

特許文献１のように、顔の位置関係やサイズといった顔付帯情報を評価基準とした場合、そのような評価基準に従って選択された画像で構成するアルバムは全ページにわたって同じような構図の画像が選択されやすくなる。例えば、ユーザが入力した画像群中で、旅行や日常、セレモニーといった複数の撮影シーンで撮られた画像が混在していた場合であっても、一律の評価基準で画像の選択を行うことになる。その結果、撮影シーンごとの選択画像に変化のないアルバムが完成する。結果、例えば様々な特性の画像が配置されたアルバムを望むユーザにとっては、好ましくないアルバムが作成されてしまう。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、レイアウト対象の画像を、当該画像のシーンの種類に応じた評価基準に基づいて選択する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、テンプレートに含まれるスロットへのレイアウト対象の候補である複数の画像のそれぞれについて特徴量を解析する解析手段と、前記解析手段により解析された前記複数の画像の特徴量に基づいて、前記複数の画像が分類されるシーンの種類を決定する決定手段と、所定の評価基準に従って、前記複数の画像の評価を行う評価手段と、前記決定手段により決定されたシーンの種類に対応する評価基準に従った前記評価手段による前記複数の画像に対する評価に基づいて、前記複数の画像からレイアウトする画像を選択する選択手段と、を備え、前記選択手段は、前記テンプレートに含まれる第１のスロットのための第１の評価基準に従った前記評価手段による評価に基づいて、前記第１のスロットにレイアウトされる画像を選択し、且つ前記テンプレートに含まれる第２のスロットのための、前記第１の評価基準とは異なる第２の評価基準に従った前記評価手段による評価に基づいて、前記第２のスロットにレイアウトされる画像を選択し、前記決定手段により決定されたシーンの種類が第１の種類の場合と第２の種類の場合で、前記第１の評価基準が異なり且つ前記第２の評価基準が異なる、ことを特徴とする。

本発明によれば、画像のシーンの種類に応じた評価基準に基づいて、シーンの画像特徴を持った画像を選択してレイアウトすることができる。

画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 画像解析情報を示す図である。 画像データ群のシーン分割の結果を示す図である。 シーン毎の平均値と標準偏差を示す図である。 得点化軸の概念を示す図である。 画像データの選択を説明するための図である。 画像データのレイアウトに使うテンプレート群を示す図である。 画像得点部の構成を示す図である。 得点化処理を示すフローチャートである。 類似のテンプレートを示す図である。 画像得点部の構成を示す他の図である。 得点化処理を示す他のフローチャートである。 画像得点部の構成を示す他の図である。 得点化処理を示す他のフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーションを動作させ、自動レイアウト機能によりレイアウトを生成するまでの処理について説明する。

図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックして起動する。

図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のユーザのＵＩ操作に応じたアルバム作成条件を自動レイアウト処理部２１６に出力する。

画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像データ群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データに変換する。画像解析部２０４は、解析画像データから後述の、特徴量の取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報から撮影日時の取得も実行する。画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの情報と、画像分類部からの情報を用いて得点付けを行う。

主人公情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。

見開き割当部２０９は、画像データ群を分割してアルバムの各見開きに割り当てる。見開き入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。見開き割当部２０９は、入力された見開き数に応じて画像データ群を分割し、各見開きに画像データ群の一部（分割分）を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像データ群の一部から、アルバム作成条件指定部２０１から指定されたスロット数分の画像データを、画像得点部２０７で付された得点に基づいて選択する。

画像レイアウト部２１２は、画像データのレイアウトを決定する。テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された画像データに適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像データのレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像データのレイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された画像データをレイアウトしたビットマップデータである。

画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正を実行する。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。

アルバム作成アプリケーションは、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ１０５上の起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。ＲＯＭ１０２のプログラムがＣＰＵ１０１によりＲＡＭ１０３に読み出されて実行されると、アルバム作成アプリケーションが起動する。

図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、ユーザからの設定内容を取得する。

表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像データ群を含むフォルダをツリー構成でユーザ選択可能に表示する。ユーザにより選択された画像データ群を含むフォルダパスが、パスボックス３０２に表示される。

主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。

テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。

ユーザによりＯＫボタン３０８が押下されると、アルバム作成条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。アルバム作成条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。画像補正チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、画像補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４を参照しながら、自動レイアウト処理を説明する。

Ｓ４０１では、画像変換部２０３は、解析画像データを生成する。画像形成変換部２０３は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の各画像データを所望の画素数と色情報の解析画像データに変換する。本実施形態では、短辺４２０画素とｓＲＧＢの色情報の解析画像データに変換する。

Ｓ４０２では、画像解析部２０４は、画像特徴量を解析し、取得する。画像解析部２０４は、ＨＤＤ１０４から取得した各画像データに付随する、例えばＥｘｉｆ情報から撮影日時を取得する。また、画像解析部２０４は、Ｓ４０１で生成された解析画像データから特徴量を取得する。特徴量としては、例えば、ピントである。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、○△×の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを○と判定し、許容可能なピントの傾きを△と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。

Ｓ４０３では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０４は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０４は、顔画像の位置と顔画像のサイズを取得可能である。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔにより強識別器を作成しても良い。これにより、画像解析部２０４は、顔画像以外のオブジェクトを検出することができる。

Ｓ４０４では、画像解析部２０４は、Ｓ４０３で検出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較することにより、個人認識を行う。画像解析部２０４は、類似性が閾値以上で類似性が最も高いＩＤを、検出した顔画像のＩＤとする。尚、類似性が閾値未満の場合、画像解析部２０４は、抽出した顔画像を新規の顔として新規の個人ＩＤとして顔辞書データベースに登録する。

画像解析部２０４は、Ｓ４０２〜Ｓ４０４で取得した画像解析情報を、図５に示すように各画像を識別するＩＤ毎に区別して、ＲＯＭ１０３等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報とがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。

Ｓ４０５では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の全画像データに対してＳ４０１〜Ｓ４０４の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０１からの処理を繰り返す。終了していると判定された場合、処理はＳ４０６に進む。

Ｓ４０６では、画像分類部２０５は、シーン分割を実行する。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報から算出した画像と画像の時間差に基づいて、画像データ群を複数のシーンに分割する。本実施形態では、例えば、画像データ間に撮影していない日が存在する場合、その部分を基準として分割が行われる。分割は、他の基準により行われても良い。例えば、撮影日が連続する場合にも分割が行われる場合、時間差が１６時間以上空いていれば、その部分を基準として分割が行われる。また、１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば、分割が行われる。４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割が行われ、５０枚以上なら分割は行われない。図６（Ａ）は、上記のシーン分割方法で画像データ群がシーン分割された結果の一例を示す図である。

Ｓ４０７では、画像分類部２０６は、シーン分類を実行する。本実施形態では、画像分類部２０６は、例えば、シーン分割された分割分の画像データを、旅行、日常、セレモニーのいずれかのシーンの種類に分類する。ここで、図４の自動レイアウト処理部が開始される前に、予め、ユーザは、旅行、日常、セレモニーのシーンであると判断した複数の画像データをそれぞれ集めて指定している。

ここで、予め行われるユーザによる指定について説明する。

例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上で、ユーザが旅行シーンであると判断した複数の画像データの指定を受け付ける。そして、画像解析部２０４は、それらの画像データについて、特徴量を取得する。ここで、取得される特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、複数の画像データの最初の撮影から最後の撮影までの時間差である。撮影枚数は、複数の画像データの撮影枚数である。撮影人数は、撮影された顔の数である。その結果、ユーザが旅行シーンであると判断した複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。

そして、画像解析部２０４は、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得を、ユーザがさらに指定した他の画像データ群についても行う。そして、画像解析部２０４は、複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、撮影人数の平均値と標準偏差を求める。図７は、上記の求められた、シーンの複数種類（旅行、日常、セレモニー）のそれぞれに対応する各平均値と標準偏差を示しており、画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。図７に示した各平均値と標準偏差が、シーンの複数種類のそれぞれに対応する画像を選択する際の選択基準（画像の評価基準）に反映される。詳細は後述する。

再び、図４の処理を説明する。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像データ群がＳ４０６でシーン分割された各分割分に対して、画像分類部２０６は、撮影期間、撮影枚数、撮影人数の各特徴量の得点を算出する。画像分類部２０６は、各分割分の撮影期間、撮影枚数、撮影人数の得点、及びそれらの平均得点を、図７に示すシーン毎の平均値と標準偏差を用いて式（１）及び（２）より算出する。

得点 ＝ ５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（１）
平均得点 ＝ （撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数・・・（２）
算出の結果、各分割分の画像データに対して、旅行、日常、セレモニーのシーン毎の平均得点が算出される。そして、画像分類部２０６は、各分割分の画像データを、上記のうち最高得点に対応するシーンに分類する。図７に示したシーンの複数種類のそれぞれに対応する各平均値と標準偏差が、シーンの複数種類のそれぞれに対応する画像を選択する際の選択基準（画像の評価基準である（式（１））に反映される。そのため、シーンの種類に対して適切な選択基準により画像を選択することができる。

ここで、同点のシーンとなった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高い。例えば、図６（Ａ）のシーン分割された後の画像データ群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、画像データ群５は、旅行シーンに分類される。画像分類部２０６は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。

Ｓ４０８では、Ｓ４０６で分割された全分割分に対してＳ４０７のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０７からの処理を繰り返す。終了していると判定された場合、処理はＳ４０９に進む。

Ｓ４０９では、画像得点化部２０７は、主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。画像得点化部２０７は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点化部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定する。本実施形態では、画像得点化部２０７は、シーンが複数ある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。

また、ユーザが主人公設定アイコン３０４を指定している場合、主人公情報入力部２０６は、その指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点化部２０７は、上記の自動で設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。

Ｓ４１０では、画像得点化部２０７は、得点化（画像の評価）を実行する。得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられるレイアウト対象の画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート１００１は１枚のテンプレートであり、スロット１００２はメインスロットを示し、スロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。メインスロットに対しては、そのページに割り当てられた画像データ中で最も優れていると判断された画像データがメイン画像として選択される。ページに割り当てられた画像データが全て同じシーンに分類されている場合、メインスロットに対して選択される画像データは、シーンの画像特徴を最も備える画像データであると言える。画像得点化部２０７は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。なお、本実施形態ではテンプレートにメインスロットとサブスロットの２種類の基準を用意しているが、スロットの種類の個数は限定されない。例えば、メインスロット、サブスロットに加えて背景用スロットがあっても良い。その場合でもメインスロットとなるテンプレート内のサイズが大きいスロットにはシーンの画像特徴を最も備えた画像データが選択される。

図８（Ａ）は、得点化軸の概念を示す図である。図８（Ａ）は、Ｓ４０７のシーン分類により分類される旅行シーン、日常シーン、セレモニーシーンについて示している。一般的に、旅行シーン、日常シーン、セレモニーシーンではそれぞれ好ましいと考えられる写真の観点は異なる。旅行シーンにおける最も好まれる構図とは、例えば、旅先での象徴的な景色と旅行の主役となる人物が一緒に写っている写真である。また、セレモニーシーンでは、例えば、新郎新婦が２人で寄り添う構図の写真（２人の距離が近い写真）が好まれる。

また、各シーンにおいて好ましいと考えられる写真は１種類であるとは限らない。旅行シーンは上述の人物及び風景写真以外にも、顔がアップや横顔である写真、旅行に同伴した人物や出会った人との記念写真や、旅先での食べ物や建物、風景の写真なども好ましいと考えられる場合がある。

このように、シーンごとに好ましい写真の条件は異なり、またシーン内においても好ましい写真の条件は１つ以上か複数存在する。本実施形態では、画像データについてメインスロット用の得点とサブスロット用の得点との２パターンの得点を算出するために、図８（Ａ）に示すように、各シーン内において好ましい写真の条件を２つ設定する。

図４の自動レイアウト処理部が開始される前に、予め、ユーザは、図８（Ａ）に示す各シーンのメインスロット向きとサブスロット向きの特徴に適合すると判断した複数の画像データを集めて指定している。

ここで、予め行われるユーザによる指定について説明する。

例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上でユーザが旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データの指定を受け付ける。画像解析部２０４は、指定された各画像データの顔の数、顔の位置、顔のサイズの特徴量を取得する。その結果、ユーザが例えば旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データそれぞれについて、顔数、顔の位置、顔サイズの特徴量が取得される。そして、画像解析部２０４は、顔数の平均値と標準偏差、顔の位置の平均値と標準偏差、顔サイズの平均値と標準偏差を求める。画像解析部２０４は、各シーン各スロット種類（メインスロットとサブスロット）について、上記のように、各特徴量の統計値として平均値と標準偏差を求める。画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。

画像得点化部２０７は、評価対象である各画像データがどのシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。画像得点化部２０７は、注目画像データのシーンに対応する予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）及び（４）により、評価対象の画像の平均得点を算出する。

得点 ＝ ５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（３）
平均得点 ＝ （顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数 ・・・（４）
画像の評価基準である式（３）では、図７に示したシーンの複数種類のそれぞれに対応する各平均値と標準偏差に従って、各画像に対応するシーンの種類に対して求められた平均値、標準偏差が適用される。そのため、シーンの種類に対して適切な選択基準（画像の評価基準）により画像を選択することができる。

画像得点化部２０７は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしても良い。図８（Ｂ）は、上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについて得点化されている。

つまり、本実施形態では、各シーンについてメインスロットとサブスロットに適する条件が図８（Ａ）に示すように定められており、予め、ユーザは、それらに適するであろうと判断した画像データを指定している。画像解析部２０４は、そのユーザから指定された画像データについて、顔数、顔位置、顔サイズの特徴量を取得し、特徴量ごとに平均値と標準偏差を求めておく。そして、アルバム作成アプリケーションの起動後、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きである等のユーザ判断基準に近いかを示す得点化（類似度）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。

画像得点部２０７の構成について説明する。図１１は、画像得点部２０７の構成を示す図である。画像群取得部１１０１は、ユーザから入力された画像データ群を取得する。画像群取得部１１０１は、画像データ群取得時に、Ｓ４０６でシーン分割されたシーン分割情報も取得する。

色解析情報取得部１１０２は、Ｓ４０２で取得された画像特徴量を取得する。また、色解析情報取得部１１０２は、画像の撮影日時情報、画像の色合いやエッジ、ピント量などの解析情報も取得する。人物関連解析情報取得部１１０３は、Ｓ４０３での顔検出およびＳ４０４での個人認識の処理結果を取得する。また、人物関連解析情報取得部１１０３は、Ｓ４０９での主人公設定の情報も取得する。

画像解析情報格納部１１０４は、色解析情報取得部１１０２および人物関連解析情報取得部１１０３で取得した各種画像解析情報を包括して管理する。また、画像解析情報格納部１１０４は、色解析情報取得部１１０２および人物関連解析情報取得部１１０３から算出・推量可能な副次的な特徴も管理する。例えば、画像解析情報格納部１１０４は、Ｓ４０３で得られる各顔の位置だけでなく、そこから推量可能な各顔同士の距離も管理する。画像解析情報格納部１１０４で管理される画像解析情報は、これに限定されない。例えば、色解析情報取得部１１０２および人物関連解析情報取得部１１０３で取得した情報だけでない副次的情報が管理されても良い。また、画像解析情報格納部１１０４は、色解析情報取得部１１０２または人物関連解析情報１１０３の一方のみを使用する場合もある。

シーン格納部１１０５は、撮影シーンの各種類と、各撮影シーンであると判断するためのシーン分類方法が格納されている。本実施形態では、旅行シーン、日常シーン、セレモニーシーンの３種類と、各シーンを判別するためのシーン分類方法が格納される。例えば、シーン格納部１１０５は、図７や図８（Ａ）に示す情報を格納する。

シーン判定部１１０６は、画像解析情報格納部１１０４で管理される画像解析情報から、画像の撮影シーンを判定する。シーン判定部１１０６は、Ｓ４０７でのシーン分類に相当する処理結果を取得する。本実施形態では、各画像データは、画像解析情報に基づいて、旅行シーン、日常シーン、セレモニーシーンに分類される。シーン判定部１１０６でのシーン分類処理によって、各画像データの撮影シーンが決定する。

パラメータ設定部１１０７では、決定した撮影シーンに基づいて得点化に用いるパラメータを設定する。本実施形態では、パラメータは、例えば、所定のシーンにおける顔数／顔の位置／顔サイズそれぞれについての平均値および標準偏差である。パラメータは予め決定されたパラメータが使用されても良いし、ユーザの経験則によりまたはシステム実行時にユーザにより設定されても良い。

得点化部１１０８、１１０９、１１１０は、パラメータ設定部１１０７からそれぞれ別々のパラメータが与えられる。各得点化部は、パラメータ設定部１１０７から設定されたパラメータと、画像解析情報格納部１１０４で取得される画像解析情報とから、画像データの得点化を行う。本実施形態においては、得点化部１１０８、１１０９、１１１０で取得される得点のいずれかが、メインスロット１００２についての得点、サブスロット１００３および１００４の得点に対応する。得点化部の個数は限定されない。例えば、アルバム作成に要求される得点化軸が３つ以上であれば、３つ以上の得点化部により得点化を実行する。また、３つ未満の得点化軸で十分である場合は、３つ未満の得点化部により得点化を実行する。

以上が、画像得点化部２０７の説明である。この処理構成で、各画像データの得点を算出することで、画像データの撮影シーンに応じた得点化軸で得点化を実行することができる。撮影シーン間で得点化軸およびパラメータの決め方が一律とならないので、撮影シーンやスロットの種類ごとに最適な構図や人数構成の画像データを取得することができる。
図１２は、画像得点化部２０７における、シーン分類後の得点化処理を示すフローチャートである。

Ｓ１２０１では、画像解析情報格納部１１０４は、色解析情報取得部１１０２及び人物関連解析情報取得部１１０３から画像解析情報を取得して設定する。Ｓ１２０２では、シーン判定部１１０６は、シーン格納部１１０５で用意されていたシーン分類方法に基づいて分類された画像の撮影シーンを設定する。

Ｓ１２０３では、設定された画像の撮影シーンに基づいて、撮影シーンにおける複数の得点化軸を取得するためのループ処理が実行される。本実施形態では、得点化軸とは、例えば、メインスロットやサブスロットについての得点化である。Ｓ１２０４では、パラメータ設定部１１０７は、設定された画像の撮影シーンにおける、各得点化軸において要求されるパラメータを設定する。Ｓ１２０５では、得点化部１１０８、１１０９、１１１０は、設定されたパラメータに従って得点化を行う。本実施形態では、得点化は、上述の式（３）や（４）により算出される。

Ｓ１２０４で設定されるｎ個のパラメータには、判定閾値および判定重み情報が関連付けられている。本実施形態では、ｎ個のパラメータとは、例えば、上述のメインスロットについての顔数／顔の位置／顔サイズである。判定閾値及び判定重み情報は、各得点化軸ｅ（ｉ，ｊ）における各パラメータに対応したｎ個分が確保される。ここで、ｉは、Ｓ１２０２で設定された画像の撮影シーンのＩＤに対応する。また、ｊは、撮影シーンにおける複数の得点化軸に対応する。

判定閾値と判定重み情報について説明する。Ｓ１２０１において取得した画像解析情報と判定閾値Ｔｈ（ｎ，ｅ（ｉ，ｊ））とを比較する。画像解析情報の値が判定閾値Ｔｈ（ｎ，ｅ（ｉ，ｊ））を上回っていれば、判定重み情報の値Ｗ（ｎ，ｅ（ｉ，ｊ））を式（４）の該当パラメータ（例えば、顔数の得点）に反映する。式（４）の各パラメータに判定重み情報が反映された値が最終的な得点となる。

このように、式（３）や（４）により算出されるばかりでなく、各得点軸における最終的な得点に、各パラメータが持つ判定重み情報の値が反映されるようにしても良い。上記のような判定閾値および判定重み情報により、得点化軸によっては重みが０であるパラメータ（使用しないパラメータ、例えば顔のサイズを使用しない）や、どの撮影シーンや得点化軸であっても共通で使用するパラメータなどを柔軟に設定することができる。

本実施形態では、図８（Ｂ）に示すようなメインスロットについての得点、サブスロットについての得点が、各画像データに対して付与される。各得点化軸における得点化により、ユーザ所望の条件に合致した画像データが、他の画像データとどれほどの優劣を持っているかが定量的に判定可能となる。また、異なる得点化軸間（例えば、メインスロットとサブスロット間）であっても優劣の評価が行えるように、得点の正規化を行うようにしても良い。

再び、図４を参照する。

Ｓ４１１では、画像得点部２０７は、ユーザ指定の画像データ群の全て画像データに対してＳ４１０の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ４１０からの処理を繰り返す。終了していると判定された場合、Ｓ４１２に進む。
Ｓ４１２では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合、Ｓ４１３に進む。同じであると判定された場合、Ｓ４１６に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、Ｓ４１６に進む。

Ｓ４１３では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数より少ないか否かを判定する。少なくない（多い）と判定された場合、Ｓ４１５に進む。少ないと判定された場合、Ｓ４１４に進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１４に進む。

Ｓ４１４では、見開き割当部２０９は、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。破線矢印の箇所で分割したことで、分割数を１０にしている。

分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所を決定する。図６（Ａ）では、多い方から画像群５、次に、画像群１と画像群２である。画像群１と画像群２は同じ枚数だが、画像群２の方が最初の画像から最後の画像の時間差が大きいので、画像群２を分割対象とし、画像群５と画像群２をそれぞれ分割する。

まず、画像群２の分割を説明する。画像群２には画像枚数の山が２つあり、この２つは撮影日が違うので、その部分に対応する図６（Ｂ）の破線矢印の箇所で分割する。次に、画像群５の分割を説明する。画像群５には画像枚数の山が３つあり、３日連続である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、図６（Ｂ）の破線矢印の箇所で分割する。以上のように、分割数を８から１０にする。ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。

Ｓ４１５では、見開き割当部２０９は、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所を統合したことで、分割数を６にしている。

統合の基準について説明する。図６（Ａ）の分割の中で、画像枚数が少ない分割箇所が検索される。ここでは、分割数を８から６に２箇所減らすために、画像枚数が少ない２箇所を決定する。図６（Ａ）では、少ない方から画像群８、画像群３、画像群７である。画像群３と画像群７は同じ枚数である。但し、画像群７に隣接する画像群８が統合対象であるので、画像群３を統合対象とする。結果、画像群８と画像群３それぞれの統合が行われる。

まず、画像群３の統合を説明する。画像群３の前後の画像群２と画像群４との時間差を比較すると、画像群４との時間差の方が小さい。従って、図６（Ｃ）の破線箇所に示すように、画像群３を画像群４に統合する。次に、画像群８の統合を説明する。画像群８は、後続の画像群がないので、図６（Ｃ）の破線箇所に示すように、前の画像群７と統合される。

Ｓ４１６では、見開き割当部２０９は、見開き割当を実行する。Ｓ４１２〜Ｓ４１５によって、シーン分割数と指定見開き数は同じとなっている。見開き割当部２０９は、撮影日時順に先頭の分割から見開きの先頭に順に割り当てる。

Ｓ４１７では、画像選択部２１０は、画像選択を実行する。以下、ある見開きに割り当てられた画像データ群の分割分から画像データを４枚選択する例を、図９を参照しながら説明する。

図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割分の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、１枚のメインスロット１００２がある。従って、１枚目として、メインスロット用の画像データが選択される。メインスロットはテンプレート中で最も大きいスロットを示す。メインスロットには、見開きに割り当てられた分割分の複数の画像データが分類されたシーンに対して、シーンの画像特徴を最も備えた画像データが選択される。その時の選択基準として、図９（Ｂ）に示す分割分の撮影期間に対応する複数の画像データのうち、Ｓ４１０で付与されたメインスロット用の得点が最高点の画像データが選択される。２枚目以降としては、サブスロット用の画像データが選択される。

本実施形態では、分割分の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割分の撮影期間を細分化する方法について説明する。図９（Ｃ）に示すように、分割分の撮影期間を２分割する。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線の撮影期間から２枚目が選択される。図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが選択される。

次に、図９（Ｅ）に示すように、図９（Ｄ）の各分割分の撮影期間を２分割する。そして、図９（Ｆ）に示すように、１枚目と２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが３枚目として選択される。

画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとする場合、この斜線の撮影期間には画像データが存在しない例を示す。この場合、図９（Ｈ）に示すように、各分割分の撮影期間を２分割する。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の最高点の画像データが４枚目として選択される。

このようにメインスロットとサブスロットのように、異なる得点化軸によって得られた得点に基づいて画像データの選択を行うことで、レイアウトに選択される画像データにバリエーションを持たせることができる。つまり、異なる判断基準の画像データを選択することができるので、変化に富むアルバムを作成することができる。

再び、図４を参照する。Ｓ４１８では、画像レイアウト部２１２は、画像レイアウトの決定を行う。以下、テンプレート入力部２１１が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）〜（ｐ）を入力する例を説明する。

ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている画像データ３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（Ａ）のようであるとする。ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像をレイアウトされる。図１０（Ａ）では、メインスロット用画像データ１００５は撮影日時が一番新しいので、図１０（ｍ）〜（ｐ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｎ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。

このとき、仮に、図１０（ｎ）のテンプレートに対して、スロット数や各スロットの縦横、位置も合致しており、メインスロットの大きさが図１０（ｎ）よりも大きい、図１３に示すテンプレートが検索されたとする。つまり、選択された画像データ同士の撮影日時の順序や縦横位置に基づいて、なお、複数のテンプレート候補が存在した場合、本実施形態では、各画像データの得点差からテンプレートを選定する。例えば、メインスロットの画像データの得点が、複数のサブスロットの画像データの平均得点よりも所定の閾値を超えて大きい場合、メインスロットがより大きい図１３のテンプレートが選択される。一方、閾値を超えていない場合、図１０（ｎ）のテンプレートが選択される。上記は、メインスロットについて他のテンプレートが検索された場合を説明したが、サブスロットについて同様に他のテンプレートが検索された場合、他のスロットの平均得点と比較するようにしても良い。Ｓ４１８では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。

Ｓ４１９では、画像補正部２１４は、画像補正を実行する。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＮが入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正、赤目補正、コントラスト補正が実行される。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＦＦが入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。

Ｓ４２０では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１２は、Ｓ４１８で決定されたテンプレートの各スロットに対して、Ｓ４１９の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１２は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データをレイアウトしたビットマップデータを生成する。

Ｓ４２１では、Ｓ４１７〜Ｓ４２０の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１７からの処理を繰り返す。終了していると判定された場合、図４の自動レイアウト処理は終了する。

以上のように、本実施形態によれば、画像解析情報に従って自動で分類された撮影シーンごとに、得点化の基準が変化する。そのため、シーンごとに異なる構図の画像データを選択することができる。また、様々な観点についてシーンごとに好まれる構図を自動的に高得点にすることができ、アルバム作成において、様々な観点での画像選択を実現することができる。また、同一シーンでも複数の得点化軸を用いることで、レイアウト内が全て同一シーンの画像で構成されていても、様々な観点からの画像選択を実現することができる。

［第２の実施形態］
第２実施形態では、得点化時に得られた各得点化軸における得点を重み付けし、それらを統合した、複数の統合得点を算出する。以下、第１の実施形態と異なる点について説明する。

図１４は、本実施形態における、統合得点を算出する画像得点化部２０７の構成を示す図である。図１１と同じ符号が付与されているブロックは第１の実施形態での説明と同じであるので、その説明を省略する。

統合重み設定部１４０１は、各画像データに対してシーン判定部１１０６で得られたシーン分類結果に従って、得点化部１１０８、１１０９、１１１０の得点をどのような重み付けで統合するかを設定する。

統合得点取得部１４０２、統合得点取得部１４０３、統合得点取得部１４０４は、統合重み設定部１４０１からそれぞれ別々の統合時の重み付けが与えられる。各統合得点取得部は、得点化部１１０８、１１０９、１１１０で得られた各得点と、統合重み設定部１４０１で得られる各得点に対する統合時の重み付けを用いて、式（５）のように合算された統合得点を取得する。

Ｄ／Ｅ／Ｆ ＝ αＡ＋βＢ＋γＣ ・・・（５）
ここで、Ｄは統合得点取得部１４０２で取得される得点であり、Ｅは統合得点取得部１４０３で取得される得点であり、Ｆは統合得点取得部１４０４で取得される得点である。α、β、およびγは、重み付けであり、統合重み設定部１４０１により設定される。または、不図示のユーザインタフェース画面上での設定値を、アルバム作成条件設定部２０１を介して取得するようにしても良い。また、Ａ、Ｂ、Ｃは、得点化部１１０８、１１０９、１１１０で得られる各得点に対応する。

本実施形態では、得点化部１１０８における得点は全て、人物関連解析情報取得部１１０３で得られる人物関連解析情報に基づいて算出された得点である。例えば、得点化部１１０８での得点化に使用されるパラメータは、メインスロットについて、顔検出結果の顔の個数や顔の向き、顔の位置などの顔に関する付帯情報である。

また、得点化部１１０９における得点は全て、色解析情報取得部１１０２で得られる色解析情報に基づいて算出された得点である。例えば、得点化部１１０９での得点化に使用されるパラメータは、メインスロットについて、画像の輝度成分、彩度成分、ピント情報などの画像の各画素から得られる付帯情報である。

また、得点化部１１１０における得点は全て、画像解析情報格納部１１０４で得られる全ての画像解析情報に基づいて算出された得点である。例えば、得点化部１１１０での得点化に使用されるパラメータは、メインスロットについて、得点化部１１０８、１１０９で使用されるパラメータから得られるパラメータであり、人物間の位置関係情報など画像解析情報から得られる副次的な情報も含まれる。本実施形態では上記のような割り当てで３つの統合得点化軸を定義しているが、これに限定されない。

本実施形態では、統合得点取得部１４０２、１４０３、１４０４で取得できる得点のいずれかが、メインスロット１００２の得点、サブスロット１００３および１００４の得点に対応する。得点化部および統合得点取得部の個数は３つに限定されない。例えば、アルバム作成に要求される得点化軸または統合得点化軸が３つ以上であれば３つ以上の得点化軸または統合得点化軸で得点化を実行する。また、３つ未満の得点化軸または統合得点化軸で十分である場合は、３つ未満の得点化軸または統合得点化軸で得点化を実行する。

Ｓ４１７で画像選択が実行される際に、メインスロット、サブスロットに入れる画像データを、統合重み設定部１４０１により制御することができる。例えば、統合得点取得部１４０２の統合得点Ｄがメインスロットの画像データを選択する際に考慮する得点であり、セレモニーシーンでは、人物が写っている写真をメインスロットに選択させたいとする。その場合、統合重み設定部１４０１は、得点化部１１０８の得点に関する重み（式（５）におけるαに対応）をβ及びγより強めた式（５）の条件を、統合得点取得部１４０２に設定する。

また、旅行シーンでは、人物が写っていない風景写真もメインスロットに選択させたいとする。その場合、統合重み設定部１４０１は、得点化部１１０９の得点に関する重み（式（５）におけるβに対応）をα及びγより強めた式（５）の条件を、統合得点取得部１４０２に設定する。

上記の他、サブスロットに人物が写っている写真、写っていない写真をどの程度の割合で選択させるかについて、統合重み設定部１４０１は、得点化部１１０８および１１０９の得点に関する重みを撮影シーン間で変更することで調整することができる。ここでの重み調整が、結果的にレイアウト上に選択される写真の人物写真および非人物写真の比率に影響する。

図１５は、本実施形態における得点化処理を示すフローチャートである。

Ｓ１２０１では、画像解析情報格納部１１０４は、色解析情報取得部１１０２及び人物関連解析情報取得部１１０３から画像解析情報を取得して設定する。Ｓ１２０２では、シーン判定部１１０６は、シーン格納部１１０５で用意されていたシーン分類方法に基づいて分類された画像の撮影シーンを設定する。

Ｓ１２０３では、設定された画像の撮影シーンに基づいて、撮影シーンにおける複数の得点化軸を取得するためのループ処理が実行される。本実施形態では、ここでの得点化軸とは、例えば、人物関連解析情報に基づく得点化である。Ｓ１２０４では、パラメータ設定部１１０７は、設定された画像の撮影シーンにおける、各得点化軸において要求されるパラメータを設定する。Ｓ１２０５では、得点化部１１０８、１１０９、１１１０は、設定されたパラメータに従って得点化を行う。得点化は、上述の式（３）や（４）により算出される。

Ｓ１５０１では、Ｓ１２０５で得られた各得点軸に関して複数の統合得点を算出するためのループ処理が実行される。本実施形態では、ここでの得点化軸とは、例えば、メインスロットやサブスロットについての得点化である。Ｓ１５０２では、統合重み設定部１４０１は、各統合得点を算出する際に、Ｓ１２０５で得られた各得点に対してどの程度の重み付けにより統合を行うかを設定する。Ｓ１５０３では、統合得点取得部１４０２、１４０３、１４０４は、Ｓ１５０２で設定された重み付けに従って、各画像データについて、得点化部１１０８、１１０９、１１１０での得点を重み付けて統合する。

第２の実施形態によると、シーンに合わせた複数の得点化軸（得点化部Ａ〜Ｃ）で得点化を行うだけでなく、各得点をそれぞれ重み付けて加算した統合得点を算出する。そして、統合得点をアルバムレイアウトでの画像選択に使用することで、第１実施形態のようにメインスロット１枚、サブスロット２枚といった構成においても、以下のような効果が得られる。

・複数のサブスロットに対して、異なる構図の画像を選択することができる。

・複数のサブスロットに関する画像データの人物画像・非人物画像の比率をシーンごとに調整することができる。

また、以上の効果はサブスロットだけでなく、メインスロットにも適用可能である。仮にメインスロットが複数枚選ばれる条件であった場合、上記のサブスロットと同様の効果が得られる。

［第３の実施形態］
第３実施形態では、得点化時に得られた各得点化軸における得点に対して乱数による加点を行う。以下、第１及び第２の実施形態と異なる点について説明する。

図１６は、本実施形態における、乱数加点を算出する画像得点化部２０７の構成を示す図である。図１１と同じ符号が付与されているブロックは第１実施形態での説明と同じであるので、その説明を省略する。

乱数設定部１６０１は、各画像データに対してシーン判定部１１０６で得られたシーン分類結果に従って、得点化部１１０８、１１０９、１１１０の得点に対して加点する乱数量を設定する。

乱数加点結果取得部１６０２、１６０３、１６０４は、乱数設定部１６０１からそれぞれ別々の乱数加点が与えられる。なお、本実施形態では、上記のような割り当てで３つの乱数加点結果の得点を定義しているが、これに限定されない。本実施形態では、上記のような乱数加点を行うことで、同一得点軸（例えばサブスロット間）の分布中で所定の閾値範囲内で近いと判定される得点同士の画像データについても、バリエーションを与えることができる。

図１７は、本実施形態における得点化処理を示すフローチャートである。図１２と同じ符号が付与されているステップは第１の実施形態での説明と同じであるので、その説明を省略する。

Ｓ１７０１では、Ｓ１２０５で得られた各得点軸に関して複数の乱数加点結果を算出するためのループ処理を実行する。Ｓ１７０２では、乱数設定部１６０１は、Ｓ１２０５で得られた各得点に関して加点する量を決定する。また、Ｓ１７０２では、Ｓ１２０５で得られた得点に所定の閾値を設けて、閾値を超える得点に対してのみ乱数を加える設定をしても良い。そのような構成により、所定以上の得点の画像データが選択される確率を高くすることができる。Ｓ１７０３では、乱数加点結果取得部１６０２、１６０３、１６０４は、Ｓ１７０２で設定された乱数調整に従って、Ｓ１２０５で得られた各得点に関して乱数加点を行う。

第３の実施形態によると、各画像データに対して、シーンに合わせた複数の得点化軸により得点化を行うだけでなく、乱数による加点を行う。乱数込みの得点をアルバムレイアウトでの画像選択に使用することで、選択される画像の構図によりバリエーションを与えることが可能になる。

図１６では、本実施形態での乱数設定部１６０１が、第１の実施形態の得点化部１１０８〜１１１０での各得点に対して行われるように示されている。しかしながら、第２の実施形態の統合得点取得部１４０２〜１４０４での各得点に対して行われても良い。

以上の各実施形態においては、アルバム作成アプリケーションを想定した例により説明したが、画像データ群における撮影シーンから適切な画像を選択・表示するための画像評価処理に適用されても良い。

また、図１は、据え置き型のパーソナルコンピュータやゲーム機等を想定したハードウェア図となっているが、これに限定されない。例えば、持ち運び可能なスマートデバイス上において、同様の構成を実現しても良い。また、図１は、ローカル環境を想定したハードウェア図となっているが、これに限定されない。例えば、サーバ内に保存されている画像を利用もしくはサーバに画像をアップロードすることにより、各実施形態と同様の構成を実現しても良い。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ： １０２ ＲＡＭ： １０３ ＲＡＭ： １０４ ＨＤＤ

Claims (29)

1. テンプレートに含まれるスロットへのレイアウト対象の候補である複数の画像のそれぞれについて特徴量を解析する解析手段と、
   前記解析手段により解析された前記複数の画像の特徴量に基づいて、前記複数の画像が分類されるシーンの種類を決定する決定手段と、
   所定の評価基準に従って、前記複数の画像の評価を行う評価手段と、
   前記決定手段により決定されたシーンの種類に対応する評価基準に従った前記評価手段による前記複数の画像に対する評価に基づいて、前記複数の画像からレイアウトする画像を選択する選択手段と、
   を備え、
   前記選択手段は、前記テンプレートに含まれる第１のスロットのための第１の評価基準に従った前記評価手段による評価に基づいて、前記第１のスロットにレイアウトされる画像を選択し、且つ前記テンプレートに含まれる第２のスロットのための、前記第１の評価基準とは異なる第２の評価基準に従った前記評価手段による評価に基づいて、前記第２のスロットにレイアウトされる画像を選択し、
   前記決定手段により決定されたシーンの種類が第１の種類の場合と第２の種類の場合で、前記第１の評価基準が異なり且つ前記第２の評価基準が異なる、
   ことを特徴とする画像処理装置。
2. 前記決定手段により決定されたシーンの種類が前記第１の種類の場合の前記第１の評価基準と、前記決定手段により決定されたシーンの種類が前記第２の種類の場合の前記第２の評価基準が同じであることを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記所定の評価基準と、前記解析手段により解析された前記特徴量との類似度に基づいて前記評価を行う、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記評価手段は、複数のパラメータそれぞれについて、前記所定の評価基準としての第１の特徴量を取得し、
   前記解析手段は、前記複数のパラメータそれぞれについて、第２の特徴量を取得し、
   前記評価手段は、前記複数のパラメータそれぞれについて、前記第１の特徴量と前記第２の特徴量との類似度を評価する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記評価手段により前記複数のパラメータそれぞれについて行われた評価に対応する各得点に重み付けを設定する重み付け設定手段、をさらに備え、
   前記選択手段は、前記重み付け設定手段により各得点に設定された前記重み付けに従って算出された得点に基づいて、前記複数の画像からレイアウトする画像を選択する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記複数のパラメータは、人物画像に関連するパラメータを含むことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記人物画像に関連するパラメータは、顔の数、顔の位置、顔のサイズのうち、少なくともいずれかを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記複数のパラメータは、画像データに関連するパラメータを含むことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像データに関連するパラメータは、輝度、彩度、ピント情報のうち、少なくともいずれかを含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記評価手段による評価に対応する得点に乱数を反映する乱数設定手段、をさらに備え、
    前記選択手段は、前記乱数設定手段により前記乱数が反映された得点に基づいて、前記複数の画像からレイアウトする画像を選択する、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記選択手段は、前記評価手段による前記第１の評価基準に従った評価に対応する得点の高い画像を、前記第１のスロットにレイアウトする画像として選択し、前記評価手段による前記第２の評価基準に従った評価に対応する得点の高い画像を、前記第２のスロットにレイアウトする画像として選択することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記選択手段により選択された画像を前記テンプレートにレイアウトするレイアウト手段、をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記選択手段は、分類されたシーンの画像特徴を最も有すると判断された画像を、レイアウトされるメイン画像として選択し、
    前記レイアウト手段は、当該選択された前記メイン画像を、他の画像より大きくレイアウトする、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記評価手段は、前記複数の画像のそれぞれについて、前記第１の評価基準に従った評価と前記第２の評価基準に従った評価の両方を行うことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記第１のスロットは、前記第２のスロットよりも画像が大きくレイアウトされるスロットであることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記選択手段は、前記第１のスロットにレイアウトされる画像を選択し、且つ、前記複数の画像のうちの当該選択された画像を含まない複数の選択候補から、前記第２のスロットにレイアウトされる画像を選択することを特徴とする請求項１５に記載の画像処理装置。
17. 前記複数の画像は、複数の見開きを含むアルバムに対するレイアウト対象の候補に含まれることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記選択手段は、前記複数の見開きに対応する複数のテンプレートのそれぞれについて、前記第１のスロットにレイアウトされる画像と、前記第２のスロットにレイアウトされる画像を選択することを特徴とする請求項１７に記載の画像処理装置。
19. 前記アルバムに対するレイアウト対象の候補の画像を、前記複数の見開きの数に対応する数の複数の画像群に分割する分割手段をさらに有し、
    前記複数の画像は、前記分割手段により分割された複数の画像群の１つに含まれ、
    前記選択手段は、前記複数の画像群のそれぞれに対応する見開きのためのテンプレートに含まれる前記第１のスロットにレイアウトされる画像と、前記第２のスロットにレイアウトされる画像を選択することを特徴とする請求項１８に記載の画像処理装置。
20. 前記分割手段は、前記複数の画像の撮影日時に基づき、前記複数の画像を前記複数の画像群に分割することを特徴とする請求項１９に記載の画像処理装置。
21. 前記分割手段は、前記複数の画像群のうちの同一の画像群に含まれる画像間の撮影日時の差よりも、前記複数の画像群のうちの異なる画像群に含まれる画像間の撮影日時の差の方が大きくなるように、前記複数の画像を前記複数の画像群に分割することを特徴とする請求項２０に記載の画像処理装置。
22. 前記分割手段は、前記撮影日時に従って前記複数の画像を分割した複数の画像群の数が、前記見開きの数に対応する所定の数と異なる場合、前記複数の画像群が前記所定の数の画像群となるよう調整することを特徴とする請求項２０又は２１に記載の画像処理装置。
23. 前記分割手段は、前記撮影日時に従って前記複数の画像を分割した複数の画像群の数が、前記所定の数より多い場合、前記複数の画像群において画像群の統合を行うことで、前記所定の数の画像群を決定することを特徴とする請求項２２に記載の画像処理装置。
24. 前記分割手段は、前記撮影日時に従って前記複数の画像を分割した複数の画像群の数が、前記所定の数より少ない場合、再度分割を行うことで、前記所定の数の画像群を決定することを特徴とする請求項２２または２３に記載の画像処理装置。
25. 前記決定手段は、前記複数の画像群のそれぞれのシーンを決定し、
    前記複数の画像群のそれぞれについて、前記決定手段により決定されたシーンに応じて、前記第１の評価基準と前記第２の評価基準が異なることを特徴とする請求項１９乃至２４のいずれか１項に記載の画像処理装置。
26. 前記評価手段は、前記決定手段により決定されたシーンに応じて、前記第１の評価基準と前記第２の評価基準を変更することを特徴とする請求項１乃至２５のいずれか１項に記載の画像処理装置。
27. テンプレートに含まれるスロットへのレイアウト対象の候補である複数の画像のそれぞれについて特徴量を解析する解析手段と、
    前記解析手段により解析された前記複数の画像の特徴量に基づいて、前記複数の画像が分類されるシーンの種類を決定する決定手段と、
    所定の評価基準に従って、前記複数の画像の評価を行う評価手段と、
    前記決定手段により決定されたシーンの種類に対応する評価基準に従った、前記複数の画像に対する前記評価手段による評価に対応する得点に、乱数を反映する乱数設定手段と、
    前記乱数設定手段により前記乱数が反映された得点に基づいて、前記複数の画像からレイアウトする画像を選択する選択手段と、
    を備えることを特徴とする画像処理装置。
28. 画像処理装置において実行される画像処理方法であって、
    テンプレートに含まれるスロットへのレイアウト対象の候補である複数の画像のそれぞれについて特徴量を解析する解析工程と、
    前記解析工程において解析された前記複数の画像の特徴量に基づいて、前記複数の画像が分類されるシーンの種類を決定する決定工程と、
    所定の評価基準に従って、前記複数の画像の評価を行う評価工程と、
    前記決定工程において決定されたシーンの種類に対応する評価基準に従った前記評価工程における前記複数の画像に対する評価に基づいて、前記複数の画像からレイアウトする画像を選択する選択工程と、
    を有し、
    前記選択工程では、前記テンプレートに含まれる第１のスロットのための第１の評価基準に従った前記評価工程における評価に基づいて、前記第１のスロットにレイアウトされる画像を選択し、且つ前記テンプレートに含まれる第２のスロットのための、前記第１の評価基準とは異なる第２の評価基準に従った前記評価工程における評価に基づいて、前記第２のスロットにレイアウトされる画像を選択し、
    前記決定工程において決定されたシーンの種類が第１の種類の場合と第２の種類の場合で、前記第１の評価基準が異なり且つ前記第２の評価基準が異なる、
    ことを特徴とする画像処理方法。
29. 請求項１乃至２７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images