JP6004718B2 - Image processing apparatus, control method therefor, and program - Google Patents
Image processing apparatus, control method therefor, and program Download PDFInfo
- Publication number
- JP6004718B2 JP6004718B2 JP2012093395A JP2012093395A JP6004718B2 JP 6004718 B2 JP6004718 B2 JP 6004718B2 JP 2012093395 A JP2012093395 A JP 2012093395A JP 2012093395 A JP2012093395 A JP 2012093395A JP 6004718 B2 JP6004718 B2 JP 6004718B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- evaluation
- subject
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ユーザが画像を選択するアルバム作製システムにおいて、適切な画像の選択を容易にする、画像処理装置および方法及びプログラムに関する。 The present invention relates to an image processing apparatus, method, and program for facilitating selection of an appropriate image in an album creating system in which a user selects an image.
合焦、顔の大きさなどに基づいて、画像を自動的に選択する印刷装置が提案されている。しかしながら、そのような一般的な技術では、良い画像を選択することができても、同じような構図、同じ被写体の組み合わせ、同一時間帯の画像ばかりになってしまう可能性がある。 There has been proposed a printing apparatus that automatically selects an image based on focus, face size, and the like. However, with such a general technique, even if a good image can be selected, there is a possibility that only a similar composition, a combination of the same subject, and an image in the same time zone may be obtained.
また、特許文献１には、画像に写っている人物に応じて画像をグループ分けし、画像の鑑賞者に応じて、表示すべき画像グループを判断し、画像を表示する電子アルバム表示システムが記載されている。 Patent Document 1 describes an electronic album display system in which images are grouped according to the person in the image, an image group to be displayed is determined according to the viewer of the image, and the image is displayed. Has been.
また、特許文献２に記載のアルバム作成装置、アルバム作成方法、及びプログラムでは、候補画像をイベント毎に分類し、各イベントの主画像を選択し、各イベントの従画像を同じイベント分類内から主画像の内容に基づいて選択する。特に、特許文献２では、従画像選択部が主画像との類似度を算出し、類似度が小さい画像を選択すること、類似度とは、被写体が同じであるか否かであることが記載されている。
Further, in the album creating apparatus, the album creating method, and the program described in
また、特許文献３に記載の画像選択装置および画像選択方法では、ユーザが印刷の目的に応じて自動印刷モードを選択する。そして、モードに応じて設定された評価基準および荷重を適用して各画像を評価し、閾値以上の総合評価値を有する画像を印刷対象の画像として選択する。ここでの評価項目には、少なくとも、ピントずれの程度、ブレの程度、露出の適正度、被写体の顔の大きさ、被写体の顔の位置、撮影位置までの距離、のいずれか１つが含まれる。 Further, in the image selection device and the image selection method described in Patent Document 3, the user selects an automatic print mode according to the purpose of printing. Then, each image is evaluated by applying an evaluation standard and a load set according to the mode, and an image having a comprehensive evaluation value equal to or greater than a threshold is selected as an image to be printed. The evaluation items here include at least one of the degree of defocus, the degree of blurring, the appropriateness of exposure, the size of the subject's face, the position of the subject's face, and the distance to the shooting position. .
特許文献１に記載されている方法で、画像を選択し、印刷物のアルバムを作成した場合には、同じ被写体の組み合わせ、構図の写真が続いてしまう可能性がある。また、特許文献２に記載されている方法では、従画像同士の類似度は判断せず、人物の組み合わせによる類似度の判断は行なわない。また、画像の加工による類似度の低減についても言及していない。さらに、特許文献３に記載されている方法では、選択した画像に基づいて評価値を決定しないため、似たような画像ばかりが選択されてしまう可能性がある。また、被写体の組み合わせが評価項目に入っていないため、同一の組み合わせの画像ばかりになってしまう可能性がある。さらに、画像を加工する構成がないため、閾値に達した画像が不足の場合には、レイアウトに空欄ができてしまう。
When an image is selected and a printed album is created by the method described in Patent Document 1, there is a possibility that a combination of the same subject and a photograph of the composition will continue. In the method described in
したがって、以上のような特許文献１〜３に記載の従来技術では、良い画像を選択することはできても、選択された画像の集合は、同じような構図、同じ被写体の組み合わせ、同一時間帯の画像ばかりになってしまう可能性がある。 Therefore, in the conventional techniques described in Patent Documents 1 to 3 as described above, although a good image can be selected, the set of selected images has the same composition, the same subject combination, and the same time zone. There is a possibility of becoming only the image of.
本発明は、上記課題に鑑みてなされたものであり、画像の内容または属性について偏りのない画像選択が行える画像処理装置およびその制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an image processing apparatus capable of performing image selection with no bias in the content or attribute of an image and a control method thereof.
上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
画像の内容および属性情報の少なくとも何れかに基づいて、複数の画像を評価する評価手段と、
ユーザ指示に応じて選択できる選択候補として、前記評価に基づく順に前記複数の画像を表示部の表示領域に提示する提示手段と、
前記選択候補として前記表示領域に提示された前記複数の画像からユーザの指示に応じて選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうちの前記選択された画像以外の画像の評価を更新する更新手段と、を備え、
前記提示手段は、前記更新手段によって更新された画像の評価に基づいて、前記選択された画像以外の複数の画像を並べ替えて前記表示領域に提示する。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention has the following arrangement. That is,
Evaluation means for evaluating a plurality of images based on at least one of image content and attribute information;
As selection candidates which can be selected according to user instructions, and presenting means for presenting the plurality of images sequentially rather based on the evaluation in the display area of the display unit,
The selected of the plurality of images based on at least one of content and attribute information of the image selected according to a user instruction from the plurality of images presented in the display area as the selection candidate Updating means for updating the evaluation of images other than images ,
Said presenting means, on the basis of the evaluation of the updated image by updating means, you presented in the display area are rearranged plurality of images other than the selected image.
本発明によれば、画像の内容または属性について偏りのない画像選択が行える画像処理装置およびその制御方法が提供される。 According to the present invention, there are provided an image processing apparatus and a control method therefor that can perform image selection with no bias in the contents or attributes of the image.
［第１実施形態］
＜アルバム作成システムの構成＞
図１は、本実施形態に於けるアルバム作成システムとして動作する画像処理装置の一例を示す物理的構成図である。１００は、アルバム作成システムとして機能する画像処理装置である。画像処理装置１００には、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、表示部１０４、操作部１０５、印刷部１０６が具備されている。本アルバム作成システムは、ＲＯＭ１０２に記憶されたプログラムをＣＰＵ１０１が読み出して実行することによって動作し、たとえば図２に示す各機能部を実現する。なお、印刷部１０６は、画像処理装置１００の外部に接続される形態であってもよく、いわゆるコンピュータ（情報処理装置）と印刷装置から構成されてもよい。
[First Embodiment]
<Configuration of album creation system>
FIG. 1 is a physical configuration diagram illustrating an example of an image processing apparatus that operates as an album creating system according to the present embodiment.
図２は、第１実施形態によるアルバム作成システムの一例を示す論理的構成図である。画像読み込み部２０１によって、メモリーカードなどから読み込まれた画像は、入力画像集合記憶部２０２に記憶される。入力画像集合記憶部２０２には入力画像集合Ｉｍｇｓ−ｉｎが記憶されている。入力画像集合記憶部２０２には、読み込まれた複数の画像の一部または全てを要素とした集合が記憶されることになる。選択画像集合記憶部２０３には、入力画像集合記憶部２０２の集合から選択された画像を要素とする選択画像集合Ｉｍｇｓ−ｏｕｔが記憶されている。登録情報記憶部２０４には、被写体情報や構図情報などの登録情報が記憶されている。登録情報編集部２０５は、登録情報記憶部２０４に記憶されている登録情報を編集する。
FIG. 2 is a logical configuration diagram showing an example of the album creating system according to the first embodiment. The image read from the memory card or the like by the
ポイント算出規則記憶部２０６には、たとえば図２０に示されるような、画像にポイントを付与する規則であるポイント算出規則が記憶されている。ポイント算出規則は、ポイント算出規則編集部２０７によって編集される。画像選択部２０８は入力画像集合記憶部２０２の画像集合から画像を選択し、選択された画像を、選択画像Ｉｍｇ−ｓｅｌとする。ポイント算出部２０９は、画像に対するポイントを算出する。レイアウト処理部２１０は、画像選択部２０８によって選択された画像をアルバム用にレイアウトする。印刷処理部２１１は、印刷部１０６にレイアウトされた画像を印刷させる。トリミング部２１２は、入力画像集合記憶部２０２および選択画像集合記憶部２０３に記憶されている画像をトリミングする。
The point calculation
図２１に、アルバム作成システムの操作画面の一例を示す。ページレイアウト領域Ｌａｙｏｕｔ−ｅｄｉｔＤ内にはページ領域Ｐａｇｅ１、Ｐａｇｅ２、・・・が設定されている。各ページ領域Ｐａｇe１、Ｐａｇｅ２、・・・内には画像設置領域Ｐｌａｃｅ１、Ｐｌａｃｅ２、・・・が設定されている。また、ボタンＢｕｔｔｏｎＬによって左方向にアルバムのページを捲ることができ、ボタンＢｕｔｔｏｎＲによって右方向にアルバムのページを捲ることができる。ページレイアウト領域Ｌａｙｏｕｔ−ｅｄｉｔＤの下部には、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤと選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤが設定されている。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤには、入力画像集合Ｉｍｇｓ−ｉｎの縮小画像（サムネイル）が、ユーザ指示に応じて選択できる選択候補として表示される。また、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤには、上記選択候補からユーザ指示により選択された選択済みの画像の集合である選択画像集合Ｉｍｇｓ−ｏｕｔが、各画像の縮小画像（サムネイル）により表示される。ユーザは、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている選択候補の画像を、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動することでアルバムに使用する画像を選択する。また、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤから選択した画像を、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動することで選択した画像を非選択状態に戻す（非選択画像に戻す）ことができる。選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている選択画像集合Ｉｍｇｓ−ｏｕｔは選択順に、画像設置領域Ｐｌａｃｅ１、Ｐｌａｃｅ２、・・・に表示される。 FIG. 21 shows an example of the operation screen of the album creation system. In the page layout area Layout-editD, page areas Page1, Page2,... Are set. Image setting areas Place1, Place2,... Are set in each page area Page1, Page2,. Also, the button ButtonL can be used to turn the album page in the left direction, and the button ButtonR can be used to turn the album page in the right direction. An input image set display area Imgs-inD and a selected image set display area Imgs-outD are set below the page layout area Layout-editD. In the input image set display area Imgs-inD, a reduced image (thumbnail) of the input image set Imgs-in is displayed as a selection candidate that can be selected according to a user instruction. In the selected image set display area Imgs-outD, a selected image set Imgs-out, which is a set of selected images selected by the user instruction from the selection candidates, is displayed as a reduced image (thumbnail) of each image. The The user selects an image to be used for the album by moving the selection candidate image displayed in the input image set display area Imgs-inD to the selected image set display area Imgs-outD. Further, the selected image can be returned to the non-selected state (returned to the non-selected image) by moving the image selected from the selected image set display area Imgs-outD to the input image set display area Imgs-inD. The selected image set Imgs-out displayed in the selected image set display area Imgs-outD is displayed in the image setting areas Place1, Place2,.
＜アルバム作成処理＞
図３は、アルバム作成処理の全体の流れを示すフローチャートである。ステップＳ３０１において、画像読み込み部２０１は、メモリーカードなどから画像の読み込みを行う。ここで読み込んだ画像は、入力画像集合Ｉｍｇｓ−ｉｎとして入力画像集合記憶部２０２に記憶される。ステップＳ３０２において、登録情報記憶部２０４、登録情報編集部２０５は、登録情報の設定を行なう。ステップＳ３０２における登録情報の設定処理の詳細は後述する。ステップＳ３０３において、ポイント算出規則記憶部２０６、ポイント算出規則編集部２０７は、ポイント算出規則の設定を行う。ステップＳ３０３におけるポイント算出規則の設定処理の詳細は後述する。ステップＳ３０４において、画像選択部２０８は、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤの設定を行う。入力画像集合記憶部２０２に記憶されている入力画像集合Ｉｍｇｓ−ｉｎの画像は、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。ステップＳ３０５において、画像選択部２０８は、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤの設定を行う。選択画像集合記憶部２０３に記憶されている選択画像集合Ｉｍｇｓ−ｏｕｔの画像は、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される。ステップＳ３０６において、ポイント算出部２０９は、画像内容または属性に基づいて画像を評価し、その評価値を画像ポイントとして算出する。本実施形態では、ポイント算出部２０９は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則に基づいて画像のポイントを算出し、算出したポイントを画像に付加する。ステップＳ３０６における画像ポイント算出処理の詳細については後述する。ステップＳ３０７において、画像選択部２０８は、画像を選択する。画像選択処理の詳細は後述する。ステップ３０８において、レイアウト処理部２１０は、選択された画像をアルバム用にレイアウトする。ステップＳ３０９において、印刷処理部２１１は、レイアウトされた画像を印刷する。トリミング部２１２については、第４実施形態により後述する。
<Album creation process>
FIG. 3 is a flowchart showing the overall flow of the album creation process. In step S301, the
＜画像に付いている情報＞
ステップＳ３０１において読み込まれた画像には、被写体情報と構図情報が付いている。例えば、図８（ａ１）の画像ＩｍｇＡＢには、被写体の識別情報としての被写体名を含む構図情報として、図８（ｂ１）のようなフレーム情報Ｆ１〜Ｆ４が付いている。ここで、フレームＦ１は、被写体Ａの全体領域、フレームＦ２は被写体Ａの顔領域を表す。また、フレームＦ３は、被写体Ｂの全体領域、フレームＦ４は被写体Ｂの顔領域を表す。各フレームには、被写体名、および、画像中の位置と大きさが指定されている。例えばフレームＦ１は、被写体Ａに対するものあり、左上の位置が（Ｘ１，Ｙ１）であり、幅がＷ１、高さがＨ１であると指定されている。さらに顔フレームＦ２には、図８（ｃ１）に示すように、顔の向きを示す情報Ｙ２（両耳を結ぶ線）と、Ｎ２（鼻筋を示す線）が付いていてもよい。同様に、図８（ａ２）の画像ＩｍｇＡＢＣには、図８（ｂ２）のようなフレーム情報Ｆ５〜Ｆ１０が付いている。画像に付いている被写体名は構図情報に含まれていてもよいし、被写体名と構図情報と分離していてもよい。また、画像に付いている被写体名と構図情報などは、画像を読み込んだ後に認識技術などによって付けてもよい。
<Information attached to the image>
The image read in step S301 has subject information and composition information. For example, the image ImgAB in FIG. 8A1 has frame information F1 to F4 as shown in FIG. 8B1 as composition information including a subject name as subject identification information. Here, the frame F1 represents the entire area of the subject A, and the frame F2 represents the face area of the subject A. The frame F3 represents the entire area of the subject B, and the frame F4 represents the face area of the subject B. In each frame, the subject name and the position and size in the image are designated. For example, the frame F1 is for the subject A, the upper left position is (X1, Y1), the width is W1, and the height is H1. Further, as shown in FIG. 8C1, the face frame F2 may include information Y2 (line connecting both ears) indicating the orientation of the face and N2 (line indicating the nose). Similarly, frame information F5 to F10 as shown in FIG. 8B2 is attached to the image ImgABC in FIG. 8A2. The subject name attached to the image may be included in the composition information, or may be separated from the subject name and the composition information. Also, the subject name and composition information attached to the image may be attached by a recognition technique after the image is read.
＜登録情報の設定処理＞
図４の流れ図を用いて、登録情報の設定処理（図３のステップＳ３０２）の詳細な説明を行う。ステップＳ４０１において、登録情報編集部２０５は、登録情報記憶部２０４から登録情報の読み込みを行う。登録情報には、図５（ａ）に示すような被写体リストＯｂｊ−Ｌｉｓｔと、図５（ｂ）に示すような被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔとがある。図５（ａ）に示すように、被写体リストＯｂｊ−Ｌｉｓｔは、例えば人名Ａ〜Ｈからなるリストである。被写体リストの人名は、何らかの方法で予め与えられていても良いし、手動で設定されても良いし、入力画像集合内の人物認識によって自動的に取得しても良い。また、図５（ｂ）に示すように、被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔは、被写体名、被写体の所属するグループ、グループ名、被写体間の関係等を記録した情報である。具体的には、Ｆａｍｉｌｙ（Ａ，Ｂ，Ｃ）、父子（Ａ，Ｃ）のようにデータとして記録されている。ステップＳ４０２において、登録情報編集部２０５は、登録情報を編集するかどうかをユーザに確認する。ステップＳ４０２において、ユーザが登録情報を編集すると指定すれば、処理はステップＳ４０３に移る。ステップＳ４０２において、ユーザが登録情報を編集しないと指定すれば、処理を終了する。
<Registration information setting process>
The registration information setting process (step S302 in FIG. 3) will be described in detail with reference to the flowchart in FIG. In step S <b> 401, the registration
ステップＳ４０３において、登録情報編集部２０５は、ユーザ操作に応じて、例えば、図５（ａ）のような被写体リストＯｂｊ−Ｌｉｓｔの編集を行う。ステップＳ４０４において、登録情報編集部２０５は、被写体の属性の設定を行う。ここでは属性として、図５（ｂ）の被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔに示すような被写体名Ａ、Ｂ、Ｃ・・・、およびそれらの関係の設定を行う。ステップＳ４０５において、登録情報編集部２０５は、ユーザ操作に応じて、アルバムの主体となる被写体の設定を行う。例えば、図５（ｂ）に示すように被写体Ａを主体に設定することができる。ステップＳ４０６において、登録情報編集部２０５は、ユーザ操作に応じて、被写体と被写体との関係を編集する。例えば、図５（ｂ）に示すように、「被写体Ｃは被写体Ａの息子である」のような設定を行う。ステップＳ４０７において、登録情報編集部２０５は、ユーザ操作に応じて、被写体のグルーピングを行う。例えば被写体ＡとＢとＣを同一グループとしてまとめる。ステップＳ４０８において、登録情報編集部２０５は、ユーザ操作に応じて、被写体のグループに属性を設定する。例えば図５（ｂ）の被写体ＡとＢとＣの属するグループ名に「家族」を設定する。ステップＳ４０９において、登録情報編集部２０５は、各種属性の設定を終了するかどうかユーザに確認する。ステップＳ４０９において、各種属性の設定を続けるとユーザが指定すれば、処理はステップＳ４０３に戻る。ステップＳ４０９において、各種属性の設定を終了するとユーザが指定すれば、登録情報の設定処理を終了する。なお、編集結果の登録情報は、登録情報記憶部２０４に記憶される。
In step S403, the registration
このような処理によって、図５（ａ）の被写体リストを編集して、図５（ｃ）に示されるような被写体リストを作成できる。また、図５（ｂ）のような被写体関係情報を、図５（ｄ）に示すように、被写体関係情報編集画面Ｏｂｊ−Ｃｏｎｎｅｃｔ−Ｅｄｉｔ上で編集することができる。 Through such processing, the subject list shown in FIG. 5A can be edited to create a subject list as shown in FIG. Further, the subject relationship information as shown in FIG. 5B can be edited on the subject relationship information editing screen Obj-Connect-Edit as shown in FIG. 5D.
＜ポイント算出規則の設定処理＞
次に、図６のフローチャートを用いて、ポイント算出規則編集部２０７によるポイント算出規則の設定処理（図３のステップＳ３０３）の詳細な説明を行う。ポイント算出規則は、画像中の被写体や構図情報から、画像のポイントを算出する規則である。ポイント算出規則は、ユーザ等が作成したもの、システムが予め設定したものでもよいし、入力画像集合を画像解析して得られた情報に応じた規則を適用してもよい。ポイント算出規則は、例えば、「画像ポイント＝被写体ポイント＋構図ポイント」のような規則や、「画像ポイント＝Ｆ（被写体ポイント，構図ポイント，合焦ポイント）：Ｆ（Ｘ，Ｙ，Ｚ）はユーザが定義した関数」のような規則である。なお、合焦ポイントの詳細な使用例については第３実施形態において詳述する。
<Point calculation rule setting processing>
Next, the point calculation rule setting process (step S303 in FIG. 3) by the point calculation
ステップＳ５０１において、ポイント算出規則編集部２０７は、メモリーカードなどからポイント算出規則記憶部２０６にポイント算出規則を読み込む。ステップＳ５０２において、ポイント算出規則編集部２０７は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則を編集するかどうかを判定する。ステップＳ５０２において、ポイント算出規則を編集するとユーザが指定すれば、処理はステップＳ５０３に移る。他方、ステップＳ５０２において、ポイント算出規則を編集しないとユーザが指定すれば、ポイント算出規則の設定処理を終了する。
In step S501, the point calculation
ステップＳ５０３において、ポイント算出規則編集部２０７は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則をユーザ操作に応じて編集する。例えば、「画像ポイント＝Ｆ（被写体ポイント，構図ポイント，合焦ポイント）：Ｆ（Ｘ，Ｙ，Ｚ）」のようなポイント算出規則があったとき、関数Ｆ（Ｘ，Ｙ，Ｚ）の形をユーザが変更することができる。ステップＳ５０４において、ポイント算出規則編集部２０７は、ポイント算出規則の編集を終了するかどうか判定する。ステップＳ５０４において、ポイント算出規則の編集を終了するとユーザが指定したならば、ポイント算出規則の設定処理を終了する。他方、ステップＳ５０４において、ポイント算出規則の編集を続けるとユーザが指定したならば、処理はステップＳ５０３に戻る。
In step S503, the point calculation
図２０は、ポイント算出規則の一例である。ここでは、最優先の規則０によって、規則を適用する順番（優先順位）が指定されている。上述したようにこれらのポイント算出規則はユーザが編集可能である。また、ポイント算出規則は、プログラムと分離してデータベースに記録されていてもよいし、プログラム内に記述されていてもよい。 FIG. 20 is an example of a point calculation rule. Here, the highest priority rule 0 specifies the order (priority order) in which the rules are applied. As described above, these point calculation rules can be edited by the user. Further, the point calculation rule may be recorded in the database separately from the program, or may be described in the program.
＜画像ポイント算出処理＞
図７のフローチャートを用いて、複数の画像の各々について、画像の内容および属性情報の少なくとも何れかに基づいて評価値を算出する処理の一例である画像ポイント算出処理（図３のステップＳ３０６）の詳細を説明する。本実施形態では、被写体名と構図情報とは分離可能な属性として画像に付いているものとして、画像ポイント＝被写体ポイント＋構図ポイント、と算出する。ステップＳ６０１において、ポイント算出部２０９は、入力画像集合記憶部２０２から最初の画像を選択する。ステップＳ６０２において、ポイント算出部２０９は、画像内被写体情報を抽出する。読み込んだ画像には、図１０（ｂ１）のように出現する被写体名と、図１０（ｅ１）のような構図情報が付与されている。また、登録情報記憶部２０４には、図５（ｂ）のような被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔが記憶されている。ここでは、読み込んだ画像に対して、画像内に出現する被写体が抽出される。そして、ポイント算出部２０９は、図５（ｂ）の被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔを用いて、図９（ａ）のような画像内被写体情報を抽出する。例えば画像Ｉｍｇ１に対して、図１０（ｃ１）のような画像内被写体情報が設定される。
<Image point calculation processing>
Using the flowchart in FIG. 7, an image point calculation process (step S306 in FIG. 3) that is an example of a process for calculating an evaluation value for each of a plurality of images based on at least one of the image content and attribute information. Details will be described. In this embodiment, assuming that the subject name and the composition information are attached to the image as separable attributes, image point = subject point + composition point is calculated. In step S <b> 601, the
ステップＳ６０３において、ポイント算出部２０９は、例えば図２０に示すようなポイント算出規則を用いて、画像の被写体ポイントを算出する。ここでは、図９（ａ）のような画像内被写体情報に対して、図９（ｂ）のように被写体ポイントが算出される。ここでは、図９（ｂ１）〜（ｂ６）において、（２０）や（１０）のような括弧内の数字が算出された被写体ポイントを表す。すると、例えば図１０（ａ１）の画像Ｉｍｇ１に対する被写体ポイントは、図１０（ｄ１）のようになる。次に、ステップＳ６０４において、ポイント算出部２０９は、画像に付与されている被写体の構図情報（図１０（ｅ１））と、例えば図２０に示すようなポイント算出規則を用いて、画像の構図ポイントを算出する。すると、例えば図１０（ａ１）の画像Ｉｍｇ１に対する構図ポイントは、図１０（ｆ１）のようになる。その後、被写体ポイントと構図ポイントは加算されて、図１０（ａ１）の画像については図１０（ｈ１）に示す画像ポイントが得られることになる。
In step S603, the
ステップＳ６０５において、ポイント算出部２０９は、最後の画像に対して画像ポイント算出処理が行なわれたかどうか判定する。ステップＳ６０５においてＹＥＳならば、画像ポイント算出処理を終了する。ステップＳ６０５においてＮＯならば、処理はステップＳ６０６に移る。ステップＳ６０６において、ポイント算出部２０９は、入力画像集合内の次の画像を選択し、処理はステップＳ６０２に戻る。
In step S605, the
以上のようなステップ６０１〜ステップＳ６０６の画像ポイント算出処理によって、最終的に、図１０（ａ１）〜図１０（ａ１０）の画像Ｉｍｇ１〜Ｉｍｇ１０に対して付与される画像ポイントは、図１０（ｈ１）〜図１０（ｈ１０）のように算出される。以下の説明で、画像ＩｍｇＸのポイントがＮであるとき、ＩｍｇＸ（Ｎ）と記述する。例えば図１０に示した画像（Ｉｍｇ１〜Ｉｍｇ１０）の各々の画像のポイントは、Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ７（９０）、Ｉｍｇ８（１００）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）となる。 The image points finally given to the images Img1 to Img10 in FIGS. 10 (a1) to 10 (a10) by the image point calculation processing in steps 601 to S606 as described above are shown in FIG. ) To FIG. 10 (h10). In the following description, when the point of the image ImgX is N, it is described as ImgX (N). For example, the points of each of the images (Img1 to Img10) shown in FIG. 10 are Img1 (120), Img2 (120), Img3 (120), Img4 (120), Img5 (100), Img6 (100), Img7 (90), Img8 (100), Img9 (90), and Img10 (90).
＜画像選択処理＞
本実施形態では、選択画像と被写体情報および構図が一致する他画像のポイントを下げる。図１１のフローチャートを用いて、画像選択処理（図３のステップＳ３０７）の詳細を説明する。
<Image selection process>
In the present embodiment, the points of other images that match the selected image and subject information and composition are lowered. Details of the image selection process (step S307 in FIG. 3) will be described using the flowchart in FIG.
ステップＳ７０１において、画像選択部２０８は、入力画像集合（入力画像集合記憶部２０２に記憶されている）を、上記の画像ポイント算出処理で算出された画像ポイント順に、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する。ステップＳ７０２において、ユーザによる画像の選択操作を受け付ける。ユーザによる画像の選択操作とは、たとえば、ユーザが図２１の入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像を選択し、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する操作である。或いは、ユーザが選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている画像を選択し、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動する操作である。このときユーザが選択した画像を選択画像Ｉｍｇ−ｓｅｌとする。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤから選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動した選択画像Ｉｍｇ−ｓｅｌは、入力画像集合から除外され、選択画像集合に加入されることになる。同様に、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤから入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動した選択画像Ｉｍｇ−ｓｅｌは、選択画像集合から除外され、入力画像集合に加入されることになる。ステップＳ７０３において、画像選択部２０８は、選択画像が入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）かどうかを判定する。ステップＳ７０３においてＹＥＳならば、処理はステップＳ７０４に移る。また、ステップＳ７０３においてＮＯならば、選択画像が選択画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｏｕｔ）とみなして、処理はステップＳ７０９に移る。
In step S701, the
ステップＳ７０４〜Ｓ７０８では、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示された選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、選択された画像以外の画像の評価値が更新される。本実施形態では、評価値の更新に画像の内容（被写体、構図）を用いる例を示す。ステップＳ７０４において、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎから選択画像Ｉｍｇ−ｓｅｌを取り除く。ステップＳ７０５において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌを選択画像集合Ｉｍｇｓ−ｏｕｔに追加する。選択画像集合Ｉｍｇｓ−ｏｕｔは選択画像集合記憶部２０３に記憶される。ステップＳ７０６において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との被写体の一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度をそれぞれ算出する。被写体一致度は、同一人物か否かに基づいて判断される。次に、ステップＳ７０７において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との構図一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度をそれぞれ算出する。構図一致度の算出は、例えば図２０の規則１０や規則１１を用いて行う。ステップＳ７０８において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと、被写体および構図が一致する（被写体一致度と構図一致度が所定値より大きい）入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像のポイントを下げる。そして、処理はステップＳ７１４に移る。
In steps S704 to S708, the evaluation value of the image other than the selected image is updated based on at least one of the content and attribute information of the image selected from the selection candidates displayed in the input image set display area Imgs-inD. Is done. In the present embodiment, an example in which image content (subject, composition) is used to update an evaluation value is shown. In step S704, the
他方、選択画像集合Ｉｍｇｓ−ｏｕｔに属する選択済みの画像がユーザ指示に応じて非選択状態になった場合（選択候補、すなわち入力画像集合Ｉｍｇｓ−ｉｎに戻った場合）は、ステップＳ７０９以降の処理が実行される。ステップＳ７０９以降では、選択候補に戻った画像の内容および属性情報の少なくとも何れかに基づいて、その選択候補に戻った画像以外の画像の評価値を更新する処理が実行される。ステップＳ７０９において、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔから選択画像Ｉｍｇ−ｓｅｌを取り除く。ステップＳ７１０において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌを入力画像集合Ｉｍｇｓ−ｉｎに追加する。ステップＳ７１１において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との被写体一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度をそれぞれ算出する。ステップＳ７１２において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との構図一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度をそれぞれ算出する。ステップＳ７１３において、画像選択部２０８は、選択画像Ｉｍｇｓ−ｓｅｌと、被写体および構図が一致する入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像のポイントを増加する。こうして、選択画像Ｉｍｇ−ｓｅｌ以外の画像について、選択画像Ｉｍｇ−ｓｅｌの選択により生じた画像ポイントの減少分を元に戻す。そして、処理はステップＳ７１４に移る。
On the other hand, when the selected image belonging to the selected image set Imgs-out is in a non-selected state according to the user instruction (when the selection image is returned to the input image set Imgs-in), the processing after step S709 is performed. Is executed. In step S709 and subsequent steps, processing for updating the evaluation value of an image other than the image returned to the selection candidate is executed based on at least one of the content of the image returned to the selection candidate and the attribute information. In step S709, the
なお、選択状態にある画像（選択画像集合に属する画像）を非選択状態に戻した場合の画像ポイントの再計算の方法は、上記に限られるものではない。例えば、各画像について、選択された画像と画像ポイントの減少値とを対応付けて保持しておき、各画像の画像ポイントを非選択状態に戻された画像に対応して保持されている減少値だけ増加させるようにしてもよい。 Note that the method of recalculating the image points when the image in the selected state (image belonging to the selected image set) is returned to the non-selected state is not limited to the above. For example, for each image, the selected image and the decrease value of the image point are stored in association with each other, and the decrease value stored in correspondence with the image in which the image point of each image is returned to the non-selected state You may make it increase only.
ステップＳ７１４において、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎをポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する。ステップＳ７１５において、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔを選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する。ステップＳ７１６において、画像選択部２０８は、画像選択処理を終了するかどうかユーザに確認する。ステップＳ７１６において、ユーザが画像選択処理を終了すると判定したならば、処理を終了する。他方、ステップＳ７１６において、ユーザが画像選択処理を継続すると判定したならば、処理はステップＳ７０２に戻る。
In step S714, the
＜ユーザの画像選択操作の説明＞
図１２を用いて、上記画像選択処理（図１１）におけるユーザの画像選択操作を説明する。画像選択処理への入力は、ステップＳ３０６（図３）においてポイント付けされた入力画像集合Ｉｍｇｓ−ｉｎである。ここでは、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））である。また、このときの選択画像集合Ｉｍｇｓ−ｏｕｔ＝（空集合）である。
<Description of user image selection operation>
The user's image selection operation in the image selection process (FIG. 11) will be described with reference to FIG. The input to the image selection process is the input image set Imgs-in pointed at in step S306 (FIG. 3). Here, Imgs-in = (Img1 (120), Img2 (120), Img3 (120), Img4 (120), Img5 (100), Img6 (100), Img8 (100), Img7 (90), Img9 ( 90), Img10 (90)). Further, the selected image set Imgs-out = (empty set) at this time.
まず、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１２（ｂ１）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。ここで、ポイントが同じ画像は、一定の基準でソートされて表示される。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１２（ａ１）に示すように、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ７０１）。 First, the images of the input image set Imgs-in are displayed in the input image set display area Imgs-inD in the order of points as shown in FIG. Here, images with the same point are sorted and displayed according to a certain standard. Further, the images of the selected image set Imgs-out are displayed in the selected image set display area Imgs-outD as shown in FIG. 12 (a1) (step S701).
ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ１を選択（第１の選択）して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ７０２）。すると、選択画像が入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇ−ｉｎ）と判定される（ステップＳ７０３）。結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ７０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０））となる（ステップＳ７０５）。 The user selects the image Img1 displayed in the input image set display area Imgs-inD (first selection), and moves to the selected image set display area Imgs-outD (step S702). Then, it is determined that the selected image is an image in the input image set (Img-sel⊂Img-in) (step S703). As a result, the input image set is Imgs-in = (Img2 (120), Img3 (120), Img4 (120), Img5 (100), Img6 (100), Img8 (100), Img7 (90), Img9 (90 ), Img10 (90)) (step S704). Further, the selected image set is Imgs−out = (Img1 (120)) (step S705).
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７０６）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ７０６では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ1と被写体情報が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７０７）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ７０７では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と、被写体情報および構図が一致する画像のポイントを下げる。ここでは、選択画像Ｉｍｇ１と被写体情報および構図が一致する画像はＩｍｇ４（１２０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）下げて、Ｉｍｇ４（８０）とする（ステップＳ７０８）。この結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。
Next, the
次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１２（ｂ２）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ７１４）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１２（ａ２）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ７１５）。ユーザがさらに画像選択（第２の選択）を続けると、処理はステップＳ７１６を経て、ステップＳ７０２に戻る。
Next, the
続いて、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ６を選択したとする。すると、画像選択部２０８は、画像Ｉｍｇ６を選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ７０２）。選択画像である画像Ｉｍｇ６は入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇ−ｉｎ）と判定される（ステップＳ７０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ７０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０）、Ｉｍｇ６（１００））となる（ステップＳ７０５）。
Subsequently, it is assumed that the user selects the image Img6 displayed in the input image collection display area Imgs-inD. Then, the
次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７０６）。ここでの、選択画像Ｉｍｇ６に対する画像内被写体情報は、図１０（ｃ６）である。図１０（ｃ６）と同じ画像内被写体情報は、図１０（ｃ５）と図１０（ｃ１０）である。したがって、ステップＳ７０６では、画像Ｉｍｇ５とＩｍｇ１０が、選択画像Ｉｍｇ６と被写体情報が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７０７）。ここでの、選択画像Ｉｍｇ６に対する構図は、図１０（ｅ６）である。図１０（ｅ６）と同じ構図は、図１０（ｅ５）である。したがって、ステップＳ７０７では、画像Ｉｍｇ５が、選択画像Ｉｍｇ６と構図が一致すると判定される。
Next, the
次に、画像選択部２０８は、被写体情報および構図が選択画像Ｉｍｇ６と一致する画像のポイントを下げる。ここでは、被写体情報および構図が選択画像Ｉｍｇ６と一致する画像はＩｍｇ５（１００）であるので、画像選択部２０８はＩｍｇ５のポイントを一定値（例えば４０）下げて、Ｉｍｇ５（６０）とする（ステップＳ７０８）。この結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。
Next, the
次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１２（ｂ３）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ７１４）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１２（ａ３）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ７１５）。ユーザがさらに画像選択を続けると、処理はステップＳ７１６を経て、ステップＳ７０２に戻る。
Next, the
次に、ユーザが選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている画像Ｉｍｇ１を選択して、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動したとする（ステップＳ７０２）。すると、画像選択部２０８は、選択画像が選択画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｏｕｔ）と判定する（ステップＳ７０３）。その結果、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ６（１００））となる（ステップＳ７０９）。
Next, it is assumed that the user selects the image Img1 displayed in the selected image set display area Imgs-outD and moves to the input image set display area Imgs-inD (step S702). Then, the
画像選択部２０８が、選択画像（Ｉｍｇ１）を入力画像集合の最後に加えるとＩｍｇｓ−ｉｎは次のようになる（ステップＳ７１０）。すなわち、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）、Ｉｍｇ１（１２０））となる。
When the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７１１）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ７１１では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ１と被写体情報が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７１２）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ７１２では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と、被写体情報および構図が一致する画像のポイントをもとに戻す（ステップＳ７１３）。ここでは、選択画像Ｉｍｇ１と被写体情報および構図が一致する画像はＩｍｇ４（８０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）上げて、Ｉｍｇ４（１２０）とする（ステップＳ７１３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）、Ｉｍｇ１（１２０））となる。
Next, the
次に、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１２（ｂ４）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される（ステップＳ７１４）。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１２（ａ４）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ７１５）。 Next, the images of the input image set Imgs-in are displayed in the input image set display area Imgs-inD in the order of points as shown in FIG. 12 (b4) (step S714). Further, the images of the selected image set Imgs-out are displayed in the selected image set display area Imgs-outD in the order selected by the user as shown in FIG. 12 (a4) (step S715).
ここで、ユーザが画像選択処理を終了する旨を入力すると、ステップＳ７１６を経て、本処理が終了する。 Here, when the user inputs an instruction to end the image selection process, the process ends through step S716.
上記実施形態では、画像に図８（ａ１）、図８（ｂ１）のような属性情報（被写体情報、構図情報）が設定されているものとして、画像ポイント算出処理（図７）と画像選択処理（図１１）を説明した。画像に設定される属性としては、図８（ｃ１）のような顔の向きがあってもよい。ここでは、顔フレームＦ２内に、両耳の位置を通る線分Ｙ２と、鼻筋を示す線分Ｎ２を座標等で指定する。このとき、ステップＳ６０４（図７）の構図ポイント算出では、適当な関数ＦＤ（）を用いて、顔向きポイント＝ＦＤ（Ｙ２、Ｎ２）を算出し、顔向きポイントを構図ポイントに加える。このような顔向きポイント算出規則は、図２０の規則群中に記述されているものとする。また顔フレームＦ２内の表情に対して、ポイントを算出する関数ＦＨ（）を定義し、表情ポイント＝ＦＨ（Ｆ２）のように算出する。そして、表情ポイントを画像ポイントに加える規則を作成して、図２０の規則群に加えてもよい。 In the above embodiment, it is assumed that attribute information (subject information, composition information) as shown in FIGS. 8A1 and 8B1 is set in an image, and image point calculation processing (FIG. 7) and image selection processing are performed. (FIG. 11) has been described. As an attribute set in the image, there may be a face orientation as shown in FIG. Here, a line segment Y2 passing through the positions of both ears and a line segment N2 indicating the nose are designated by coordinates or the like in the face frame F2. At this time, in the composition point calculation in step S604 (FIG. 7), the face direction point = FD (Y2, N2) is calculated using an appropriate function FD (), and the face direction point is added to the composition point. Such face orientation point calculation rules are described in the rule group of FIG. Also, a function FH () for calculating a point is defined for the facial expression in the face frame F2, and the expression is calculated as expression point = FH (F2). Then, a rule for adding an expression point to an image point may be created and added to the rule group of FIG.
また、上記実施形態において、ステップＳ７０８では選択された画像と類似するか否かにより画像ポイントを所定値だけ減少させているが、これに限られるものではない。例えば、選択された画像と他の画像との類似度を算出し、算出された類似の度合いに応じて減少させる画像ポイントの値が変化するようにしてもよい。同様に、ステップＳ７１３で画像ポイントを戻す場合にも、算出された類似の度合いに応じて増加させる画像ポイントの値が変化するようにしてもよい。 In the above embodiment, the image point is decreased by a predetermined value depending on whether or not it is similar to the selected image in step S708. However, the present invention is not limited to this. For example, the degree of similarity between the selected image and another image may be calculated, and the value of the image point to be decreased may be changed according to the calculated degree of similarity. Similarly, when returning an image point in step S713, the value of the image point to be increased may be changed according to the calculated degree of similarity.
＜第１実施形態の効果＞
以上のように、第１実施形態によれば、１つ以上の画像に対しその画像内容、属性情報、および選択済みの画像の画像内容および属性情報に応じてポイントを算出するポイント算出部と、画像をポイント順に並べて表示する表示部とを具備する。さらに、ユーザが表示された画像の中から画像を選択する画像選択部を有し、ユーザが画像を選択する度に、ポイント算出部は選択された画像以外の画像のポイントを再計算し、更新する。ポイントの算出に用いられる画像内容は被写体、被写体の組み合わせ、構図、被写体に対する合焦の有無、被写体が人間である場合の顔の向き、表情のいずれかあるいは１つ以上の組み合わせである。以上のような構成によれば、ユーザが選択した写真と、同一の被写体や同一の構図の写真のポイントが下げられ、優先順位が下げられて再表示されるので、選ばれにくくなる。したがって、アルバム作成の画像選択において、ユーザは被写体と構図が一度選んだ写真と異なる写真を選びやすくなる。したがって、上記実施形態によれば、アルバム作成のための画像選択の際に、被写体の組み合わせや構図、時間帯に偏りのない画像選択が容易になる。
<Effects of First Embodiment>
As described above, according to the first embodiment, for one or more images, a point calculation unit that calculates points according to the image content, attribute information, and the image content and attribute information of a selected image; And a display unit that displays the images arranged in the order of points. Furthermore, the user has an image selection unit that selects an image from displayed images, and each time the user selects an image, the point calculation unit recalculates and updates the points of the image other than the selected image. To do. The image content used for the calculation of the point is a subject, a combination of subjects, composition, presence / absence of focusing on the subject, face orientation when the subject is a human being, or a combination of one or more expressions. According to the configuration described above, the point of the photograph selected by the user and the photograph of the same subject or the same composition is lowered, and the priority is lowered and displayed again. Therefore, in selecting an image for creating an album, the user can easily select a photo whose subject and composition are different from those once selected. Therefore, according to the above-described embodiment, when selecting images for creating an album, it is easy to select images with no bias in subject combination, composition, and time zone.
［第２実施形態］
＜画像選択処理の他の実施形態＞
第１実施形態では、選択画像と被写体情報および構図が一致する他画像のポイントを下げる構成を説明した。第２実施形態では、さらに、選択画像と撮影時刻が（一定の範囲内で）一致する他画像のポイントを下げる。図１３の流れ図を用いて、第２実施形態による画像選択処理（図３のステップＳ３０８）の詳細を説明する。なお、図１３のステップＳ８０１〜Ｓ８０７、Ｓ８１０〜Ｓ８１３の処理は、第１実施形態（図１１）のステップＳ７０１〜Ｓ７０７、Ｓ７０９〜Ｓ７１２と同様の処理である。
[Second Embodiment]
<Another Embodiment of Image Selection Processing>
In the first embodiment, the configuration has been described in which the point of another image in which the selected image matches the subject information and the composition is lowered. In the second embodiment, the points of other images whose selected images and shooting times coincide (within a certain range) are further lowered. Details of the image selection processing (step S308 in FIG. 3) according to the second embodiment will be described with reference to the flowchart in FIG. Note that the processes in steps S801 to S807 and S810 to S813 in FIG. 13 are the same as steps S701 to S707 and S709 to S712 in the first embodiment (FIG. 11).
ステップＳ８０８において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する。ステップＳ８０９において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと、撮影時刻、または、被写体および構図が一致する他画像のポイントを下げる。そして、処理はステップＳ８１６に移る。
In step S808, the
また、ステップＳ８１４において画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する。ステップＳ８１５において画像選択部２０８は、選択画像Ｉｍｇｓ−ｓｅｌと、撮影時刻、または、被写体および構図が一致する他画像のポイントを、ステップＳ７１３と同様に、元に戻す。そして、処理はステップＳ８１６に移る。ステップＳ８１６〜Ｓ８１８の処理は、図１１のステップＳ７１４〜Ｓ７１６と同様である。
In step S814, the
＜第２実施形態におけるユーザの画像選択操作の説明＞
図１４を用いて、第２実施形態による画像選択処理（図１３）におけるユーザの画像選択操作を説明する。画像選択処理への入力は、図３のステップＳ３０６において、ポイント付けされた入力画像集合Ｉｍｇｓ−ｉｎである。ここでは、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））である。また、このときの選択画像集合Ｉｍｇｓ−ｏｕｔ＝（空集合）である。
<Description of User Image Selection Operation in Second Embodiment>
A user's image selection operation in the image selection process (FIG. 13) according to the second embodiment will be described with reference to FIG. The input to the image selection process is the input image set Imgs-in pointed to in step S306 of FIG. Here, Imgs-in = (Img1 (120), Img2 (120), Img3 (120), Img4 (120), Img5 (100), Img6 (100), Img8 (100), Img7 (90), Img9 ( 90), Img10 (90)). Further, the selected image set Imgs-out = (empty set) at this time.
まず、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１４（ｂ１）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１４（ａ１）に示すように、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ８０１）。 First, the images of the input image set Imgs-in are displayed in the input image set display area Imgs-inD in the order of points as shown in FIG. Further, the images of the selected image set Imgs-out are displayed in the selected image set display area Imgs-outD as shown in FIG. 14 (a1) (step S801).
ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ１を選択して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ８０２）。すると、選択画像は、入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）と判定される（ステップＳ８０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ８０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０））となる（ステップＳ８０５）。 The user selects the image Img1 displayed in the input image set display area Imgs-inD and moves to the selected image set display area Imgs-outD (step S802). Then, it is determined that the selected image is an image in the input image set (Img-selｓImgs-in) (step S803). As a result, the input image set is Imgs-in = (Img2 (120), Img3 (120), Img4 (120), Img5 (100), Img6 (100), Img8 (100), Img7 (90), Img9 ( 90) and Img10 (90)) (step S804). The selected image set is Imgs−out = (Img1 (120)) (step S805).
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ８０６）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ８０６では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ1と被写体情報が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ８０７）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ８０７では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。次に、画像選択部２０８は、選択画像Ｉｍｇ１と他の画像との撮影時刻一致度を算出する（ステップＳ８０８）。ここでは、画像間の撮影時刻の差が５分以内（この時間差は設定可能）ならば、２つの画像の撮影時刻が一致しているものとする。選択画像Ｉｍｇ１に対する撮影時刻情報は、図１０（ｇ１）である。図１０（ｇ１）と同じとみなされる撮影時刻情報は、存在しない。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ１と、撮影時刻、または、被写体情報および構図が一致する画像のポイントを下げる（ステップＳ８０９）。選択画像Ｉｍｇ１と撮影時刻、または、被写体情報および構図が一致する画像はＩｍｇ４（１２０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）下げて、Ｉｍｇ４（８０）とする。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。また、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１４（ｂ２）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される（ステップＳ８１６）。さらに、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１４（ａ２）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ８１７）。
Next, the
ユーザはさらに画像選択を続ける。すると、処理はステップＳ８１８を経て、ステップＳ８０２に戻る。 The user continues to select an image. Then, the process returns to step S802 via step S818.
続いて、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ６を選択して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動したとする（ステップＳ８０２）。選択画像Ｉｍｇ６は入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）と判定される（ステップＳ８０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ８０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０）、Ｉｍｇ６（１００））となる（ステップＳ８０５）。 Subsequently, it is assumed that the user selects the image Img6 displayed in the input image set display area Imgs-inD and moves to the selected image set display area Imgs-outD (step S802). The selected image Img6 is determined to be an image in the input image set (Img-selｓImgs-in) (step S803). As a result, the input image set is Imgs-in = (Img2 (120), Img3 (120), Img4 (80), Img5 (100), Img8 (100), Img7 (90), Img9 (90), Img10 ( 90)) (step S804). Further, the selected image set is Imgs−out = (Img1 (120), Img6 (100)) (step S805).
次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ８０６）。本例において、選択画像Ｉｍｇ６に対する画像内被写体情報は、図１０（ｃ６）である。図１０（ｃ６）と同じ画像内被写体情報は、図１０（ｃ５）と図１０（ｃ１０）である。したがって、ステップＳ８０６では、画像Ｉｍｇ５とＩｍｇ１０が、選択画像Ｉｍｇ６と被写体情報が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ８０７）。ここでの、選択画像Ｉｍｇ６に対する構図は、図１０（ｅ６）である。図１０（ｅ６）と同じ構図は、図１０（ｅ５）である。したがって、ステップＳ８０７では、画像Ｉｍｇ５が、選択画像Ｉｍｇ６と構図が一致すると判定される。
Next, the
次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する（ステップＳ８０８）。ここでの、選択画像Ｉｍｇ６に対する撮影時刻は、図１０（ｇ６）である。図１０（ｇ６）と同じ撮影時刻は、図１０（ｇ３）である。したがって、ステップＳ８０８では、画像Ｉｍｇ３が、選択画像Ｉｍｇ６と撮影時刻が一致すると判定される。
Next, the
続いて、画像選択部２０８は、選択画像Ｉｍｇ６と、撮影時刻、または、被写体情報および構図が一致する画像のポイントを下げる（ステップＳ８０９）。ここでは、選択画像Ｉｍｇ６と撮影時刻が一致する画像はＩｍｇ３である（１２０）。また、選択画像Ｉｍｇ６と被写体情報および構図が一致する画像はＩｍｇ５（１００）である。したがって、Ｉｍｇ３とＩｍｇ５のポイントを一定値（例えば４０）下げて、Ｉｍｇ３（８０）およびＩｍｇ５（６０）とする（ステップＳ８０９）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（８０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。
Subsequently, the
次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１４（ｂ３）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ８１６）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１４（ａ３）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ８１７）。ここで、ユーザが画像選択処理を終了する旨を入力すると、ステップＳ８１８を経て、処理を終了する。
Next, the
以上のように、第２実施形態では、ユーザが選んだ画像と、撮影時刻、または、被写体および構図が一致する画像のポイントを下げる。これ以外にも、ユーザが選んだ画像と、撮影場所、撮影時刻、被写体、構図のうちの１つ以上の組み合わせが一定の範囲内で一致する画像のポイントを下げるようにしてもよい。例えば、場所の一致度の判定は、次のように行う。画像Ａの撮影位置をＰＡ、被写体位置をＰＡ１、ＰＡ２・・・ＰＡｎ、画像Ｂの撮影位置をＰＢ、被写体位置をＰＢ１、ＰＢ２・・・ＰＡＢｍ、とする。そして、ある判定関数ＦＰ（）と閾値ＴＨＤを定義し、ＦＰ（ＰＡ，ＰＡ１，ＰＡ２・・・ＰＡｎ、ＰＢ、ＰＢ１、ＰＢ２・・・Ｐｂｍ）＜ＴＨＤ、のとき撮影場所が一致すると判定する。なお、撮影位置は、たとえばＧＰＳを利用して取得され得る。また、被写体位置は、画像内の各被写体までの焦点距離情報などを利用して撮影位置と被写体位置との位置関係を求めることで、取得され得る。 As described above, in the second embodiment, the point of an image that matches the image selected by the user with the shooting time or subject and composition is lowered. In addition to this, the point of an image in which an image selected by the user and one or more combinations of shooting location, shooting time, subject, and composition match within a certain range may be lowered. For example, the determination of the degree of coincidence of locations is performed as follows. The shooting position of image A is PA, the subject position is PA1, PA2... PAn, the shooting position of image B is PB, and the subject positions are PB1, PB2,. Then, a certain determination function FP () and a threshold value THD are defined, and it is determined that the shooting locations match when FP (PA, PA1, PA2... PAn, PB, PB1, PB2... Pbm) <THD. Note that the shooting position can be acquired using, for example, GPS. The subject position can be acquired by obtaining the positional relationship between the shooting position and the subject position using the focal length information to each subject in the image.
＜第２実施形態の効果＞
このように、ユーザが選択した写真と、撮影時刻、撮影場所、被写体、構図のいずれか、または、これらの１つ以上組み合わせが一致するとみなされる写真のポイントが下げられる。ポイントの下げられた写真は、優先順位が下げられて再表示されるので、再度選ばれにくくなる。したがって、アルバム作成の画像選択において、ユーザは、撮影時刻、撮影場所、被写体、構図などが一度選んだ写真と異なる写真を選びやすくなる。
<Effects of Second Embodiment>
In this way, the point of the photograph selected by the user and the photograph taken as one of the photographing time, the photographing place, the subject, the composition, or one or a combination thereof is lowered. Photos with lowered points are re-displayed with lower priority, making it difficult to select again. Therefore, in selecting an image for creating an album, the user can easily select a photo that is different from a photo that has been selected once, such as the shooting time, shooting location, subject, and composition.
［第３実施形態］
＜画像ポイント算出処理の他の実施形態＞
第１実施形態では、画像の被写体ポイントと構図ポイントをそれぞれ算出し、それらを合計することにより画像ポイント得た（図７のステップＳ６０３、Ｓ６０４）。第３実施形態では、ポイント算出処理の他の実施形態として、被写体情報と構図情報とを関連させて画像ポイントを算出する処理を説明する。以下、図１５のフローチャートを用いて、第３実施形態における画像ポイント算出処理（図３のステップＳ３０６）を説明する。
[Third Embodiment]
<Another Embodiment of Image Point Calculation Processing>
In the first embodiment, the subject point and the composition point of the image are calculated, and the image points are obtained by summing them (steps S603 and S604 in FIG. 7). In the third embodiment, as another embodiment of the point calculation process, a process of calculating image points by associating subject information and composition information will be described. Hereinafter, the image point calculation process (step S306 in FIG. 3) in the third embodiment will be described with reference to the flowchart in FIG.
読み込んだ画像、例えば図１６（ａ１）のＩｍｇＡＸには、図１６（ａ２）、図１６（ａ４）、図１６（ａ６）、図１６（ａ８）のような属性情報が付いているものとする。図１６（ａ２）は被写体情報であり、図１６（ａ４）は構図情報であり、図１６（ａ６）および図１６（ａ８）は被写体構図情報である。そして、図１６（ａ２）のような被写体情報からは、被写体ポイントが算出される。また、図１６（ａ４）のような構図情報からは、構図ポイントが算出される。さらに、図１６（ａ６）や図１６（ａ８）のような被写体構図情報からは、被写体構図ポイントが算出される。また、例えば、規則５０〜規則５２（図２０）を用いて、合焦情報（フォーカスの有無、および、フォーカスの位置）に基づいて合焦ポイントを算出する。そして、例えば、規則１００（図２０）によって、画像ポイント＝被写体ポイント＋構図ポイント＋被写体構図ポイント＋合焦ポイント、と算出する。
Assume that the read image, for example, ImgAX in FIG. 16 (a1) has attribute information as shown in FIG. 16 (a2), FIG. 16 (a4), FIG. 16 (a6), and FIG. . FIG. 16 (a2) is subject information, FIG. 16 (a4) is composition information, and FIGS. 16 (a6) and 16 (a8) are subject composition information. Then, subject points are calculated from the subject information as shown in FIG. Further, composition points are calculated from the composition information as shown in FIG. Further, subject composition points are calculated from the subject composition information as shown in FIGS. 16 (a6) and 16 (a8). Further, for example, using
本実施形態では、図１６（ａ１）のＩｍｇＡＸと、図１６（ｂ１）のＩｍｇＸＡの２枚の画像が読み込まれている場合についてのべる。 In the present embodiment, the case where two images of ImgAX in FIG. 16 (a1) and ImgXA in FIG. 16 (b1) are read will be described.
ステップＳ９０１において、ポイント算出部２０９は、最初の画像（＝ＩｍｇＡＸ）を選択する。ステップＳ９０２において、ポイント算出部２０９は、画像内被写体情報を抽出する。ステップＳ９０３において、ポイント算出部２０９は、画像の被写体ポイントを算出する（図１６（ａ３））。ここでは、図９（ａ）のような画像内被写体情報に対して、図２０のようなポイント算出規則を適用して、図９（ｂ）のような被写体ポイントを算出する。次に、ステップＳ９０４において、ポイント算出部２０９は、画像の構図ポイントを算出する（図１６（ａ５））。例えば、規則２１（図２０）のようなポイント算出規則を適用して、画像の構図ポイントを算出する。
In step S901, the
続いて、ステップＳ９０５において、ポイント算出部２０９は、画像の被写体構図ポイントを算出する（図１６（ａ７）、図１６（ａ９））。例えば、規則２２（図２０）のようなポイント算出規則を適用して、画像の被写体構図ポイントを算出する。また、ステップＳ９０６において、ポイント算出部２０９は、画像の合焦ポイントを算出する。例えば、規則５０〜規則５２（図２０）のようなポイント算出規則を適用して、画像の合焦ポイントを算出する（図１６（ａ１０））。
Subsequently, in step S905, the
ステップＳ９０７において、ポイント算出部２０９は、ステップＳ９０３〜Ｓ９０６で算出されたポイントを用いて画像にポイントを設定する。
In step S907, the
例えば、図１６（ａ１）の画像ＩｍｇＡＸに対しては、図１６（ａ３）に示すように被写体ポイント＝（１０）、図１６（ａ５）に示すように構図ポイント＝（７０）が得られる。また、図１６（ａ７）および図１６（ａ９）に示すように、画像ＩｍｇＡＸに対して被写体構図ポイント＝（５０）＋（−１０）＝（４０）、図１６（ａ１０）に示すように合焦ポイント＝（１０）が得られる。以上から、図１６（ａ１１）に示すように、ＩｍｇＡＸの画像ポイント＝被写体ポイント（１０）＋構図ポイント（７０）＋被写体構図ポイント（４０）＋合焦ポイント（１０）＝（１３０）となる。 For example, with respect to the image ImgAX in FIG. 16A1, subject point = (10) is obtained as shown in FIG. 16A3, and composition point = (70) is obtained as shown in FIG. 16A5. Also, as shown in FIGS. 16 (a7) and 16 (a9), subject composition point = (50) + (− 10) = (40) with respect to the image ImgAX, as shown in FIG. 16 (a10). The focal point = (10) is obtained. From the above, as shown in FIG. 16A11, ImgAX image point = subject point (10) + composition point (70) + subject composition point (40) + focus point (10) = (130).
ステップＳ９０８において、ポイント算出部２０９は、最後の画像に対して画像ポイント算出処理が行なわれたかどうか判定する。ステップＳ９０８においてＹＥＳならば、画像ポイント算出処理を終了する。ステップＳ９０８においてＮＯならば、処理はステップＳ９０９に移る。ステップＳ９０９において、ポイント算出部２０９は、入力画像集合内の次の画像を選択し、処理はステップＳ９０２に戻る。例えば、ステップＳ９０９において次の画像ＩｍｇＸＡが選択され、ステップＳ９０２〜ステップＳ９０７の処理が行われる。すると、図１６（ｂ１１）に示すように、ＩｍｇＸＡの画像ポイント＝被写体ポイント（１０）＋構図ポイント（７０）＋被写体構図ポイント（−２０）＋合焦ポイント（−５）＝（５５）となる。
In step S908, the
＜第３実施形態の効果＞
このように、写真内の被写体の位置に応じてポイントを付加でき、それらのポイント算出規則を設定できる。また焦点が主体に合っていたらポイントを高くしたり、焦点が無関係な人に合っていたらポイントを低くしたりする規則を記述して登録できる。したがって、アルバムの主体が指定した構図で出現する写真のポイントを高くしたり、無関係な人が大きく写っている写真のポイントを低くしたりできる。また、焦点が写真内の誰に合っているかに応じて、写真のポイントを制御できる。そして、被写体、構図、被写体情報を含む構図、合焦の有無、焦点の位置によって写真へのポイントの付き方を規則として記述でき、これらの規則群を用いて、写真のポイントを算出できる。
<Effect of the third embodiment>
In this way, points can be added according to the position of the subject in the photograph, and the point calculation rules can be set. Also, it is possible to describe and register a rule that raises the point when the focus is on the subject and lowers the point when the focus is on an unrelated person. Therefore, it is possible to increase the point of a photo that appears in the composition designated by the subject of the album, or to decrease the point of a photo in which an irrelevant person is greatly shown. Also, the point of the photo can be controlled depending on who is in focus in the photo. Then, it is possible to describe how to attach a point to a photograph as a rule by subject, composition, composition including subject information, presence / absence of focus, and focus position, and the point of the photograph can be calculated using these rule groups.
［第４実施形態］
＜アルバム作成処理の他の実施形態＞
第４実施形態では、画像ポイントが閾値以下の入力画像集合の画像に対して自動的に加工（ここではトリミング）を行い、トリミングした画像のポイントが閾値以上ならば、もとの画像と置き換えてアルバム作成処理を行う。図１７は、第４実施形態によるアルバム作成処理を説明するフローチャートである。なお、図１７のステップＳ１００１〜Ｓ１００６の処理は第１実施形態（図３）のステップＳ３０１〜Ｓ３０６と同様である。ただし、ステップＳ１００６の画像ポイント算出処理では、第１実施形態（図７のステップＳ６０１〜ステップＳ６０６）、第３実施形態（図１５のステップＳ９０１〜ステップＳ９０９）のいずれを用いてもよい。
[Fourth Embodiment]
<Other Embodiments of Album Creation Processing>
In the fourth embodiment, an image of an input image set whose image points are equal to or less than a threshold value is automatically processed (trimmed in this case). Perform album creation processing. FIG. 17 is a flowchart for explaining album creation processing according to the fourth embodiment. Note that the processing in steps S1001 to S1006 in FIG. 17 is the same as steps S301 to S306 in the first embodiment (FIG. 3). However, in the image point calculation process in step S1006, either the first embodiment (steps S601 to S606 in FIG. 7) or the third embodiment (steps S901 to S909 in FIG. 15) may be used.
ステップＳ１００７において、トリミング部２１２（図１）は、トリミング処理を行う。トリミング処理においては、入力画像集合内のポイントが閾値以下の画像をトリミングして、閾値以上になるものがあれば、元の画像をトリミング後の画像に置き換える。トリミング処理の詳細については後述する。ステップＳ１００８において、画像選択部２０８は、画像を選択する。ステップ１００９において、レイアウト処理部２１０は、選択された画像をアルバム用にレイアウトする。ステップＳ１０１０において、印刷処理部２１１は、レイアウトされた画像を印刷する。
In step S1007, the trimming unit 212 (FIG. 1) performs a trimming process. In the trimming process, an image whose point in the input image set is equal to or less than the threshold value is trimmed, and if there is an image that exceeds the threshold value, the original image is replaced with the trimmed image. Details of the trimming process will be described later. In step S1008, the
＜トリミング処理の概要＞
第４実施形態のトリミング処理では、画像に対するポイントを算出した後、ポイントが閾値（ここでは、例えば９５）未満の画像に対して、ポイントを下げる原因になる被写体が含まれているかどうかを判定する。ここで、ポイントを下げる原因になる被写体とは、図５（ａ）の被写体リストＯｂｊ−Ｌｉｓｔ＝（Ａ、Ｂ、・・・、Ｈ）内に含まれていない被写体である。そして、ポイントを下げる原因になる被写体を除いた残りの被写体を求める。これらの残りの被写体を含む領域をトリミング画像とする。
<Overview of trimming process>
In the trimming process according to the fourth embodiment, after calculating a point for an image, it is determined whether or not a subject that causes the point to be lowered is included in an image whose point is less than a threshold (for example, 95). . Here, the subject that causes the point to be lowered is a subject that is not included in the subject list Obj-List = (A, B,..., H) in FIG. Then, the remaining subjects other than the subject that causes the point to be lowered are obtained. A region including these remaining subjects is set as a trimmed image.
例えば図１９（ｂ１）の画像Ｉｍｇ９（９０）には、被写体Ａ、Ｄ、Ｘが含まれている。このとき、例えば図２０のようなポイント算出規則を用いると、図１９（ｂ２）に示すように、被写体ポイントは＝（２０）＋（−３０）＝（−１０）である。また、図２０のポイント算出規則によって、図１９（ｂ３）に示すように、構図ポイントは＝（１００）である。ここでは被写体Ｘの影響でポイントが（−２０）となっている。そこで、被写体Ｘを除いた残りの被写体Ａ，Ｄに関する、被写体ポイントを求めると、図１９（ｃ２）のように（２０）となる。そこで、トリミング部２１２は、被写体Ａ、Ｄのみを含むように、元の画像Ｉｍｇ９から、図１９（ｃ１）のようなトリミング画像ＦｒＴｒ１を切り出す。そして新たなトリミング画像ＦｒＴｒ１に対して、トリミング部２１２は、画像ポイント＝「図１９（ｃ２）の被写体ポイント（２０）」＋「図１９（ｃ３）の構図ポイント（１００）」を算出する。すると、図１９（ｄ）に示すように、トリミング画像の画像ポイントはＦｒＴｒ１（１２０）となる。画像ポイントが閾値（９５）以上なので、トリミング部２１２は、トリミング画像ＦｒＴｒ１をＩｍｇ９ｔ（１２０）として入力画像集合のもとの画像と置き換える（図１９（ｅ））。
For example, the image Img9 (90) in FIG. 19B1 includes subjects A, D, and X. At this time, for example, when a point calculation rule as shown in FIG. 20 is used, the subject point is = (20) + (− 30) = (− 10) as shown in FIG. 19 (b2). Further, according to the point calculation rule of FIG. 20, the composition point is = (100) as shown in FIG. 19 (b3). Here, the point is (−20) due to the influence of the subject X. Therefore, when subject points regarding the remaining subjects A and D excluding the subject X are obtained, (20) is obtained as shown in FIG. Therefore, the
＜トリミング処理のフローチャート＞
第４実施形態によるトリミング処理を、図１８のフローチャートを用いて詳細に説明する。まず、図１７に示す流れ図（ステップＳ１００１〜ステップＳ１００６）の処理によって、読み込んだ画像には、図１０（ｈ１）〜（ｈ１０）のように画像ポイントが付与されている（図１９（ａ））。次に、図１８の流れ図（ステップＳ１１０１〜ステップＳ１１１２）によって、トリミング処理が行なわれる。
<Flowchart of trimming process>
The trimming process according to the fourth embodiment will be described in detail with reference to the flowchart of FIG. First, by the processing of the flowchart shown in FIG. 17 (steps S1001 to S1006), image points are given to the read images as shown in FIGS. 10 (h1) to (h10) (FIG. 19 (a)). . Next, trimming processing is performed according to the flowchart of FIG. 18 (steps S1101 to S1112).
まず、ステップＳ１１０１において、トリミング部２１２は、閾値（本例では「９５」）を設定する。ステップＳ１１０２において、トリミング部２１２は、入力画像集合の最初の画像を選択する。ステップＳ１１０３において、トリミング部２１２は、画像ポイントを算出する。ここでは、図７の画像ポイント算出処理と同様の方法（画像ポイント＝被写体ポイント＋構図ポイント）で画像ポイントが算出される。なお、この処理は画像ポイント算出処理（ステップＳ１００６）において算出済みであれば不要である。次に、ステップＳ１１０４において、トリミング部２１２は、選択されている画像の画像ポイントが閾値未満かどうか判定する。ステップＳ１１０４において画像ポイントが閾値未満と判定されたならば、処理はステップＳ１１０５に進む。また、ステップＳ１１０４において画像ポイントが閾値以上と判定されたならば、処理はステップＳ１１１１に移る。
First, in step S1101, the
ステップＳ１１０５において、トリミング部２１２は、選択している画像から被写体を抽出する。例えば、図１９（ｂ１）に示す画像Ｉｍｇ９が選択中ならば、被写体Ａ、Ｄ、Ｘが抽出される。ステップＳ１１０６において、トリミング部２１２は、選択中の画像内にポイントを減らす原因の被写体があるかどうか判定する。ステップＳ１１０６においてＹＥＳならば処理はステップＳ１１０７に移り、ＮＯならば処理はステップＳ１１１１に移る。例えば、図１９（ｂ２）に示すように、選択中の画像Ｉｍｇ９内には、画像のポイントを減らす（−３０）原因になる被写体Ｘが存在するため、処理はステップＳ１１０７へ進む。
In step S1105, the
ステップＳ１１０７において、トリミング部２１２は、トリミング画像ＦｒＴｒ１を求める。例えば、トリミング部２１２は、図１９（ｃ２）のように、被写体Ｘを取り除き、被写体ＡとＤを残したトリミング画像を得る。領域ＦｒＴｒ１の位置と大きさを決めるには、条件ＡＤ＝「被写体ＡとＤの顔を含み、被写体Ｘの顔を含まない」を用いる。そして条件ＡＤを満たす最少領域を求め、その構図ポイントを算出する。条件ＡＤを満たす領域が条件ＡＤを満たさなくなるまで段階的に大きくしてゆき、各大きさの領域に付いて構図ポイントを求め、最大の構図ポイントの領域をＦｒＴｒ１とする。条件ＡＤを満たす領域が１つもなかったときや、トリミング画像ＦｒＴｒ１が小さくなりすぎて解像度が（予めアルバムなどの商材によって指定される解像度より）劣化したときは、トリミング画像ＦｒＴｒ１は元の画像（ここではＩｍｇ９）とする。また、画像を使用する商材あるいは配置する枠のサイズに対して、トリミング画像ＦｒＴｒ１の解像度が指定される解像度より劣化した時は、トリミング画像ＦｒＴｒ１は元の画像（ここではＩｍｇ９）とする。
In step S1107, the
ステップＳ１１０８において、トリミング部２１２は、図２０のような規則を用いて、トリミング画像の画像ポイント（＝被写体ポイント＋構図ポイント）を算出する。例えば、図１９（ｃ１）のトリミング画像ＦｒＴｒ１に対しては、被写体ポイント（２０：図１９（ｃ２））＋構図ポイント（１００：図１９（ｃ３））＝画像ポイント（１２０）となる。ステップＳ１１０９において、トリミング部２１２は、トリミング画像ＦｒＴＲ１（１２０）の画像ポイントが閾値（９５）以上かどうか判定する。ステップＳ１１０９においてＹＥＳならば処理はステップＳ１１１０に進み、ＮＯならば処理はステップＳ１１１１に移る。ここでは、ステップＳ１１０９においてＹＥＳになるので、ステップＳ１１１０においてトリミング画像ＦｒＴＲ１（１２０）を新たにＩｍｇ９ｔ（１２０）（図１９（ｄ））として入力画像集合の元の画像と置き換える（図１９（ｅ））。ステップＳ１１１１において、トリミング部２１２は、入力画像集合の最後の画像かどうか判定する。ステップＳ１１１１において最後の画像であると判定されたならば、トリミング処理を終了する。ステップＳ１１１１において最後の画像ではないと判定されたならば、処理はステップＳ１１１２に移る。ステップＳ１１１２において、トリミング部２１２は、入力画像集合の次の画像を選択し、処理をステップＳ１１０３に戻す。
In step S1108, the
なお、ステップＳ１１０７において、条件ＡＤの代わりに次のような条件ＡＤ２を用いてもよい。条件ＡＤ２＝「被写体ＡとＤの顔を含み、被写体Ｘの顔を含まない。かつ、トリミング画像は元の画像と縦横比が同じである」。 In step S1107, the following condition AD2 may be used instead of condition AD. Condition AD2 = “includes faces of subjects A and D, does not include face of subject X. And the trimmed image has the same aspect ratio as the original image”.
このように、入力画像集合に対してトリミング処理を行なった後、画像選択処理を行う。すると、画像選択処理（図１７、ステップＳ１００８）においてポイント順に画像が表示される（図１１のＳ７０１、図１１のＳ８０１）。その結果、図１９（ｅ）のように画像が表示される。 As described above, after the trimming process is performed on the input image set, the image selection process is performed. Then, images are displayed in the order of points in the image selection process (FIG. 17, step S1008) (S701 in FIG. 11, S801 in FIG. 11). As a result, an image is displayed as shown in FIG.
なお、閾値を基に無条件に画像をトリミングするだけでは無く、アルバムに対して、選択すべき写真の枚数が少なくなってきた場合に、上記のようなトリミング処理を行うようにしてもよい。
また、本実施形態では、閾値以下の画像をトリミングしているが、トリミングの結果ポイントが向上する全ての画像をトリミングしても良い。
In addition to unconditionally trimming an image based on a threshold value, the trimming process as described above may be performed when the number of photos to be selected for an album has decreased.
Further, in the present embodiment, images that are equal to or smaller than the threshold value are trimmed, but all images that improve the points as a result of trimming may be trimmed.
また、本実施形態では、トリミング画像を入力画像集合の元の画像と置き換えているが、元の画像を残しておいてトリミング画像を入力画像集合に追加するようにしてもよい。この場合は、画像選択処理（図１１、図１３）の際に元画像あるいはトリミング画像が選択されると、他方の画像のポイントを下げることになる。
また、トリミング画像と元画像とは画像選択の際に識別できるように枠の色などを変えて表示しても良い。
また、入力画像集合表示領域を元画像用とトリミング画像用に分けても良い。
In this embodiment, the trimmed image is replaced with the original image of the input image set. However, the trimmed image may be added to the input image set while leaving the original image. In this case, when the original image or the trimmed image is selected during the image selection process (FIGS. 11 and 13), the point of the other image is lowered.
Further, the trimmed image and the original image may be displayed by changing the color of the frame so that they can be identified at the time of image selection.
Further, the input image set display area may be divided into an original image and a trimmed image.
また、被写体の組み合わせ、構図、被写体に対する合焦の有無、被写体が人間である場合の顔の向きや表情、撮影時刻、撮影場所のいずれかあるいは１つ以上の組み合わせによるポイントが高くなるように画像を加工してもよい。 In addition, the image is such that the point of the combination of the subject, composition, presence / absence of focusing on the subject, face orientation and expression when the subject is a person, photographing time, photographing location, or a combination of one or more is high. May be processed.
＜第４実施形態の効果＞
以上のように、第４実施形態によれば、画像のポイントに閾値を設け、ポイントが閾値未満であるか否かを判断し、閾値未満である画像を加工することにより、閾値以上の得点とする。これによって、面倒な画像加工を自動的に行い、自動的に適当な画像を増やすことができる。
<Effects of Fourth Embodiment>
As described above, according to the fourth embodiment, by setting a threshold value for a point of an image, determining whether the point is less than the threshold value, and processing an image that is less than the threshold value, To do. Thereby, troublesome image processing is automatically performed, and appropriate images can be automatically increased.
［第５実施形態］
上記各実施形態のアルバム作成システムでは、図２１に示すような操作画面を提示し、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像からアルバムに掲載すべき画像を選択することでアルバムが生成される。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤにおける画像の表示順序は選択された画像に基づいて再計算された画像ポイントに応じて並べ変えられるため、ユーザがアルバムへの掲載する画像を選択する際に、似たような画像が偏って選択されることを防ぐことができる。しかしながら、このようなマニュアルによるアルバム作成システムではなく、再計算された画像ポイントの最も高い画像を順次取り出してアルバムに掲載していくことでアルバムを自動生成するよう構成してもよいことは言うまでもない。
[Fifth Embodiment]
In the album creation system of each of the embodiments described above, an operation screen as shown in FIG. 21 is presented, and the user selects an image to be included in the album from images displayed in the input image collection display area Imgs-inD. An album is generated. Since the display order of the images in the input image set display area Imgs-inD is rearranged according to the image points recalculated based on the selected image, the display order is similar when the user selects an image to be posted on the album. Such an image can be prevented from being biased. However, it is needless to say that the album may be automatically generated by sequentially taking out the images with the highest recalculated image points and placing them on the album instead of such a manual album creation system. .
自動的にアルバムを生成する構成とする場合は、たとえば、図１１、図１２の手順を以下のように変形すればよい。すなわち、ステップＳ７０１、Ｓ７０２（またはステップＳ８０１、Ｓ８０２）において、入力画像集合のうち最も高い画像ポイントを有する画像を選択してアルバムの形成に用いるようにする。このとき、選択された画像が入力画像集合から除外されて選択画像集合に加入される。そして、ステップＳ７０４〜Ｓ７０８（またはステップＳ８０４〜Ｓ８０９）により、選択された画像以外の画像について画像ポイントの再計算が行なわれる。以上の処理をアルバムに掲載する画像数だけ実行する（ステップＳ７１６、Ｓ８１８）。なお、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤなどの画像の表示は省略可能となるので、ステップＳ７１４、Ｓ７１５（ステップＳ８１６、Ｓ８１７）は省略してよい。 When the album is automatically generated, for example, the procedures shown in FIGS. 11 and 12 may be modified as follows. That is, in steps S701 and S702 (or steps S801 and S802), an image having the highest image point is selected from the input image set and used for album formation. At this time, the selected image is excluded from the input image set and joined to the selected image set. Then, in steps S704 to S708 (or steps S804 to S809), image points are recalculated for images other than the selected image. The above processing is executed for the number of images to be posted on the album (steps S716 and S818). Note that the display of images such as the input image aggregate display area Imgs-inD can be omitted, and therefore steps S714 and S715 (steps S816 and S817) may be omitted.
このようなアルバムの自動生成によれば、被写体の組み合わせや構図、時間帯などに偏りのないように選択された画像が掲載されたアルバムが生成される。 According to such automatic generation of an album, an album on which images selected so that there is no bias in the combination, composition, and time zone of the subject is generated.
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium (storage medium), or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device composed of a single device. good.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (13)
ユーザ指示に応じて選択できる選択候補として、前記評価に基づく順に前記複数の画像を表示部の表示領域に提示する提示手段と、
前記選択候補として前記表示領域に提示された前記複数の画像からユーザの指示に応じて選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうちの前記選択された画像以外の画像の評価を更新する更新手段と、を備え、
前記提示手段は、前記更新手段によって更新された画像の評価に基づいて、前記選択された画像以外の複数の画像を並べ替えて前記表示領域に提示することを特徴とする画像処理装置。 Evaluation means for evaluating a plurality of images based on at least one of image content and attribute information;
Presenting means for presenting the plurality of images in a display area of a display unit in order based on the evaluation as selection candidates that can be selected according to a user instruction;
The selected of the plurality of images based on at least one of content and attribute information of the image selected according to a user instruction from the plurality of images presented in the display area as the selection candidate Updating means for updating the evaluation of images other than images,
The presenting means rearranges and presents a plurality of images other than the selected image on the display area based on the evaluation of the image updated by the updating means.
ユーザ指示に応じて選択できる選択候補として、前記評価に基づいて、前記複数の画像の少なくとも何れか１つを提示する提示手段と、
前記選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうちの前記選択された画像以外の画像の評価を更新する更新手段と、を備え、
前記提示手段は、選択済みとなっている画像がユーザ指示に応じて非選択状態になった場合に、該非選択状態になった画像を前記選択候補に戻し、
前記更新手段は、前記選択候補に戻った画像の内容および属性情報の少なくとも何れかに基づいて、該選択候補に戻った画像以外の画像の評価を更新することを特徴とする画像処理装置。 Evaluation means for evaluating a plurality of images based on at least one of image content and attribute information;
Presenting means for presenting at least one of the plurality of images based on the evaluation as a selection candidate that can be selected according to a user instruction;
Updating means for updating an evaluation of an image other than the selected image of the plurality of images based on at least one of content and attribute information of the image selected from the selection candidates;
The presenting means returns the image in the non-selected state to the selection candidate when the selected image is in a non-selected state in response to a user instruction,
It said updating means, based on at least one of content and attribute information of the image back to the selected candidate, the image processing apparatus and updates the evaluation of the images other than the image returned to the selected candidate.
前記更新手段は、前記選択された画像と前記選択された画像以外の画像との類似の度合いをそれら画像の内容および属性情報の少なくとも何れかに基づいて取得し、取得された類似の度合いにしたがって前記選択された画像以外の画像の評価値を減少させることを特徴とする請求項１または２に記載の画像処理装置。 The evaluation means calculates the evaluation of the image as an evaluation value,
The update means acquires the degree of similarity between the selected image and an image other than the selected image based on at least one of the contents of the images and attribute information, and according to the degree of similarity acquired The image processing apparatus according to claim 1, wherein an evaluation value of an image other than the selected image is decreased.
前記更新手段は、前記選択候補に戻った画像の内容および属性情報の少なくとも何れかに基づいて、該選択候補に戻った画像以外の画像の評価値を更新することを特徴とする請求項３または４に記載の画像処理装置。 The presenting means returns the image in the non-selected state to the selection candidate when the selected image is in a non-selected state in response to a user instruction,
It said updating means, based on said at least one of the contents of an image back to the selected candidate and the attribute information, claim 3 or and updates the evaluation value of the image other than the image back to the selected candidate 5. The image processing apparatus according to 4 .
前記評価手段による評価に基づく順に前記複数の画像を表示部の表示領域に提示し、前記表示領域に提示された前記複数の画像からユーザの指示に応じてアルバムに掲載する画像を選択する第１の選択手段と、
前記選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち、前記選択された画像以外の画像の評価を更新する更新手段と、
前記更新手段により更新された評価に基づいて、前記選択された画像以外の複数の画像を並べ替えて前記表示領域に提示し、前記表示領域に提示された前記選択された画像以外の複数の画像からユーザの指示に応じてアルバムに掲載する画像を選択する第２の選択手段と、
前記第１の選択手段と前記第２の選択手段により選択された画像を用いてアルバムを生成する生成手段と、を備えることを特徴とする画像処理装置。 Evaluation means for evaluating a plurality of images based on at least one of image content and attribute information;
The plurality of images are presented in the display area of the display unit in the order based on the evaluation by the evaluation unit, and the images to be posted on the album are selected from the plurality of images presented in the display area in accordance with a user instruction. And means for selecting
Updating means for updating an evaluation of an image other than the selected image among the plurality of images based on at least one of contents and attribute information of the selected image;
Based on the evaluation updated by the updating means, a plurality of images other than the selected image are rearranged and presented in the display area, and a plurality of images other than the selected image presented in the display area are displayed. A second selecting means for selecting an image to be posted on the album in accordance with a user instruction;
An image processing apparatus comprising: generation means for generating an album using the images selected by the first selection means and the second selection means.
画像の内容および属性情報の少なくとも何れかに基づいて、複数の画像を評価する評価工程と、
ユーザ指示に応じて選択できる選択候補として、前記評価に基づく順に前記複数の画像を表示部の表示領域に提示する提示工程と、
前記選択候補として前記表示領域に提示された前記複数の画像からユーザの指示に応じて選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち前記選択された画像以外の画像の評価を更新する更新工程と、を有し、
前記提示工程では、前記更新工程によって更新された画像の評価に基づいて、前記選択された画像以外の複数の画像を並べ替えて前記表示領域に提示することを特徴とする画像処理装置の制御方法。 A control method for an image processing apparatus, comprising:
An evaluation step of evaluating a plurality of images based on at least one of image content and attribute information;
As a selection candidate that can be selected according to a user instruction, a presentation step of presenting the plurality of images in a display area of the display unit in order based on the evaluation;
The selected image among the plurality of images based on at least one of content and attribute information of the image selected according to a user instruction from the plurality of images presented in the display area as the selection candidate An update process for updating the evaluation of images other than
In the presenting step, a plurality of images other than the selected image are rearranged and presented in the display area based on the evaluation of the image updated in the updating step. .
画像の内容および属性情報の少なくとも何れかに基づいて、複数の画像を評価する評価工程と、
前記評価工程における評価に基づく順に前記複数の画像を表示部の表示領域に提示し、前記表示領域に提示された前記複数の画像からユーザの指示に応じてアルバムに掲載する画像を選択する第１の選択工程と、
前記選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち前記選択された画像以外の画像の評価を更新する更新工程と、
前記更新工程において更新された評価に基づいて、前記選択された画像以外の複数の画像を並べ替えて前記表示領域に提示し、前記表示領域に提示された前記選択された画像以外の複数の画像からユーザの指示に応じてアルバムに掲載する画像を選択する第２の選択工程と、
前記第１の選択工程と前記第２の選択工程により選択された画像を用いてアルバムを生成する生成工程と、を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing apparatus, comprising:
An evaluation step of evaluating a plurality of images based on at least one of image content and attribute information;
The plurality of images are presented in a display area of a display unit in the order based on the evaluation in the evaluation step, and a first image selected from the plurality of images presented in the display area is selected according to a user instruction. Selection process,
An update step of updating evaluation of an image other than the selected image among the plurality of images based on at least one of the content of the selected image and attribute information;
Based on the evaluation updated in the updating step, a plurality of images other than the selected image are rearranged and presented in the display area, and a plurality of images other than the selected image presented in the display area are displayed. A second selection step of selecting an image to be posted on the album in accordance with a user instruction;
A control method for an image processing apparatus, comprising: a generation step of generating an album using the images selected in the first selection step and the second selection step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012093395A JP6004718B2 (en) | 2012-04-16 | 2012-04-16 | Image processing apparatus, control method therefor, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012093395A JP6004718B2 (en) | 2012-04-16 | 2012-04-16 | Image processing apparatus, control method therefor, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013222304A JP2013222304A (en) | 2013-10-28 |
| JP2013222304A5 JP2013222304A5 (en) | 2015-06-11 |
| JP6004718B2 true JP6004718B2 (en) | 2016-10-12 |
Family
ID=49593220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012093395A Active JP6004718B2 (en) | 2012-04-16 | 2012-04-16 | Image processing apparatus, control method therefor, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6004718B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6367169B2 (en) * | 2015-09-28 | 2018-08-01 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| JP6453194B2 (en) | 2015-09-28 | 2019-01-16 | 富士フイルム株式会社 | Image evaluation system, image evaluation method, image evaluation program, and recording medium storing the program |
| JP6877959B2 (en) * | 2016-11-10 | 2021-05-26 | 株式会社Ｎｔｔドコモ | Information processing equipment and information processing programs |
| JP6723909B2 (en) * | 2016-12-09 | 2020-07-15 | キヤノン株式会社 | Image processing method, image processing apparatus, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006031310A (en) * | 2004-07-15 | 2006-02-02 | Seiko Epson Corp | Image processor and image extraction method |
| JP4934380B2 (en) * | 2006-09-27 | 2012-05-16 | 富士フイルム株式会社 | Image evaluation apparatus and method, and program |
| JP2010176459A (en) * | 2009-01-30 | 2010-08-12 | Nikon Corp | Electronic apparatus and ranking program |
-
2012
- 2012-04-16 JP JP2012093395A patent/JP6004718B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013222304A (en) | 2013-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6323465B2 (en) | Album creating program, album creating method, and album creating apparatus | |
| JP5802255B2 (en) | Layout editing apparatus, layout editing method and program | |
| JP7111632B2 (en) | Image candidate determination device, image candidate determination method, program for controlling image candidate determination device, and recording medium storing the program | |
| JP2020140577A (en) | Device, method, and program | |
| JP2020140576A (en) | Device, method, and program | |
| KR101953306B1 (en) | The method and apparatus for creating 3d image based on user interaction | |
| JP7341677B2 (en) | Apparatus, method, and program | |
| JP2020140567A (en) | Device, method, and program | |
| JP6004718B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP6028549B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| CN108377351A (en) | Image processing apparatus and image processing method for the laying out images in template | |
| WO2014156559A1 (en) | Image retrieval device, operation control method therefor, and image retrieval server | |
| JP2019067261A (en) | Image processing apparatus, control method and program | |
| JP2022123209A (en) | Image processing apparatus, image processing method, and program | |
| JP6681192B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2020140557A (en) | Image processing device, control method, and program | |
| WO2016125418A1 (en) | Image display control device, image display control method, image display control program, and recording medium which stores program | |
| CN104519218A (en) | Image processing apparatus and method | |
| JP2020140555A (en) | Image processing device, control method, and program | |
| JP6948787B2 (en) | Information processing equipment, methods and programs | |
| JP7451242B2 (en) | Image processing device, image processing method, and program | |
| JP2014085814A (en) | Information processing device, control method therefor, and program | |
| EP2763391B1 (en) | Image editing device, image editing method, program, and computer readable storage medium | |
| JP2018055534A (en) | Image extraction system, image extraction method and program therefor | |
| JP2020194472A (en) | Server, display method, creation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160906 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6004718 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |