JP6178048B2

JP6178048B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP6178048B2
Application number: JP2012128768A
Authority: JP
Inventors: 祐紀岡村; 木村　隆臣; 隆臣木村; 望月　大介; 大介望月
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-06-06
Filing date: 2012-06-06
Publication date: 2017-08-09
Anticipated expiration: 2032-06-06
Also published as: US9633443B2; JP2013254302A; CN103473737B; US20130328918A1; CN103473737A

Description

本開示は、画像処理装置、画像処理方法、及びプログラムに関する。

特許文献１には、入力画像を解析し、解析結果に基づいて、入力画像から構図の異なる複数の切り出し画像を生成する技術が開示されている。

特開２００７−１９８９３号公報

しかし、特許文献１に開示された技術は、切り出し画像が満たす制約条件（例えばアスペクト比、大きさ、入力画像中の位置等）をなんら考慮していなかったので、切り出し画像が効果的に活用されていなかった。このため、切り出し画像が満たす制約条件を設定することが可能な技術が求められていた。

本開示によれば、入力画像を解析し、前記入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成部を備える、画像処理装置が提供される。

本開示によれば、入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成すること、を含む、画像処理方法が提供される。

本開示によれば、コンピュータに、入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成機能を実現させる、プログラムが提供される。

本開示によれば、画像処理装置は、切り出し画像と制約条件とが関連付けられた切り出し画像情報を生成することができる。

以上説明したように本開示によれば、画像処理装置は、切り出し画像と制約条件とが関連付けられた切り出し画像情報を生成することができる。すなわち、画像処理装置は、切り出し画像が満たす制約条件を設定することができる。

本開示の第１の実施形態に係る画像処理装置の構成を示すブロック図である。同実施形態に係る画像処理装置による処理の手順を示すフローチャートである。エフェクト画像の基準となるエフェクト基準画像の一例を示す説明図である。入力画像の一例を示す説明図である。顔検出処理の内容を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。画像解析の一例を示す説明図である。エフェクト画像の一例を示す説明図である。画像解析の一例を示す説明図である。エフェクト画像の一例を示す説明図である。画像解析の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト基準画像の一例を示す説明図である。画像解析の一例を示す説明図である。エフェクト画像の一例を示す説明図である。画像解析の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。エフェクト画像の一例を示す説明図である。第１の実施形態の変形例に係る画像処理システムの構成を示すブロック図である。第２の実施形態に係る画像処理装置の構成を示す説明図である。関連技術に係るエフェクト画像を示す説明図である。関連技術に係るエフェクト画像を示す説明図である。関連技術に係るエフェクト画像を示す説明図である。関連技術に係るエフェクト画像を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施の形態（スライドショー用のエフェクト画像を生成、表示する例）
１−１．スライドショーに関する検討
１−２．画像処理装置の構成
１−３．画像処理装置による処理の手順
２．第２の実施の形態（ユーザによる入力操作に応じて被写体等を拡大表示する例）

＜１．第１の実施形態＞
［１−１．スライドショーの検討］
本発明者は、スライドショーについて鋭意検討を行い、その結果、本開示に係る画像処理装置に想到するに至った。そこで、まず、本発明者が行った検討について説明する。スライドショーは、例えば、複数のエフェクト画像を時間の経過（またはユーザ操作）に応じて切り替えながら表示する処理である。

スライドショーを行うことが可能な画像処理装置は、概略的には以下の処理を行う。すなわち、画像処理装置は、例えば、ユーザが指定した格納場所（フォルダ等）から入力画像を取得する。一方、画像処理装置は、一または複数の表示領域（表示枠）が設定されたエフェクト基準画像を複数生成する。そして、画像処理装置は、各表示領域に異なる入力画像を重畳することで、複数のエフェクト画像を生成する。そして、画像処理装置は、複数のエフェクト画像を時間の経過（またはユーザ操作）に応じて切り替えながら表示する。

しかし、入力画像の数によっては、表示領域の総数よりも入力画像の数が少なくなる場合、すなわち入力画像が不足する場合があった。特に、近年、音楽に合わせてスライドショーを表示する技術が提案されており、この技術では、音楽が長いほど多くのエフェクト画像が必要になる。したがって、音楽が長いほど入力画像が不足する可能性が大きくなる。

この場合の対応策として、複数の表示領域に同じ入力画像を重畳するか、または、各エフェクト基準画像の表示領域を減らす処理を行うことが提案されている。前者の処理で生成されたエフェクト画像には、同じ入力画像が含まれる。このようなエフェクト画像の例を図３８に示す。この例では、エフェクト画像１２００に同じ入力画像１００ｄ−１０が含まれる。

これらの処理によれば、画像処理装置は、表示領域の総数よりも入力画像の数が少なくなる場合であっても、複数のエフェクト画像を生成することができる。しかし、これらの処理では、例えば図３８に示すように、１つのエフェクト画像に同じ入力画像が含まれる場合があった。このようなエフェクト画像は、異なる入力画像を含むエフェクト画像よりも見栄えが劣ってしまう。このため、表示領域の総数よりも入力画像の数が少なくなる場合であっても、見栄えの良いエフェクト画像を生成する技術が求められていた。

そこで、本発明者は、入力画像を切り出す技術に着目した。このような技術としては、例えば特許文献１に開示された技術が知られている。特許文献１に開示された技術は、入力画像を解析し、解析結果に基づいて、入力画像から構図の異なる複数の切り出し画像を生成する。これにより、入力画像が水増しされるので、入力画像が不足する可能性が低減される。

しかし、特許文献１に開示された技術は、切り出し画像が満たす制約条件（例えばアスペクト比、大きさ、入力画像中の位置等）をなんら考慮していなかった。このため、画像処理装置は、仮にこれらの切り出し画像が提供されても、これらの切り出し画像を活用するのに非常に手間がかかってしまう。具体的には、画像処理装置は、切り出し画像を表示領域に重畳する必要があるので、切り出し画像が満たす制約条件に応じた表示領域を設定する必要がある。しかし、特許文献１に開示された技術は、切り出し画像が満たす制約条件を何ら提示しなかったので、仮に切り出し画像が画像処理装置に提供されたとしても、画像処理装置は、切り出し画像に応じた表示領域を設定するのに非常に手間がかかってしまう。したがって、画像処理装置は切り出し画像を効果的に活用することができない。

そこで、本発明者は、切り出し画像が満たす制約条件を生成し、かつ、見栄えの良いエフェクト画像を生成することができる技術について鋭意検討を重ね、本開示に係る画像処理装置に想到するに至った。以下、画像処理装置について説明する。

＜１−２．画像処理装置の構成＞
画像処理装置１０は、画像取得部２０と、エフェクト画像生成部４０と、切り出し画像生成部５０と、提示部７０とを備える。なお、画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、通信装置等のハードウェア構成を有する。ＲＯＭには、画像処理装置１０に、画像取得部２０と、エフェクト画像生成部４０と、切り出し画像生成部５０と、提示部７０とを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、画像取得部２０と、エフェクト画像生成部４０と、切り出し画像生成部５０と、提示部７０とが実現される。また、画像処理装置１０は、ユーザが有するユーザ端末である。もちろん、後述するように、画像処理装置１０は、ユーザ端末にネットワークを介して接続されたサーバであってもよい。また、画像処理装置１０の機能の一部がサーバに設けられていてもよい。

画像取得部２０は、一または複数の入力画像を取得する。画像取得部２０は、ユーザが指定した格納場所（例えばフォルダ）から入力画像を取得しても良いし、ネットワーク上から入力画像を取得しても良い。画像取得部２０は、取得した入力画像を切り出し画像生成部５０に出力する。図４に入力画像の一例を示す。図４に示す入力画像１００ａには、人物の顔画像１０１〜１０３が含まれる。また、入力画像の各画素にはｘｙ座標値が設定される。ｘ軸は、例えば図４中左右方向に伸びる軸であり、ｙ軸は、例えば図４中垂直方向に伸びる軸である。ｘ軸は右方向が正方向となり、ｙ軸は下方向が正方向となる。もちろん、ｘｙ軸はこれに限られない。以下、ｘ軸方向を横方向、ｙ軸方向を縦方向とも称する。

エフェクト画像生成部４０は、スライドショー用のエフェクト画像を複数生成する。具体的には、エフェクト画像生成部４０は、一または複数の表示領域が設定されたエフェクト基準画像を生成する。図３にエフェクト基準画像の一例を示す。図３に示すエフェクト基準画像１０００は、表示領域１０１０、１０２０が設定されている。エフェクト基準画像の各画素にはｘｙ座標値が設定される。ｘ軸は、例えば図３中左右方向に伸びる軸であり、ｙ軸は、例えば図３中垂直方向に伸びる軸である。ｘ軸は右方向が正方向となり、ｙ軸は下方向が正方向となる。もちろん、ｘｙ軸はこれに限られない。以下、ｘ軸方向を横方向、ｙ軸方向を縦方向とも称する。エフェクト画像生成部４０は、エフェクト基準画像中の表示領域の数、大きさ、位置などを任意に設定することができる。

そして、エフェクト画像生成部４０は、切り出し画像が満たすべき制約条件を設定（指定）する。ここで、切り出し画像は、入力画像から切り出される画像である。切り出し画像は、矩形（長方形または正方形）の画像となるが、これ以外の形状の画像であってもよい。制約条件には、例えば、切り出し画像の構図、切り出し画像のアスペクト比、切り出し画像の大きさ、切り出し画像の入力画像中の位置、及び切り出し画像の入力画像に対するズーム率が含まれる。さらに、制約条件には、切り出し画像の枚数、及び切り出し画像同士の重複の有無が含まれる。なお、切り出し画像同士の重複「有り」は、切り出し画像同士の重複が許可されていることを意味する。

さらに、制約条件には、切り出し画像が第１の動画であるという第１の動画条件、及び切り出し画像が第２の動画であるという第２の動画条件が含まれていてもよい。第１の動画は、入力画像に含まれる被写体にズームインする動画であり、第２の動画は、入力画像に含まれる人物画像から人物画像の視線方向上の被写体までの領域を順に表示する動画である。このように、切り出し画像は静止画であっても、動画であってもよい。なお、エフェクト画像生成部４０は、これらの制約条件をすべて指定しても良いし、いずれか一部のみを指定してもよい。また、エフェクト画像生成部４０は、ユーザからの入力操作に基づいて、制約条件を設定しても良い。以下、これらの制約条件について説明する。

エフェクト画像生成部４０は、切り出し画像の構図としては、例えば、三分割構図、ズームアップ構図（三分割構図かつズームアップ）、対比構図、対角線構図、対比・対角構図、日の丸構図のいずれかを指定する。もちろん、切り出し画像の構図はこれらに限られない。三分割構図は、被写体を仮想線（切り出し画像を９つの領域に区分する線）上、好ましくは力点（仮想線同士の交点）上に配置する構図である。ズームアップ構図は、１つの被写体のみが仮想線上または力点上に配置された構図である。対比構図は、２つの被写体（主題・副題）が対比するように配置される構図である。対角線構図は、対角線で写真を分割するとき、二つの領域に被写体をバランス良く配置する構図であり、１つの領域に２つ以上の被写体を置くことも可能である。対比・対角構図は、対比構図と対角線構図とを組み合わせた構図である。日の丸構図は、被写体を切り出し画像の中央またはその近傍に配置する構図である。

すなわち、エフェクト画像生成部４０は、切り出し画像の構図として三分割構図のほか、対比・対角構図、またはズームアップ構図等を指定することができる。これらの構図の詳細については後述する。

エフェクト画像生成部４０は、表示領域のアスペクト比を切り出し画像のアスペクト比として設定する。また、エフェクト画像生成部４０は、表示領域の大きさを切り出し画像の大きさとして設定する。

エフェクト画像生成部４０は、表示領域同士の位置関係に基づいて、切り出し画像の入力画像中の位置を指定する。具体的には、エフェクト画像生成部４０は、エフェクト基準画像中に表示領域を複数設定した場合、各表示領域の中心点（以下、「表示領域中心点」とも称する）を検出する。さらに、エフェクト画像生成部４０は、表示領域中心点同士の位置関係を算出する。

例えば、エフェクト画像生成部４０は、図３に示すエフェクト基準画像１０００を生成した場合、表示領域１０１０の中心点（ｘ_ａ１、ｙ_ａ１）、表示領域１０２０の中心点（ｘ_ａ２、ｙ_ａ２）を検出する。そして、エフェクト画像生成部４０は、これらの位置関係を、ｘ_ａ１＞ｘ_ａ２、ｙ_ａ１＝ｙ_ａ２として算出する。

そして、エフェクト画像生成部４０は、表示領域中心点のｘ座標同士の大小関係と、切り出し画像の中心点（以下、「切り出し画像中心点」とも称する）のｘ座標同士の大小関係とが一致するように、切り出し画像中心点のｘ座標同士の関係を設定する。同様に、エフェクト画像生成部４０は、表示領域中心点のｙ座標同士の大小関係と、切り出し画像中心点のｙ座標同士の大小関係とが一致するように、切り出し画像中心点のｙ座標同士の関係を設定する。

例えば、エフェクト画像生成部４０は、図３に示すエフェクト基準画像１０００を生成した場合、切り出し画像のｘ座標ｘ_ｂ１、ｘ_ｂ２同士の位置関係をｘ_ｂ１＞ｘ_ｂ２に設定する。さらに、エフェクト画像生成部４０は、切り出し画像のｙ座標ｙ_ｂ１、ｙ_ｂ２同士の位置関係をｙ_ｂ１＝ｙ_ｂ２に設定する。これにより、エフェクト画像生成部４０は、切り出し画像の入力画像中の位置を指定する。本実施形態では、切り出し画像のｘ座標同士の関係及びｙ座標同士の関係のうち、いずれか一方が満たされた場合には、切り出し画像の位置に関する制約条件が満たされるものとする。

エフェクト画像生成部４０は、切り出し画像の入力画像に対するズーム率を指定する。ズーム率の下限値に特に制限はないが、上限値は、例えば、入力画像の幅（ｘ軸方向の長さ）／切り出し画像の幅、及び、入力画像の高さ（ｙ軸方向の長さ）／切り出し画像の高さのうち、低い方の値としてもよい。なお、ズーム率は、１以上が拡大、１未満が縮小を示す。

エフェクト画像生成部４０は、表示領域の数を切り出し画像の数として指定する。また、エフェクト画像生成部４０は、切り出し画像同士の重複の有無を指定する。なお、切り出し画像の重複が無い場合、エフェクト画像生成部４０は、切り出し画像同士が別々の画像であることをユーザに印象づけることができる。

また、エフェクト画像生成部４０は、制約条件に第１の動画条件及び第２の動画条件の少なくとも一方を含めることができる。これらの動画条件の詳細については後述する。

エフェクト画像生成部４０は、上記の制約条件のうち、少なくとも１つを指定し、指定された制約条件に関する制約条件情報を生成する。エフェクト画像生成部４０は、表示領域が複数設定される場合、表示領域ごとに制約条件を設定する。そして、エフェクト画像生成部４０は、制約条件情報を切り出し画像生成部５０に出力する。なお、エフェクト画像生成部４０は、制約条件情報を生成しなくてもよい。

エフェクト画像生成部４０は、切り出し画像生成部５０から与えられた切り出し画像情報（切り出し画像と切り出し画像が満たす制約条件とが関連付けられた情報）に基づいて、エフェクト画像を生成する。具体的には、エフェクト画像生成部４０は、切り出し画像が満たす制約条件に基づいて、切り出し画像に対応する表示領域を決定し、切り出し画像を決定された表示領域に重畳させる。これにより、エフェクト画像生成部４０は、エフェクト画像を生成する。エフェクト画像生成部４０は、生成されたエフェクト画像を提示部７０に順次表示する。これにより、エフェクト画像生成部４０は、スライドショーを表示する。

切り出し画像生成部５０は、入力画像から切り出し画像を切り出すことで、切り出し画像を生成する。具体的には、切り出し画像生成部５０は、以下の処理を行う。切り出し画像生成部５０は、入力画像を解析することで、入力画像から被写体（具体的には、例えば、人物の顔画像または物体画像）を検出する。例えば、切り出し画像生成部５０は、入力画像１００ａが与えられた場合には、入力画像１００ａから人物の顔画像１０１〜１０３を検出する。切り出し画像生成部５０は、検出された顔画像に枠画像を重畳してもよい。例えば、切り出し画像生成部５０は、図５に示すように、顔画像１０１〜１０３に枠画像１０１ａ〜１０３ａを重畳させてもよい。さらに、切り出し画像生成部５０は、人物の顔画像を検出した場合、その顔画像の視線方向も検出する。

そして、切り出し画像生成部５０は、エフェクト画像生成部４０から制約条件情報が与えられたか否かを判定する。切り出し画像生成部５０は、制約条件情報が与えられたと判定した場合には、第１の切り出し画像生成処理を行い、制約条件情報が与えられなかったと判定した場合には、第２の切り出し画像生成処理を行う。切り出し画像生成部５０は、第１の切り出し画像生成処理または第２の切り出し画像生成処理により生成された切り出し画像と、切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

第１の切り出し画像生成処理は、制約条件情報に基づいて、制約条件を満たす切り出し画像を生成する処理である。上述したように、制約条件には、例えば、切り出し画像の構図、切り出し画像のアスペクト比、切り出し画像の大きさ、切り出し画像の入力画像中の位置、及び切り出し画像の入力画像に対するズーム率が含まれる。さらに、制約条件には、切り出し画像の枚数、及び切り出し画像同士の重複の有無が含まれる。さらに、制約条件には、第１の動画条件及び第２の動画条件が含まれる。そこで、切り出し画像生成部５０は、これらの制約条件を満たす切り出し画像を入力画像から切り出す。なお、切り出し画像生成部５０は、指定のない制約条件については、任意に制約条件を設定し、その条件を満たす切り出し画像を入力画像から切り出す。

第２の切り出し画像生成処理は、切り出し画像を入力画像から任意に切り出し、切り出し画像のパラメタに基づいて、切り出し画像が満たす制約条件を設定する処理である。すなわち、切り出し画像生成部５０は、切り出し画像を入力画像から任意に切り出し、切り出し画像のパラメタに基づいて、切り出し画像が満たす制約条件を設定する。そして、切り出し画像生成部５０は、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた制約条件情報を生成し、エフェクト画像生成部４０に出力する。なお、切り出し画像のパラメタは、切り出し画像のアスペクト比、大きさ等であり、上述した制約条件に相当する。提示部７０は、エフェクト画像生成部４０による制御により、エフェクト画像を順次表示する。

ここで、第１の切り出し画像生成処理の具体例をいくつか説明する。なお、制約条件に対して切り出し画像は様々に切り出しが可能である。したがって、以下の各例では、ある制約条件に対して特定の切り出し画像を生成しているが、他の切り出し画像を生成しても良いことはもちろんである。まず、制約条件として切り出し画像の構図及び枚数が指定されている場合の例について説明する。これらの例では、切り出し画像の構図は、三分割構図、ズームアップ構図（三分割構図かつズームアップ）、対比構図、対角線構図、対比・対角構図、または日の丸構図に指定され、切り出し画像の枚数は１枚に指定されているものとする。エフェクト画像生成部４０は、例えば、入力画像と異なるアスペクト比の切り出し画像が１枚必要な場合に、上記の制約条件を設定する。

図６は、三分割構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ａが切り出される。切り出し画像２００ａは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、すべての被写体、すなわち顔画像１０１〜１０３が仮想線上に配置されている。特に、顔画像１０１は力点２０３ａ上に、顔画像１０３は力点２０３ｄ上に配置されている。なお、エフェクト画像生成部４０は、切り出し画像の構図に関する制約条件に、切り出し画像に含める被写体の種類（例えば、顔画像の種類）を含めてもよい。

図７は、対比・対角構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ｂが切り出されている。切り出し画像２００ａは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、顔画像１０１〜１０２が仮想線上に配置されている。なお、エフェクト画像生成部４０は、切り出し画像の構図に関する制約条件に、対角線上に配置する被写体の種類（例えば、顔画像の種類）を含めてもよい。

図８は、ズームアップ構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ｃが切り出されている。切り出し画像２００ｃは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、顔画像１０１が仮想線上に配置されている。なお、制約条件には、対角線上に配置する被写体の種類（例えば、顔画像の種類）を含めてもよい。また、制約条件にズームアップ構図が含まれる場合、制約条件のズーム率は正の値（入力画像よりも拡大する旨のズーム率）を示す場合が多くなる。ズームアップ構図は、特定の被写体を拡大して示すことにより、特定の被写体を目立たせるものだからである。

さらに、切り出し画像生成部５０は、顔画像の視線方向が示す領域も切り出し画像に含める。具体例を図９及び図１０に示す。図９及び図１０に示す例では、切り出し画像生成部５０は、入力画像１００ｂから切り出し画像２００ｄを切り出している。入力画像１００ｂは、人物画像１１０、１２０、１３０を含む。切り出し画像生成部５０は、まず、人物画像１１０、１２０、１３０の顔画像１１１、１２１、１３１を検出し、枠画像１１１ａ、１２１ａ、１３１ａを顔画像１１１、１２１、１３１に重畳する。そして、切り出し画像生成部５０は、顔画像１１１、１２１、１３１の視線方向を検出する。矢印１１１ｂ、１２１ｂはそれぞれ顔画像１１１、１２１の視線方向を示す。

そして、切り出し画像生成部５０は、入力画像１００ｂから切り出し画像２００ｄを切りだす。切り出し画像２００ｄは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、顔画像１１１、１２１、１３１が仮想線上に配置されている。さらに、切り出し画像２００ｄには、顔画像１１１、１２１、１３１の視線方向上の領域が含まれている。例えば、切り出し画像２００ｄには、顔画像１１１、１２１の左下の領域が含まれている。図１０は、切り出し画像２００ｄを示す。図１０では、枠画像が省略されている。

切り出し画像生成部５０は、入力画像に人物画像が含まれない場合には、物体画像を仮想線上に配置する。具体例を図１１及び図１２に示す。この例では、切り出し画像生成部５０は、入力画像１００ｃから切り出し画像２００ｅを切り出している。入力画像１００ｃは、物体画像１５０ａを含む。切り出し画像生成部５０は、まず、物体画像１５０ａを検出する。

そして、切り出し画像生成部５０は、入力画像１００ｃから切り出し画像２００ｅを切りだす。切り出し画像２００ｅは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、物体画像１５０ａが仮想線上に配置されている。図１２は、切り出し画像２００ｅを示す。なお、制約条件には、切り出し画像に含まれる被写体の種類、具体例には、仮想線上に配置する被写体の種類（どの人物の顔画像を仮想線上に含めるか等）を指定してもよい。

次に、切り出し画像が複数枚生成される場合の例について説明する。これらの例によれば、切り出し画像生成部５０は、１枚の入力画像から複数の切り出し画像を生成することができるので、入力画像を実質的に水増しすることができる。まず、第１の例を図３、図１３、及び図１４に基づいて説明する。第１の例では、エフェクト画像生成部４０は、図３に示すエフェクト基準画像１０００を生成している。したがって、切り出し画像の枚数は２枚に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、入力画像中の位置、ズーム率、及び切り出し画像同士の重複の有無が指定されている。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域１０１０、１０２０のアスペクト比及び大きさに一致する。また、ズーム率は１程度に指定され、切り出し画像同士の重複はなしに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図１３に示す入力画像１００ｄを取得する。入力画像１００ｄは、人物画像１４０〜１７０を含む。

切り出し画像生成部５０は、入力画像１００ｄを解析することで、入力画像１００ｄから人物の顔画像１４１〜１７１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像３００、３１０を入力画像１００ｄから切り出す。切り出し画像３００、３１０中の顔画像１４１〜１７１は、いずれも仮想線上に配置されている。また、切り出し画像３００、３１０のアスペクト比、及び大きさは表示領域１０１０、１０２０のアスペクト比及び大きさに一致する。また、切り出し画像３００の中心点（ｘ_ｂ１、ｙ_ｂ１）、切り出し画像３１０の中心点（ｘ_ｂ２、ｙ_ｂ２）は、ｘ_ｂ１＞ｘ_ｂ２、ｙ_ｂ１＝ｙ_ｂ２の関係を満たす。また、切り出し画像３００、３１０同士は重なっていない。したがって、切り出し画像３００、３１０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像３００、３１０と、切り出し画像３００、３１０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像３００、３１０が満たす制約条件に基づいて、切り出し画像３００、３１０に対応する表示領域を決定する。第１の例では、切り出し画像３００は表示領域１０１０に対応する。切り出し画像３００の大きさ、及びアスペクト比は表示領域１０１０のアスペクト比及び大きさに一致し、かつ、切り出し画像３００の中心点の位置は表示領域１０１０の中心点の位置に対応するからである。同様に、切り出し画像３１０は表示領域１０２０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像３００を表示領域１０１０に重畳し、切り出し画像３１０を表示領域１０２０に重畳する。これにより、エフェクト画像生成部４０は、図１４に示すエフェクト画像を生成する。

第１の例では、入力画像中の切り出し画像同士の位置関係と、エフェクト画像中の切り出し画像の位置関係とが一致するので、エフェクト画像生成部４０は、ユーザにとって違和感の少ないエフェクト画像を生成することができる。さらに、切り出し画像同士が重なっていないので、エフェクト画像生成部４０は、切り出し画像同士が別々の画像であることをユーザに印象づけることができる。言い換えれば、エフェクト画像生成部４０は、自然なスライドショーをユーザに提供することができる。

次に、第２の例を図３、図１５、及び図１６に基づいて説明する。第２の例では、エフェクト画像生成部４０は、図３に示すエフェクト基準画像１０００を生成している。したがって、切り出し画像の枚数は２枚に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、入力画像中の位置、ズーム率、及び切り出し画像同士の重複の有無が指定されている。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域１０１０、１０２０のアスペクト比及び大きさに一致する。また、ズーム率は０．５〜１程度に指定され、切り出し画像同士の重複は有りに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図１５に示す入力画像１００ｄを取得する。

切り出し画像生成部５０は、入力画像１００ｄを解析することで、入力画像１００ｄから人物の顔画像１４１〜１７１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像３００、３２０を入力画像１００ｄから切り出す。そして、切り出し画像生成部５０は、切り出し画像３２０の大きさを表示領域１０２０の大きさに一致するまで縮小する。このときのズーム率は０．５程度となる。

したがって、切り出し画像３００、３２０中の顔画像１４１〜１７１は、いずれも仮想線上に配置されている。また、切り出し画像３００、３２０のアスペクト比、及び大きさは表示領域１０１０、１０２０のアスペクト比及び大きさに一致する。また、切り出し画像３００の中心点（ｘ_ｂ１、ｙ_ｂ１）、切り出し画像３２０の中心点（ｘ_ｂ３、ｙ_ｂ３）は、ｘ_ｂ１＞ｘ_ｂ３、ｙ_ｂ１＝ｙ_ｂ３の関係を満たす。また、切り出し画像３００、３２０同士は重なっている。したがって、切り出し画像３００、３２０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像３００、３２０と、切り出し画像３００、３２０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像３００、３２０が満たす制約条件に基づいて、切り出し画像３００、３２０に対応する表示領域を決定する。第２の例では、切り出し画像３００は表示領域１０１０に対応する。切り出し画像３００の大きさ、及びアスペクト比は表示領域１０１０のアスペクト比及び大きさに一致し、かつ、切り出し画像３００の中心点の位置は表示領域１０１０の中心点の位置に対応するからである。同様に、切り出し画像３２０は表示領域１０２０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像３００を表示領域１０１０に重畳し、切り出し画像３２０を表示領域１０２０に重畳する。これにより、エフェクト画像生成部４０は、図１６に示すエフェクト画像を生成する。

第２の例では、入力画像中の切り出し画像同士の位置関係と、エフェクト画像中の切り出し画像の位置関係とが一致するので、エフェクト画像生成部４０は、ユーザにとって違和感の少ないエフェクト画像を生成することができる。

次に、第３の例を図３、図１７、及び図１８に基づいて説明する。第３の例では、エフェクト画像生成部４０は、図３に示すエフェクト基準画像１０００を生成している。したがって、切り出し画像の枚数は２枚に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、ズーム率、及び切り出し画像同士の重複の有無が指定されている。すなわち、この例では、切り出し画像の位置が指定されていない。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域１０１０、１０２０のアスペクト比及び大きさに一致する。また、ズーム率は１程度に指定され、切り出し画像同士の重複はなしに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図１７に示す入力画像１００ｄを取得する。

切り出し画像生成部５０は、入力画像１００ｄを解析することで、入力画像１００ｄから人物の顔画像１４１〜１７１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像３３０、３４０を入力画像１００ｄから切り出す。

切り出し画像３３０、３４０中の顔画像１４１〜１７１は、いずれも仮想線上に配置されている。また、切り出し画像３３０、３４０のアスペクト比、及び大きさは表示領域１０２０、１０１０のアスペクト比及び大きさに一致する。また、切り出し画像３３０、３４０同士は重なっていない。したがって、切り出し画像３３０、３４０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像３３０、３４０と、切り出し画像３３０、３４０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像３３０、３４０が満たす制約条件に基づいて、切り出し画像３３０、３４０に対応する表示領域を決定する。第３の例では、切り出し画像３３０は表示領域１０２０に対応する。切り出し画像３３０の大きさ、及びアスペクト比は表示領域１０２０のアスペクト比及び大きさに一致するからである。同様に、切り出し画像３４０は表示領域１０１０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像３３０を表示領域１０２０に重畳し、切り出し画像３４０を表示領域１０１０に重畳する。これにより、エフェクト画像生成部４０は、図１８に示すエフェクト画像を生成する。

第３の例では、切り出し画像同士が重なっていないので、エフェクト画像生成部４０は、切り出し画像同士が別々の画像であることをユーザに印象づけることができる。

次に、第４の例を図１９〜２１に基づいて説明する。第４の例では、エフェクト画像生成部４０は、図１９に示すエフェクト基準画像１１００を生成している。エフェクト基準画像１１００は表示領域１１１０〜１１３０を含む。

したがって、切り出し画像の枚数は３枚に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、ズーム率、入力画像中の位置、及び切り出し画像同士の重複の有無が指定されている。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域１１１０〜１１３０のアスペクト比及び大きさに一致する。また、ズーム率は０．５〜１程度に指定され、切り出し画像同士の重複はありに指定されているものとする。表示領域１１１０〜１１３０の中心点（ｘ_ａ４、ｙ_ａ４）、（ｘ_ａ５、ｙ_ａ５）、（ｘ_ａ６、ｙ_ａ６）は、少なくともｘ_ａ４＞ｘ_ａ５＞ｘ_ａ６の関係を満たす。したがって、切り出し画像中心点（ｘ_ｂ４、ｙ_ｂ４）、（ｘ_ｂ５、ｙ_ｂ５）、（ｘ_ｂ６、ｙ_ｂ６）は、少なくともｘ_ｂ４＞ｘ_ｂ５＞ｘ_ｂ６の条件を満たす必要がある。また、この例では、切り出し画像生成部５０は、入力画像として図２０に示す入力画像１００ｄを取得する。

切り出し画像生成部５０は、入力画像１００ｄを解析することで、入力画像１００ｄから人物の顔画像１４１〜１７１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像３５０〜３７０を入力画像１００ｄから切り出す。そして、切り出し画像生成部５０は、切り出し画像３６０〜３７０の大きさが表示領域１１２０〜１１３０の大きさに一致するまで切り出し画像３６０〜３７０を縮小する。ズーム率は０．５〜１の範囲内である。

したがって、切り出し画像３５０〜３７０中の顔画像１４１〜１７１は、いずれも仮想線上に配置されている。また、切り出し画像３５０〜３７０のアスペクト比、及び大きさは表示領域１１１０〜１１３０のアスペクト比及び大きさに一致する。また、ズーム率は０．５〜１の範囲内である。また、切り出し画像３５０〜３７０の中心点（ｘ_ｂ４、ｙ_ｂ４）、（ｘ_ｂ５、ｙ_ｂ５）、（ｘ_ｂ６、ｙ_ｂ６）は、少なくともｘ_ｂ４＞ｘ_ｂ５＞ｘ_ｂ６の関係を満たす。また、切り出し画像３６０と切り出し画像３７０とは重なっていないが、切り出し画像３５０と切り出し画像３６０とは重なっている。したがって、切り出し画像３５０〜３７０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像３５０〜３７０と、切り出し画像３５０〜３７０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像３５０〜３７０が満たす制約条件に基づいて、切り出し画像３５０〜３７０に対応する表示領域を決定する。第４の例では、切り出し画像３５０は表示領域１１１０に対応する。切り出し画像３５０の大きさ、及びアスペクト比は表示領域１１１０のアスペクト比及び大きさに一致し、かつ、切り出し画像３５０の中心点の位置は表示領域１１１０の中心点の位置に対応するからである。同様に、切り出し画像３６０、３７０は表示領域１１２０、１１３０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像３５０を表示領域１１１０に重畳し、切り出し画像３６０を表示領域１１２０に重畳し、切り出し画像３７０を表示領域１１３０に重畳する。これにより、エフェクト画像生成部４０は、図２１に示すエフェクト画像を生成する。

第４の例では、入力画像中の切り出し画像同士の位置関係と、エフェクト画像中の切り出し画像の位置関係とが一致するので、エフェクト画像生成部４０は、ユーザにとって違和感の少ないエフェクト画像を生成することができる。

次に、第５の例を図１９、２２〜２３に基づいて説明する。第５の例では、エフェクト画像生成部４０は、図１９に示すエフェクト基準画像１１００を生成している。エフェクト基準画像１１００は表示領域１１１０〜１１３０を含む。

したがって、切り出し画像の枚数は３枚に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、ズーム率、及び切り出し画像同士の重複の有無が指定されている。構図は日の丸構図に指定されているものとする。アスペクト比及び大きさは、表示領域１１１０〜１１３０のアスペクト比及び大きさに一致する。また、ズーム率は１程度に指定され、切り出し画像同士の重複はありに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図２２に示す入力画像１００ｅを取得する。すなわち、この例では、入力画像１００ｅ内の人物画像は人物画像１８０のみである。すなわち、表示領域の数に対して人物の数が少なくなっている。

切り出し画像生成部５０は、入力画像１００ｅを解析することで、入力画像１００ｅから人物の顔画像１８１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像４００〜４２０を入力画像１００ｅから切り出す。

したがって、切り出し画像４００〜４２０中の顔画像１８１は、いずれも切り出し画像４００〜４２０の中心近傍に配置されている。また、切り出し画像４００〜４２０のアスペクト比、及び大きさは表示領域１１１０〜１１３０のアスペクト比及び大きさに一致する。また、切り出し画像４００〜４２０同士は重なっている。したがって、切り出し画像４００〜４２０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像４００〜４２０と、切り出し画像４００〜４２０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像４００〜４２０が満たす制約条件に基づいて、切り出し画像４００〜４２０に対応する表示領域を決定する。第５の例では、切り出し画像４００は表示領域１１２０に対応する。切り出し画像４００の大きさ、及びアスペクト比は表示領域１１２０のアスペクト比及び大きさに一致するからである。同様に、切り出し画像４１０、４２０は表示領域１１１０、１１３０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像４００を表示領域１１２０に重畳し、切り出し画像４１０を表示領域１１１０に重畳し、切り出し画像４２０を表示領域１１３０に重畳する。これにより、エフェクト画像生成部４０は、図２３に示すエフェクト画像を生成する。

第５の例では、エフェクト画像生成部４０は、入力画像中の人物が表示領域に対して少ない場合であっても、雰囲気の異なる複数の切り出し画像を取得することができるので、見栄えの良いエフェクト画像を生成することができる。

次に、第１の動画条件を満たす切り出し画像の例について図２４〜図２６に基づいて説明する。この例では、エフェクト画像生成部４０は、表示領域を１つ含むエフェクト基準画像を設定する。したがって、切り出し画像の枚数は１枚（１つの動画）に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、ズーム率、及び切り出し画像同士の重複の有無が指定されている。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域のアスペクト比及び大きさに一致する。また、ズーム率は１〜上述した上限値程度に指定され、切り出し画像同士の重複はありに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図２０に示す入力画像１００ｄを取得する。

切り出し画像生成部５０は、入力画像１００ｄを解析することで、入力画像１００ｄから人物の顔画像１４１〜１７１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、目標画像３５０−１〜３７０−１を入力画像１００ｄから切り出す。目標画像３５０−１〜３７０−１は、制約条件を満たすものであり、上述した切り出し画像３５０〜３７０に相当するものである。

そして、切り出し画像生成部５０は、入力画像１００ｄのアスペクト比及び大きさを表示領域のアスペクト比及び大きさに調整することで、初期画像１００ｄ−１を生成する。調整の方法は特に限定されない。例えば、入力画像１００ｄのアスペクト比が表示領域のアスペクト比に一致するように、入力画像１００ｄをｘ軸またはｙ軸方向にズーミングしてもよい。また、初期画像１００ｄ−１には、目標画像３５０−１〜３７０−１の枠画像が重畳されていてもよい。また、切り出し画像生成部５０は、初期画像１００ｄ−１のうち、目標画像３５０−１〜３７０−１以外の部分にエフェクト（例えばぼかし）をかけてもよい。

そして、切り出し画像生成部５０は、初期画像１００ｄ−１から目標画像３６０−１にズームインし、その後初期画像１００ｄ−１にズームアウトする動画を生成する。この動画は、ズーム率が少しずつ異なる静止画を時系列に重ねることで生成される。また、動画のアスペクト比及び大きさは制約条件を満たす。また、ズームインは、図２８に示すように、少なくとも、目標画像３６０−１の高さが初期画像１００ｄ−１の高さに一致するまでに終了する。

同様に、切り出し画像生成部５０は、初期画像１００ｄ−１から目標画像３７０−１にズームインし、その後初期画像１００ｄ−１にズームアウトする動画を生成する。目標画像３７０−１にズームインした画像の一例を図２９に示す。

同様に、切り出し画像生成部５０は、初期画像１００ｄ−１から目標画像３５０−１にズームインし、その後初期画像１００ｄ−１にズームアウトする動画を生成する。切り出し画像生成部５０は、初期画像１００ｄ−１及びこれらの動画を組み合わせることで、第１の動画、すなわち切り出し画像を生成する。そして、切り出し画像生成部５０は、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する。そして、切り出し画像生成部５０は、切り出し画像情報をエフェクト画像生成部４０に出力する。なお、切り出し画像生成部５０は、いずれかの目標画像にズームインし、その後、他の目標画像にズーム率を維持したまま移動する動画を切り出し画像として生成してもよい。

エフェクト画像生成部４０は、切り出し画像をエフェクト基準画像に重畳することで、エフェクト画像を生成する。このエフェクト画像は、エフェクト基準画像上で上記の動画が再生されるものとなる。したがって、エフェクト画像生成部４０は、１枚の入力画像から見栄えの良いエフェクト画像を生成することができる。

なお、エフェクト画像生成部４０は、切り出し画像をそのまま表示してもよいが、インタラクティブな表示を行うこともできる。その例を図２７〜図２９に示す。この例では、エフェクト画像生成部４０は、まず、図２７に示すように、初期画像１００ｄ−１を表示する。その後、エフェクト画像生成部４０は、目標画像３６０−１にズームインする動画を表示する。そして、エフェクト画像生成部４０は、図２８に示すように、ズームインが終了した時点で、他の目標画像３５０−１、３７０−１の所在を示す矢印画像５００ａ、５００ｂを表示する。これに対し、ユーザは、入力操作部（例えばマウス）を用いて矢印画像５００ａ、５００ｂのいずれかを選択する。その後、エフェクト画像生成部４０は、初期画像１００ｄ−１にズームアウトする動画を表示する。そして、エフェクト画像生成部４０は、ユーザが選択した目標画像にズームインする動画を表示する。例えば、エフェクト画像生成部４０は、ユーザが目標画像３７０−１を選択した場合には、目標画像３７０−１にズームインする動画を表示する。そして、エフェクト画像生成部４０は、図２９に示すように、ズームインが終了した時点で、他の目標画像３５０−１、３６０−１の所在を示す矢印画像５００ｃを表示する。その後、エフェクト画像生成部４０は、同様の処理を繰り返す。

次に、第２の動画条件を満たす切り出し画像の例について図３０〜図３５に基づいて説明する。この例では、エフェクト画像生成部４０は、表示領域を１つ含むエフェクト基準画像を設定する。したがって、切り出し画像の枚数は１枚（１つの動画）に指定されている。また、この例では、制約条件として、切り出し画像の構図、アスペクト比、大きさ、ズーム率、及び切り出し画像同士の重複の有無が指定されている。構図は三分割構図に指定されているものとする。アスペクト比及び大きさは、表示領域のアスペクト比及び大きさに一致する。また、ズーム率は１〜上述した上限値程度に指定され、切り出し画像同士の重複はありに指定されているものとする。また、この例では、切り出し画像生成部５０は、入力画像として図９に示す入力画像１００ｂを取得する。

切り出し画像生成部５０は、入力画像１００ｂを解析することで、入力画像１００ｂから人物の顔画像１１１〜１３１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、目標画像２００ｄ−３、２００ｄ−６を入力画像１００ｂから切り出す。目標画像２００ｄ−３、２００ｄ−６は、制約条件を満たすものである。さらに、目標画像２００ｄ−６は、人物の顔画像１１１、１２１の視線方向上の被写体、すなわち人物の顔画像１３１を含んでいる。

そして、切り出し画像生成部５０は、入力画像１００ｂのアスペクト比及び大きさを表示領域のアスペクト比及び大きさに調整することで、初期画像２００ｄ−１を生成する。調整の方法は特に限定されない。例えば、入力画像１００ｂのアスペクト比が表示領域のアスペクト比に一致するように、入力画像１００ｂをｘ軸またはｙ軸方向にズーミングしてもよい。

そして、切り出し画像生成部５０は、初期画像２００ｄ−１から目標画像２００ｄ−３にズームインする動画を生成する。この動画のアスペクト比及び大きさは制約条件を満たす。また、この動画は、ズーム率が少しずつ異なる静止画を時系列に重ねることで生成される。また、ズームインは、切り出し画像全体が目標画像２００ｄ−３となった時点で終了する。図３１は、動画の途中で表示される画像を示し、図３２は、ズームインが終了した時点の画像を示す。

そして、切り出し画像生成部５０は、人物の顔画像１１１、１２１から顔画像１１１、１２１の視線方向上の顔画像１３１までの領域を順に表示する動画を生成する。この動画は、切り出し画像全体が目標画像２００ｄ−６となった時点で終了する。図３３、図３４は、動画の途中で表示される画像を示し、図３５は、動画が終了した時点の画像を示す。したがって、切り出し画像生成部５０は、ビデオカメラがあたかもパンしたかのような動画を生成することができる。

切り出し画像生成部５０は、初期画像２００ｄ−１及びこれらの動画を組み合わせることで第２の動画、すなわち切り出し画像を生成し、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する。そして、切り出し画像生成部５０は、切り出し画像情報をエフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像をエフェクト基準画像に重畳することで、エフェクト画像を生成する。このエフェクト画像は、エフェクト基準画像上で上記の動画が再生されるものとなる。したがって、エフェクト画像生成部４０は、１枚の入力画像から見栄えの良いエフェクト画像を生成することができる。なお、切り出し画像生成部５０は、人物の顔画像から視線方向上の被写体までの領域を複数に分割することで分割切り出し画像を生成し、これらをエフェクト画像生成部４０に提供してもよい。この場合、エフェクト画像生成部４０は、複数の表示領域を設定する。そして、エフェクト画像生成部４０は、各表示領域同士の位置関係と、各分割切り出し画像の位置関係とが一致するように、各表示領域に各分割切り出し画像を重畳する。この場合にも、エフェクト画像生成部は、見栄えの良いエフェクト画像を生成することができる。

一方、第２の切り出し画像生成処理が行われた場合、エフェクト画像生成部４０は、事前にエフェクト基準画像を生成していない。そこで、エフェクト画像生成部４０は、切り出し画像情報が与えられた場合には、切り出し画像が満たす制約条件に応じたエフェクト基準画像を生成する。例えば、エフェクト画像生成部４０は、図１３に示す切り出し画像３００、３１０が与えられた場合には、エフェクト基準画像１０００を生成し、エフェクト基準画像１０００に切り出し画像３００、３１０を重畳する。

すなわち、この例では、エフェクト画像生成部４０は、切り出し画像３００、３１０と同じアスペクト比及び大きさを有する表示領域１０１０、１０２０を生成する。そして、エフェクト画像生成部４０は、ベース画像（エフェクト基準画像から表示領域が除外された画像）に表示領域１０１０、１０２０を配置することで、エフェクト基準画像１０００を生成する。ここで、エフェクト画像生成部４０は、切り出し画像３００、３１０同士の位置関係と表示領域１０１０、１０２０同士の位置関係とが同じになるように、表示領域１０１０を表示領域１０２０よりも右側に配置する。

なお、上記の各例では、切り出し画像生成部５０は、制約条件に切り出し画像の枚数が含まれ、かつ、切り出し画像の枚数が２枚以上となる場合、１枚の入力画像から複数枚切り出す。しかし、切り出し方法はこれに限られず、切り出し画像生成部５０は、複数枚の入力画像からそれぞれ切り出し画像を切り出してもよい。

また、画像処理装置１０は、ユーザ端末にネットワークを介して接続されたサーバであってもよい。この場合、画像処理装置１０は、提示部を有していなくても良い。また、画像取得部２０は、ネットワークを介してユーザ端末から入力画像を取得する。そして、画像処理装置１０は、上述した処理を行うことでエフェクト画像を複数生成し、ユーザ端末に提供する。

また、画像処理装置１０の機能の一部がサーバに設けられていてもよい。図３６に一例として画像処理ネットワーク２０００を示す。画像処理ネットワーク２０００では、ユーザ端末２０１０は、画像取得部２０と、エフェクト画像生成部４０と、提示部７０とを備える。一方、サーバ２０３０は、切り出し画像生成部５０と、通信部８１とを備える。ユーザ端末２０１０とサーバ２０３０とは通信ネットワーク２０２０を介して接続されている。

この画像処理ネットワーク２０００では、ユーザ端末２０１０の画像取得部２０は、入力画像を取得して通信部８０に出力する。通信部８０は、通信ネットワーク２０２０を介して入力画像をサーバ２０３０に送信する。サーバ２０３０の通信部８１は、入力画像を受信し、切り出し画像生成部５０に出力する。切り出し画像生成部５０は、上述した処理を行うことで切り出し画像情報を生成し、通信部８１に出力する。通信部８１は、通信ネットワーク２０２０を介して切り出し画像情報をユーザ端末２０１０に送信する。ユーザ端末２０１０の通信部８０は、切り出し画像情報を受信し、エフェクト画像生成部４０に出力する。エフェクト画像生成部４０は、切り出し画像情報に基づいて、エフェクト画像を複数生成し、これらを順次提示部７０に表示する。この処理は上述した第１の切り出し画像生成処理に相当する。

一方、切り出し画像生成部５０は、任意に切り出し画像を生成し、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成し、通信部８１に出力してもよい。この場合、通信部８１は、通信ネットワーク２０２０を介して切り出し画像情報をユーザ端末２０１０に送信する。ユーザ端末２０１０の通信部８０は、切り出し画像情報を受信し、エフェクト画像生成部４０に出力する。エフェクト画像生成部４０は、切り出し画像が満たす制約条件に応じたエフェクト基準画像を生成する。そして、エフェクト画像生成部４０は、エフェクト基準画像に切り出し画像を重畳することで、エフェクト画像を生成する。この処理は上述した第２の切り出し画像生成処理に相当する。

また、画像処理装置１０はエフェクト画像、すなわちスライドショーを生成するものであるが、入力画像を編集するものであってもよい。この場合、画像処理装置１０は、エフェクト画像生成部４０の代わりに画像編集部を有する。この画像編集部は、ユーザからの入力操作に基づいて制約条件を設定し、制約条件情報を切り出し画像生成部５０に出力する。切り出し画像生成部５０は、制約条件を満たす切り出し画像を入力画像から切り出し、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する。そして、切り出し画像生成部５０は、切り出し画像情報を画像編集部に出力する。画像編集部は、切り出し画像情報を提示部７０に表示する。これにより、ユーザは、所望の切り出しが行われた切り出し画像を閲覧することができる。また、ユーザは、切り出し画像に対してさらに制約条件を入力してもよい。この場合、切り出し画像に対して同様の処理が行われる。

＜１−３．画像処理装置による処理の手順＞
次に、図２に示すフローチャートに基づいて、画像処理装置１０による処理の手順について説明する。ステップＳ１０において、画像取得部２０は、入力画像を取得し、切り出し画像生成部５０に出力する。

ステップＳ２０において、切り出し画像生成部５０は、制約条件情報が与えられたか否かを判定する。切り出し画像生成部５０は、制約条件情報が与えられたと判定した場合には、ステップＳ３０に進み、制約条件情報が与えられないと判定した場合には、ステップＳ６０に進む。

ステップＳ３０において、切り出し画像生成部５０は、制約条件情報に基づいて、制約条件を満たす切り出し画像を生成する。ステップＳ４０において、切り出し画像生成部５０は、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する。ステップＳ５０において、切り出し画像生成部５０は、切り出し画像情報をエフェクト画像生成部４０に出力する。エフェクト画像生成部４０は、切り出し画像情報に基づいて、エフェクト画像を生成し、提示部７０に順次表示する。その後、画像処理装置１０は処理を終了する。

一方、ステップＳ６０において、切り出し画像生成部５０は、入力画像から切り出し画像を任意に切り出す。ステップＳ７０において、切り出し画像生成部５０は、切り出し画像のパラメタに基づいて、切り出し画像が満たす制約条件を設定する。その後、切り出し画像生成部５０は、ステップＳ４０に進む。

以上により、切り出し画像生成部５０は、入力画像を解析し、入力画像の解析結果に基づいて、入力画像から切り出し画像を切り出し、切り出し画像と切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する。したがって、画像処理装置１０は、切り出し画像が満たす制約条件を生成することができる。さらに、画像処理装置１０のエフェクト画像生成部４０は、切り出し画像を用いてエフェクト画像を生成することができるので、見栄えの良いエフェクト画像を生成することができる。

さらに、切り出し画像生成部５０は、エフェクト画像生成部４０から与えられた制約条件情報に基づいて、入力画像から切り出し画像を切り出す。したがって、エフェクト画像生成部４０は、所望の切り出し画像を容易に取得することができる。

さらに、切り出し画像生成部５０は、入力画像から切り出し画像を切り出し、切り出し画像のパラメタに基づいて、切り出し画像が満たす制約条件を設定する。したがって、エフェクト画像生成部４０は、みずから制約条件を設定しなくても、何らかの制約条件の下で生成された切り出し画像を取得することができる。

さらに、制約条件には、切り出し画像の構図、切り出し画像のアスペクト比、切り出し画像の大きさ、切り出し画像の位置、切り出し画像のズーム率、切り出し画像の枚数、及び切り出し画像同士の重複の有無のうち、少なくとも１つが含まれる。したがって、切り出し画像生成部５０は、多様な切り出し画像を生成することができる。さらに、エフェクト画像生成部４０は、切り出し画像の枚数を複数枚に設定することで、入力画像を水増しすることができる。したがって、エフェクト画像生成部４０は、入力画像が不足する可能性を低減することができる。例えば、エフェクト画像生成部４０は、スライドショーとともに再生される音楽の長さが長いほど切り出し画像の枚数を多くすればよい。

さらに、制約条件には、第１の動画条件及び第２の動画条件のうち、少なくとも１つが含まれるので、切り出し画像生成部５０は、第１の動画及び第２の動画を生成することができる。

＜２．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、ユーザによる入力操作に応じて被写体等を拡大表示するものである。

まず、図３７に基づいて、第２の実施形態に係る画像処理装置３０００の構成について説明する。画像処理装置３０００は、画像取得部２０と、制約条件設定部４１と、切り出し画像生成部５０と、提示制御部６０と、提示部７０とを備える。なお、画像処理装置３０００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、通信装置等のハードウェア構成を有する。ＲＯＭには、画像処理装置３０００に、画像取得部２０と、制約条件設定部４１と、切り出し画像生成部５０と、提示制御部６０と、提示部７０とを実現させるためのプログラムが記録されている。

ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、画像取得部２０と、制約条件設定部４１と、切り出し画像生成部５１と、提示制御部６０と、提示部７０とが実現される。また、画像処理装置３０００は、ユーザが有するユーザ端末である。第２の実施形態は、スマートフォンやスマートタブレットのような携帯型の端末に特に好適に適用される。携帯型の端末は、提示部７０が比較的小さいので、入力画像を拡大して表示することが多いからである。もちろん、第１の実施形態と同様に、画像処理装置３０００は、ユーザ端末にネットワークを介して接続されたサーバであってもよい。また、画像処理装置３０００の機能の一部がサーバに設けられていてもよい。以下、画像処理装置３０００が携帯型の端末である場合を例として第２の実施形態を説明する。

画像取得部２０、切り出し画像生成部５０、及び提示部７０は第１の実施形態と同様のものである。制約条件設定部４１は、エフェクト画像生成部４０と同様の処理により制約条件を設定する。制約条件の内容は第１の実施形態と同様である。制約条件設定部４１は、制約条件情報を生成し、切り出し画像生成部５０に出力する。切り出し画像生成部５０は、制約条件情報に基づいて、切り出し画像として生成する。そして、切り出し画像生成部５０は、切り出し画像情報を生成し、提示制御部６０に出力する。

提示制御部６０は、切り出し画像情報と、入力操作情報とに基づいて、各種の画像を表示する。具体的な処理は後述する。入力操作部９０は、いわゆるタッチパネルであり、ユーザによる入力操作に応じた入力操作情報を提示制御部６０に出力する。

次に、提示制御部６０による処理の具体例について説明する。なお、この具体例では、画像取得部２０は図２０に示す入力画像１００ｄを取得し、切り出し画像生成部５０は、入力画像１００ｄから切り出し画像３５０〜３７０を切り出しているものとする。

まず、提示制御部６０は、入力画像１００ｄを提示部７０に表示する。この入力画像１００ｄには、切り出し画像３５０〜３７０の外枠が重畳されていてもよい。ついで、ユーザは、所望の切り出し画像にタップする（例えば、２回タップする）。提示制御部６０は、入力画像が拡大する拡大動画を生成する一方、拡大動画の一部、すなわちユーザが指定した切り出し画像にズームインする動画を提示部７０に表示する。この動画は、切り出し画像の高さが提示部７０の表示領域（提示部７０のうち、画像が表示される部分）の高さに一致するか、または、切り出し画像の幅が提示部７０の表示領域の幅に一致するまでに終了する。これにより、ユーザが指定した切り出し画像が拡大表示される。例えば、提示制御部６０は、ユーザが切り出し画像３６０を指定した場合には、図２５に示すように、切り出し画像３６０を拡大表示する。

その後、ユーザは、所望の方向にフリック操作を行う。提示制御部６０は、入力画像１００ｄのズーム率を維持した状態で、入力画像１００ｄをフリック操作の方向に移動させ、他の切り出し画像が提示された際に移動を停止する。これにより、ユーザは、各切り出し画像を容易に閲覧することができる。例えば、提示制御部６０は、図２５に示す画像を表示中に右斜め下方向へのフリック操作を検出した場合、入力画像１００ｄを右斜め下方向に移動させる。そして、提示制御部６０は、図２６に示すように、切り出し画像３７０が表示された際に、移動を停止する。

なお、提示制御部６０は、図２８に示す例のように、切り出し画像の拡大表示中に矢印画像を表示してもよい。これにより、ユーザは、どの方向に他の切り出し画像が存在するかを容易に把握することができる。また、提示制御部６０は、ユーザが矢印画像にタッチした際に、その矢印の方向に存在する切り出し画像を拡大表示してもよい。

一方、入力画像を拡大表示する技術として、図３９〜図４１に示すように、入力画像の中心点にズームインする動画を表示する技術が提案されている。図３９〜図４１に示す入力画像１００ｄ−１１〜１００ｄ−１３は、動画の途中で表示される画像の例を示す。この技術では、ユーザは、拡大表示された入力画像に対してフリック操作を行うことで、所望の画像を探すことになる。しかし、この技術では、ユーザは、所望の画像、例えば適切な構図の画像を探索するのに非常に手間がかかってしまう。これに対し、第２の実施形態の提示制御部６０は、適切な構図の画像、すなわち切り出し画像をユーザによる簡便な操作に応じて表示することができる。したがって、ユーザは、所望の画像、例えば適切な構図の画像を容易に探索することができる。

第２の実施形態は、提示部７０の表示領域の大きさ（解像度）に対して入力画像が非常に大きい場合、例えば、入力画像が人体の内蔵全体を写した病理画像となる場合に特に有用である。入力画像が人体の内蔵全体を写したＸ線写真となる場合、切り出し画像生成部５０は、入力画像のうち、人体の内蔵が描かれた部分を切り出すことで切り出し画像を生成する。そして、提示制御部６０は、ユーザによる入力操作に応じて、各切り出し画像を拡大表示する。これにより、ユーザは、内蔵の様子を詳細に観察することができる。なお、ユーザは、切り出し画像が拡大表示された場合、他の切り出し画像がどの位置に存在するのかを把握するのが容易でない。しかし、ユーザは、上述したフリック操作または矢印を選択する操作を行うだけで、他の切り出し画像を観察することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、切り出し画像生成部５０は、切り出し画像中にさらに別の切り出し画像（より構図の優れた切り出し画像等）を生成してもよい。すなわち、切り出し画像生成部５０は、切り出し画像を段階的に生成してもよい。また、第１の実施形態と第２の実施形態とを組み合わせてもよい。例えば、第１の実施形態と同様のスライドショーを第２の実施形態の提示部７０に提示してもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を解析し、前記入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成部を備える、画像処理装置。
（２）
前記画像生成部は、前記制約条件に関する制約条件情報を取得し、前記入力画像の解析結果と、前記制約条件情報とに基づいて、前記入力画像から前記切り出し画像を切り出す、前記（１）記載の画像処理装置。
（３）
前記画像生成部は、入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像のパラメタに基づいて、前記切り出し画像が満たす制約条件を設定する、前記（１）または（２）記載の画像処理装置。
（４）
前記制約条件には、前記切り出し画像の構図、前記切り出し画像のアスペクト比、前記切り出し画像の大きさ、前記切り出し画像の前記入力画像中の位置、前記切り出し画像の前記入力画像に対するズーム率、前記切り出し画像の枚数、及び前記切り出し画像同士の重複の有無のうち、少なくとも１つが含まれる、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記制約条件には、前記切り出し画像が前記入力画像に含まれる被写体にズームインする動画であるという条件を含む、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記制約条件には、前記切り出し画像は前記入力画像に含まれる人物画像から前記人物画像の視線方向上の被写体までの領域を順に表示する動画であるという条件を含む、前記（５）記載の画像処理装置。
（７）
入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成すること、を含む、画像処理方法。
（８）
コンピュータに、
入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成機能を実現させる、プログラム。

１０画像処理装置
２０画像取得部
４０エフェクト画像生成部
５０切り出し画像生成部
５１制約条件設定部
７０提示部

Claims

入力画像を解析し、前記入力画像の解析結果に基づいて、他の切り出し画像と重複する部分を有しない切り出し画像を前記入力画像から切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成部を備え、
前記制約条件は、前記切り出し画像同士の重複が無いという情報を含む、画像処理装置。
前記画像生成部は、前記制約条件に関する制約条件情報を取得し、前記入力画像の解析結果と、前記制約条件情報とに基づいて、前記入力画像から前記切り出し画像を切り出す、請求項１記載の画像処理装置。
前記画像生成部は、入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像のパラメタに基づいて、前記切り出し画像が満たす制約条件を設定する、請求項１または２記載の画像処理装置。
前記制約条件には、前記切り出し画像の構図、前記切り出し画像のアスペクト比、前記切り出し画像の大きさ、前記切り出し画像の前記入力画像中の位置、前記切り出し画像の前記入力画像に対するズーム率、前記切り出し画像の枚数のうち、少なくとも１つが含まれる、請求項１〜３のいずれか１項に記載の画像処理装置。
前記画像生成部は、前記切り出し画像情報の前記制約条件が設定された表示領域へ前記切り出し画像を重畳することでエフェクト画像を生成し、
提示部は、前記エフェクト画像を表示する、請求項１記載の画像処理装置。
入力画像の解析結果に基づいて、他の切り出し画像と重複する部分を有しない切り出し画像を前記入力画像から切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成し、前記制約条件は、前記切り出し画像同士の重複が無いという情報を含む、画像処理方法。
コンピュータに、
入力画像の解析結果に基づいて、他の切り出し画像と重複する部分を有しない切り出し画像を前記入力画像から切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成し、前記制約条件は、前記切り出し画像同士の重複が無いという情報を含む、画像生成機能を実現させる、プログラム。