(第1実施形態)
<写真撮影システムの概要>
図1は、写真撮影システム600の全体構成を模式的に示す図である。写真撮影システム600は、インターネット等のネットワーク200を介して接続する遊戯用撮影装置100、管理サーバ300、SNSサーバ400、および複数の端末装置500を含む。本図では、端末装置500aと端末装置500bとのふたつの端末装置を図示しているが、端末装置500の数は2に限られず、3以上であってよい。以下、本明細書において、それぞれの端末装置500を特に区別する場合を除き、単に「端末装置500」と総称する。
遊戯用撮影装置100は、ユーザを含む被写体を写真撮影するカメラや、撮影した写真画像を編集するためのユーザインタフェースを備える電子機器を含む装置である。ユーザが遊戯用撮影装置100で写真を撮影すると、遊戯用撮影装置100は、ユーザを被写体に含む写真画像群と、プレイIDと、遊戯用撮影装置100で入力されたメールアドレスとを紐付けて管理サーバ300に送信する。プレイIDは、1プレイごとに一意に割り当てられる識別情報であり、プレイをした店舗における機種およびプレイを特定するための一意の識別情報である。写真画像群とは、所定の1プレイにおいて作成されグループ化された複数の撮影画像のことを指す。以下、本明細書において、プレイIDと、写真画像群と、メールアドレスとが紐付けられたデータを「コンテンツデータ」と記載する。また、本明細書において「撮影画像」というときは、撮影により得られた画像だけでなく、撮影後に補正や編集を施したり、出力のためにサイズ変更や画質変更を施したりした画像を含む場合があってもよい。同様に「出力用画像」というときは、画面表示用の画像と印刷用の画像と送信用の画像とを含んでもよく、それぞれのハードウェア仕様、ソフトウェア仕様、通信仕様などの各仕様に応じてサイズ変更や画質変更を施したものをすべて含んでもよい。
管理サーバ300は、遊戯用撮影装置100から取得したコンテンツデータ(プレイID、写真画像群、遊戯用撮影装置100で入力されたメールアドレス)や写真撮影サービスの利用履歴等のユーザ情報を管理するサーバである。管理サーバ300は、コンテンツデータに含まれる写真画像群にアクセスするためのコンテンツアクセス情報を、当該コンテンツデータに含まれるメールアドレス宛に送信する。これにより、各ユーザが所持する端末500は、コンテンツアクセス情報が記載されたメールを取得することができる。コンテンツアクセス情報は、例えば管理サーバ300にアクセスするためのURL(Uniform Resource Locator)であり、このURLの中にはプレイIDが含まれている。
携帯端末500は、このメールのURLにアクセスすることにより、URLに含まれるプレイIDに紐づけられた写真画像群を取得することができる。
ユーザは、遊戯用撮影装置100のユーザ向けに設計され、ユーザ自身の端末装置500にインストールされた専用の情報提示アプリケーションを用い、コンテンツアクセス情報をもとに管理サーバ300にアクセスし、自身の端末装置500に写真画像群をダウンロードする。ユーザは端末装置500上で写真画像群を編集することもできる。情報提示アプリケーションは、ネットワーク200を介して管理サーバ300からダウンロードできる。管理サーバ300には、ユーザが遊戯用撮影装置100で撮影した動画像がアップロードされ、保存される。ユーザは管理サーバ300に保存された動画像をSNSサーバ400により提供されるSNS上で共有することができる。すなわち、管理サーバ300に保存された自己の動画像のURLをSNSサーバ400上で共有するか、ユーザはその動画像を自分の携帯端末やコンピュータにいったん管理サーバ300からダウンロードした上で、そのダウンロードした動画像をSNSサーバ400に送信することで投稿し、他の利用者との間で共有してもよい。このとき、SNS上ではこの動画像の先頭フレームがサムネイルとして自動的に選択されて表示される。
<遊戯用撮影装置の外観>
図2は、遊戯用撮影装置100を左前側から見た斜視図である。図3は、図2に示す遊戯用撮影装置100を上から見た平面図である。以下では、図2に示す前後左右の方向を基準として、他の図面も説明する。図2および図3に示すように、遊戯用撮影装置100は、前部側の撮影部50と後部側の編集部51とを備え、前後方向に長いほぼ直方体状を呈している。撮影部50の左側面または右側面にはコインの投入と撮影人数を含む撮影内容を事前設定する事前設定部40が設けられ、編集部51の後端には、編集後の写真の出力等をするための出力部52が設けられている。
撮影部50は、ユーザを撮影するカメラが内蔵された撮影筐体11と、この撮影筐体11の後方に撮影空間10を介して配置された背景壁部12とを有する。撮影筐体11の側面と、背景壁部12の側面との間の隙間が、撮影空間10への出入口である第1出入口101a,101bを構成する。事前設定部40は、撮影人数を含む撮影内容の設定項目を表示してユーザからの指示を受け付けるタッチパネル41と、コインの投入口と返却口を含むコイン投入部42を有する。事前設定部40の筐体は、図では撮影部50の左側面に着脱自在に取り付けた例を示すが、遊戯用撮影装置100を設置する店舗のレイアウトに応じて左右側面のいずれかに取り付ければよい。ユーザは事前設定部40を取り付けた側の入口から撮影空間10へ入る。編集部51は、背景壁部12の後方に隣接して配置された編集筐体21を有する。編集筐体21には、左右の方向を向く一対の操作面が設けられる。ユーザは各操作面への入力作業をする編集空間20a,20bに、第2出入口201a,201bを介して入ることができる。出力部52は、編集筐体21の後端面と接する出力筐体31を有する。出力筐体31に対しては、ユーザが遊戯用撮影装置100の後端側から操作するように、操作面が後端側を向いている。したがって、出力筐体31の後端側の空間が、ユーザが出力操作をするための出力空間30となる。なお、変形例として、事前設定部40を備えない形で遊戯用撮影装置100を構成してもよいし、編集部51ないし編集空間20を備えない形で遊戯用撮影装置100を構成してもよい。
撮影筐体11と背景壁部12との上端部の側面は、前後方向に延びる天井フレーム13によって互いに連結される。天井フレーム13の枠内部には、撮影空間10を上から覆い、照明およびフラッシュ照射する天井照明ユニット14が設けられる。撮影筐体11の左側面または右側面には、遊戯用撮影装置100の使用方法を含む説明書きを掲示するための掲示スペース15が設けられる。掲示スペース15の上部には、撮影筐体11が使用中であるか否かを示す表示部16が設けられる。
表示部16は、発光または消灯される表示灯(図示せず)を備える。表示部16は、表示灯の発光によって撮影部50が使用中であることをユーザに示し、消灯によって撮影部50が空きになったことをユーザに示す。遊戯用撮影装置100は、表示部16が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。
背景壁部12は、撮影筐体11とほぼ同じ幅および高さの板状部材によって形成され、撮影筐体11の正面と対面する本体プレート121と、この本体プレート121の左右両端から前方に延設された一対のサイドプレート122とを有する。このため背景壁部12は、全体として平面視コ字状に形成されている。本体プレート121において、撮影筐体11を向く面には、クロマキー処理のための単一の色(例えば、青色または緑色)が着色される。着色については、本体プレート121に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。図示はしないが、撮影空間10の床面には、この本体プレート121と連続するように、当該本体プレート121と同様にクロマキー処理のための単一色が着色される。撮影筐体11の後端縁と、天井フレーム13の下端縁と、サイドプレート122の前端縁とから、上述したように、撮影空間10に出入りするための第1出入口101a,101bが構成される。
編集筐体21は、左右両側から2組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられる。編集筐体21は、左右方向の長さが背景壁部12の同方向の幅よりも短い。編集筐体21は、その前端面を背景壁部12の背面の中央部に接続される。編集筐体21の左右両側方のスペースが、2組のユーザがそれぞれ編集作業を行う編集空間20a,20bとなる。編集筐体21の上方には、平面視においてほぼコの字状のカーテンフレーム22が設けられる。カーテンフレーム22は、前後方向に延びる一対の側部フレーム221と、この側部フレーム221の後端同士を連結する左右方向に延びる後部フレーム222とからなる。図示はしないが、編集筐体21の内部には、例えばPC(Personal Computer)等のCPU(Central Processing Unit)を備える計算機が設置される。
各側部フレーム221の前端は、天井フレーム13の後端に前後方向に延長状に連結され、後部フレーム222の中央部は、編集筐体21の後上端部に設けられた支持部材23によって支持される。左右一方側の側部フレーム221と、後部フレーム222のほぼ半分の長さ部分により、編集空間20a,20bに出入りするための前記第2出入口201a,201bの上枠部が構成される。
<撮影筐体>
図4は、撮影筐体の斜視図である。撮影筐体11の室内側面には、撮影空間10を前方から明るく照らすとともに、フラッシュ照射する正面照明ユニット115が設けられる。正面照明ユニット115は、中央上側のユニット部分115Aと中央下側のユニット部分115Bとで構成される。中央上側のユニット部分115Aおよびユニット部分115Bは、一体的に連結され、凹湾曲状に形成される。ユニット部分115Aの中央には、被写体を正面から主にアップで撮影するための正面カメラ111が搭載される。正面カメラ111の下方にはタッチパネル式の正面モニタ113が設けられ、正面カメラ111で撮像される画像および撮影方法の案内が表示されるとともに、案内にしたがって入力されるユーザのタッチ操作を受け付ける。正面モニタ113の右側方には、被写体となるユーザの全身を側方から広角で撮影するための側方カメラ112が搭載される。側方カメラ112の下方には側方カメラ112で撮像される画像が表示される側方モニタ114が設けられる。なお、変形例として撮影空間10の外に事前設定部40が設置されない構成の場合、正面モニタ113または側方モニタ114の下方にコイン投入部42を設けてもよい。また、側方カメラ112はタッチパネル式ではないが、変形例においては正面モニタ113と同様にタッチパネル式で構成してもよい。
<編集筐体>
図5は、編集筐体の斜視図である。編集筐体21は、下部側の制御ボックス211と、この制御ボックス211の上に設けられた編集台部212とを有する。制御ボックス211の内部には、メインコンピュータユニットおよびI/Oコントローラなどの各種の制御装置が内蔵され、この制御装置が遊戯用撮影装置100の全体の動作を制御する。
編集台部212は、左右方向を向く山形の傾斜面により形成され、各傾斜面に編集作業をするための操作面が設置される。具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ213が設けられ、各編集用モニタ213の左右両側には2本のタッチペン214A,214Bが接続される。編集用モニタ213はタッチパネルであり、ユーザはこのタッチペン214A,214Bのペン先を編集用モニタ213の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きをする場合の手書き入力ができる。なお、図5では、左側の編集用モニタ213を示すが、右側の編集用モニタ213も左側と同様の構造である。また、制御ボックス211の制御装置は、左右両側の編集用モニタ213への入力情報に対応する処理を個別に並列処理できる。
<出力筐体>
図6は、出力筐体の正面図である。出力筐体31は、編集筐体21の後端部に接する矩形状の筐体であり、後端側を向く面に操作面が設けられる。操作面の上部中央にはタッチパネル式の液晶モニタ311が設けられ、この液晶モニタ311に、出力の説明などが表示される。
液晶モニタ311の下方には非接触通信部312が設けられ、近接する非接触型IC(Integrated Circuit)と通信することで、非接触型ICからのデータの読み出しや非接触型ICにデータを書き込む。例えば、FeliCa(登録商標)などを利用できる。非接触通信部312の下にはシール紙排出口313が設けられる。シール紙排出口313には、編集部において編集処理を行うことによって作成した画像が印刷された写真印刷シートが排出される。そのため、出力筐体31にはプリンタが内蔵され、プリンタは写真印刷シートを印刷する。シール紙排出口313の下にはスピーカ314が設けられ、出力処理における案内音声、BGM、効果音等の音を出力する。なお、本実施の形態では、出力筐体31を編集筐体21と別体としているが、これらを一体的な筐体で構成することもできる。
<遊戯用撮影装置のハードウェア構成>
図7は、遊戯用撮影装置100のハードウェア構成を模式的に示すブロック図である。遊戯用撮影装置100では、バスXを介して、制御部53、記憶部54、撮影部50、事前設定部40、編集部51、出力部52が電気的に接続される。制御部53は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備える。制御部53では、記憶部54に記憶されるプログラムを実行し、遊戯用撮影装置100の全体の動作を制御する。バスXには、通信部55、外部ドライブ56も接続される。なお、制御部53、記憶部54、通信部55および外部ドライブ56は、公知のコンピュータにより構成してもよく、このようなコンピュータが上述した編集筐体21の制御ボックス211に内蔵される。
記憶部54は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、制御部53から送信された各種の設定情報を記憶する。記憶部54に記憶される情報は制御部53により適宜読み出される。記憶部54には、画像の合成や編集のために用いられる各種画像データ、画像処理のためのデータが記憶される。例えば、撮影画像の背景となる背景画像データなどが記憶される。制御部53のROMには、ファームウェアなどのプログラムや設定情報などのデータが記憶され、RAMには、制御部53において処理するデータやプログラムが一時的に記憶される。以下では、RAM、ROMをまとめてメモリということがある。
通信部55はインターネットなどのネットワークと接続するためのインタフェースであり、制御部53による制御にしたがって外部の装置と通信する。外部ドライブ56は、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み出しや書き込みを実行する。例えば、外部ドライブ56によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部53に送信され、記憶部54に記憶されたり、プログラムとしてインストールされたりする。
事前設定部40は、撮影に先立ってユーザから撮影人数を含む撮影条件や撮影内容等の指示を受け取って事前設定するための装置であり、タッチパネル41およびコイン投入部42を含む。タッチパネル41は、公知のタッチパネルであり、表示装置としてユーザへの案内を表示するとともに、ユーザのタッチ操作に基づく指示を受け取る。コイン投入部42は、コイン投入口に対するコインの投入を検出する。コイン投入部42は、プレイに要する所定の金額分(プレイ料金分)のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部53に出力する。なお、コイン投入部42に代えて、電子マネーやクレジットカードによるプレイ料金の支払を受け付け、当該起動信号を制御部53に出力する装置を設けてもよい。
撮影部50は、撮影空間10における撮影処理をするために、照明制御部18、正面カメラ111、側方カメラ112、正面モニタ113、側方モニタ114、およびスピーカ19から構成される。
正面カメラ111および側方カメラ112は、制御部53による制御にしたがって被写体を撮影する。正面カメラ111および側方カメラ112は、撮像により得られる被写体の動的映像または撮影により得られた被写体の静止画像を制御部53に出力する。上述したように、正面カメラ111は、被写体の静止画および動画を正面から主にアップで撮影するためものであり、側方カメラ112は、被写体となるユーザの全身を側方から広角で撮影するためのものである。そのため、これらのカメラ111、112はそれぞれ、最適な画像を得るために撮影人数に応じて異なる理想的な焦点距離や画角、トリミング範囲などの設定が予め行われる。各カメラ111、112は、被写体の映像をリアルタイムに画像信号として出力する。カメラ111、112から出力された画像信号は制御部53に入力されて、その内部のメモリに一時的に記憶される。なお、上記した例では、正面カメラ111は、後述する個別認証撮影やアップでの撮影用であるため被写体となるユーザの全身までは映らない範囲で焦点距離を変更可能なズームレンズが用いられる。変形例においては、正面カメラ111のレンズとしてより広角側の焦点距離も範囲に含むズームレンズを用いることとし、その焦点距離を変更することでアップ撮影と全身撮影の両方を行えるようにしてもよい。全身撮影を行う場合は、アップ撮影よりもズームレンズの焦点距離を短くすればよい。
制御部53は、表示制御部として機能し、正面カメラ111で撮像される被写体映像の画像信号を正面モニタ113に送信するとともにタッチパネルとしての正面モニタ113に対するユーザの操作入力を受信し、側方カメラ112で撮像される被写体映像の画像信号を側方モニタ114に送信する。このとき、制御部53は被写体映像にクロマキー合成により背景画像を合成した映像や静止画像を正面モニタ113または側方モニタ114に送信してもよいし、目の大きさや輪郭に変化を加える補正処理をした映像や静止画像を正面モニタ113または側方モニタ114に送信してもよい。なお、静止画像として保存される撮影画像データ(以下、単に「撮影画像」ということもある。)は高解像度の静止画データであり、ライブ映像を表示するための撮影画像データ(「スルー画像データ」とも呼ばれる。)は低解像度の動画データである場合が多いが、高解像度の動画データとしてもよい。
正面モニタ113は、正面カメラ111が撮像中のライブ映像をリアルタイム表示する。正面モニタ113はまた、正面カメラ111および側方カメラ112で撮影された静止画像としての撮影画像を表示する。側方モニタ114は、側方カメラ112が撮像中のライブ映像をリアルタイム表示するものであり、正面モニタ113と異なりタッチパネル式ではないモニタであるが、タッチパネル式モニタで構成してもよい。また、側方カメラ112および側方モニタ114は必須の構成でなく、正面カメラ111および正面モニタ113のみでもよい。
照明制御部18は、制御部53より供給される照明制御信号にしたがって、撮影空間10内の正面照明ユニット115が照射するフラッシュを制御する。照明制御部18は、天井照明ユニット14および正面照明ユニット115の内部に設けられる電灯(LEDや蛍光灯など)を制御することで、ユーザによる撮影処理の段階に応じて撮影空間10内の明るさを調整する。スピーカ19は、ユーザによる撮影処理の段階に応じた音声を出力する。
編集部51a,51bは、編集空間20a,20bのそれぞれにおける編集処理のために設けられる。編集部51aおよび編集部51bの機能や構成は同じであるため、以下では編集部51aのみを説明し、編集部51bの説明を省略する。
編集部51aは、タブレット内蔵モニタとしての編集用モニタ213、2本のタッチペン214A,214B、およびスピーカ215から構成される。編集用モニタ213は、制御部53による制御にしたがって編集画面を表示し、編集画面に対するユーザの編集操作等を検出する。すなわち、ユーザにより、編集用モニタ213がタッチペン214A,214Bでタッチされると、その操作およびタッチペン214A,214Bのいずれでタッチされたのかが検出され、操作信号として制御部53に送信される。これにより、ユーザは編集対象である合成画像を編集する。具体的には、編集用モニタ213に表示された画像に対し、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン214A,214Bなどの入力デバイスで入力する。これにより、合成画像に、落書きが重ね合わされた出力用画像が生成される。こうして生成された出力用画像に基づく画像データは、出力部52へ送信される。
出力部52は、出力空間30において出力処理を実行する。出力部52は、タッチパネル式の液晶モニタ311、非接触通信部312、およびスピーカ314を備える。その他、出力用画像を印刷するためのプリンタ34、およびシール紙ユニット35も備えている。プリンタ34は、合成画像、または補正処理や編集処理によって得られた出力用画像を、プリンタ34に装着されたシール紙ユニット35に収納されているシール紙に印刷し、シール紙排出口313に排出する。非接触通信部312は、携帯端末との間でデータを受送信する無線通信ユニットであり、例えば例えばBluetooth(商標)やNFCなどの近距離無線通信モジュールや、無線LANなどの無線ネットワーク通信モジュールが含まれる。なお、編集部51で作成された画像データは、通信部55によってネットワークを通じて外部の画像蓄積サーバに送信される。
<遊戯用撮影装置の機能構成>
図8は、遊戯用撮影装置100の機能構成を模式的に示す機能ブロック図である。遊戯用撮影装置100は、事前設定部40、撮影処理部130、表示制御部135、データ生成部140、データ記憶部150、および出力処理部160を含む。
本図は、遊戯用撮影装置100を実現するための機能構成を示しており、その他の構成は省略している。本図において、さまざまな処理をする機能ブロックとして記載される各要素は、図7に示すハードウェアであるカメラ、CPU、メインメモリ、その他のLSI(Large Scale Integrated circuit)で構成することができる。また、ソフトウェア的にはRAMにロードされたプログラム等をCPUが実行することによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
事前設定部40は、撮影に先立って、被写体となるユーザの撮影人数、名前やグループ名、好みのコンテンツセット、好みの動画テーマ等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部40が事前設定する撮影人数としては、「2人」「3人」「大人数」のうちいずれかをユーザが選択する形で設定する。
撮影処理部130は、個別認証部131、撮像部132、画像取得部133を含む。撮像部132は、事前設定部40から受け取るプレイ開始の指示に基づき、個別認証部131または画像取得部133による制御にしたがい、正面カメラ111または側方カメラ112により1人または複数のユーザを被写体として撮像する。個別認証部131は、認証用の撮影画像の取得、取得した認証用の撮影画像に対する人物検出および人物認証を実行する。個別認証部131は、取得した認証用の撮影画像から人物を検出する人物検出を実行する。本実施の形態における人物検出は、例えば顔検出である。個別認証部131は、認証用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。個別認証部131は、検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった特徴量を検出し、その特徴量に基づいて各人物の特徴を特定する人物認証を実行する。個別認証部131は、認証用の撮影画像をデータ記憶部150に一時的に記憶させる。
画像取得部133は、撮像部132により撮像される被写体について、ユーザの本撮影用の撮影画像を複数回撮影して取得する。本例では、画像取得部133は、少なくとも5回の本撮影を実行し、5枚の撮影画像を生成する。画像取得部133は、取得した複数の本撮影用の撮影画像をひとまとまりの写真画像群としてデータ記憶部150に記憶させる。より具体的には、画像取得部133は、取得した複数の本撮影用の撮影画像に同一のプレイIDを付与し、かつ撮影画像を特定するために、各撮影画像に固有の画像識別子を付与する。
画像取得部133は、撮像部132により撮像される被写体について、ユーザの動画像を複数回撮影して取得する。画像取得部133は、例えば3回の動画撮影を実行し、3本の動画像を取得する。
表示制御部135は、撮像部132により撮影中の映像(以下、「ライブビュー」という)を正面モニタ113または側方モニタ114の画面にリアルタイムで表示させる。表示制御部135は、動画撮影の開始に先立ち、動画撮影中の被写体動作の手本をユーザに示すための手本動画を正面モニタ113の画面に表示させる。表示制御部135は、手本動画の表示を終了した後、撮像部132により撮像されるユーザの映像のライブビューに切り替える。ライブビューに切り替えられた後で、画像取得部133がユーザの動画像を撮影する。このような手本動画の表示からユーザの動画像の撮影までの過程を3回繰り返すことにより3本の動画像を取得する。画像取得部133は、取得した動画像をデータ記憶部150にプレイIDと対応づけて記憶させる。動画撮影の手順については後述する。
データ生成部140は、背景処理部141、補正処理部142、編集処理部143、動画処理部144を含む。背景処理部141は、データ記憶部150に記憶される認証用の撮影画像、複数の本撮影用の撮影画像、および複数の動画像のそれぞれについて、被写体と背景画像を既知のクロマキー合成技術により合成する。すなわち背景処理部141は、撮影画像における被写体と、それ以外の領域である背景領域とを区別するための背景情報(クロマキーマスク)を2値化画像またはグレースケールの画像、あるいはそれらを圧縮したデータとして生成し、その背景情報を用いて被写体を背景から抽出した画像を取得する。認証用の撮影画像について背景処理部141は、その被写体のみの画像を、あらかじめ定められた背景画像、例えば白、グレー、黒といった単一の無彩色が一面に施された背景画像と合成する。本撮影用の撮影画像について背景処理部141は、その被写体のみの画像を、事前設定したユーザの好みの背景画像と合成する。被写体のみの画像および背景画像と合成した合成画像はデータ記憶部150に記憶される。本撮影用の撮影画像については、後の編集処理において被写体のみの画像に別の背景画像を合成してあらたな合成画像を生成し直すこともできる。背景処理部141は、撮像部132により撮影中のライブビュー映像からリアルタイムに被写体を抽出して背景画像を合成して表示制御部135により表示させる処理をしてもよい。また、背景処理部141は上述のクロマキー合成を、画像取得部133によって取得された動画像に対しても同様に処理し、合成動画像を生成する。
補正処理部142は、本撮影用の撮影画像における人物検出および人物認証を実行するとともに、本撮影用の撮影画像に対する補正を実行する。本撮影用の撮影画像における人物検出は、例えば認証用の撮影画像における人物検出と同様の顔検出である。補正処理部142は、本撮影用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。本撮影用の撮影画像における人物認証は、認証用の撮影画像における人物認証と同様の処理および人物特定の処理を含む。より具体的には、まず本撮影用の撮影画像における人物検出により検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった人物ごとの特徴量を検出する。その人物ごとの特徴量を、あらかじめ認証用の撮影画像における人物認証によって特定されてデータ記憶部150に一時的に記憶させたユーザごとの特徴量と照合し、その照合結果に基づいて本撮影用の撮影画像に含まれる人物がどのユーザであるかを特定する処理が「人物特定」である。例えば、あらかじめ特定して記憶するユーザごとの特徴量の情報がAとBの2つある場合、本撮影用の撮影画像から特定された人物ごとの特徴量がそれぞれAとBのどちらに相対的に近似するかを照合する。これにより、本撮影用の撮影画像に含まれる人物ごとにどのユーザであるかを特定する。
本撮影用の撮影画像に対する補正は、目の色や大きさ、顔の輪郭、肌の色や質感等を変化させる処理であり、本撮影後の編集処理(特に落書きの処理)に先立ち、本撮影用の撮影画像に対して実行される。補正処理の方法は、撮影人数によって異なり、また、アップ撮影による画像か全身撮影による画像かによっても異なる。事前設定された撮影人数が3人以内であった場合に、ユーザごとに事前設定された好みに応じて選択される補正方法にて人物ごとの個別の補正を実行する。撮影人数が3人を超える場合、補正処理部142は、本撮影用の撮影画像に含まれる人物全体に対して同じ補正を実行する。
編集処理部143は、落書きと呼ばれる編集処理を実行するとともに、データ記憶部150に記憶される複数の撮影画像を含む写真画像群と、個別認証部131により特定されるユーザを識別するためのプレイIDとを紐付けたコンテンツデータを生成する。コンテンツデータには、背景処理部141が取得した背景情報や遊戯用撮影装置100の識別情報も含めてもよい。編集処理部143は、画像取得部133が一連の写真画像群を撮影する度(1プレイごと)に、コンテンツデータを生成する。コンテンツデータは、画像取得部133が生成したプレイIDを用いて一意に特定することができる。
編集処理部143は、背景処理部141による背景画像の合成と補正処理部142による補正処理がなされた撮影画像を編集対象画像とし、その編集対象画像に対して編集処理を実行する。編集処理は複数の編集対象画像に対して個別に実行されるとともに、複数のユーザからのそれぞれの指示に基づいて複数の編集対象画像に対して同時並行的に実行され得る。複数のユーザからの指示は、タッチペン214を用いた編集用モニタ213に対するユーザの編集操作、例えば使用する編集機能を選択する選択操作や編集入力の対象となる編集対象画像に対して位置を指定する入力操作により入力される。編集処理部143は、編集対象画像に対してユーザの指示に応じてスタンプ画像や文字を重畳する落書き処理と印刷レイアウトの決定を実行し、複数の出力用画像を生成し、これをデータ記憶部150に記憶させる。
動画処理部144は、画像取得部133によって取得されてデータ記憶部150に記憶される複数の動画像に対する編集処理を実行し、出力対象となる表示用動画像と送信用動画像を生成する。まず動画処理部144は、事前設定でユーザが選択した動画テーマに対応するテンプレート動画をデータ記憶部150から読み出し、そのテンプレート動画に含まれる3つ以上の画像枠のそれぞれに、撮影された3本の動画像をそれぞれ1回または複数回ずつ埋め込むことにより、編集済動画を設定する。その編集済動画は、表示用動画像または送信用動画像としても設定される。テンプレート動画に含まれる3つの画像枠は、二次元的に配置される場合と三次元的に配置される場合とがある。後者の場合、テンプレート動画には三次元オブジェクトが表示され、その三次元オブジェクトに含まれる複数の枠形状が画面枠を形成し、それぞれの画面枠に複数の動画像のフレームを埋め込んで再生させることで編集済動画を設定する。このとき動画処理部144は、テンプレート動画に複数の動画像を埋め込んだ状態でテンプレート動画と埋め込んだ動画像を同時に再生するよう設定するにすぎない。ただし、変形例としてはテンプレート動画に動画像を埋め込んだ状態で新たな動画像のデータに変換することとしてもよい。
動画処理部144は、編集済動画を新たな動画像のデータに変換する場合、その先頭フレームにこの動画像の特徴が表れる画像を挿入する。携帯端末やPCのアプリケーションまたはSNS上の画面において動画をサムネイル形式で一覧表示する場合、通常、その動画の中身を画像で示すために先頭フレームが自動的にサムネイルとして設定される場合が多い。しかし、動画を作成するときに例えばタイトルまたは本編をフェードインするように作成した場合など、先頭フレームが黒一色や白一色になることがある。あるいは、タイトルや被写体の一部だけが表示されるなど、特徴的でない内容の画像が先頭フレームになっている場合も多い。そのため、一見して中身がある程度把握できるようにし、そのサムネイルを見た人が再生したくなるための情報を簡単に提示できるよう、特徴的な画像を先頭フレームとして挿入する。「この動画像の特徴が表れる画像」としては、テンプレート動画またはその動画テーマの名前、この遊戯用撮影装置100の機種名、ユーザの名前、といった文字列やその動画テーマを象徴する模様や絵などのモチーフが表示される画像を用いる。あるいは、編集済動画に対して人物検出を実行し、ユーザの画像が検出されたフレームを抽出してそのフレームを先頭フレームに挿入してもよい。
出力処理部160は、印刷処理部161、無線出力部162、送信出力部163を含む。印刷処理部161は、データ記憶部150に記憶された複数の出力用画像をプリンタ34によりシール紙に印刷する。無線出力部162は、非接触通信部312を介してユーザの端末へ複数の出力用画像を送信する。送信出力部163は、ネットワークを介して管理サーバ300へすべての出力用画像を送信する。送信出力部163は、プレイの終了後にタッチパネル上に表示されるキーボードに、ユーザによって入力されたメールアドレス等の個人を特定する情報を受け付ける。送信出力部163は、入力されたメールアドレスおよびプレイIDと対応させて出力用画像を管理サーバ300にアップロードし、ユーザによって後に出力用画像をダウンロードさせることができる。送信出力部163は、動画処理部144によって設定された表示用動画像を表示制御部135に送信することによりその表示用動画像を液晶モニタ311等の表示装置に表示させる。送信出力部163は、動画処理部144によって設定された送信用動画像または撮影された動画像を、入力されたメールアドレスおよびプレイIDと対応させて管理サーバ300にアップロードし、ユーザによって後にダウンロードさせることができる。管理サーバ300は、メールアドレスおよびプレイIDと対応させる形で出力用画像および送信用動画像(または撮影された動画像)を記憶し、そのメールアドレス宛にそのメールアドレスに対応づけられたプレイIDを引数として含んだURLをコンテンツアクセス情報として送信する。ユーザは、受信したコンテンツアクセス情報のURLに携帯電話等の端末装置500でアクセスすることにより、所定の画像取得ウェブサイト内の自身の出力用画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。また、シール紙には、出力用画像とともにプレイIDが印刷され、ユーザはそのプレイIDを所定の画像取得ウェブサイトに入力することによっても、自身の出力用画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。なお、ユーザが無料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の出力用画像のうち自身が選択した画像が取得可能なページを開くことができる。ユーザが有料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の出力用画像のすべてが取得可能なページを開くことができる。また、送信出力部163が送信用動画像ではなく撮影された動画像を管理サーバ300にアップロードする仕様の場合、ユーザによって選択された動画テーマを示す情報を撮影された動画像とともにアップロードする。これにより、管理サーバ300において、または、管理サーバ300から情報を取得する端末装置500上の専用の情報提示アプリケーションにおいても、ユーザにより選択された動画テーマに対応するテンプレート動画に動画像を埋め込むことで表示用動画像を構成することができる。その場合、管理サーバ300において、または、管理サーバ300から情報を取得する端末装置500上の専用の情報提示アプリケーションにおいて、各動画テーマに対応するテンプレート動画や背景音楽等のデータをあらかじめ記憶する。
図9は、事前設定から本撮影までの過程を示すフローチャートである。まず事前設定部40のタッチパネル41にユーザがタッチ操作をしてスタートし、撮影人数の選択、名前、背景画像の選択、および動画テーマの選択を事前設定としてユーザがタッチ操作で入力する(S100)。「2人コース」が選択された場合(S101)、2人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S104)、正面カメラ111による2人用のユーザの認証用撮影を実行する(S105)。「3人コース」が選択された場合(S102)、3人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S107)、正面カメラ111による3人用のユーザの認証用撮影を実行する(S108)。「大人数コース」が選択された場合(S103)、認証用撮影は行わない(S104,S105,S107,S108をスキップ)。事前設定および認証用撮影の後、本撮影として正面カメラ111によりアップの画像を3回撮影する(S106)。
アップ撮影の後、横にある側方モニタ114へ誘導する案内を正面モニタ113に表示してユーザを側方モニタ114の方向へ向かせ(S110)、ユーザの立ち位置に関する案内を側方モニタ114に表示し(S111)、本撮影として側方カメラ112によりユーザの全身画像を2回撮影する(S112)。再び正面モニタ113へ誘導する案内を側方モニタ114に表示してユーザを正面モニタ113の方向へ向かせ(S113)、ムービー撮影に関する案内を正面モニタ113に表示するとともに(S114)、ムービー撮影のチュートリアルとして手本となるサンプル動画を表示した後で正面カメラ111によりムービーを撮影する一連の過程を3回繰り返す(S116)。この一連の過程については画面例を用いて後述する。
この時点でのプレイの残り時間を参照し(S120)、残り時間があれば(S121)、ユーザにボーナスショット撮影を提供して、S120に戻り(S122)、残り時間がなければ(S123)、落書きブース(編集空間20)へ誘導する案内を正面モニタ113に表示し(S124)、2箇所ある編集空間20a,20bのいずれへ移動すべきかを案内し(S125)、落書きブースへ移動する(S126)。
図10は、補正および編集の過程を示すフローチャートである。補正(「レタッチ」ともいう)の案内画面を編集用モニタ213に表示した後(S200)、事前設定で2人コースが選ばれていた場合は(S201)、「テイスト選択」(S202)、「仕上がり選択」(S203)、「明るさ選択」(S204)の3項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像(S106で取得された3枚のアップ撮影画像およびS107で取得された2枚の全身撮影画像)に施す(S205)。事前設定で3人コースが選ばれていた場合は(S210)、「テイスト選択」(S211)と「明るさ選択」(S212)の2項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像に施す(S205)。3人の場合は2人の場合に比べて個別の好みの選択に時間を要するため、2人コースに比べて補正項目数を減らしている。事前設定で大人数コースが選ばれていた場合は(S220)、「目の大きさ、明るさ選択」(S221)の1項目についてのみユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正をすべての本撮影用の撮影画像に施す(S205)。大人数コースの場合は人数分の好みを選択させるだけの時間的な余裕がないため、ユーザごとの個別の選択ではなく全員について一括して指定できる1項目のみについて選択させる趣旨である。
「落書き準備中」から落書きの本編へ移行し(S230)、ユーザからの指示に基づいて、補正が施された複数の本撮影用の撮影画像に対して編集処理を実行した後、印刷レイアウトとして分割レイアウト選択や大きく印刷する写真の選択をユーザの指示に基づいて設定し(S232)、出力空間30への移動案内を編集用モニタ213に表示し(S233)、出力空間30(「出口コーナー」ともいう)へ誘導する(S234)。
図11は、出力処理の過程を示すフローチャートである。1人目のユーザが複数の出力用画像の中から一つ選択させる画面(送信画像選択画面)を表示する(S302)。そして、1人目のユーザのメールアドレスを入力させる画面(メールアドレス入力画面)を表示する(S303)。続いて、2人目のユーザ用の送信画像選択画面を表示し(S304)、2人目のユーザ用のメールアドレス入力画面を表示する(S305)。3人目のユーザがいる場合は(S306のY)、3人目のユーザ用のメールアドレス入力画面を表示する(S307)。さらに4人目のユーザがいる場合は(S308のY)、4人目のユーザ用のメールアドレス入力画面を表示する(S309)。3人目がいない場合はS307からS309までスキップし(S306のN)、4人目がいない場合はS309をスキップする(S308のN)。
送信用画像の選択とメールアドレスの入力の終了後、SPムービーを液晶モニタ311に提示して管理サーバ300へ送信し(S310)、「プリント準備中」を液晶モニタ311に表示しながら出力用画像をシール紙に印刷する(S311)。このとき、編集が完了したすべての本撮影用の撮影画像の写真画像群が管理サーバ300へアップロードされる。最後に印刷が完了したことを液晶モニタ311に表示して終了する(S312)。
図12は、事前設定において動画撮影の内容をユーザに選択させる画面例を示す。図12(a)は、これから動画テーマの選択画面に移行しようとしている旨を説明する案内画面であり、事前設定部40はタッチパネル41に表示する2つのサンプルムービー枠640に2つのサンプルムービーのサムネイルをそれぞれ再生表示させる。図12(b)は、動画テーマの選択画面であり、事前設定部40は6つのムービー候補枠641をタッチパネル41に表示させる。6つのムービー候補枠641のそれぞれには動画テーマの選択肢として異なるサンプルムービーのサムネイルを再生表示させる。サンプルムービーは、後に撮影する動画像において被写体に合成する背景映像、背景音楽及び枠画像が含まれたテンプレート動画に、撮影の際の手本動作の映像である手本動画を埋め込んで作成されたものである。動画テーマごとに背景映像、背景音楽、枠画像等のテンプレート動画の種類と手本動作が異なる。ユーザは好みでいずれかのサンプルムービーを選択しただけで、そのサンプルムービーに対応する動画テーマに沿って撮影および編集が行われ、その動画テーマに沿った出力用の動画像を簡単に作成できる。ムービー候補枠641は、6種類の動画テーマに基づいてあらかじめ作成されたサンプルムービーのサムネイルを表示させた選択ボタンの役割を持つ。サンプルムービーのサムネイルは、サンプルムービーの表示サイズを縮小して内容の一部を表示させるものであり、ムービーの冒頭の数秒間を1回または繰り返し再生してもよい。また、所定間隔のフレームをスキップしながら、その内容のすべてを早送り再生するものであってもよい。なお、内容すべてをスキップ等なしに再生してもよい。
事前設定部40は、6つのムービー候補枠641に表示させる6種類のサンプルムービーのサムネイルを同時にプレビュー再生させる。これにより、別途プレビュー枠を設けておいて、ユーザが選択したサムネイルのサンプルムービーだけを一つずつプレビュー枠で再生させるのと比べて、プレビューを確認しながら選択を切り替えるといった手間が省ける。また、事前設定に要する時間を短縮することができ、設定を簡潔にできる。事前設定部40は、ユーザがタッチ操作で選択したサムネイルのムービー候補枠641に選択枠642を重畳させ、現在このサムネイルが選択されていることを示す。ユーザがいずれかのムービー候補枠641を選択すると、事前設定部40は、選択中のサムネイルに対応するサンプルムービーに含まれる背景音楽を入口付近に設置されたスピーカーから出力させる。このとき、事前設定部40は入口付近のスピーカーから通常時に出力する通常背景音楽の音量を低減するとともに、サンプルムービーの背景音楽を通常背景音楽より大きな音量で出力する。ユーザがムービー候補枠641の選択を切り替えると、事前設定部40はあらたに選択したサンプルムービーのみを最初から再生するとともに、このサンプルムービーの背景音楽の出力に切り替えて最初から再生する。なお、その切り替え時において、事前設定部40は切り替え前のサンプルムービーを再生していた時間位置、および背景音楽を再生していた時間位置を記憶しておき、同じサンプルムービーが再び選択された場合は、記憶しておいた時間位置からサンプルムービーおよび背景音楽の再生を再開する。図12(b)の選択画面に移行した時点では初期的に所定のムービー候補枠641、例えば左上のムービー候補枠641に選択枠642が重畳されて選択された状態となり、ユーザのタッチ操作により他のムービー候補枠641を含むいずれかのムービー候補枠641が選択された状態でOKボタンをタッチすると、動画テーマの選択が確定する。また、OKボタンのタッチで動画テーマの選択が確定すると、事前設定部40は選択中のサンプルムービーおよび背景音楽の再生を停止し、通常背景音楽の音量を元の音量に戻す。
図13は、動画撮影の開始前に表示する案内画面の例を示す。表示制御部135は、案内画面として3つの手本動画645a~cとそれらを用いて作成されたサンプルムービー676を並べて再生表示し、「こんな感じの動画を撮影するよ!お手本の動きを真似してみてね!」といった文字列により、以降の撮影手順の概要を簡潔に説明する。動画撮影が3回であり、第1~3の手本動画645a~cとして3つの撮影動画の手本を表示させるとともに、サンプルムービー676として編集済動画のサンプルを表示させる。これら3つの手本動画とサンプルムービーは事前設定でユーザが選択した動画テーマに基づいてあらかじめ用意された動画像である。後述する実際の撮影段階においては、第1の手本動画645aを表示した後に1つ目の動画を撮影し、第2の手本動画645bを表示した後に2つ目の動画を撮影し、第3の手本動画645cを表示した後に3つ目の動画を撮影する。図13の案内画面においては、撮影順と同じ順でそれぞれの撮影に対応する3つの手本動画645a~cが順に再生され、最後にサンプルムービー676が再生される。
3つの撮影動画の手本となる手本動画は、それぞれ登場人物が動画ごとに異なる動作をしている様子を早送りした映像であり、登場人物として例えばプロのファッションモデルやタレントなどを起用してモデルのような動作をさせた映像である。ここで、この後で撮影される動画は最終的に早送りで再生される形でテンプレート動画に埋め込まれる。早送りで再生される形にしているのは、被写体となる人物の実際の動きより速めた映像にすることでユーザの動作のぎごちなさを目立たなくさせるためである。被写体となるユーザは一般の人であって通常はプロのモデル等ではないため、モデルのような動作をさせた場合でもそのぎごちなさを目立たなくさせることでプロのモデルのような映像を簡単に作成しやすくすることができる。そのような早送りをユーザにイメージさせるために再現しつつ説明の時間を短縮するため、図13で表示する手本動画においても登場人物が早送りになる形で再生されている。サンプルムービー676として表示する編集済動画のサンプルは、3つの手本動画をテンプレート動画に埋め込む編集を施して作成された動画のサンプルである。図示した編集済動画は、所定の映像を背景にした立方体の三次元オブジェクトの枠画像を回転させた動画であり、その立方体の6面のうちの3面に第1~3の手本動画645a~cを埋め込んで構成される。三次元オブジェクトの枠画像を用いたテンプレート動画については図16にて後述する。
なお、変形例として、ユーザの顔画像を用いて合成した手本動画を案内画面および後述の手本画面に表示させることとしてもよい。ユーザの顔画像は、認証用の撮影画像から抽出する顔画像であり、その顔画像の手本動画に含まれる人物の顔部分に合成し、そのユーザ専用の手本動画として作成してもよい。あるいは、いわゆるアバターの形で、ユーザの顔画像を貼り付けたアニメーションまたは三次元モデルの人形を用いて手本の動作を再現する形で手本動画を作成してもよい。また、そのように作成したアバターの手本動画を管理サーバ300にアップロードし、他の撮影画像や撮影動画とともにユーザにダウンロードさせてもよい。
図14は、動画撮影過程の前半の画面遷移を示す。まず、表示制御部135は、正面モニタ113に開始画面650を4秒間表示し、この画面においてこれから動画撮影を開始する旨および撮影予定回数を説明する文字列を表示するとともに、その説明を読み上げる音声を出力する。ただし、変形例においては開始画面650の画面表示自体を省略し、次の画面である手本画面651または前の画面である図13の画面を表示するときに音声でのみ出力する形とし、時間を短縮してもよい。
次に表示制御部135は、手本画面651を3秒間表示してその画面の中央上部に第1の手本動画645aを大きく表示する。その画面には「お手本ポーズの真似をしてみよう!」といった文字列をあわせて表示しながらその説明の音声を出力することにより、第1の手本動画645aの再生開始に先立ち、これから再生する第1の手本動画645aに映る人物の動作を真似させるためにその動作を見て記憶するようユーザに促す。ここで表示する手本動画はユーザが選択した動画テーマに基づいて用意された3種類の撮影動画の手本のうちの一つであり、ムービー冒頭のフレームを一時停止状態にした静止画の形で表示する。第1の手本動画645aの右側に、第2の手本動画645bと第3の手本動画645cのサムネイルを小さく表示することで、現在は一つ目の撮影の手本であって、残り2つの撮影が控えていることを示唆する。このように3つの手本動画645を横方向に並べるとともに、現在撮影対象となっているムービーのサムネイルを相対的に大きく表示する。手本画面651では1つ目を示す左から1番目のサムネイルを拡大し、2番目、3番目と段階的に小さくなるよう表示している。
次に表示制御部135は、手本画面652を3秒間表示してその画面において第1の手本動画645aを3秒間再生表示する。このとき、ユーザが選択した動画テーマに対応する背景音楽も第1の手本動画645aの映像とともに流れる。第1の手本動画645aは図13の案内画面で再生される第1の手本動画645aと同じ動画であるが、案内画面では早送りで3秒未満となるフレームレートで再生されるのに対し、手本画面652では実際の撮影時間に合わせて撮影時間と同じ3秒間となるフレームレートで再生される。ユーザは第1の手本動画645aに含まれる人物の動作を見てその動画を一時的に記憶することとなる。このとき再生される第1の手本動画645aは、図13の案内画面で表示される第1の手本動画645aと基本的に同じものであるが、案内画面では3秒未満となるように早送りで再生されていたのに対し、手本画面652では相対的に遅い速度で再生される。例えば、手本画面652では実際の撮影時間に合わせて撮影時間と同じ3秒間となるように再生される。両者は、同じムービーのフレームレートを変えて表示することとしてもよいし、フレームレートの異なる別々のムービーとして用意してもよいし、映っている人物の動作が相対的に速いムービーと遅いムービーとを別々に用意してもよい。実際にユーザに促す動作としては人間の動作として普通の速度あるいは簡単に再現できるようなゆったりとした速度での動作であり、その動作を例えば10fpsのフレームレートで撮影し、これを早送りにしたもの、例えば24fpsにして再生するものが案内画面で早送り再生される手本動画である。最終的にユーザに提供されるムービーもまた24fpsのフレームレートで早送り再生されるムービーであり、ユーザの動作のぎごちなさを目立たなくすることができる。
手本画面652において第1の手本動画645aの再生が終了した後、撮影画面653に移行すると、表示制御部135はそれまで表示されていた第1の手本動画645aの表示領域を第1のライブビュー646aの映像に切り替え、被写体となるユーザの映像がリアルタイムで撮影画面653に映し出される。このときもまた、ユーザが選択した動画テーマに対応する背景音楽が引き続き流れている。また、ユーザが選択した動画テーマに沿って撮影される動画が所定の画像枠内にユーザが嵌め込まれた映像として設定されている場合、その画像枠の映像が第1のライブビュー646aの前景として表示される。一方、ユーザが選択した動画テーマに沿って撮影される動画がその前景において人物に重なる形で文字や絵などの装飾オブジェクトを表示する設定の場合、ライブビューとしてはユーザの映像と重なってユーザ自身の像が見えにくくなることを避けるためにそのような前景を非表示としてもよい。ここで「準備はいい?撮影するよ!」といった文字列を表示し、これから録画を開始する旨をユーザに教える。撮影画面653の表示から3秒後、撮影画面654のように表示制御部135は画面上で録画開始までの時間をカウントダウン表示するとともに開いたカチンコ648の画像を表示して録画間近であることを示唆する。
次いで、撮影画面655のようにカチンコ648を閉じた画像を表示するとともに、「録画スタート」という音声を出力して録画開始を知らせる。そして、第1のライブビュー646aを画面に表示したまま動画像の録画を開始する。録画中もまた、ユーザが選択した動画テーマに対応する背景音楽が引き続き流れている。画像取得部133はフレームレートを10fpsにした撮影により動画を取得する。すなわち、通常の動画撮影と比べて低いフレームレートであり、これを10fpsのフレームレートのままで再生すると通常速度の動画と比べてフレーム間隔が開いてややコマ送りに近くなるような動画像となる。3秒間の撮影により30コマのフレームが撮影される。録画開始から3秒後、「カット」という音声を出力して録画の終了を通知する。そして、撮影画面656のように録画が無事に終了した旨と、あと2回の録画が残っていることを文字列で表示する。このとき、撮影画面656にはそれまで表示していた第1のライブビュー646aに代わり、録画終了した時点のフレームで停止させた静止画を表示する。このフレームは、録画終了したばかりの第1の撮影ムービー647aの最終フレームと同じであるため、実質的に最終フレームで停止させた静止画の形で第1の撮影ムービー647aのサムネイルを表示することに等しい。
次に2回目の録画に入り、表示制御部135は手本画面657に切り替える。一つ前の撮影画面656で表示されていた第1の撮影ムービー647aのサムネイルは縮小させながら左へ移動させ、第2の手本動画645bを右方から拡大させながら中央に移動させて表示する。この時点では第2の手本動画645bの冒頭フレームの静止画の形で表示される。手本画面658では、手本画面652と同様に第2の手本動画645bの再生が開始される。
図15は、動画撮影過程の後半の画面遷移を示す。図14の最後の手本画面658で第2の手本動画645bの再生が終了した後、図15の撮影画面659へ移行し、表示制御部135は第2のライブビュー646bの表示に切り替え、録画開始までのカウントダウンを表示するとともに開いたカチンコ648の画像を表示して録画間近であることを示唆する。撮影画面660ではカチンコ648を閉じた画像を表示するとともに、「録画スタート」という音声を出力して録画開始を通知する。そして、第2のライブビュー646bを表示しながら動画の録画を開始する。
2回目の録画終了後、3回目の録画に移り、手本画面661では左側に第1の撮影ムービー647aと第2の撮影ムービー647bのサムネイルを小さく表示させて中央に第3の手本動画645cのサムネイルを大きく表示させる。手本画面662で第3の手本動画645cを再生した後、撮影画面663で第3のライブビュー646cを表示させて録画開始までカウントダウン表示するとともに開いたカチンコ648の画像を表示して録画間近であることを示唆する。撮影画面664ではカチンコ648を閉じた画像を表示するとともに、「録画スタート」という音声を出力して録画開始を通知する。そして、第3のライブビュー646cを表示させたまま動画を録画する。録画終了後、撮影画面665では第3の撮影ムービー647cの最終フレームをサムネイルにして表示する。以上のように、手本動画の再生からライブビューの表示および録画までの過程を3回繰り返す。すなわち、ユーザに手本となる動作を示してそれを記憶しているうちに動画を録画するという過程を一つずつ繰り返して実行することにより、3本の理想的な動画を簡単に撮影することができる。
なお、動画の録画中においては、ライブビュー646上やその付近に、動画録画中であることを示す「REC」という赤色の文字列やマーク等を表示してもよい。
図16は、三次元オブジェクトの枠画像を用いたテンプレート動画の例を示す。図13においても図示した編集済動画は、動画テーマに対応する所定の映像を背景映像675として再生し、三次元オブジェクトである立方体オブジェクト670の枠画像を前景として回転させた動画である。さらに文字や模様を表示させる映像を最前景のレイヤーとして重ねて表示してもよい。立方体オブジェクト670を構成する6面は透過しており、骨組みだけのスケルトン形状となっている。そのような6面のうちの3面に第1~3の撮影動画を埋め込んで再生させることで、出力用の動画像として設定する。図示するように、第1面671、第2面672、第3面673の各面に、撮影された動画像が埋め込まれている。各面への動画像の埋め込みは、例えばモーショントラッキングないしマッチムーブ等の技術を用いる。この場合、追跡対象となる面を指定するために面の四隅にある特徴点を追跡点として指定し、その追跡点を追跡しながら面の形状変化に合わせて動画像の画面も変形させるように嵌め込み合成をすることで、立方体オブジェクト670の各面に動画像を埋め込むことができる。ただし、第1面671、第2面672、第3面673に埋め込まれる3つの動画像は、背景処理部141によりそれぞれクロマキーマスクを用いて背景が除去されて透過した被写体のみの動画である。これにより、立方体オブジェクト670の3面に動画像を埋め込んでも各面において被写体以外の部分は透過して奥が見える映像となっている。なお、図示するテンプレート動画の例では被写体以外の部分が透過しているが、ユーザにより選択された動画テーマによっては各面において被写体以外の部分を透過させずにその動画テーマに対応する背景映像を被写体以外の部分に合成するテンプレート動画を用いてもよい。
図示するテンプレート動画では、立方体オブジェクト670が左方向へ回転する映像となっており、各側面が正面側を向いたときにその面に埋め込まれた動画像の再生を開始し、それ以外の面に埋め込まれた動画像は冒頭フレームが表示された状態で再生停止されている。すなわち、まず第1面671が正面側を向いたときにその面の埋め込み動画像が再生開始され、埋め込み動画像の再生が終了する2秒後に第2面672が正面側に差し掛かる程度の速度で立方体オブジェクト670は左へ回転する。第1面671の動画像が再生終了して第2面672が正面側に差し掛かったタイミングで第2面672の動画像を再生開始する。同様に、第2面672の再生が終了して第3面673が正面側に差し掛かったタイミングで第3面673の動画像を再生開始する。このようにしてそれぞれ2秒の早送り再生がなされる3つの動画像を連鎖的に再生することで約6秒の映像となり、前後の映像と含めて約15秒間の編集済動画が作成される。なお、ここでは立方体等の三次元オブジェクトの面に動画像を埋め込んだ例を説明したが、他の動画テーマとしては、二次元的に配置された画像枠に動画像を埋め込んで構成する編集済動画のためのテンプレート動画も用意される。
図17は、編集済動画の提供を案内する案内画面の例を示す。この案内画面は、出力用画像を印刷する間に出力筐体31の液晶モニタ311に表示させるものであり、編集済動画が完成したことと、その提供方法について説明する文字列を表示するとともにその説明を読み上げた音声が出力される。画面中央には編集済動画のダイジェスト版として、編集済動画の一部とその部分に対応する背景音楽が再生される。ただし変形例として、編集済動画の全部分およびその背景音楽の全部分が再生されることとしてもよい。編集済動画の提供方法としては、専用のアプリケーションをユーザにダウンロードさせ、そのアプリケーションを通じて管理サーバ300にある編集済動画を再生させる方法でもよい。あるいは、管理サーバ300から編集済動画そのものをダウンロードさせるためのURLを文字列または二次元コードを表示することにより提供する方法でもよい。また、この画面において、専用のアプリケーションをダウンロードさせるためのボタンを表示してもよい。このボタンが押された場合は、入力されたメールアドレス宛に、専用のアプリケーションをダウンロードするためのURLが記載されたメールを送信する。
(第2実施形態)
本実施形態における遊戯用撮影装置は、静止画についてだけでなく動画についても落書き等を実施できる編集機能を有する点で第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、共通点の説明は省略する。
本実施形態の遊戯用撮影装置は、「落書きの本編」(図10のS230)において、静止画としての撮影画像に対する落書きだけでなく、図12の事前設定で選択したテンプレート動画に埋め込む撮影画像の選択や、その撮影画像や撮影動画に対する落書きを実施できる機能を有する。以下に例示するテンプレート動画は、一緒に撮影するユーザ同士が相互に動画をプレゼントする、あるいは他の友達に動画をプレゼントすることを前提とした内容であらかじめ制作されており、プレゼントの相手に対するメッセージをスタンプや文字の形で動画に挿入できる。
本実施形態において、画像取得部は、撮像部により撮像されるユーザの動画像と静止画像を取得する。動画処理部は、あらかじめ保持するテンプレート動画に含まれる動画用枠形状に動画像を埋め込んで再生させるとともに、前記テンプレート動画に含まれる静止画用枠形状に静止画像を埋め込んで動画として再生させる表示用動画像を設定する。表示制御部は、前記テンプレート動画として複数のテンプレート動画を選択肢として提示する。前記表示制御部は、前記静止画用枠形状に埋め込むための複数の静止画像を選択肢として提示する。前記表示制御部は、ユーザが選択したテンプレート動画に含まれる前記静止画用枠形状の縦横比に適合し得る静止画像のみを前記静止画像用枠形状に埋め込む選択肢として提示する。前記動画処理部は、ユーザが選択した静止画像を、前記テンプレート動画に含まれる複数のフレーム上の静止画用枠形状のそれぞれに埋め込むことにより、前記テンプレート動画に静止画像を埋め込む。前記表示制御部は、前記テンプレート動画における編集対象部分のフレームとともに再生ボタン画像を画面に表示する。ユーザによって前記再生ボタン画像が操作された場合、前記表示制御部は、前記編集対象部分のフレームの前後に位置する所定数のフレーム分だけ動画を再生表示する。
図18は、編集用モニタ213に表示される編集画面の初期状態例を示す。本図の編集画面は、「落書きの本編」(図10のS230)において表示される画面例であり、ユーザが撮影した静止画像に対する編集処理だけでなく、テンプレート動画を用いた動画の編集処理も行うことができる。まず前提として、撮影した静止画像に対する通常の落書きについて説明する。
編集画面は、左右一対の編集スペースに区分けされ、2人のユーザが同時並行して使用できるようになっている。編集用モニタ213の左側の編集スペースにおいては、左側のタッチペン214Aによる入力受け付けが可能となっている。同様に、右側の編集スペースにおいては、右側のタッチペン214Bによる入力受け付けが可能となっている。編集スペースの上部中央には、編集対象画像を表示し編集を行える矩形状の落書領域810が設けられている。落書領域810の上方には、5枚の編集対象画像のサムネイル812が表示されており、ここから選択された1枚の編集対象画像が、落書領域810に表示される。ここでの5枚の編集対象画像は、3枚のアップ撮影画像および5枚の全身撮影画像に基づくものである。より具体的には、3枚のアップ撮影画像に、事前設定で選択された背景画像セットに含まれる3種類のアップ用背景画像をそれぞれ合成した画像、および、2枚の全身撮影画像に、当該背景セットに含まれる2種類の全身用背景画像を合成した画像に相当する。なお、ユーザが落書領域810でした編集は、対応するサムネイル812にも反映される。落書領域810およびサムネイル812には、事前設定部40における事前設定で選択された背景画像が合成された編集対象画像が初期的に表示される。
5枚の編集対象画像のサムネイル812からユーザによって選択された一枚が、太枠の選択フレーム812’で囲まれて強調表示され、そのサムネイルに対応する編集対象画像が落書領域810に表示される。ユーザは、編集対象画像のサムネイル812のうち任意の一枚のサムネイルをタッチペン214A,214Bを用いて選択することで、落書領域810に表示する編集対象画像を変更することができる。ユーザはまた、タッチペン214A,214Bを用いて選択フレーム812’をドラッグ操作で移動することで、落書領域810に表示する編集対象画像を変更することもできる。この場合、移動後の選択フレーム812’が囲むサムネイル812に対応する編集対象画像が、落書領域810に表示される。
編集画面の中央上部には、「エンド」ボタン814が配置されている。また、編集画面の中央部には、上から、消しゴムボタン816、「進む」ボタン818、及び「戻る」ボタン820が配置されている。「エンド」ボタン814は、編集を終了するためのボタンであり、この「エンド」ボタン814を押下すると、編集処理が自発的に終了し、出力処理に移行する。消しゴムボタン816は、4種類のものが配置されており、3種類の大きさの消しゴムボタンと、すべての落書を消すための「全消し」ボタンとが配置されている。例えば、いずれかの大きさ消しゴムボタンをタッチペン214A,214Bで押下すると、その大きさ消しゴムが設定され、この状態で落書領域810をタッチペン214A,214Bでなぞると、なぞった部分の落書が消去されるようになっている。また、「全消し」ボタンを押下すると、落書領域810に表示中の編集対象画像に対してなされたすべての落書が消去される。
「戻る」ボタン820は、直前に行った落書処理を取り消して元に戻すための、いわゆるundoボタンである。反対に、「進む」ボタン818は「戻る」ボタン820を押下する直前の落書処理を復活させるための、いわゆるredoボタンである。
編集画面の中央上部の「エンド」ボタン814の間には、カウントダウン用のタイマー822が設けられている。このタイマー822は、種々の設定ができるが、例えば、落書編集を行える基本制限時間(例えば300秒)を予め設定しておき、落書編集が開始されると同時にカウントダウンを始め、タイマー822の表示がゼロになったときに落書編集を強制的に終了して出力処理に移行させるように構成することができる。あるいは、撮影部50にユーザがいないとき、つまり、編集作業を待つ後続のユーザがいないときには、カウントダウンを行わず、制限なく編集作業を行えるようにしてもよいし、最大制限時間(例えば20分)を設定しておき、最大制限時間まで編集作業を行えるようにしてもよい。但し、このような状態になったとき、もう一方の編集部51に後続のユーザがいる状態で、新たなユーザによる撮影処理が開始された場合、撮影処理の開始に合わせて、予め設定された時間(例えば60秒)からのカウントダウンを始めるようにすることが好ましい。タイマー822は、左右のユーザで共通であり、両ユーザの編集処理時間が1つのタイマー822で管理される。
落書領域810の下方には、編集対象画像に対して編集を行う編集ツールを選択するためのパレット領域828が配置されている。パレット領域828には、落書用のツールが表示される。落書領域810およびパレット領域828の外側には、ペンパレット領域830が配置されている。ペンパレット領域830には、手書き入力に用いられるペン画像の線の種類、太さ、色の選択に用いられるボタンが表示される。
ユーザは、タイマー822の残り時間が0になる(またはユーザが自発的に終了する)まで、落書きをする。そして、タイマーの残り時間が0になるか、あるいはユーザが「エンド」ボタン814をタッチして自発的に落書きを終了させると、編集用モニタ213は「落書終了」というメッセージを表示する。そして、その時点において、編集画面で編集されている編集対象画像が出力用画像(編集済画像)とされ、この出力用画像がデータ記憶部150に記憶され、編集処理が終了する。このように、ユーザが自発的に「エンド」ボタン814をタッチすることで、ユーザが編集対象画像に対してした編集が確定する。この意味で、上述した落書領域810やサムネイル812は、編集のプレビューである。
右側のユーザが右上に配置された5枚のサムネイル812のうち左端のサムネイルをタッチペン214Bで選択すると、その左端のサムネイルが太枠の選択フレーム812’で囲まれて強調表示され、そのサムネイルに対応する編集対象画像が右側の落書領域810に拡大表示される。また、選択フレーム812’で強調表示されたサムネイルには、「拡大中だよ」といった文字列が重畳され、現在右側のユーザによって編集処理中であることが示される。重畳される文字列は、サムネイルを透過させるような透明度で合成されてもよい。このとき、左側の編集スペース上部に配置された5枚のサムネイル812のうち、右側のユーザで編集中である左端のサムネイルには、「右の人が拡大中だよ」といった文字列が重畳され、現在右側のユーザによって編集処理中であることが示される。左側のユーザが左上に配置された5枚のサムネイル812のうち右から2番目のサムネイルをタッチペン214Aで選択すると、そのサムネイルが太枠の選択フレーム812’で囲まれて強調表示され、対応する編集対象画像が左側の落書領域810に拡大表示される。選択フレーム812’で強調表示されたサムネイルには「拡大中だよ」といった文字列が重畳され、編集処理中であることが示される。右側の編集スペース上部に配置された5枚のサムネイル812のうち、左側のユーザで編集中のサムネイルには「左の人が拡大中だよ」といった文字列が重畳され、現在左側のユーザによって編集処理中であることが示される。
編集画面の上部では、サムネイル812と「エンド」ボタン814の間に「ムービー作成」といった文字列が書かれたアイコン画像である動画編集開始ボタン840が表示される。ユーザが動画編集開始ボタン840を押下すると、テンプレート動画を用いた動画編集処理が開始される。
図19は、編集画面において動画編集が開始された状態の例を示す。本図の例では、左側のユーザによって左側の動画編集開始ボタン840が押下され、左側の編集スペースにおいて動画編集が開始されている状態が示される。左右のうち一方の編集スペースで動画を編集している間は他方の編集スペースで同時に動画編集を開始できないよう制限するため、図18では表示させていた動画編集開始ボタン840を動画編集の開始時に左側と右側の双方とも消去する。変形例としては、動画編集開始ボタン840を消去せずにグレイアウトさせて押下できなくしてもよい。別の変形例として、図18の段階で左右の編集スペースのいずれかにだけ動画編集が可能となるように一方にのみ1個だけ動画編集開始ボタン840を設ける仕様としてもよい。変形例として、左右2人のユーザが左右の編集スペースで同時にそれぞれ動画編集を処理できるようにしてもよい。その場合、同時に1つの動画を編集できるようにしてもよいし、それぞれ別個の動画を作成できるようにしてもよい。単一の動画を作成した場合でも2人のユーザのそれぞれのプレイIDが付与され、別個の動画を作成した場合にはそれぞれ自分が作成した動画の方に自分のプレイIDが付与される。なお、左側のユーザが動画編集をする間、右側のユーザは図18の状態と同様に静止画像に対する落書きを継続できる。もし右側のユーザによって右側の動画編集開始ボタン840が押下されれば右側の編集スペースにおいて動画編集が開始され、その間、左側の編集スペースでは左側のユーザが静止画像に対する落書きを継続できる。
左側の編集スペースにおける外側には、映画フィルムの外観を持つ縦長形状のテンプレート領域842が表示され、テンプレート動画に含まれる特徴的なフレームが縦に配置されて表示される。テンプレート領域842で表示されるテンプレート動画は、図12(b)の事前設定でユーザにより選択されたデザインのテンプレート動画である。ただし、テンプレート動画の選択肢として複数種類のテンプレート動画をユーザに提示して選択させる仕様において、事前設定で選択された背景画像に対応するデザインのテンプレート動画を初期設定として自動的に選択するようにしてもよい。あるいは、事前設定で選択された背景画像に対応するデザインのテンプレート動画しか選択できないようにしてもよい。
映画フィルム型のテンプレート領域842は、縦方向に並ぶ8コマの画像を含んで構成され、編集スペースで編集対象となるコマのみに選択中を示す選択枠が表示される。図19の例では、8コマのうち下部の3コマ(第1編集対象コマ843、第2編集対象コマ844、第3編集対象コマ845)だけが編集対象として選択枠が表示され得るコマであり、非編集対象である上部の5コマには選択枠が表示されない。非編集対象のコマには、テンプレート動画における特徴的なフレームや撮影済みである第1~3の撮影ムービーに含まれるフレームがサムネイルとして表示される。
例示するテンプレート動画では3箇所の映像部分が編集可能となっており、それら3箇所の編集可能部分との対応で第1編集対象コマ843、第2編集対象コマ844、第3編集対象コマ845のサムネイルがテンプレート領域842の下部に表示されている。第1編集対象コマ843、第2編集対象コマ844、第3編集対象コマ845は、第1編集ボタン846、第2編集ボタン847、第3編集ボタン848とそれぞれ対応する。ユーザが第1編集ボタン846を押下すると第1編集対象コマ843が編集対象となって選択枠が表示され、第2編集ボタン847を押下すると第2編集対象コマ844が編集対象となって選択枠が表示され、第3編集ボタン848を押下すると第3編集対象コマ845が編集対象となって選択枠が表示される。
初期的には第1編集対象コマ843が編集対象となって選択枠が表示されるとともに、第1編集対象コマ843が第1編集ボタン846と対応づけられていることが、第1編集ボタン846から第1編集対象コマ843へ結ばれた矢印によって示される。また、編集スペース中央にある編集動画表示領域850には第1編集対象コマ843に対応する映像部分のフレームが表示される。同様に、第2編集ボタン847が押下されれば第2編集ボタン847から第2編集対象コマ844へ矢印が表示されて第2編集対象コマ844に選択枠が表示され、編集動画表示領域850には第2編集対象コマ844に対応する映像部分のフレームが表示される。第3編集ボタン848が押下されれば第3編集ボタン848から第3編集対象コマ845へ矢印が表示されて第3編集対象コマ845に選択枠が表示され、編集動画表示領域850には第3編集対象コマ845に対応する映像部分のフレームが表示される。
図19の例では、編集動画表示領域850に表示中の第1編集対象コマ843に対応する映像部分として、テンプレートとして用意された背景映像のフレーム中に、ユーザが撮影した静止画像を埋め込むことができる画像枠851が表示される。初期的には画像枠851は黒塗りの矩形枠として表示され、その矩形枠の中にカメラマークのアイコンを表示することで、この部分に撮影画像を埋め込むことができることを示唆する。編集動画表示領域850の下方には、編集動画表示領域850に表示中の画像枠851に埋め込む静止画像の選択肢として、ユーザが撮影した複数の静止画像の埋込用サムネイル854が表示される。ここでは、通常落書きの編集対象画像である3枚のアップ撮影画像と2枚の全身撮影画像の埋込用サムネイル854が表示され、ユーザがいずれかの画像を選択すると、選択された撮影画像が画像枠851に埋め込まれて表示される。テンプレート動画によっては、1つの映像部分に複数の画像枠851が設けられることもあり、その場合、ユーザは画像枠851の数だけ、埋め込む撮影画像を選択するとともに、それぞれ埋め込む位置を指定する。
ここで、アップ撮影画像と全身撮影画像とでは縦横比が異なるため、画像枠851の縦横比に適合しない撮影画像が選択された場合には、選択された画像に対してフレームごとの画像枠851の縦横比や形状、サイズ等にあわせて変形やトリミングなどの処理を加えてもよい。あるいは、選択された画像の縦横比にあわせて画像枠851の縦横比を変更または画像枠851のデザイン自体を変更する処理を実行してもよい。選択された画像をトリミングする場合、その画像から顔検出をして顔の一部が削除されないようにトリミング位置を調整してもよい。変形例として、画像枠851の縦横比に適合する撮影画像の埋込用サムネイル854のみを選択肢として表示し、画像枠851の縦横比に適合しない撮影画像の埋込用サムネイル854を表示しない仕様としてもよい。その場合、アップ撮影画像のみ、または、全身撮影画像のみが選択肢として表示されるよう画面構成を切り替え、そこで選択された画像は変形やトリミングなどの処理を施さなくても画像枠851に埋め込むことができる。別の変形例として、選択された画像を画像枠851の範囲を中心として拡大または縮小させながら一定方向へ流れるように移動(パンまたはスライド)させて表示する仕様としてもよい。この場合、画像枠851の縦横比と画像の縦横比が一致する必要がなく、選択した画像を画像枠851より僅かに大きなサイズにした上で画像をずらしながら表示することで画像全体を表示させることができる。
編集動画表示領域850の直下中央には、動画再生ボタン852が表示される。ユーザにより動画再生ボタン852が押下されると、編集動画表示領域850において表示中のフレームを中心とする前後の映像部分をプレビューとして再生表示する。すなわち、編集動画表示領域850に表示されていたフレームを1つの編集点としてその編集点の前後にある24枚分のフレームを12fpsで2秒間のプレビュー動画として1回だけ再生して元に戻る。その24枚のフレームのそれぞれに画像枠851が設けられており、画像枠851の位置、サイズ、形状はフレームによって少しずつ異なってもよい。ユーザが埋込用サムネイル854からいずれかの画像を選択すると、その画像が24枚のすべてのフレームにおけるすべての画像枠851に埋め込まれる。第1編集対象コマ843に表示されるフレームにもリアルタイムに反映され、選択された撮影画像が埋め込まれたフレームが表示される。24枚のフレームのそれぞれの画像枠851の形状や位置、サイズが異なる場合は、それぞれの画像枠851に適合するように、選択された撮影画像は変形や拡縮等されて各画像枠851に埋め込まれる。プレビュー動画は、テンプレート動画で作成される全体の動画の一部にすぎず、全体の動画より短い映像で24枚のフレームしか含まれないため、フレームごとに画像枠851に適合させる調整しながら合成しても処理の負荷は比較的小さい。プレビュー動画は、動画の編集過程においてその時点での編集内容が反映される形でバックグラウンドで生成され、動画再生ボタン852が押下されなくとも第1編集対象コマ843や第2編集対象コマ844にてループ再生される仕様としてもよい。
いずれかの撮影画像が選択されるまでは、画像枠851には撮影画像が合成されずに所定デザインの初期画像が挿入された形でプレビュー動画を再生する。なお、変形例として、いったん動画再生ボタン852が押下されると、プレビュー動画を繰り返しループ再生し、その間は動画再生ボタン852を停止ボタンまたは一時停止ボタンに差し替える仕様としてもよい。その場合、ユーザがその停止ボタンまたは一時停止ボタンを押下すると、ループ再生を停止して、元の動画再生ボタン852に戻す。変形例として、動画再生ボタン852を表示せず、そのようなボタンをユーザに押下させなくても編集動画表示領域850にてプレビュー動画を繰り返しループ再生させる仕様としてもよい。ここで、動画再生ボタン852を押下した後に停止ボタンに差し替える仕様とした場合、停止ボタンが押下されたときの編集動画表示領域850には、初期的な編集点におけるフレーム(選択中の撮影画像が埋め込まれたフレーム)が表示される。一方、動画再生ボタン852を押下した後に一時停止ボタンに差し替える仕様とした場合、一時停止ボタンが押下されたときの編集動画表示領域850には、押下された時点のフレーム(選択中の撮影画像が埋め込まれたフレーム)が表示される。停止ボタンと一時停止ボタンのいずれを表示する場合でも、その押下後におけるユーザによる撮影画像の再選択が可能である。ただし、特に一時停止ボタンの押下後など、初期的な編集点以外のフレームにおいて撮影画像の再選択をする場合、初期的な編集点とは異なる縦横比や形状、位置、サイズで撮影画像が埋め込まれて編集動画表示領域850に表示される場合がある。
埋込用サムネイル854の側方には、画像枠851に何も撮影画像を埋め込まないことを選択するための写真なしボタン856を表示させる。テンプレート動画の設定として、画像枠851に埋め込む画像をユーザが指定しなかった場合に代わりに埋め込む、あるいは画像枠851を差し替えるための初期画像が用意される。ユーザが写真なしボタン856を押下した場合、または、ユーザが画像の選択をしないまま制限時間が経過し、あるいは自発的に編集処理が終了された場合、画像枠851には初期画像が埋め込まれ、あるいは差し替えられる。
選択肢として表示される埋込用サムネイル854の画像は、サムネイル812と同様に、ユーザにより事前設定で選択された背景画像と撮影画像を合成した画像である。変形例として「背景なしボタン」といった、背景を消すためのボタン画像を表示し、ユーザがその「背景なしボタン」を押下した場合は、埋込用サムネイル854として表示されている複数の画像のすべてについて背景画像を消去する、すなわちその背景を初期設定の背景に差し替えて合成し直すか、あるいは、背景画像とクロマキー合成する前の撮影画像に差し替える。変形例として、表示中のすべての埋込用サムネイル854ではなく、ユーザが選択した撮影画像のみ背景画像を消去してもよい。また、背景画像を消去した後は、「背景なしボタン」を「背景ありボタン」に差し替え、そのボタン画像を押下すると背景画像を元に戻す処理、すなわち事前設定で選択された背景画像と撮影画像を合成した画像に差し替える処理を実行してもよい。このように、背景画像と合成した撮影画像を画像枠851へ埋め込んだときにテンプレート動画のデザインにその背景画像が合わないとユーザが感じたような場合にユーザの好みで背景を消去することができる。
図20は、編集画面においてテンプレート動画に埋め込む静止画像を選択した状態の例を示す。ユーザがいずれかの埋込用サムネイル854を選択すると、選択した画像をただちに画像枠851の枠内にプレビューとして埋め込む形で表示する。選択された埋込用サムネイル854の周囲には強調表示のための太枠の選択枠854’を表示することで、その画像が選択中であることを明示する。ユーザが他の埋込用サムネイル854を選択し直すと、画像枠851に埋め込まれる画像も選択し直した画像に即座に切り替えられ、選択枠854’が表示される位置も、ユーザにより選択したサムネイルへ切り替わる。編集動画表示領域850にて動画を繰り返しループ再生させる仕様としている場合、埋込用サムネイル854や写真なしボタン856の選択結果を、ループ再生する映像にリアルタイムに反映させてもよい。なお、反対側の編集スペースで落書きが実行された場合、その落書きの結果は編集スペース上部のサムネイル812には反映されるが、編集動画表示領域850下方の埋込用サムネイル854や画像枠851に埋め込まれた画像には反映されない。まだ編集中であって未確定である落書きの過程を動画に同時並行で埋め込むことは、編集処理や合成処理を徒に複雑化させるおそれがあるためである。ただし、変形例として、他方のユーザにより落書き中の内容を編集動画表示領域850下方の埋込用サムネイル854や画像枠851に埋め込まれた画像にも即座に反映させる仕様としてもよい。
ここで、ユーザにより写真なしボタン856が押下された場合、選択枠854’を消去するとともに、画像枠851には撮影画像を選択しない場合のための初期画像が埋め込まれる。なお、変形例として、ユーザが画像の選択をしないまま制限時間が経過し、あるいは自発的に編集処理が終了された場合、撮影画像をランダム選択、あるいは1つ目の撮影画像を自動選択して画像枠851に埋め込む仕様としてもよいし、撮影画像を埋め込まずに上述の初期画像を埋め込む仕様としてもよい。
左の編集スペースで動画を編集している間、左のユーザはその編集スペース上部に配置されたサムネイル812を選択しても、画面としては何ら変化せず、静止画像の落書きに切り替わることもない。そのため、動画編集中である編集スペースの上部に配置するサムネイル812は、それらの明度や彩度を下げて暗い画像として表示することで、それらのサムネイルが選択不可であることを示唆してもよい。
埋込用サムネイル854の下方には、それまでの編集処理の保持決定を指示する保存ボタン858と、それまでの編集処理の破棄を指示するキャンセルボタン859を表示させる。キャンセルボタン859には「編集をやめる」といった文字列が表示される。ユーザにより保存ボタン858が押下された場合、それまでの編集内容を保存する。このとき、図18のような静止画像としての撮影画像への落書き処理へ遷移できるよう、サムネイル812を選択できる状態に戻す。ただし、変形例としては図18の画面に戻らず図20の状態のまま留まる仕様としてもよいし、効率よく次の編集対象へ遷移させるために、第2編集ボタン847を押下するのと同等の処理として次の第2編集対象コマ844に対応する映像部分を編集する段階に切り替える仕様としてもよい。第1のユーザが動画の編集内容を保存して図18の画面に戻った後、第2のユーザが動画を編集する場合は、第1のユーザにより保存された編集内容に基づいてその編集の続きとして第2のユーザがさらに編集を重ねる形となる。
一方、キャンセルボタン859がユーザにより押下された場合、その時点までの編集内容を破棄し、初期状態または保存ボタン858を前回押下した時点の保存状態まで編集内容を戻す。変形例として、ユーザによりキャンセルボタン859が押下された場合、右側の編集スペースと同様の状態、すなわち静止画像の落書きを実施する状態に切り替える処理をさらに実行してもよい。
ユーザにより第2編集ボタン847が押下された場合、テンプレート動画に含まれる第2編集対象コマ844に対応する編集対象の映像部分が編集動画表示領域850に表示され、第1編集対象コマ843に対応する編集対象の映像部分と同様に、撮影画像の選択と埋め込みを処理する。ユーザにより第3編集ボタン848が押下された場合、テンプレート動画に含まれる第3編集対象コマ845に対応する編集対象の映像部分が編集動画表示領域850に表示される。ただし、ここで例示するテンプレート動画では、第3編集対象コマ845には撮影画像を埋め込む画像枠851は設けられておらず、ユーザによる落書きを受け付ける映像が用意されている。
図21は、編集画面においてテンプレート動画に落書きを実施する例を示す。ユーザにより第3編集ボタン848が押下されて第3編集ボタン848が反転表示された状態であり、第3編集ボタン848から、対応する第3編集対象コマ845まで矢印で結ばれている。編集動画表示領域850には、第3編集対象コマ845に対応する映像のフレームが表示される。ここで編集される映像は、編集済動画をプレゼントする相手に対するメッセージとしてのスタンプ画像や文字が挿入され、またはユーザがタッチペンで入力する手書き文字や絵が挿入されることを前提としてデザインされた映像である。例えば手紙をモチーフとするデザインの映像であり、ユーザはテンプレート動画の映像に直接、落書きを施すことができる。
ユーザが選択したテンプレート動画によってデザインが異なるため、入力できるスタンプ画像や文字列等もテンプレート動画のデザインに適合するように種類が限定される。ユーザが選択したテンプレート動画に対応する落書用ツールをパレット領域828に表示し、ユーザはその落書用ツールを使うことで、そのテンプレート動画のデザインに合った編集をすることができる。なお、ユーザは、表示された落書用ツールからスタンプ画像を選択し、編集動画表示領域850においてスタンプ画像を貼り付けたい位置をタッチペンでタッチするだけで、その位置にスタンプ画像を合成することができる。
ここで、ユーザが選択中のツールに応じて、落書きできる位置または範囲を一定範囲に制限する。例えばユーザがペンを選択している間は、ペンで入力できる範囲を画面内の一定範囲、例えば手紙のイラストにおける罫線部分861(手紙のメッセージ欄)内に制限することで、他の部分のデザインと調和させることができる。逆に、ユーザがスタンプ画像を選択するときは、スタンプ画像を合成できる範囲を画面内の一定範囲、例えば手紙のメッセージ欄以外のデザイン部分860内に制限することで、メッセージの文章と重なることを避けることができる。一方、手紙のメッセージ欄に文字等が何も入力されなかった場合、初期設定としてあらかじめ用意しておく基本的なメッセージや画像を自動的に挿入し、白紙の手紙のように見栄えの悪いデザインとならないようにする。例えば、手紙やメッセージ欄の冒頭部分が「HAPPY BIRTHDAY TO」のように、その後に人の名前が挿入されることを前提としたデザインの場合、ユーザが事前設定で入力した2人の名前のどちらかを選択して入力する仕様としてもよい。なお、第3編集ボタン848が押下された場合、それまでテンプレート領域842が表示されていた領域に、テンプレート領域842に代えてペンパレット領域830を表示させる状態に切り替える仕様としてもよい。
編集動画表示領域850の直下中央には動画再生ボタン852が表示され、ユーザにより動画再生ボタン852が押下されると、ユーザが入力した落書きが合成されたプレビュー動画が編集動画表示領域850に1回だけ再生表示されて、元に戻る。落書きが合成されたプレビュー動画は、図19,20で撮影画像が埋め込まれた場合のプレビュー動画と同様に24枚のフレームで構成される。24枚のフレームに含まれるデザインはフレームごとに少しずつ異なってよく、フレームごとのデザインに適合するようにスタンプ画像やペン入力などの落書きを合成する位置や落書きの大きさ、形状、色彩等を調整してもよい。例えば、落書きの内容がプレビュー動画の中で回転して見えるように落書きの位置や形状をフレームごとに変えてもよいし、落書きの内容が三次元形状として見えるように変形させてもよい。このように落書きが合成されたフレームを含む24枚のフレームを12fpsで再生することにより2秒間のプレビュー動画となる。複数のフレームに対してフレームごとに落書きを調整して合成することにより、動きのある落書きの動画を生成することができる。また、プレビュー動画は、テンプレート動画で作成される全体の動画の一部にすぎず、全体の動画より短い映像で24枚のフレームしか含まれないため、フレームごとに落書きを調整しながら合成しても処理の負荷は比較的小さい。プレビュー動画は、落書きの過程においてその時点での編集内容が反映される形でバックグラウンドで生成され、動画再生ボタン852が押下されなくとも第3編集対象コマ845にてループ再生される仕様としてもよい。
動画再生ボタン852を押下した後に停止ボタンに差し替える仕様とした場合、停止ボタンが押下されたときの編集動画表示領域850には、初期的な編集点におけるフレーム(落書きが反映されたフレーム)が表示され、ユーザによる落書きの再編集も可能である。一方、動画再生ボタン852を押下した後に一時停止ボタンに差し替える仕様とした場合、一時停止ボタンが押下されたときの編集動画表示領域850には、押下された時点のフレーム(落書きが反映されたフレーム)が表示され、その一時停止の時点での落書きの再編集を規制する。一時停止の時点では、初期的な編集点とは異なる位置、大きさ、形状、色彩等で落書きが変形表示されている場合があり、その状態では再編集が困難なためである。
以上のように、第1編集ボタン846、第2編集ボタン847、第3編集ボタン848のいずれかを選択し、各映像部分を編集できる。いずれかの映像部分の編集中は、「エンド」ボタン814を押下して編集を終了するまでは、いつでも第1編集ボタン846、第2編集ボタン847、第3編集ボタン848のいずれかを選択し直して他の映像部分の編集に切り替えることができる。すなわち、各映像部分の編集画面を相互に行き来でき、それぞれの編集結果を切り替えながら確認することもできる。その点、第1編集ボタン846、第2編集ボタン847、第3編集ボタン848を1段階ずつ順に編集し、順に確定していくステップアップ方式とは異なる。また、保存ボタン858を押下した後で図18のような静止画像への落書き処理へ遷移した場合でも、再び動画編集開始ボタン840を押下すれば動画編集の続きを再開することができる。
なお、テンプレート動画に埋め込まれる動画像に対しては、テンプレート動画のデザインによっては前景画像が動画像より前面側のレイヤーに重畳される場合がある。そうしたデザインと動画像がデザイン的にうまく融合するように、撮影時または手本動画において正面モニタ113にそのような前景をあらかじめ案内表示させることで、ユーザに立ち位置の調整を促してもよい。
「エンド」ボタン814が押下されて編集処理が終了した場合、テンプレート動画を示す情報と、編集処理においてユーザから指示された編集内容と、撮影された静止画像および動画像を管理サーバ300に送信する。管理サーバ300では、指定されたテンプレート動画に対し、ユーザから指示された編集内容およびテンプレート動画ごとに定められた編集規則に基づいて、撮影された静止画像および動画像を埋め込んで、ユーザにダウンロードさせるための動画を作成する。ただし、変形例として、管理サーバ300側ではなく、ユーザの携帯端末にインストールされた専用の情報提示アプリケーションが動画を作成する仕様としてもよい。その場合、専用の情報提示アプリケーションは、テンプレート動画の指定、ユーザから指示された編集内容、撮影された静止画像および動画像を管理サーバ300から取得し、それらに基づいて撮影された静止画像および動画像をテンプレート動画に埋め込んで動画を作成する。アプリケーション側で動画を作成する仕様の場合、サーバ側で動画を作成する場合と比べ、動画の作成処理の負荷を複数の端末に分散することができる。すなわち、管理サーバ300側で作成する場合は処理がサーバに一極集中してしまうため、万が一、サーバ処理に不具合が発生するとユーザ全員に影響しかねない。これに対し、アプリケーション側で作成する場合、万が一、アプリケーションでの処理に不具合が生じたとしてもそのユーザにしか影響せず、他のユーザには影響を及ぼさない点で有利である。また、新機種の遊戯用撮影装置がリリースされた場合は、アプリケーションをアップデートすれば足りる。
以上、本発明の実施の形態に係る写真撮影システム600について説明した。本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。