JP6988606B2 - Photobook production system and server equipment - Google Patents
Photobook production system and server equipment Download PDFInfo
- Publication number
- JP6988606B2 JP6988606B2 JP2018049664A JP2018049664A JP6988606B2 JP 6988606 B2 JP6988606 B2 JP 6988606B2 JP 2018049664 A JP2018049664 A JP 2018049664A JP 2018049664 A JP2018049664 A JP 2018049664A JP 6988606 B2 JP6988606 B2 JP 6988606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- photobook
- server device
- smart speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、フォトブック作製システム及びサーバ装置に関する。 The present invention relates to a photobook making system and a server device.
デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている(例えば特許文献1参照)。 Images taken with digital cameras, smartphones, etc. are uploaded and saved on the network. Further, there is known a service of printing an uploaded image to produce a printed matter such as a photo book or a poster (see, for example, Patent Document 1).
従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピューターやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。 Conventionally, when ordering a photobook using uploaded images, the personal computer or smartphone is operated to select and arrange images, input comments, and the like.
近年、対話型の音声操作に対応したAIアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。 In recent years, smart speakers that can use AI assistants that support interactive voice operations have become widespread. By talking to the smart speaker, the user can perform various actions such as searching using a search engine, reading news aloud, playing music and videos, and operating home appliances.
本発明は、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。 An object of the present invention is to provide a photobook production system and a server device capable of editing and ordering a photobook by talking to a smart speaker.
本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、を備え、前記サーバ装置は、前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記画像解析部によりフォトブックでの使用に適切であると判定された画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を有するものである。 The photobook production system according to the present invention comprises a server device that stores image data received from a user terminal, and a smart speaker that is communicably connected to the server device and outputs voice and collects user's speech. The server device analyzes the image data, determines whether or not it is suitable for use in a photobook, and understands the user's voice input via the smart speaker to the user. A dialogue processing unit that generates a response text and outputs the response text to the user via the smart speaker, and an image analysis unit that uses the response text in a photobook when the user's voice is a photobook production instruction. It has an image selection unit that selects a plurality of images from the images determined to be appropriate for the image selection unit, and an editing processing unit that generates photobook data using the images selected by the image selection unit. be.
本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信する。 In the photobook production system according to one aspect of the present invention, the server device transmits a preview screen of the photobook data to the user terminal.
本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記フォトブックデータ内の画像を、前記画像一覧画面を介して選択された画像に変更する。 In the photobook production system according to one aspect of the present invention, when the user's voice is an image change instruction in the photobook data, the server device displays an image list screen using the stored image on the user terminal. And changes the image in the photobook data to the image selected via the image list screen.
本発明の一態様によるフォトブック作製システムにおいて、前記画像一覧画面を介して選択された画像が、前記画像解析部によりフォトブックでの使用に不適切であると判定された画像である場合、前記対話処理部は、選択画像の出所を問う質問を生成し、前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取る。 In the photobook production system according to one aspect of the present invention, when the image selected via the image list screen is an image determined by the image analysis unit to be inappropriate for use in the photobook, the above-mentioned The dialogue processing unit generates a question asking the source of the selected image, the smart speaker conveys the question to the user, and receives the user's response to the question.
本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声に、前記フォトブックデータ内の画像変更指示、及び前記ユーザ端末内の画像の利用指示が含まれている場合、保存している画像を用いた画像一覧画面を作成して表示するように前記ユーザ端末へ指示を送信し、前記画像一覧画面を介して選択された画像の画像データを前記ユーザ端末から受信し、前記フォトブックデータ及び前記プレビュー画面を更新する。 In the photobook production system according to one aspect of the present invention, when the server device includes an image change instruction in the photobook data and an image use instruction in the user terminal in the user's voice. An instruction is sent to the user terminal to create and display an image list screen using the saved image, and image data of the image selected via the image list screen is received from the user terminal. The photobook data and the preview screen are updated.
本発明の一態様によるフォトブック作製システムにおいて、前記画像一覧画面を介して選択された画像が、前記画像解析部によりフォトブックでの使用に不適切であると判定された場合、前記対話処理部は、選択画像の出所を問う質問を生成し、前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取る。 In the photobook production system according to one aspect of the present invention, when the image selected via the image list screen is determined by the image analysis unit to be inappropriate for use in the photobook, the dialogue processing unit. Generates a question asking the source of the selected image, the smart speaker conveys the question to the user, and receives the user's response to the question.
本発明の一態様によるフォトブック作製システムにおいて、前記ユーザの音声にフォトブック作製指示と共に日付が含まれている場合、前記画像選択部は、撮影日が前記日付である画像を選択する。 In the photobook production system according to one aspect of the present invention, when the user's voice includes a date together with a photobook production instruction, the image selection unit selects an image whose shooting date is the date.
本発明によるサーバ装置は、音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像データを保存する記憶部と、前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記画像解析部によりフォトブックでの使用に適切であると判定された画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を備えるものである。 The server device according to the present invention is a server device communicably connected to a smart speaker that outputs voice and collects a user's speech, and has a storage unit that stores image data received from a user terminal and the image. The image analysis unit that analyzes the data and determines whether it is suitable for use in a photobook, understands the user's voice input via the smart speaker, generates a response sentence to the user, and generates the response text to the smart speaker. An image determined by the image analysis unit to be suitable for use in a photobook when the dialogue processing unit that outputs the response text to the user and the voice of the user are instructions for creating a photobook. It includes an image selection unit that selects a plurality of images from the image selection unit, and an editing processing unit that generates photobook data using the images selected by the image selection unit.
本発明によれば、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができる。 According to the present invention, a photo book can be edited or ordered by talking to a smart speaker.
以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置1及びスマートスピーカ2を備える。サーバ装置1は、インターネット等の通信ネットワークを介して、スマートスピーカ2及びユーザ端末3と通信可能となっている。
As shown in FIG. 1, the photobook production system according to the embodiment of the present invention includes a
ユーザ端末3は、スマートフォン、タブレット端末等である。サーバ装置1には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ2は、通信機能と対話型音声操作のアシスタント機能とを有するスピーカであり、ユーザの自宅等に設置されている。
The
スマートスピーカ2及びユーザ端末3には、サーバ装置1から、ユーザを識別する同一の識別情報(ユーザID)が付与されている。従って、サーバ装置1は、スマートスピーカ2及びユーザ端末3が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末3から行われてもよいし、同じユーザIDでログインした他の端末から行われてもよい。
The
サーバ装置1は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置1はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置1は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。
The
本実施形態において、ユーザは、スマートスピーカ2に話しかけることでフォトブックの編集を行い、ユーザ端末3に表示されるプレビュー画面を確認する。
In the present embodiment, the user edits the photo book by talking to the
例えば、図2に示すように、ユーザは「OK、スピーカ」のような所定のウェイクワード(コマンドワード)でスマートスピーカ2に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ2に話かける。例えば「12月の旅行の写真でフォトブック作って」と話しかける。
For example, as shown in FIG. 2, the user calls the
スマートスピーカ2は、ウェイクワード以降のユーザの発話の音声データをサーバ装置1へ送信する。サーバ装置1は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置1は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置1は、保存している画像のEXIFデータを参照し、撮影日や撮影場所の情報から、12月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。なお、選択される画像は、画像解析によりフォトブックに使用可能と判定された画像である。
The
サーバ装置1は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文(音声データ)を生成してスマートスピーカ2へ送信する。スマートスピーカ2は、フォトブックデータをユーザ端末3から確認するように音声を出力する。例えば、スマートスピーカ2は「スマートフォンの通知を確認してください」という音声を出力する。
When the
ユーザ端末3には、サーバ装置1からフォトブックデータが生成されたことを通知するメッセージが届いている。ユーザがメッセージにタッチすると、ユーザ端末3はサーバ装置1からフォトブックのプレビュー画面を取得する。例えば、図3に示すように、ユーザ端末3のタッチパネル3Aにフォトブックのプレビュー画面が表示される。
The
例えば、プレビュー画面の下部には、複数ページの画像がサムネイル表示され、画面上部には、選択したページの画像が大きく表示される。ページ切替ボタンB1、B2を押して、サムネイル表示するページを切り替えることができる。 For example, images of a plurality of pages are displayed as thumbnails at the bottom of the preview screen, and images of the selected page are displayed large at the top of the screen. You can switch the page to be displayed as a thumbnail by pressing the page switching buttons B1 and B2.
発話により選択ページを切り替えることもできる。例えば、ユーザが「5ページ見せて」とスマートスピーカ2に話かける。サーバ装置1は、スマートスピーカ2を介してユーザの発話文を取得して解釈し、プレビュー画面の選択ページを5ページに切り替える。
You can also switch the selection page by utterance. For example, the user talks to the
発話によりページ順の入れ替えを行うことができる。例えば、図4に示すように、ユーザが「2ページと3ページを入れ替えて」とスマートスピーカ2に話しかける。サーバ装置1は、スマートスピーカ2を介してユーザの発話文を取得して解釈し、2ページの画像と3ページの画像とを入れ替え、プレビュー画面を更新する。ページ入れ替えの音声指示には、少なくとも「入れ替え」というワードと、入れ替え対象の2つのページが含まれている必要がある。
The page order can be changed by utterance. For example, as shown in FIG. 4, the user talks to the
サーバ装置1は、ページ入れ替え後、応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は「ページを入れ替えました」のように、ページを入れ替えたことを知らせる音声を出力する。
After switching pages, the
ユーザが単に「ページを入れ替えて」とスマートスピーカ2に話しかけた場合、サーバ装置1は、所定の行動選択規則に基づいて、入れ替えるページを質問する応答文を生成してスマートスピーカ2へ送信する。あるいはまた、「“3ページと4ページを入れ替える”のように指示してください」と、所定の言葉の順番で指示を出すように知らせる音声をスマートスピーカ2から出力してもよい。
When the user simply talks to the
プレビュー画面のページ入れ替えボタンB3を押し、入れ替えるページをドラッグアンドドロップすることでも、ページ順の入れ替えを行うことができる。 You can also change the page order by pressing the page change button B3 on the preview screen and dragging and dropping the page to be replaced.
フォトブックに使用する画像を変更する場合は、発話により画像の変更を指示する。例えば、図5に示すように、ユーザが「6ページの写真を変更」とスマートスピーカ2に話しかける。サーバ装置1は、スマートスピーカ2を介してユーザの発話文を取得して解釈し、画像の一覧画面をユーザ端末3へ送信する。サーバ装置1は、画像一覧画面の送信後、応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は「端末の画面から写真を選んでください」等の音声を出力する。
When changing the image used for the photo book, the change of the image is instructed by utterance. For example, as shown in FIG. 5, the user talks to the
ユーザが単に「写真を変更」とスマートスピーカ2に話しかけた場合、サーバ装置1は、所定の行動選択規則に基づいて、どのページの画像を変更するか質問する応答文を生成してスマートスピーカ2へ送信する。
When the user simply talks to the
ユーザが、ユーザ端末3を操作して画像一覧画面から画像を選択すると、サーバ装置1は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。
When the user operates the
画像の一覧画面には、ユーザがアップロードした全ての画像(「12月の旅行」のようにフォトブックの目的が設定されている場合は、その目的に合う全画像)が含まれる。すなわち、サーバ装置1の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置1は、画像の出所を質問する応答文を生成してスマートスピーカ2へ送信する。例えば、スマートスピーカ2は「6ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。
The image list screen includes all images uploaded by the user (if a photobook purpose is set, such as "Travel in December", all images that meet that purpose). That is, an inappropriate image determined by the image analysis of the
ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置1は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ2へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置1はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ2から音声を出力し、ユーザ端末3の表示を画像一覧画面に戻す。
When the user gives a positive reply such as "Yes, that's right", the
プレビュー画面の画像変更ボタンB4(図3参照)を押して画像一覧画面を表示させ、画像一覧画面から画像を選択することでも、画像の変更を行うことができる。 You can also change the image by pressing the image change button B4 (see FIG. 3) on the preview screen to display the image list screen and selecting an image from the image list screen.
サーバ装置1は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント(又はタイトル)を生成して付与できる。サーバ装置1は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置1は、特徴的な物体が検出された画像に対してコメントを生成して付与する。
When the
図6に示すように、コメントを付与したページを表示する場合、サーバ装置1は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は、コメントを音声で読み上げる。ユーザは、スマートスピーカ2から出力される音声を聞いて、コメントを確認する。
As shown in FIG. 6, when displaying a page to which a comment has been added, the
コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、図6に示すように、ユーザが「コメント変更」とスマートスピーカ2に話しかけ、続いて変更後のコメントを発話する。サーバ装置1は、スマートスピーカ2を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。
When changing a comment, instruct the change of the comment by utterance. For example, as shown in FIG. 6, the user speaks to the
サーバ装置1は、コメント変更後、応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は「コメントを変更しました」のように、コメントを変更したことを知らせる音声を出力する。
After changing the comment, the
プレビュー画面のコメント変更ボタンB6を押し、ユーザ端末3のタッチキーを操作してコメントを入力することでも、コメントの変更を行うことができる。
The comment can also be changed by pressing the comment change button B6 on the preview screen and operating the touch key of the
ユーザがフォトブックのプレビュー画面を一通り確認して「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンB5(図3参照)を押すと、サーバ装置1は最終確認画面を生成してユーザ端末3へ送信し、応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は「端末画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。
When the user confirms the preview screen of the photo book and issues a predetermined word such as "order" or presses the confirmation button B5 (see FIG. 3) on the preview screen, the
ユーザ端末3には、図7に示すような最終確認画面FCが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“AI自動選択”、“AI自動作成”は、サーバ装置1に相当する。
The final confirmation screen FC as shown in FIG. 7 is displayed on the
上述したように、サーバ装置1は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図7に示すように、編集一覧では、サーバ装置1が画像を選択し、かつコメントもサーバ装置1が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。
As described above, the
ユーザが画像を選択(変更、入れ替え)したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。 The page on which the user selects (changes, replaces) an image or creates a comment is a page that the user has already read and does not need to be highlighted.
ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンB7を押すと、サーバ装置1は決済画面を生成してユーザ端末3へ送信し、応答文を生成してスマートスピーカ2へ送信する。スマートスピーカ2は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ2を用いた音声入力より、ユーザ端末3の操作による手入力の方が好ましい。
When the user confirms the highlighted page and then issues a predetermined word such as "I will place an order" or presses the confirmation button B7 on the final confirmation screen, the
サーバ装置1は、ユーザ(ユーザ端末3)から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場5へ送信する。
When the payment information is input from the user (user terminal 3) and the photobook order is received, the
工場5に設置されたプリンタ(図示略)は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック6を作製する。工場5で作製されたフォトブック6は、ユーザへ配送される。
The printer (not shown) installed in the
工場5へ送信されるフォトブックデータを考査端末4へ送信し、考査端末4で人手による考査を行ってもよい。これにより、サーバ装置1の画像解析で見落とした不適切画像を検出できる。
The photobook data transmitted to the
このように、本実施形態によれば、スマートスピーカ2を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像のページ順の入れ替えや、自動作成されたコメントの変更も、スマートスピーカ2を介して音声指示により行うことができる。画像の変更に関しては、画像一覧画面から選択する必要があるため、ユーザ端末3を使用する。
As described above, according to the present embodiment, it is possible to instruct the production of the photo book by voice via the
サーバ装置1は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適席画像を予め特定している。サーバ装置1は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。
The
また、画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ2を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。
Further, in the image change process, when an inappropriate image is selected from the image list screen by the user, the user is asked about the source of the image via the
サーバ装置1は、ユーザからのフォトブック作製を指示する音声に日付が含まれている場合は、画像データに含まれる撮影日情報を確認し、指定された日付に撮影された画像を選択してフォトブックを作製する。そのため、ユーザが意図しない画像がフォトブックに含まれることを防止できる。
If the voice instructing the user to create a photobook contains a date, the
図8は、フォトブック作製システムのブロック構成図である。図8に示すように、スマートスピーカ2は、制御部20、集音部(マイク)21、音声出力部(スピーカ)22及び通信部23を有する。
FIG. 8 is a block configuration diagram of a photobook production system. As shown in FIG. 8, the
制御部20は、音声認識の機能を有し、集音部21を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部23を用いてサーバ装置1へ送信する。
The control unit 20 has a voice recognition function, and when a predetermined wake word is input via the
音声出力部22は、通信部23を介してサーバ装置1から受信した応答文の音声データを出力する。
The
サーバ装置1は、対話処理部10及びフォトブック編集部100を備える。
The
対話処理部10は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部11、対話管理部12及び出力生成部13を有する。入力理解部11は、スマートスピーカ2から受け取ったユーザの発話文からユーザの意図(タスク)を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。
The
対話管理部12は、入力理解部11から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略(行動選択規則)に基づいて次の行動を選択する行動選択の機能を有する。 The dialogue management unit 12 writes and updates the result information received from the input understanding unit 11 in the internal state corresponding to the database, and selects the next action based on the internal state and the dialogue strategy (action selection rule). Has the function of action selection.
出力生成部13は、対話管理部12の行動選択が出した指示に合う応答文を生成し、スマートスピーカ2へ送信する。
The output generation unit 13 generates a response sentence corresponding to the instruction issued by the action selection of the dialogue management unit 12, and transmits it to the
対話処理部10は、フォトブック編集部100と連携し、フォトブック編集部100の処理結果を応答文に反映させることができる。
The
フォトブック編集部100は、画像DB、解析結果DB、フォトブックデータDB、及び注文内容DBを有する記憶部110を備える。
The
CPU(中央処理装置)が記憶部110に記憶されているプログラムを実行することで、画像受信部101、画像解析部102、画像選択部103、編集処理部104、コメント生成部105及び注文処理部106の機能が実現される。
By executing the program stored in the
画像受信部101は、ユーザ端末3からアップロードされた画像データを受信し、画像DBに格納する。
The image receiving unit 101 receives the image data uploaded from the
画像解析部102は、ユーザ端末3からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部102は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像DB内の画像データに紐付ける。画像解析部102は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果DBに格納する。
The
画像選択部103は、対話処理部10がユーザの発話からフォトブックの作製というタスクを抽出すると、画像DB内の画像(不適切画像を除く)からフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。
When the
編集処理部104は、画像選択部103により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をユーザ端末3へ送信する。生成したフォトブックデータは、フォトブックデータDBに格納される。
The
編集処理部104は、対話処理部10がユーザの発話からページの入れ替えというタスクを抽出すると、ページを入れ替えて、フォトブックデータ及びプレビュー画面を更新する。
When the
編集処理部104は、対話処理部10がユーザの発話から画像の変更というタスクを抽出すると、画像DB内の画像を用いて画像一覧画面を作成し、ユーザ端末3へ送信する。画像一覧画面を介して画像が選択されると、編集処理部104は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。
When the
画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部10に通知する。対話処理部10は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ2から出力させる。
When an inappropriate image is selected from the image list screen, the
編集処理部104は、対話処理部10がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。
When the
また、編集処理部104は、図7に示すような最終確認画面FCを作成する。
Further, the
コメント生成部105は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部105はこれらのタグを用いて、コメントを生成する。
The
ユーザからのフォトブック作製開始の音声コマンドに「〇△□のフォトブック」のようにフォトブックのテーマ(シーン)に相当する文言「〇△□」が含まれている場合、目的に応じて、コメント生成に参照するタグの優先順位を設定する。 If the voice command from the user to start creating a photobook contains the word "○ △ □" that corresponds to the theme (scene) of the photobook, such as "○ △ □ photobook", depending on the purpose, Set the priority of the tag to be referred to for comment generation.
例えば、フォトブックのテーマが旅行である場合、以下の優先順位でタグを用いてコメントを生成する。
1:地名(位置情報)
2:ランドマーク(有名な建造物など)
3:乗り物
4:食べ物
For example, if the theme of the photobook is travel, the tags are used to generate comments in the following order of priority.
1: Place name (location information)
2: Landmarks (famous buildings, etc.)
3: Vehicle 4: Food
また、例えばフォトブックのテーマがスポーツである場合、以下の優先順位でタグを用いてコメントを生成する。
1:撮影部
2:表情(うれしい、苦しい、楽しい、悲しいなど)
3:道具(サッカーボール、バット、ラケットなど)
Also, for example, when the theme of the photo book is sports, comments are generated using tags in the following order of priority.
1: Shooting part 2: Facial expressions (happy, painful, fun, sad, etc.)
3: Tools (soccer balls, bats, rackets, etc.)
優先順位はユーザからの指示で変更可能となっていてもよい。 The priority may be changeable by an instruction from the user.
注文処理部106は、ユーザ端末3から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部106が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部106はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容DBに格納する。
The
プリント注文されたフォトブックデータと、注文内容とが工場5へ送信され、フォトブック6が製造される。
The photobook data ordered for print and the order details are transmitted to the
このように、本実施形態によれば、スマートスピーカ2に話しかけることで、フォトブックの編集や注文を行うことができる。
As described above, according to the present embodiment, the photo book can be edited or ordered by talking to the
ユーザ端末3はスマートフォンやタブレット端末に限定されず、図9に示すような大画面のテレビ(ディスプレイ)3A及びコントローラ3Bであってもよい。これにより、複数人で大型ディスプレイに表示されたプレビュー画面を確認しながら、スマートスピーカ2に話しかけてフォトブックの編集を行うことができる。
The
図5に示すような画像変更処理では、サーバ装置1に保存されている画像だけでなく、ユーザ端末3に保存されている画像を利用・選択できるようにしてもよい。例えば、サーバ装置1に保存されている画像の一覧画面がユーザ端末3に表示されている状態で、ユーザが「スマホの写真から選ぶ」とスマートスピーカ2に話しかける。サーバ装置1は、スマートスピーカ2を介してユーザの発話文を取得して解釈し、ユーザ端末3内の画像の一覧画面を作成して表示するように、ユーザ端末3に指示する。
In the image change process as shown in FIG. 5, not only the image stored in the
ユーザが、ユーザ端末3を操作して、端末内画像の一覧画面から画像を選択すると、ユーザ端末3は選択された画像の画像データをサーバ装置1へ送信(アップロード)する。サーバ装置1は、受信した画像の解析を行い、フォトブックに使用可能な画像か、又はフォトブックに使用すべきでない不適切画像であるかを判定する。フォトブックに使用可能な画像と判定した場合、サーバ装置1は、フォトブックデータ及びプレビュー画面を更新する。
When the user operates the
不適切画像と判定した場合、サーバ装置1は、画像の出所を質問する応答文を生成してスマートスピーカ2へ送信する。ユーザからの返答の結果、問題無いことが確認されると、サーバ装置1は、この画像を利用してフォトブックデータ及びプレビュー画面を更新する。
If it is determined that the image is inappropriate, the
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof. In addition, various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components across different embodiments may be combined as appropriate.
1 サーバ装置
2 スマートスピーカ
3 ユーザ端末
4 考査端末
5 工場
6 フォトブック
1
Claims (8)
前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、
を備え、
前記サーバ装置は、
前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部と、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記画像解析部によりフォトブックでの使用に適切であると判定された画像の中から複数の画像を選択する画像選択部と、
前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
を有することを特徴とするフォトブック作製システム。 A server device that stores image data received from the user terminal, and
A smart speaker that is communicably connected to the server device and outputs voice and collects user's utterances.
Equipped with
The server device is
An image analysis unit that analyzes the image data and determines whether it is suitable for use in a photo book.
A dialogue processing unit that understands the user's voice input via the smart speaker, generates a response sentence to the user, and outputs the response sentence to the user via the smart speaker.
An image selection unit that selects a plurality of images from images determined by the image analysis unit to be suitable for use in a photobook when the user's voice is a photobook production instruction.
An editing processing unit that generates photobook data using the image selected by the image selection unit, and
A photobook making system characterized by having.
前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取ることを特徴とする請求項3に記載のフォトブック作製システム。 When the image selected via the image list screen is an image determined by the image analysis unit to be inappropriate for use in a photo book, the dialogue processing unit asks the source of the selected image. To generate,
The photobook production system according to claim 3, wherein the smart speaker conveys the question to the user and receives the user's response to the question.
前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取ることを特徴とする請求項5に記載のフォトブック作製システム。 When the image selected via the image list screen is determined by the image analysis unit to be unsuitable for use in a photo book, the dialogue processing unit generates a question asking the source of the selected image. ,
The photobook production system according to claim 5, wherein the smart speaker conveys the question to the user and receives the user's response to the question.
ユーザ端末から受信した画像データを保存する記憶部と、
前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部と、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記画像解析部によりフォトブックでの使用に適切であると判定された画像の中から複数の画像を選択する画像選択部と、
前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
を備えるサーバ装置。 A server device that is communicably connected to a smart speaker that outputs voice and collects user's utterances.
A storage unit that stores image data received from the user terminal,
An image analysis unit that analyzes the image data and determines whether it is suitable for use in a photo book.
A dialogue processing unit that understands the user's voice input via the smart speaker, generates a response sentence to the user, and outputs the response sentence to the user via the smart speaker.
An image selection unit that selects a plurality of images from images determined by the image analysis unit to be suitable for use in a photobook when the user's voice is a photobook production instruction.
An editing processing unit that generates photobook data using the image selected by the image selection unit, and
A server device equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018049664A JP6988606B2 (en) | 2018-03-16 | 2018-03-16 | Photobook production system and server equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018049664A JP6988606B2 (en) | 2018-03-16 | 2018-03-16 | Photobook production system and server equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019160185A JP2019160185A (en) | 2019-09-19 |
JP6988606B2 true JP6988606B2 (en) | 2022-01-05 |
Family
ID=67997142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018049664A Active JP6988606B2 (en) | 2018-03-16 | 2018-03-16 | Photobook production system and server equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6988606B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099529A (en) * | 2000-07-18 | 2002-04-05 | Sanno Consulting Corp | Publication editing system and its method |
JP2007317124A (en) * | 2006-05-29 | 2007-12-06 | Fujifilm Corp | Print order receiving/managing server system and image network system |
JP6071189B2 (en) * | 2011-12-06 | 2017-02-01 | キヤノン株式会社 | Information processing apparatus, control method for information processing apparatus, and program |
US10331312B2 (en) * | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
JP6660835B2 (en) * | 2016-07-08 | 2020-03-11 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
CN109564749B (en) * | 2016-07-19 | 2021-12-31 | 富士胶片株式会社 | Image display system, head-mounted display control device, method of operating head-mounted display control device, and non-transitory computer-readable medium |
US10185840B2 (en) * | 2016-08-30 | 2019-01-22 | Google Llc | Conditional disclosure of individual-controlled content in group contexts |
-
2018
- 2018-03-16 JP JP2018049664A patent/JP6988606B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019160185A (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101198744B1 (en) | Apparatus, method and computer program product for using images in contact lists maintained in electronic devices | |
JP2008070954A (en) | Sticker printer with blog use support function | |
JP6988608B2 (en) | Photobook production system and server equipment | |
JP6889360B2 (en) | Management device, image creation printing device, control method of management device, control method of image creation printing device, control program, and recording medium | |
JP5742354B2 (en) | Content reproduction apparatus, content reproduction method, and computer program | |
JP7147295B2 (en) | Photobook production system and server device | |
JP5954049B2 (en) | Data processing apparatus and program | |
JP6447689B1 (en) | Information processing apparatus and program | |
CN110781417A (en) | Method and system for spreading speakable works based on two-dimension code | |
JP5896385B1 (en) | Photo shooting game device, photo sticker creation device, content providing system, photo shooting game device control method, and photo shooting game device control program | |
JP6988607B2 (en) | Photobook production system and server equipment | |
JP7091890B2 (en) | Photobook production system and server equipment | |
JP6988606B2 (en) | Photobook production system and server equipment | |
JP2016116245A (en) | Photo taking play device, photo seal creation device, content provision system, control method for photo taking play device, and control program for photo taking play device | |
WO2012085993A1 (en) | Image folder transmission/reproduction system and image folder transmission/reproduction program | |
JP2018023683A (en) | Game photographing device and game photographing method | |
JP6269759B1 (en) | Service providing system, service providing method, image generation apparatus, and service providing apparatus | |
JP6889366B2 (en) | Management device, control method of management device | |
JP2020047227A (en) | Photo book creation system and server device | |
JP2020064362A (en) | Photobook production system and sever device | |
JP2015115768A (en) | Image providing system | |
JP7126282B1 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD AND PROGRAM | |
JP2019050552A (en) | Information processing apparatus and program | |
JP2012227745A (en) | Conference support device, conference support device control method, and conference support device control program | |
JP4562547B2 (en) | Image forming apparatus, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6988606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |