JP2015115892A - Comment generating apparatus and control method of the same - Google Patents
Comment generating apparatus and control method of the same Download PDFInfo
- Publication number
- JP2015115892A JP2015115892A JP2013258602A JP2013258602A JP2015115892A JP 2015115892 A JP2015115892 A JP 2015115892A JP 2013258602 A JP2013258602 A JP 2013258602A JP 2013258602 A JP2013258602 A JP 2013258602A JP 2015115892 A JP2015115892 A JP 2015115892A
- Authority
- JP
- Japan
- Prior art keywords
- comment
- video
- candidate
- user
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明はテキスト情報等を表示するコメント作成装置およびその制御方法に関する。 The present invention relates to a comment creating apparatus for displaying text information and the like and a control method therefor.
インターネットの普及に伴い、テレビにおけるいわゆる放送通信融合に向けた様々な取組みが模索されている。近年では、映像コンテンツの内容に対して発言したコメント（例えば、評価または感想など）を他の視聴者と共有および交換しながら該コンテンツを視聴することが可能な様々なコミュニケーションサービスサイトが提供されている。例えば、複数のユーザが意見を交換するチャット、個々のユーザが感想などを記録するブログ、または、個々のユーザが「つぶやき」を投稿するTwitter（登録商標）等のソーシャルネットワーキングサービス（ＳＮＳ）等がその一例として挙げられる。 With the spread of the Internet, various approaches for so-called broadcasting and communication fusion in television are being sought. In recent years, various communication service sites have been provided that allow users to view the content while sharing and exchanging comments (for example, evaluations or impressions) with respect to the content of the video content with other viewers. Yes. For example, a chat where a plurality of users exchange opinions, a blog where individual users record their impressions, or a social networking service (SNS) such as Twitter (registered trademark) where individual users post “tweets”. An example is given.
ブログ記事に関しては、例えば、特許文献１において、エンティティのマルチユーザ環境とのインタラクションを記録に残すウェブページエントリのコンテンツ生成を少なくとも部分的に自動化するシステムが開示されている。この特許文献１に記載されたシステムは、ＭＭＯＲＰＧ（大規模多人数参加型オンラインロールプレイングゲーム）等のビデオゲーム内で発生したイベントに関する自動スクリーンショットおよび自動的に生成された記述的コピーを含むブログ記事を自動的に投稿することができる。
With regard to blog articles, for example,
一方、動画コンテンツを視聴するユーザが該動画コンテンツに対して発言したコメントをその動画コンテンツと併せて表示するシステムがある。この場合、同じ動画コンテンツを視聴する複数のユーザ間で、互いの意見および感想などをリアルタイムにやり取りしながら、該動画コンテンツを視聴することが可能である。 On the other hand, there is a system that displays a comment made by a user who views video content to the video content together with the video content. In this case, it is possible to view the moving image content while exchanging opinions and impressions in real time among a plurality of users who view the same moving image content.
しかし、動画コンテンツに対するコメントを発言する（入力する）ためには、ユーザは、動画コンテンツを視聴した後で、リモコン、または、情報端末およびパーソナルコンピュータのキーボードなどを用いて、発言したいコメントを文字列として入力し、送信する必要がある。リモコンまたはキーボードの操作を素早く行うことができなければ、コメントが入力され、表示されるタイミングが遅れてしまい、意見交換などのコミュニケーションを円滑に行うことができない。そもそも、このようなコメントの入力方法では、動画コンテンツの視聴の妨げとなる。すなわち、動画コンテンツを視聴しながら該動画コンテンツに対するコメントを入力する場合、動画コンテンツから手元のキーボードへと目線を移動させる必要がある。このような文字列の入力作業を支援する技術に関して、例えば、次の特許文献２に開示されている。 However, in order to speak (input) a comment on the moving image content, after the user views the moving image content, the user uses a remote control or a keyboard of an information terminal and a personal computer to enter a comment to be rewritten into a character string. Need to enter and send as. If the remote control or the keyboard cannot be operated quickly, comments are input and the display timing is delayed, and communication such as exchange of opinions cannot be performed smoothly. In the first place, such a comment input method hinders viewing of moving image content. That is, when inputting a comment on the moving image content while viewing the moving image content, it is necessary to move the line of sight from the moving image content to the keyboard at hand. For example, the following patent document 2 discloses a technique for supporting such a character string input operation.
特許文献２には、ディスプレイに映像を表示する映像出力部と、映像の表示中にディスプレイの前方に存在するユーザの顔面を捉えた顔動画を取得するカメラと、取得された顔動画を解析して、ユーザの口の動きに対応する文字情報を生成する解析部と、生成された文字情報を映像情報に対して関連付けるつぶやき処理部とを備える、文字入力装置が開示されている。特許文献２に記載された文字入力装置は、ディスプレイの映像を視聴しているユーザの口の動きに対応する文字情報を生成するため、ユーザによる文字列の入力を必要としない。よって、映像情報に関連付けられた文字情報を映像に対するユーザの感想として簡易に利用することができる。 In Patent Document 2, a video output unit that displays video on a display, a camera that acquires a face video capturing a user's face existing in front of the display while the video is displayed, and an analysis of the acquired face video. Thus, a character input device is disclosed that includes an analysis unit that generates character information corresponding to the movement of the user's mouth, and a tweet processing unit that associates the generated character information with video information. Since the character input device described in Patent Literature 2 generates character information corresponding to the movement of the mouth of the user who is viewing the video on the display, the user does not need to input a character string. Therefore, the character information associated with the video information can be easily used as the user's impression of the video.
一方、特許文献３には、放送番組に寄せられた視聴者からのコメントを収集解析した結果から、視聴者が生成した生のコメントに基づいて視聴者が選択可能なコメントの選択肢を生成し、提示する選択肢生成提示装置が開示されている。特許文献３に記載されている選択肢生成提示装置は、番組制作者や、インターネットのプロバイダなど、サービスの提供者の関与なく、視聴者が生成した生の番組コメントの選択肢を生成することができる。そして、視聴者は、提示された選択肢の中から、自分の意見および感想に近い、または一致するものを選択するだけでよい。 On the other hand, Patent Document 3 generates comment options that can be selected by the viewer based on the raw comments generated by the viewer from the results of collecting and analyzing comments from the viewer sent to the broadcast program, An option generation / presentation device to be presented is disclosed. The option generation / presentation device described in Patent Literature 3 can generate an option for a live program comment generated by a viewer without the involvement of a service provider such as a program producer or an Internet provider. Then, the viewer only has to select one that is close to or matches his / her opinion and impression from the presented options.
しかしながら、特許文献１および２のような従来技術は、コンテンツを視聴しているユーザが、該コンテンツに応じたコメントを入力する場合、ユーザアクションを必要とするという問題がある。ここで、ユーザアクションとは、具体的には、特許文献１では、ゲーム内でイベントが発生することであり、特許文献２では、カメラによって動画撮影された状態においてコンテンツを見ながら口を動かすことである。
However, the conventional techniques such as
このような方法で入力を行う場合、ユーザアクションが無ければコメントなどの文字情報を生成してコメントを入力することができないという問題がある。 When inputting by such a method, there is a problem that character information such as a comment cannot be generated and a comment cannot be input if there is no user action.
また、従来のコメント入力方法では、コメントを入力するために手元の端末またはキーボードを操作する必要があるため、放送番組の視聴を一時中断しなければならない。また、入力操作がすばやく行われなければ、タイムリーなコメント入力ができない。すなわち、入力するための操作に習熟していなければ、入力を完了するタイミングが映像よりも遅れる可能性がある。 Moreover, in the conventional comment input method, since it is necessary to operate the terminal or keyboard at hand in order to input a comment, viewing of a broadcast program must be suspended temporarily. Also, if the input operation is not performed quickly, timely comment input cannot be performed. That is, if the user is not familiar with the operation for input, the input completion timing may be delayed from the video.
また、特許文献３のような従来技術では、視聴者コメントを収集、解析して、コメント選択肢を生成するため、制作側の意図に依らない選択肢を選出できる利点はあるものの、他ユーザによる複数の関連コメントの存在が必須であるため、実用上は、リアルタイムに適切な選択肢を生成することは難しい。また、方法的に、多数のユーザに対して同じ選択肢を提示することになってしまうため、ユーザ毎にカスタマイズされたコメント候補や、特定ユーザ間での会話文に活用できるような選択肢を生成することはできない。 Further, in the conventional technique such as Patent Document 3, since viewer comments are collected and analyzed and comment options are generated, there is an advantage that options that do not depend on the intention of the production side can be selected. Since the existence of related comments is essential, it is difficult in practice to generate appropriate options in real time. In addition, since the same options are presented to a large number of users in a method, comment options customized for each user and options that can be used for conversation sentences between specific users are generated. It is not possible.
本発明は上記課題を解決するためになされたものであり、その目的は、映像コンテンツの視聴を中断することなく、その映像コンテンツの内容に即したコメントの発信を遅滞なく行うことができるコメント作成装置およびその制御方法などを提供することにある。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and its purpose is to create a comment that can send a comment according to the content of the video content without delay without interrupting the viewing of the video content. It is to provide an apparatus and a control method thereof.
上記の課題を解決するために、本発明の一態様に係るコメント作成装置は、或る映像に関するコメントを作成して送信するコメント作成装置であって、当該映像を含む映像コンテンツを順次受信するコンテンツ受信手段と、該コンテンツ受信手段が受信した映像コンテンツから、上記映像に関するコメント候補を次々に作成して出力するコメント候補作成手段と、該コメント候補作成手段が出力した上記コメント候補のうち、ユーザによって選択されたコメント候補を、上記映像に関する当該ユーザのコメントとして、外部ネットワークに送信するコメント送信手段とを備えることを特徴とする。 In order to solve the above-described problem, a comment creating apparatus according to an aspect of the present invention is a comment creating apparatus that creates and transmits a comment related to a certain video, and sequentially receives video content including the video. Of the comment candidates generated by the receiving means, the comment candidates generating means for generating and outputting comment candidates relating to the video one after another from the video content received by the content receiving means, and the comment candidates output by the comment candidate generating means, Comment sending means for sending the selected comment candidate to the external network as the user's comment on the video is provided.
本発明の一態様によれば、映像コンテンツの視聴を中断することなく、その映像コンテンツの内容に即したコメントの発信を遅滞なく行うことができるコメント作成装置およびコメント作成装置の制御方法などを実現するという効果を奏する。 According to one aspect of the present invention, it is possible to realize a comment creation device, a comment creation device control method, and the like that can send a comment according to the content of the video content without delay without interrupting the viewing of the video content. The effect of doing.
〔実施形態１〕
（システム構成の一例）
以下、本発明の実施の形態について、詳細に説明する。なお、以下では、本発明に係るコンテンツ作成装置を備える情報表示装置１を例に挙げて説明する。
(Example of system configuration)
Hereinafter, embodiments of the present invention will be described in detail. In the following description, the
なお、上記映像コンテンツは、複数の視聴者によって視聴され得る映像コンテンツであれば、如何なるコンテンツであってもよい。すなわち、放送局から配信される放送番組でもよいし、各種ネットワーク上のウェブサイトから提供される動画ファイルなど、通信ネットワーク（外部ネットワーク）７を介して受信可能な映像コンテンツであってもよい。 The video content may be any content as long as it can be viewed by a plurality of viewers. That is, it may be a broadcast program distributed from a broadcast station, or may be video content that can be received via the communication network (external network) 7, such as a video file provided from a website on various networks.
まず、情報表示装置１を含んで構成されるコミュニケーションシステム１００について、図２を用いて説明する。図２は、上記情報表示装置１を含むコミュニケーションシステム１００の概要を示す図である。
First, a
コミュニケーションシステム１００は、複数の情報表示装置１、コンテンツサーバ３、コメントサーバ５、通信ネットワーク７、および、放送局９を含んでいる。なお、図２では、情報表示装置１を使用するユーザの数、および情報表示装置１の数が複数である場合の例として、情報表示装置１ａ〜１ｃの３つを情報表示装置１として示しているが、これは単なる例であり、この数には限定されない。
The
情報表示装置１は、放送局９から配信される放送番組を順次受信して、再生する。また、情報表示装置１は、インターネットなどの通信ネットワーク７を介してコンテンツサーバ３へアクセスし、コンテンツサーバ３に格納されている所望の映像コンテンツの送信を要求することができる。コンテンツサーバ３からの映像コンテンツを順次受信した情報表示装置１は、該映像コンテンツを再生することも可能である。すなわち、情報表示装置１は、放送局９から配信される映像コンテンツと、通信ネットワーク７を介して配信される動画ファイル、ストリーミング動画などの映像コンテンツとの両方を受信して再生することが可能である。情報表示装置１が再生可能な映像コンテンツには、コンテンツデータとして、映像データ、字幕データ、音声データ（オーディオデータ）、映像や音声に関連付けて記述されたメタデータ、映像データ内のフレーム画像などの画像データに含まれるキャプション、テロップなどのテキストデータも含まれる。
The
また、情報表示装置１は、放送番組、動画ファイル、ストリーミング動画などの映像コンテンツを再生し、当該映像コンテンツに対する感想、意見、またはつぶやきなどを含む応答コメント候補を生成し、映像コンテンツおよび応答コメント候補を表示部（表示手段、表示装置）１７に表示する。
In addition, the
さらに、情報表示装置１は、ユーザによって選択された応答コメントを送信する機能を有し、ユーザは、表示された応答コメント候補の中から、気に入った応答コメント（投稿コメント）を選択して送信（発信）することができる。ユーザによって選択された応答コメントは、当該映像コンテンツを視聴する所定の視聴者（ユーザの家族、友人、または知人など）に対して専用のサービスを提供する所定のコメントサーバ５に送信されてもよいし、Twitter（登録商標）等の外部のソーシャルネットワーキングサービス（ＳＮＳ）等のサーバ（図示せず）へ該ユーザのアカウント情報とともに投稿されてもよい。また、予め設定された所定の視聴者が映像を視聴している情報表示装置１へと（例えば、情報表示装置１ａから情報表示装置１ｂまたは１ｃへと）該応答コメントを送信するようにしてもよい。このように、コミュニケーションシステム１００では、情報表示装置１を使用して映像を視聴する複数の視聴者間で、該映像コンテンツに関するコメントの共有または交換、および会話を行うことも可能である。なお、情報表示装置１を用いて、このような会話を実現することも可能であり、この利用形態を以下では「会話モード」と呼び、一方、ユーザ単独で、映像コンテンツを視聴しているときの利用形態を、「つぶやきモード」と呼ぶことにする。この「つぶやきモード」および「会話モード」はユーザによって自在に切り替え可能であり、ユーザは所望の利用形態で、映像コンテンツを視聴することが可能である。
Furthermore, the
上記のように、情報表示装置１のユーザは、実際にキーボードなどを用いて応答コメントを入力することなく、再生している映像コンテンツの流れに合わせて提示される応答コメント候補の中から気に入ったものを選択するだけで、該映像コンテンツに対する応答コメント（感想、意見、つぶやきなど）を、通信ネットワーク７へと送信することができる。
As described above, the user of the
従って、ユーザが応答コメントを入力する場合に比べて、手間がかからず、その結果、上記応答コメントの作成のために上記映像を視認できない期間を短くでき、上記応答コメントの送信を遅滞なく行うことができる。なお、本実施形態では、作成された応答コメント候補は、情報表示装置１にて表示しているが、携帯端末など、情報表示装置１とは別の表示装置に出力してもよい。
Therefore, compared with the case where the user inputs a response comment, it takes less time, and as a result, the period during which the video cannot be viewed for creating the response comment can be shortened, and the response comment can be transmitted without delay. be able to. In the present embodiment, the created response comment candidate is displayed on the
また、上記映像コンテンツが放送局９またはコンテンツサーバ３から配信される放送番組である場合、リアルタイムで放送される放送番組に対し、応答コメントの発信を遅滞なく行うことができるので、タイムリーな応答コメントを発信することができる。
In addition, when the video content is a broadcast program distributed from the
（情報表示装置１のブロック図）
次に、情報表示装置１の構成例について図１を用いて説明する。図１は、本発明の実施形態１に係る情報表示装置１の要部構成の一例を示すブロック図である。
(Block diagram of information display device 1)
Next, a configuration example of the
情報表示装置１は、コメント作成装置１０、表示部１７、および操作入力部１８を備えている。そして、コメント作成装置１０は、コンテンツ受信部（コンテンツ受信手段）１１、コンテンツ処理部１２、コンテンツ情報抽出部１３、応答コメント候補作成部（コメント候補作成手段）１４、応答コメント候補調整部１５、表示制御部１６、通信部（コメント送信手段）１９、および記憶部２０を備えている。
The
さらに、記憶部２０は、辞書２１、応答履歴キャッシュ２２、ユーザ情報２３、端末設定情報２４、および視聴履歴２５を含んでいる。
Further, the
なお、図１では、いくつかの構成については、本発明の特徴点と直接関係しないため、説明を簡略化するために図示していない。例えば、情報表示装置１は、放送局９を切り替えるためのチューナー、スピーカ、リモートコントローラ（リモコン）からの指示信号を受信する受信部、タイマ、カレンダ、などを備えていてもよい。
In FIG. 1, some configurations are not shown for simplicity of explanation because they are not directly related to the features of the present invention. For example, the
コンテンツ受信部１１は、放送局９から放送波によって配信される放送番組、および通信ネットワーク７を介して取得、または受信される動画ファイルなど、映像を含む映像コンテンツを受信する。
The content receiving unit 11 receives video content including video such as a broadcast program distributed from the
コンテンツ処理部１２は、受信した映像コンテンツを再生するための逆多重化、およびデコードを行う。コンテンツ処理部１２で処理された映像コンテンツのコンテンツデータは、コンテンツ情報抽出部１３へと出力される。なお、映像コンテンツのコンテンツデータには、字幕データ、音声データ、およびテロップデータなどが含まれる。
The
コンテンツ情報抽出部１３は、映像コンテンツのコンテンツデータを解析し、該コンテンツデータからテキスト形式のデータ（テキストデータ）を抽出する。例えば、コンテンツデータがオーディオデータ（音声データ）であれば、音波解析などの音声認識によって音声からテキスト形式のデータに変換してテキストデータを抽出する。コンテンツデータがフレーム画像に含まれるテロップなどのデータであれば、フレーム画像からの画像認識によって画像からテキスト形式のデータに変換してテキストデータを抽出する。一方、字幕データであれば、既にテキスト形式であるため、上記のような解析を行う必要はない。コンテンツ情報抽出部１３は、映像コンテンツのコンテンツデータである字幕データ、音声データ、およびテロップデータのうち、少なくとも１つを利用して、上記テキストデータを抽出すればよい。
The content
なお、複数のカメラを用いて異なる方向から撮影された複数視点（またはマルチアングル）の画像データを含んでいる映像コンテンツ、または、音声多重放送のコンテンツなどのように複数の音声データを含んでいる映像コンテンツの場合、再生する映像および音声を、該コンテンツを再生して視聴するユーザに選択させる。このように選択可能な複数のデータを含む映像コンテンツを受信して再生する場合には、ユーザによる選択が入力されることで、表示部１７で表示する映像と該映像に合わせて出力される音声とが特定される。このような場合、表示（出力）を選択する情報に基づいて、適切な映像データや音声データを選択して、テキストデータを抽出することが望ましい。したがって、ユーザによる選択が入力されるまでの設定（デフォルト設定）において表示されるデータは、その表示／非表示設定に関わらず応答コメント候補作成部１４へ出力される。ここで、表示／非表示設定に関わらず応答コメント候補作成部１４へ出力されるデータには、例えば、字幕データなどが含まれる。そして、ユーザによって他のデータを選択する指示が入力された場合のみ、応答コメント候補作成部１４へ出力するデータを、当該選択されたデータへと変更する。これにより、より自然な応答コメント候補が作成されるとともに、ユーザが視聴途中で表示するデータの変更を行った場合にも、応答コメント候補を当該操作に追随させて作成し、表示することができる。
In addition, it includes a plurality of audio data such as video content including multi-viewpoint (or multi-angle) image data photographed from different directions using a plurality of cameras or content of audio multiplex broadcasting. In the case of video content, the video and audio to be played back are selected by the user who plays and views the content. When video content including a plurality of selectable data is received and reproduced as described above, the video displayed on the
応答コメント候補作成部１４は、コンテンツ情報抽出部１３から出力されたテキスト形式のデータを用いて、テキスト形式の応答コメント候補を順次作成する。この場合、上記応答コメント候補が映像または音声である場合に比べて、背景または背景音の情報など、応答コメントに関する情報以外の余分な情報を含まないので、ユーザによる上記応答コメント候補の参照が容易になる。その結果、ユーザによる上記応答コメントの選択を迅速に行うことができ、上記応答コメントの作成のために上記映像を視認できない期間をさらに短くすることができる。なお、作成される応答コメント候補の数は特に制限はなく、１つでもよいし複数でもよい。
The response comment
コンテンツ情報抽出部１３から出力されたテキスト形式のデータは、映像コンテンツのコンテンツデータから抽出されているため、応答コメント候補作成部１４が作成する応答コメント候補は、該映像コンテンツに含まれる映像に対応している。そして、映像の流れに従って、応答コメント候補も順次作成される。応答コメント候補作成部１４は、例えば、人工知能、人工無脳などのアルゴリズムを用いて実現することができる。なお、コンテンツ情報抽出部１３から出力されたテキスト形式のデータを用いて、テキスト形式の応答コメント候補を順次作成する応答コメント候補作成部１４のより詳細な構成については、後に詳述する。
Since the text format data output from the content
応答コメント候補調整部１５は、記憶部２０に格納されているユーザ情報２３に基づいて、応答コメント候補作成部１４が作成した応答コメント候補の表現を変更する。ユーザ情報２３は、例えば、ユーザの性別および年齢など、ユーザの属性情報である。応答コメント候補調整部１５は、応答コメント候補の表現を、該ユーザの属性に対して違和感の少ない表現へと変更する。例えば、ユーザの性別が男性か女性かによって語尾を変更したり、ユーザの年齢層が年配か若者かよって語尾、言い回しまたは語彙を変更したりする。これにより、各ユーザの属性によりふさわしい、違和感のない、表現および言葉遣いの応答コメント候補を作成することができる。よって、ユーザは、自身が視聴している映像コンテンツと同じ映像コンテンツを視聴している他の視聴者との会話としてより自然で親しみやすい応答コメント候補を利用することができる。
The response comment
また、応答コメント候補調整部１５は、記憶部２０に格納されている端末設定情報２４に基づいて、応答コメント候補作成部１４が作成した応答コメント候補の表現を変更してもよい。端末設定情報２４は、例えば、情報表示装置１の設置されている場所（または現在の位置）および現在の時刻などである。また、応答コメント候補の表示に用いられる表示領域の広さ、および配置などの情報を端末設定情報として、端末設定情報２４に格納してもよい。なお、ここで例示したものに限定されず、ユーザに関する様々な情報に基づいて応答コメント候補の表現を変更するようにしてもよい。これにより、応答コメント候補の表現を、より個性的で魅力的なものに変更することができる。
Further, the response comment
表示部１７は、画像などを表示するＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）、ＰＤＰ（プラズマディスプレイ:Plasma Display Panel）、または有機ＥＬ（Organic LED）などの、フラットパネルディスプレイ（Flat Panel Display）である。表示部１７は、受信した映像コンテンツに含まれる映像、およびテキスト形式のデータである応答コメント候補などを表示する。
The
表示制御部１６は、コンテンツ処理部１２から出力される映像コンテンツのコンテンツデータを受け取り、上記映像を再生するように表示部１７を制御する。また、表示制御部１６は、応答コメント候補調整部１５から取得した応答コメント候補の一部またはすべてを映像とともに表示するように表示部１７を制御する。表示制御部１６によって応答コメント候補を表示するように制御される表示部１７については、後に画面遷移例を用いて具体的に説明する。
The
なお、表示部１７において同時に表示する応答コメント候補の数が多すぎると、表示部１７に表示したときに、表示する文字が小さくなったり、１つの応答コメント候補の表示時間が短くなったりして、各応答コメント候補をユーザが視認することが困難になるため、適宜、表示する応答コメント候補の数の上限は設定されることが望ましい。そこで、表示制御部１６は、表示する応答コメント候補の数の調整を、端末設定情報２４に格納された表示領域に関する情報に基づいて行うようにしてもよい。例えば、表示部１７の応答コメント候補の表示に用いられる表示領域の広さ、および表示する応答コメント候補の文字の大きさなどに応じて、応答コメント候補を３個まで表示させたり、５個まで表示させたりすることができる。
If there are too many response comment candidates to be displayed at the same time on the
また、表示部１７において応答コメント候補を表示する表示領域（図６など参照）に効率的に多くの応答コメント候補を表示できるように、長文の応答コメント候補を表示しないようにすることが望ましい場合も考えられる。そこで、表示制御部１６は、出力された応答コメント候補の文字数に上限（例えば３０文字）を設け、この上限より文字数の多い応答コメント候補を受け取った場合には、この応答コメント候補の表示は行わないようにしてもよい。
Further, when it is desirable not to display long response comment candidates so that a large number of response comment candidates can be efficiently displayed in the display area (see FIG. 6 or the like) where response comment candidates are displayed on the
なお、表示部１７において同時に表示する応答コメント候補の数および文字数の調整を行う処理を、表示制御部１６ではなく応答コメント候補調整部１５が行うように構成してもよい。表示制御部１６が該調整を行う構成であれば、表示部１７の交換または表示領域の変更が行われても、応答コメント候補を表示する表示領域に合わせて、応答コメント候補を適切に表示するように適宜制御することが可能である。よって、表示部１７の交換などを行う際に、情報表示装置１の構成への変更を最小限に抑えることができる。一方、応答コメント候補調整部１５が該調整を行う構成であれば、表示制御部１６をより簡略な構成で実現することができる。さらに、応答コメント候補作成部１４が作成した応答コメント候補の数が不足している場合、応答コメント候補調整部１５が応答コメント候補作成部１４に対して、応答コメント候補の追加を適宜指示することができるという利点もある。
In addition, you may comprise so that the response comment
操作入力部１８は、ユーザによる操作および選択指示などの入力を受け付けるユーザインターフェース（ＵＩ）として機能する。以下では、表示部１７にタッチパネルを重畳して、表示部１７の一部または全体が、操作入力部１８として機能する情報表示装置１を例に挙げて説明する。
The
情報表示装置１のユーザは、選択ボタン、各応答コメント候補などが表示されている表示部１７の表示画面上の位置を指先などでタッチ操作することによって、選択ボタンに示された所望のメニューを選択したり、応答コメント候補の中の気に入ったコメントを選択したりすることができる。表示部１７に重畳されたタッチパネルから、ユーザによるタッチ操作が行われた位置を示す情報が表示制御部１６に出力されると、そのタッチ操作の位置に表示されていた応答コメント候補が特定される。ユーザによって選択されたコメントが表示制御部１６で特定されると、表示制御部１６は該コメントを通信部１９へと出力する。また、表示制御部１６は、該コメントの外側に漫画などで用いられる吹き出しを付与するなどの表示変更を行ってもよい。
The user of the
このように表示部１７を操作入力部１８としても利用することにより、ユーザは映像を視聴した状態で、表示部１７に表示される選択ボタンや応答コメント候補を確認したり選択したりすることができる。なお、これに制限されることはなく、例えば、手元のリモコンを用いて選択操作などを入力できるようにしてもよいし、携帯端末など、情報表示装置１とは別の情報表示装置から通信インターフェースを介して間接的に入力できるようにしてもよい。
By using the
通信部１９は、インターネットなどの外部の通信ネットワーク７を介してテキスト形式のデータ（コメントなど）を送受信する。一方、通信部１９が受信したテキスト形式のデータは、表示制御部１６に出力される。
The
以上のように、情報表示装置１は、映像コンテンツに含まれる音声データをテキストデータに変換して、該テキストデータに含まれる主要なテキスト（単語、人名、地名、など）を抽出する。あるいは、画像データに含まれるテロップ、キャプションなどのテキスト、および字幕データなどに含まれるテキストを抽出する。このように抽出されたテキストを、例えば、会話ボット（人工無脳）のアルゴリズムを用いた応答コメント候補作成部１４、または人工知能のアルゴリズムを用いた応答コメント候補作成部１４に入力する。応答コメント候補作成部１４は、入力されたテキストに基づいて、簡単な文書（短文）を応答コメント候補として作成する。そして、情報表示装置１は、作成された応答コメント候補を、再生されている映像コンテンツの流れに合わせて表示し、次々とユーザに提示する。ユーザは、表示部１７に表示される応答コメント候補の中から気に入ったコメントを選択することができる。選択されたコメントは、通信ネットワーク７を介して外部（例えば、図２のコミュニケーションシステム１００のコメントサーバ５など）へと送信される。
As described above, the
（応答コメント候補作成部１４のブロック図）
次に、応答コメント候補作成部１４について、図３を用いて説明する。図３は、図１の情報表示装置の応答コメント候補作成部１４の要部構成の一例を示すブロック図である。
(Block diagram of response comment candidate creation unit 14)
Next, the response comment
応答コメント候補作成部１４は、前述のように、映像コンテンツに含まれる映像に対するテキスト形式のコメント候補を順次作成する。そして、映像コンテンツのコンテンツデータのうちテキスト形式ではないデータである音声データ、およびテロップデータからは、これらを解析してテキストデータを抽出し、該抽出されたテキストデータから応答コメント候補を作成する。
As described above, the response comment
図３に示す例では、応答コメント候補作成部１４として、会話ボット（人工無脳）を用いる場合について説明する。応答コメント候補作成部１４に用いることが可能な会話ボットとしては、既存の技術、およびプログラムを活用することができる。
In the example illustrated in FIG. 3, a case where a conversation bot (artificial brainless) is used as the response comment
ところで、会話ボット（ChatterbotまたはChatbot）とは、別称人工無脳とも呼ばれ、コンピュータがテキストまたは音声を用いて、人間が行う知的な会話をシミュレートするプログラムである。入力された会話相手が発した言葉（テキスト）に対する応答文としてもっともらしい、すなわち、人同士が会話をするときのように意味の通る応答文（テキスト）を、機械的に作成することができる。 By the way, a conversation bot (Chatterbot or Chatbot) is also called an artificial brainless name, and is a program that simulates an intelligent conversation performed by a human using text or voice. It is possible to mechanically create a response sentence (text) that is plausible as a response sentence to a word (text) uttered by the input conversation partner, that is, as if a person is having a conversation.
応答コメント候補作成部１４として用いる会話ボットの代表的な処理の流れは、以下の（１）および（２）の通りである。
The typical processing flow of the conversation bot used as the response comment
（１）テキスト文書の入力に対して、形態素解析によって単語群（品詞群）に分解し、それらの単語から種々の辞書データを用いて関連する単語群を検索する。 (1) A text document input is decomposed into a word group (part of speech group) by morphological analysis, and a related word group is searched from these words using various dictionary data.
（２）検索結果（単語群）を用いて、マルコフ連鎖などのアルゴリズムによって文章作成を行い、キャッシュされた直近の返答履歴と重複確認を行った後、予め設定された数の応答テキスト候補を出力する。 (2) Using the search result (word group), create a sentence using an algorithm such as Markov chain, and after confirming duplication with the latest cached response history, output a preset number of response text candidates To do.
図３に示す応答コメント候補作成部１４は、形態素解析部１４１、検索処理部１４２、文書構成部１４３、および重複確認部１４４を含んでいる。
The response comment
形態素解析部１４１は、コンテンツ情報抽出部１３から出力されたテキスト形式のデータが入力テキストとして入力されると、該入力テキストを単語群（品詞群）に分解し、単語群を抽出する。
When the text data output from the content
検索処理部１４２は、形態素解析部１４１が抽出した単語群に基づいて、記憶部２０の辞書２１に格納されている各種の辞書を参照して、該単語群の各単語に関連性の高い単語群を検索する。
The
文書構成部１４３は、検索処理部１４２による検索の結果である単語群を用いて、文書を構成し、マルコフ連鎖などのアルゴリズムを用いて文章の作成を行い、テキスト文書を出力する。
The
重複確認部１４４は、文書構成部１４３から出力されたテキスト文書が、記憶部２０の応答履歴キャッシュ２２に格納されている直近のテキスト文書と重複していないかを確認する。重複する場合には、当該テキスト文書の出力を行わない。重複しない場合には応答コメント候補として出力する。なお、応答コメント候補として出力されるコメントの数には特に制限はないが、表示すべき応答コメント候補が多すぎると、再生されている映像の流れと応答コメント候補の表示とが一致しなくなる可能性があるため、出力する応答コメント候補の数の上限を設定することが望ましい。
The
上記のように、応答コメント候補作成部１４として、人工無脳のアルゴリズムを用いることにより、より人間が行うような会話またはつぶやきとして適当な応答コメント候補を、映像に合わせて作成することができる。形態素解析によって抽出した入力テキスト内の単語群を用いて、辞書２１の検索、文書構成、および重複確認という比較的処理時間が短い工程によって、応答コメント候補を出力することができる。
As described above, by using an artificial brainless algorithm as the response comment
なお、会話ボットのアルゴリズムは、上記を含めておおよそ３つのタイプ（辞書型、ログ型、およびマルコフ文生成型）が知られており、応答コメント候補作成部１４として、いずれのタイプの会話ボットを利用してもよい。
There are approximately three types of conversation bot algorithms including the above (dictionary type, log type, and Markov sentence generation type), and the response comment
また、応答コメント候補作成部１４として、人工知能のアルゴリズムを用いて応答コメント候補を作成してもよい。人工知能は、一般に、推論および判断などの知的な機能を実現するための学習機能を持つため、ユーザによって使用される回数が増すにつれて、ユーザによって、より選択されやすい的確な応答コメント候補を作成することができる。
The response comment
（辞書２１）
前述のように、応答コメント候補作成部１４は、コンテンツ情報抽出部１３が抽出したテキストに対して、応答コメント候補を自動的に生成する。会話ボットのアルゴリズムを用いて生成される応答コメント候補は、検索処理部１４２が検索する辞書２１に記憶されている辞書の充実度が高ければ、出力する応答コメント候補の適合度も高くなり得る。
(Dictionary 21)
As described above, the response comment
図４は、図３の応答コメント候補作成部１４の検索処理部１４２が検索する際に参照する辞書２１の構成例を示す図である。図示の例では、辞書２１には、あいさつ辞書２１１、質問辞書２１２、あいづち辞書２１３、および、世間話辞書２１４、およびチャット頻出フレーズ辞書２１５などを含んでいる。
FIG. 4 is a diagram illustrating a configuration example of the
このように、ユーザが利用する用途に即した応答コメント候補を、より高い確率で生成することができる。また、方言辞書（図示せず）、語尾辞書（図示せず）、若者用語辞書（図示せず）などを含んでもよい。これにより、応答コメント候補調整部１５によって、ユーザの属性（出身地、性別、年齢など）に広く対応したコメント候補となるように、応答コメント候補作成部１４が作成した応答コメント候補の表現を変更することが可能になる。
In this way, response comment candidates that match the application used by the user can be generated with a higher probability. Further, it may include a dialect dictionary (not shown), a ending dictionary (not shown), a youth term dictionary (not shown), and the like. As a result, the response comment
（映像表示領域とコメント表示領域との配置例）
情報表示装置１は、映像コンテンツを視聴するユーザに対して、該映像コンテンツに含まれるコンテンツ情報から抽出されたテキストに基づいて応答コメント候補を生成し、ユーザに提供する。このため、情報表示装置１の表示部１７は、その表示領域が、動画などの映像コンテンツを表示する映像表示領域１７Ｖとコメント表示領域１７Ｃとに分割され得る。ここでは、表示部１７の表示領域を、映像表示領域１７Ｖとコメント表示領域１７Ｃとに分割して用いる例について図５を用いて説明する。図５は、図１の情報表示装置１の表示部１７において、映像コンテンツを表示する映像表示領域１７Ｖと、応答コメント候補などを表示するコメント表示領域１７Ｃとの配置例である。
(Example of arrangement of video display area and comment display area)
The
図５の（ａ）、（ｂ）は、映像表示領域１７Ｖの一部にコメント表示領域１７Ｃを重ねて表示する例を示している。すなわち、図５の（ａ）では、映像表示領域１７Ｖとして表示部１７の表示領域全体を用い、一方、コメント表示領域１７Ｃとしては、表示部１７の一部、例えば、表示部１７の縁部分にコメント表示領域１７Ｃを設けた例を示している。コメント表示領域１７Ｃの数は１つに限定されず、図５の（ｂ）に示すように、映像表示領域１７Ｖ内に複数のコメント表示領域１７Ｃを設けてもよい。ただし、コメント表示領域１７Ｃの背景を透過性、または半透過性に設定したり、コメント表示領域１７Ｃの広さを、表示する各応答コメント候補の可読性を維持しつつ、できるだけ狭く抑えたりすることが望ましい。これにより、背後の映像表示領域１７Ｖに表示される映像コンテンツの視聴を妨げることなく、コメント表示領域１７Ｃに表示される応答コメント候補をユーザに提示することができる。
FIGS. 5A and 5B show an example in which the
図５の（ｃ）には、映像表示領域１７Ｖとコメント表示領域１７Ｃとが重ならないように、それぞれの表示領域を分割して、映像表示領域１７Ｖを縮小して表示する例を示している。なお、映像表示領域１７Ｖおよびコメント表示領域１７Ｃの各表示領域の形状や広さは、ここで図示されたものに限定されず、任意に設定することができる。
FIG. 5C shows an example in which the
ここでは、１つの表示部１７を映像表示領域１７Ｖおよびコメント表示領域１７Ｃとして利用して両者を表示する例について説明したが、これらに制限されない。例えば、コメント表示専用の第２の表示部１７を、映像表示を行う第１の表示部１７とは別に備える構成であってもよい。ただし、その場合、コメント表示専用の第２の表示部１７は、上記第１の表示部１７に表示する映像を視聴するユーザによって表示する応答コメント候補が視認可能な位置に設けられることが望ましい。これにより、ユーザは、映像コンテンツを視聴したまま、その視聴を中止することなく、応答コメント候補を確認したり、選択操作を行ったりすることができる。
Here, although the example which displays both using the one
（つぶやきモードの表示例）
次に、ユーザ単独で、情報表示装置１を用いて映像コンテンツを視聴しているときの利用形態である「つぶやきモード」を選択した場合に、生成した応答コメント候補を表示し、ユーザによる選択を受け付けるまでの流れについて、図６を用いて説明する。図６は、図５の（ａ）に示すコメント表示領域１７Ｃの表示内容の一例と、その操作方法について説明する画面遷移例である。なお、図６は、情報表示装置１を「つぶやきモード」で使用する場合において効果的に利用されるコメント表示領域１７Ｃの一例を示したものであり、表示する位置、内容および構成はこれに限定されない。
(Example of tweet mode display)
Next, when the user alone selects “tweet mode”, which is a usage mode when viewing video content using the
コメント表示領域１７Ｃは、表情選択ボタン１７Ｃａ、感情表現画像１７Ｃｂ、応答コメント表示領域１７Ｃｃ、および時刻表示１７ｄの４種類の表示を行う。
The
感情表現画像１７Ｃｂには、ユーザによって予め設定され得る、人または動物の顔などのイラストが表示される。この感情表現画像１７Ｃｂにおいて示される人または動物の顔などのイラストは、情報表示装置１のユーザ本人の代替として表示するものと考えることができる。なお、感情表現画像１７Ｃｂに表示可能な画像およびイラストは、予め専用に用意されたものの中からユーザが選択してもよいし、ユーザが自作した所望のイラストを記憶部２０に登録するようにしてもよい。また、各ユーザの選択した感情表現画像１７Ｃｂを、例えばコメントサーバ５に登録しておき、応答コメントを送信した視聴者に対応するイラストの情報とともに、コメントサーバ５から各情報表示装置１へコメントを送信するように構成してもよい。これにより、後に記す会話モードの際に、会話をより効果的に表示することができる。
The emotion expression image 17Cb displays an illustration such as a human or animal face that can be preset by the user. It can be considered that illustrations such as a human or animal face shown in the emotion expression image 17Cb are displayed as an alternative to the user of the
表情選択ボタン１７Ｃａは、感情表現画像１７Ｃｂにおいて表示されている画像を用いて表現可能な感情に対応するボタンが表示されている。ユーザは、表情選択ボタン１７Ｃａのボタンの部分に相当する表示画面をタッチ操作することにより、感情表現画像１７Ｃｂの画像を変更することができる。 The facial expression selection button 17Ca displays buttons corresponding to emotions that can be expressed using the image displayed in the emotion expression image 17Cb. The user can change the image of the emotion expression image 17Cb by touching a display screen corresponding to the button portion of the expression selection button 17Ca.
図６の表情選択ボタン１７Ｃａには、６種類の感情または顔の表情を意味するボタン状の表示が表示されている。「ＹＥＳ」と「ＮＯ」とは、それぞれ肯定（同意）および否定（拒絶）を示している。「Ｓｍｉｌｅ」、「Ｓａｄ．．．」、および「Ａｎｇｒｙ」は、それぞれ微笑み、悲しみ、および怒り（憤慨）を示している。「Ｗｉｎｋ；」はウインクであり、挨拶または好意を示すジェスチャである。 On the facial expression selection button 17Ca in FIG. 6, button-like displays representing six types of emotions or facial expressions are displayed. “YES” and “NO” indicate affirmation (agreement) and denial (rejection), respectively. “Smile”, “Sad ...”, and “Angry” indicate smile, sadness, and anger (怒), respectively. “Wink;” is a wink and is a gesture for greeting or favor.
このように、感情表現画像１７Ｃｂにおいて表示される感情表現画像１７Ｃｂの表情を変更することで、応答コメント候補の中から選択された応答コメントの正確な意味を表現することができ、より効果的に表示する応答コメントを利用することができる。あるいは、ユーザは感情表現画像１７Ｃｂの感情表現のみを操作してもよい。これにより、ユーザの感情および意見を直観的な画像で効果的に、コメント表示領域１７Ｃを見ている視聴者に対して表現することができる。なお、表情選択ボタン１７Ｃａおよび感情表現画像１７Ｃｂは、情報表示装置１を「会話モード」で使用する場合において、より効果的に利用される（図９の（ａ）参照）。
In this way, by changing the expression of the emotion expression image 17Cb displayed in the emotion expression image 17Cb, the exact meaning of the response comment selected from the response comment candidates can be expressed more effectively. The response comment to be displayed can be used. Alternatively, the user may operate only the emotion expression of the emotion expression image 17Cb. Thereby, a user's emotion and opinion can be effectively expressed with an intuitive image with respect to the viewer who is watching the
応答コメント表示領域１７Ｃｃは、応答コメント候補調整部１５から表示制御部１６に出力された応答コメント候補を次々と表示する領域である。
The response comment display area 17Cc is an area for successively displaying the response comment candidates output from the response comment
時刻表示１７ｄは、情報表示装置１が備える時計（図示せず）またはカレンダ（図示せず）の出力情報、または通信ネットワークから受信した日時および時刻に関する情報を表示する領域である。
The time display 17d is an area for displaying output information of a clock (not shown) or calendar (not shown) included in the
図６の（ａ）は、例えば子犬が登場するような映像コンテンツを視聴し始めたときにコメント表示領域１７Ｃの様子を表している。最初に表示制御部１６に出力された応答コメント候補「子犬がかわいい」を、最新の応答コメント候補を表示する位置である、応答コメント表示領域１７Ｃｃの最下部に表示する。
FIG. 6A shows the state of the
図６の（ｂ）において、応答コメント候補「犬が大好き」が第２番目に出力されると、先に表示されている応答コメント候補「子犬がかわいい」の下側に表示される。「犬が大好き」という応答コメント候補が最新の応答コメント候補であり、最新の応答コメント候補を表示する位置は、応答コメント表示領域１７Ｃｃの最下部であるからである。同様に、図６の（ｃ）では、第３番目の応答コメント候補「明日は晴れるやろか＠大阪」が応答コメント表示領域１７Ｃｃの最下部に表示される。 In FIG. 6B, when the response comment candidate “I love dogs” is output second, it is displayed below the response comment candidate “puppy is cute” displayed earlier. This is because the response comment candidate “I love dogs” is the latest response comment candidate, and the position where the latest response comment candidate is displayed is at the bottom of the response comment display area 17Cc. Similarly, in FIG. 6C, the third response comment candidate “Tomorrow is fine” is displayed at the bottom of the response comment display area 17Cc.
この応答コメント候補「明日は晴れるやろか＠大阪」は、子犬とは、一見、無関係な応答コメント候補であるが、例えば、次のようにして表示されたものである。ユーザによって視聴されている映像コンテンツのコンテンツデータから、形態素解析部１４１によって「明日」または「天気」などの単語群が抽出される。これらの単語群に対して検索処理部１４２が辞書２１を参照して関連する単語群を取り出し、文書構成部が「明日は晴れるだろうか＠〜」を出力する。重複確認部１４４による確認の後に、この「明日は晴れるだろうか＠〜」は応答コメント候補調整部１５へと出力される。応答コメント候補調整部１５は、ユーザ情報２３および端末設定情報２４を参照して、ユーザが大阪在住であること、または、本情報表示装置１が大阪に設置されていることを取得する。そして、応答コメント候補調整部１５は、語尾の「だろうか」を関西弁である「やろか」に変更し、「＠」の後ろに「大阪」を挿入したものである。
This response comment candidate “Yoroka tomorrow tomorrow @ Osaka” is a response comment candidate that is seemingly irrelevant to the puppy. For example, it is displayed as follows. A word group such as “tomorrow” or “weather” is extracted from the content data of the video content viewed by the user by the
なお、第４番目の応答コメント候補が次に表示される場合には、この第４番目の応答コメント候補を応答コメント表示領域１７Ｃｃの最下部に表示し、一方、最も長く表示されている第１番目の応答コメント候補の表示を終了する。 When the fourth response comment candidate is displayed next, the fourth response comment candidate is displayed at the bottom of the response comment display area 17Cc, while the first response comment candidate displayed first is the longest. The display of the th response comment candidate ends.
図６の（ｄ）は、ユーザによって、第３番目の応答コメント候補「明日は晴れるやろか＠大阪」の選択動作が行われる場合について示している。情報表示装置１の表示部１７にはタッチセンサが重畳され、表示部１７は、画面に対するユーザの指などの接触位置などを検知する操作入力部１８として機能することができる。したがって、図６の（ｄ）に示すように、応答コメント候補「明日は晴れるやろか＠大阪」が表示されている位置に対応する画面に対するユーザによるタッチ操作によって、当該応答コメント候補を選択する選択動作となる。
FIG. 6D shows a case where the user performs the selection operation of the third response comment candidate “Tomorrow is fine @ Osaka”. A touch sensor is superimposed on the
図６の（ｄ）において応答コメント候補「明日は晴れるやろか＠大阪」が選択されると、該選択操作を示す情報が表示制御部１６に出力される。表示制御部１６は、図６の（ｄ）に示すように、選択された応答コメント候補「明日は晴れるやろか＠大阪」を内包する吹き出しを付加して表示する。これにより、感情表現画像１７Ｃｂのイラストによって表現されているユーザ本人が発するコメントであることを効果的に表示することができる。
When the response comment candidate “Tomorrow is fine @ Osaka” is selected in FIG. 6D, information indicating the selection operation is output to the
また、選択された応答コメント候補「明日は晴れるやろか＠大阪」は、該ユーザのアカウント情報とともに、該コメントを公へと発信するTwitter（登録商標）等の外部のソーシャルネットワーキングサービス（ＳＮＳ）等のサーバ（図示せず）に送信されてもよい。 In addition, the selected response comment candidate “Tomorrow is sunny @ Osaka” includes the account information of the user and an external social networking service (SNS) such as Twitter (registered trademark) that transmits the comment to the public. May be transmitted to a server (not shown).
このように、情報表示装置１は、映像コンテンツに含まれるコンテンツデータからテキストを抽出し、該抽出されたテキストに対応する応答コメント候補を生成し、表示部１７に表示する。そして、表示された応答コメント候補のうち、ユーザによって選択された応答コメント候補は投稿コメントとして送信される。これにより、映像コンテンツを視聴するユーザは、該映像コンテンツに対応して生成された応答コメント候補を確認し、その中の適当なコメントを選択するだけで、送信することができる。よって、映像コンテンツの視聴を中断することなく、その映像コンテンツの内容に即した投稿コメントの発信を、遅れることなく行うことができる。
In this way, the
なお、情報表示装置１をつぶやきモードで使用する場合、表示される応答コメント候補からユーザが気に入ったものを選択することは、個人的なつぶやきとは限らない。同じ映像コンテンツを１台の情報表示装置１を用いて視聴する複数の視聴者が、応答コメント候補を選択することは、映像コンテンツの視聴とは異なる楽しみを付与しうる。
Note that when the
〔実施形態２〕
本発明の他の実施形態について、図７〜図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 2]
The following will describe another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
（会話モードで使用される情報表示装置１のブロック図）
本実施形態に係る情報表示装置１は、他ユーザのコメントを通信部１９が通信ネットワーク７からテキスト形式のデータで受信した場合に、応答コメント候補作成部１４が、該テキスト形式のデータに対する応答コメント候補を作成する、という点で、図１に示す情報表示装置１と異なっている。
(Block diagram of
In the
すなわち、本実施形態では、応答コメント候補作成部１４は、コンテンツ受信部１１が受信した映像コンテンツに含まれる映像に対する応答コメント候補とともに、通信部１９が受信したテキスト形式のデータに対する応答コメント候補も作成する。これにより、応答コメント候補は、上記映像と他ユーザのコメントとに関するものとなる。従って、ユーザによって選択された応答コメント候補を当該ユーザのコメントとして通信ネットワーク７に送信することにより、上記映像に関する上記他ユーザとの会話を成立させることができる。
That is, in this embodiment, the response comment
通信部１９は、テキスト形式のデータの他に、表示部１７において表示するイラストを指定する情報、またはイラストそのものを受信し得る。受信したテキスト形式以外の情報は、テキスト形式のデータとともに、表示制御部１６に送られる。表示制御部１６は、イラストを指定する情報またはイラストそのものは表示部１７の所定の位置（例えば、図８のイラスト表示領域１７Ｃｆ）に表示されるように表示部１７を制御する。一方、テキスト形式のデータは、表示部１７の所定の位置（例えば、図８のコメント表示領域１７Ｃｃ）に表示されるように表示部を制御する。なお、本実施形態に係る表示部１７の制御については、後に詳述する。
The
なお、受信したテキスト形式のデータを応答コメント候補の近傍に表示することが望ましい。例えば、ユーザは、自身が視聴している映像コンテンツと同じ映像コンテンツを視聴している他の視聴者からテキスト形式のデータであるコメントを受信した場合、受信したコメントは、上記コメント候補の近傍に表示される。これにより、ユーザは、コメント候補と受信したコメントとを同時に視認することができるため、応答するコメントとして適切なコメント候補の選択を容易に行うことができる。よって、映像コンテンツの視聴を邪魔されることなく、他の視聴者と該映像コンテンツに関する感想および意見の交換または共有、および会話を楽しむことができる。 It is desirable to display the received text format data in the vicinity of the response comment candidate. For example, when a user receives a comment that is data in text format from another viewer who is viewing the same video content as the video content that the user is viewing, the received comment is in the vicinity of the comment candidate. Is displayed. Thereby, since the user can visually recognize the comment candidate and the received comment simultaneously, it is possible to easily select an appropriate comment candidate as a response comment. Therefore, it is possible to exchange or share impressions and opinions regarding the video content and enjoy conversations with other viewers without disturbing the viewing of the video content.
（会話モードの表示例）
次に、ユーザを含む複数の視聴者間で、情報表示装置１を用いて映像コンテンツを視聴しているときの利用形態である「会話モード」を選択した場合に、作成した応答コメント候補を表示し、ユーザによる選択を受け付けるまでの流れについて、図８を用いて説明する。図８は、図５の（ａ）に示すコメント表示領域１７Ｃの表示内容の一例と、その操作方法について説明する画面遷移例である。なお、図８は、情報表示装置１を「会話モード」で使用する場合において効果的に利用されるコメント表示領域１７Ｃの一例を示したものであり、表示する位置、内容および構成はこれに限定されない。
(Example of conversation mode display)
Next, when a “conversation mode” that is a usage mode when viewing video content using the
コメント表示領域１７Ｃは、表情選択ボタン１７Ｃａ、感情表現画像１７Ｃｂ、応答コメント表示領域１７Ｃｃ、時刻表示１７ｄ、モード表示領域１７Ｃｅ、イラスト表示領域１７Ｃｆ、および視聴状況表示領域１７Ｃｇの７種類の表示を行う。なお、表情選択ボタン１７Ｃａ、感情表現画像１７Ｃｂ、および、時刻表示１７ｄについては、既に説明した内容と同様であり、重複を避けるためにここではこれらの説明を省略する（図６参照）。
The
モード表示領域１７Ｃｅは、現在、「会話モード」が選択されていることを示す情報が表示される。ここでは「共同視聴」という文字列とイラストとが表示されている例を示している。 In the mode display area 17Ce, information indicating that the “conversation mode” is currently selected is displayed. Here, an example is shown in which a character string “co-view” and an illustration are displayed.
イラスト表示領域１７Ｃｆは、通信部１９が通信ネットワーク７を介して受信したテキスト形式のデータに添付されたイラストを指定する情報またはイラストそのものを表示する。あるいは、情報表示装置１の記憶部に予め登録されているイラストの中からいずれかを指定するイラスト指定情報を受信してもよい。該イラスト指定情報に基づいて表示制御部１６が記憶部２０から受信したイラスト指定情報に対応するイラストを読み出して、イラスト表示領域１７Ｃｆに表示するようにしてもよい。このイラストは、前述の感情表現画像１７Ｃｂに表示されるイラストと同様、感情を表現することが可能である。
The illustration display area 17Cf displays information specifying the illustration attached to the text data received by the
視聴状況表示領域１７Ｃｇは、ユーザが属する所定のグループ（チャットグループ）の、ユーザ以外のグループ構成員のうち、ユーザと同じ放送番組などの映像コンテンツを視聴している者の現在の視聴状態について通知する表示である。例えば、視聴状況表示領域１７Ｃｇには、＜見てる人＞、＜会話中の人＞、および＜ＯＦＦ＞の３つの情報欄を含んでいる。なお、視聴状況表示領域１７Ｃｇの表示については、図９の（ｂ）を用いて後に詳述する。 The viewing status display area 17Cg notifies the current viewing status of the group members other than the user of the predetermined group (chat group) to which the user belongs who is viewing the video content such as the same broadcast program as the user. It is a display to do. For example, the viewing status display area 17Cg includes three information fields <viewer>, <person in conversation>, and <OFF>. The display of the viewing status display area 17Cg will be described later in detail with reference to FIG.
図８の（ａ）において、応答コメント表示領域１７Ｃｃは、第３番目の応答コメント候補「明日は晴れるやろか＠大阪」が応答コメント表示領域１７Ｃｃの最下部に表示された時点を示している。この時点では、同じ映像を視聴している。図８の（ａ）において、会話モードを選択してコメントサーバ５にログインした状態で、ユーザと同じ放送番組または映像を視聴している「Ｐさん」と「その他２人」は、会話は行っていない。
In FIG. 8A, the response comment display area 17Cc indicates a point in time when the third response comment candidate “Tomorrow is sunny” is displayed at the bottom of the response comment display area 17Cc. At this point, the same video is being viewed. In FIG. 8A, “Mr. P” and “2 other people” who are watching the same broadcast program or video as the user in a state where the conversation mode is selected and the
図８の（ｂ）において、Ｐさんから「あら、元気やった？」というコメント（会話）を受信して、応答コメント表示領域１７Ｃｃに表示した状態を示している。受信したコメントの表示に合わせて、イラスト表示領域１７Ｃｆには、Ｐさんを表すイラストが表示される。このように、表示制御部１６は、通信ネットワーク７から受信したテキスト形式のデータを、応答コメント候補の近傍に表示する。
FIG. 8B shows a state in which a comment (conversation) “Are you fine?” Is received from Mr. P and displayed in the response comment display area 17Cc. In accordance with the display of the received comment, an illustration representing Mr. P is displayed in the illustration display area 17Cf. In this way, the
応答コメント候補作成部１４は、現在ユーザが視聴している映像に対する応答コメント候補に加えて、通信ネットワーク７から受信した「あら、元気やった？」というテキスト形式のデータから、該テキスト形式のデータに対する応答コメント候補を作成する。例えば、図８の（ｃ）では、「まあ、ぼちぼち」という応答コメント候補が作成され、応答コメント表示領域１７Ｃｃの最下部に新たに表示されている。
In addition to the response comment candidate for the video currently being viewed by the user, the response comment
この「まあ、ぼちぼち」という応答コメント候補を気に入ったユーザは、図８の（ｄ）において、この応答コメント候補が表示されている部分に対してタッチ操作を行う。図８の（ｄ）において応答コメント候補「まあ、ぼちぼち」が選択されると、該選択操作を示す情報が表示制御部１６に出力される。表示制御部１６は、図８の（ｅ）に示すように、選択された応答コメント候補「まあ、ぼちぼち」を内包する吹き出しを付加して表示する。これにより、感情表現画像１７Ｃｂのイラストによって表現されているユーザ本人が発するコメントであることを効果的に表示することができる。
A user who likes the response comment candidate “Well, Bitch” performs a touch operation on the portion where the response comment candidate is displayed in FIG. When the response comment candidate “Well, Bitch” is selected in FIG. 8D, information indicating the selection operation is output to the
また、選択された応答コメント候補「まあ、ぼちぼち」は、該ユーザのアカウント情報とともに、当該映像コンテンツを視聴する所定の視聴者（ユーザが属するチャットグループの知人など）に対して専用のサービスを提供する所定のコメントサーバ５（図２）へと送信されてもよいし、公へと発信されるTwitter（登録商標）等の外部のソーシャルネットワーキングサービス（ＳＮＳ）等のサーバ（図示せず）に送信されてもよい。 In addition, the selected response comment candidate “Well, Bochobichi” provides a dedicated service to a predetermined viewer (such as an acquaintance of a chat group to which the user belongs) who views the video content together with the account information of the user. May be sent to a predetermined comment server 5 (FIG. 2), or sent to a server (not shown) such as an external social networking service (SNS) such as Twitter (registered trademark) that is publicly transmitted. May be.
（コメント表示領域１７Ｃの表示におけるその他の効果）
図９は、図７に示す情報表示装置の表示部における、コメント表示領域の表示内容の一例と、その操作方法について説明する画面遷移例である。まず、図６および図８のコメント表示領域１７Ｃに示されている表情選択ボタン１７Ｃａおよび感情表現画像１７Ｃｂについて、図９の（ａ）を用いて説明する。
(Other effects in the display of the
FIG. 9 is an example of screen transition for explaining an example of display contents of the comment display area and its operation method in the display unit of the information display device shown in FIG. First, the expression selection button 17Ca and the emotion expression image 17Cb shown in the
図９の（ａ）は、表情選択ボタン１７Ｃａの「Ａｎｇｒｙ」を選択操作して、感情表現画像１７Ｃｂに表示されているイラストの顔の表情に怒り（憤慨）が表現されるようにした場合の例を示している。例えば、「まだですか？」という応答コメント候補を真顔で発する場合に比べて、図９の（ａ）のように怒り（憤慨）を表現するイラストが付加されることで、この「まだですか？」という応答コメントをより効果的に伝えることができる。 FIG. 9A shows a case where anger (憤慨) is expressed in the facial expression of the illustration displayed in the emotional expression image 17Cb by selecting and operating “Angry” of the facial expression selection button 17Ca. An example is shown. For example, compared to the case where the response comment candidate “Is it still?” Is issued with a straight face, an illustration that expresses anger (憤慨) is added as shown in FIG. Can respond more effectively.
次に、図８のコメント表示領域１７Ｃに示されているイラスト表示領域１７Ｃｆおよび視聴状況表示領域１７Ｃｇについて、図９の（ａ）を用いて説明する。図９の（ｂ）は、視聴状況表示領域１７Ｃｇの表示の遷移例を示す図である。図９に示すように、視聴状況表示領域１７Ｃｇには、＜見てる人＞の欄Ｋ、＜会話中の人＞の欄Ｌ、および＜ＯＦＦ＞の欄Ｒの３種類の情報が表示されている。＜見てる人＞の欄Ｋには、現在、同じチャンネルの放送番組を視聴していて、かつ会話モードを選択している知人Ｍ（ユーザが所属しているチャットグループのグループ構成員）とその人数Ｎが表示される。例えば、図９の（ｂ）において、最初の状態では、「Ｐさん」と「その他３人」は、会話モードを選択してコメントサーバにログインはしているが、会話は行っていない状態である。次に、Ｐさんがユーザとの会話に参加すると、知人Ｍとその人数Ｎにはそれぞれ「Ｂさん」と「その他２人」と表示される（図９の（ｂ）真ん中）。さらに、Ｂさんもユーザとの会話に参加すると、知人Ｍとその人数Ｎにはそれぞれ「Ｑさん」と「その他１人」と表示される（図９の（ｃ）真ん中）。このように、視聴状況表示領域１７Ｃｇの＜見てる人＞の欄Ｋには、ユーザと会話が可能な知人の存在をユーザに知らせる情報を表示する。
Next, the illustration display area 17Cf and the viewing status display area 17Cg shown in the
視聴状況表示領域１７Ｃｇの＜会話中の人＞の欄Ｌには、現在、同じチャンネルの放送番組を視聴していて、かつ現在会話モードを利用して会話を行っている知人の人数が表示される。また、＜ＯＦＦ＞の欄Ｒには、現在、視聴をしていない知人の人数が表示される。 In the viewing status display area 17Cg, the <Language in conversation> column L displays the number of acquaintances who are currently watching a broadcast program on the same channel and are currently using the conversation mode. The In the <OFF> column R, the number of acquaintances who are not currently viewing is displayed.
（映像コンテンツを受信してから、コメントを通信ネットワークへと送信するまでの処理の流れ）
以下では、映像コンテンツを受信してから、コメントを通信ネットワークへと送信するまでの処理の流れについて図１０を用いて説明する。図１０は、上記情報表示装置が実行する処理の一例を示すフローチャートである。
(Processing flow from receiving video content to sending comments to the communication network)
Hereinafter, the flow of processing from the reception of video content to the transmission of a comment to a communication network will be described with reference to FIG. FIG. 10 is a flowchart illustrating an example of processing executed by the information display device.
情報表示装置１は、映像を含む映像コンテンツを受信する（Ｓ１：コンテンツ受信ステップ）。ここで映像コンテンツとは、放送波を用いて放送局から配信される放送番組でもよいし、インターネット上のアクセス可能な任意のサイトから提供される動画ファイルなどのコンテンツでもよい。映像コンテンツは映像の他に、画像、音声、音楽、文字列などが含まれていることも多い。
The
次に、ユーザが情報表示装置１を用いて映像コンテンツを視聴するとき、「つぶやきモード」または「会話モード」のいずれを選択して設定しているかを判断する（Ｓ２）。「会話モード」が選択されている場合（Ｓ２においてＹＥＳ）、情報表示装置１の通信部１９は、通信ネットワークを介してコメントサーバ５にアクセスして、特定グループ（ユーザが属するチャットグループなど）内に所属する他のユーザ（視聴者）から送信されるコメントを受信する（Ｓ３）。受信したコメントは、通信部１９から表示制御部１６へと出力され、表示制御部１６は該コメントを、所定の表示位置（図８の（ｂ）参照）に表示する（Ｓ４）。
Next, when the user views the video content using the
コンテンツ受信部１１が受信した映像コンテンツに含まれるコンテンツ情報がコンテンツ情報抽出部１３によって抽出され、応答コメント候補作成部１４の文書構成部１４３において、該映像に関する応答コメント候補となる文書を順次作成する（Ｓ５：コメント候補作成ステップ）。なお、この応答コメント候補の作成の流れについては、後に図１１を用いて詳述する。
The content information included in the video content received by the content receiving unit 11 is extracted by the content
応答コメント候補作成部１４の重複確認部１４４は、文書構成部１４３から出力された文書（応答コメント候補）が、最近出力された文書と重複するか否かを確認する（Ｓ６）。重複確認部１４４は、重複しない文書を応答コメント候補として、応答コメント候補調整部１５へと出力する。一方、最近出力された文書と重複する文書は、重複確認部１４４において削除される。これにより、ユーザに対して、同じ応答コメント候補を連続して提示することを防ぐことできる。
The
重複確認部１４４から出力された応答コメント候補は、次に、応答コメント候補調整部１５において、記憶部２０に記憶されているユーザ情報２３、端末設定情報２４などを参照して、応答コメント候補として出力された応答コメント候補の表現を変換する（Ｓ７）。これにより、ユーザに対して違和感の少ない応答コメント候補として提示することができる。
The response comment candidates output from the
応答コメント候補調整部１５から出力される応答コメント候補を受け取る表示制御部１６は、表示部１７の所定の位置、すなわち、最新の応答コメント候補を表示する位置、に、該応答コメント候補を表示する（Ｓ８）。
The
ユーザは、表示された各応答コメント候補を確認し、気に入った応答コメント候補を選択することができる。ユーザによる選択動作を受け付けた場合（Ｓ９においてＹＥＳ）、表示制御部１６は、選択された応答コメント候補を、漫画などで利用される吹き出し付きで表示したり、文字を太字にして表示したりするなど変化させる（Ｓ１０）。
The user can confirm each displayed response comment candidate and select a favorite response comment candidate. When the selection operation by the user is accepted (YES in S9), the
また、表示制御部１６は、選択された応答コメント候補のテキストを通信部１９に出力し、通信部１９は、選択された応答コメント候補のテキストを、通信ネットワークを介してコメントサーバ５へ送信する（Ｓ１１：コメント送信ステップ）。
Further, the
コメントサーバ５が、特定グループ内に所属する他のユーザ（視聴者）へと送信する（Ｓ１２）。これにより、上記映像に関するコメントを、特定グループ内でやりとりすることができる。
もし、作成される応答コメント候補が不正確または不適当なものであった場合でも、ユーザはその中から気に入った応答コメント候補を選択することができるので、ユーザは適当なコメントを知人や公に送信することができる。
The
Even if the response comment candidate to be created is inaccurate or inappropriate, the user can select a response comment candidate that he / she likes, so that the user can make an appropriate comment publicly or publicly. Can be sent.
なお、提示される応答コメント候補を映像コンテンツと併せて視聴することは、ユーザにとって魅力的な映像コンテンツの楽しみ方を提供する可能性もある。 Note that viewing the displayed response comment candidate together with the video content may provide an attractive way of enjoying the video content for the user.
このように情報表示装置１は、ユーザが映像を視聴中にコメントを投稿したり、知人と会話をしたりする際、（ソフトウェアを含む）キーボードや音声の入力等を行わず、次々と提示される候補文から選択するだけであるため、映像視聴を妨げずに、適時入力が可能で、会話等もできる。
As described above, the
また、ユーザ設定、視聴履歴、コメント選択（内容とタイミング）履歴、チャット履歴等を記憶部２０に蓄積して、応答コメント候補を作成する際に参照することにより、応答コメント候補をユーザ毎にカスタマイズでき、より適切な応答コメント候補の提示が可能となる。
In addition, user setting, viewing history, comment selection (content and timing) history, chat history, etc. are accumulated in the
（応答コメント候補の作成の流れ）
ここでは、応答コメント候補を作成するときに会話ボットを使用する例について、図１１を用いて説明する。
(Flow for creating response comment candidates)
Here, an example of using a conversation bot when creating a response comment candidate will be described with reference to FIG.
コンテンツ受信部１１が受信した映像コンテンツのコンテンツデータからテキストを抽出する。コンテンツデータが字幕データであれば、すでにテキスト形式であるため、解析を必要とせずにテキストを抽出する（Ｓ５１）。抽出されたテキストは字幕として、所定の出力箇所（表示位置）に表示する（Ｓ５２）。 Text is extracted from the content data of the video content received by the content receiving unit 11. If the content data is subtitle data, the text is already in the text format, so the text is extracted without requiring analysis (S51). The extracted text is displayed as a caption at a predetermined output location (display position) (S52).
コンテンツデータが画像データであれば、コンテンツ情報抽出部１３は、フレーム画像を画像解析することによって、フレーム画像中に含まれるテロップなどをテキストデータとして抽出する（Ｓ５３）。
If the content data is image data, the content
コンテンツデータが音声データであれば、コンテンツ情報抽出部１３は、音波解析などによって、音声データからテキストデータを抽出する（Ｓ５４）。なお、一定時間の沈黙（無音）または声色（周波数）の変化を検知して、これらを応答コメント候補を表示するタイミングにおける区切りとして用いる（Ｓ５５）。音声データを解析して抽出されるテキストの場合、該テキストに関する応答コメント候補を作成して表示する期間を調整するために、Ｓ５５のような区切りを設定することが好ましい。
If the content data is audio data, the content
なお、受信した他のユーザからのコメントは、すでにテキスト形式であるため、解析を必要とせずにテキストを抽出する（Ｓ５６）。 Since the received comments from other users are already in text format, the text is extracted without requiring analysis (S56).
抽出されたテキストは応答コメント候補作成部１４の会話ボットに入力される（Ｓ５７）。 The extracted text is input to the conversation bot of the response comment candidate creation unit 14 (S57).
これにより、該映像コンテンツに含まれる多様なテキストを用いて、幅広いコメント候補を作成することができる。 Thus, a wide range of comment candidates can be created using various texts included in the video content.
〔実施形態３〕
情報表示装置１の制御ブロック（特にコンテンツ処理部１２、コンテンツ情報抽出部１３、応答コメント候補作成部１４、および応答コメント候補調整部１５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
[Embodiment 3]
The control block (particularly the
後者の場合、コメント作成装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔実施例〕
（会話ボットへの入力テキストに工夫を加えた例）
例えば、放送番組の字幕データには、その放送番組に出演する出演者の名前を含むものが少なくない。出願人は、当該名前部分に変更を加えることで、会話ボットから出力される応答コメント候補が、より自然に近い会話となることを見出した。このことについて、図１２を用いて説明する。図１２は、会話ボットに入力する字幕テキストの例と、その字幕テキストに対して会話ボットが作成した応答コメント候補との対応を示した図である。
〔Example〕
(Example of input text added to the conversation bot)
For example, subtitle data of a broadcast program often includes the names of performers who appear in the broadcast program. The applicant has found that the response comment candidate output from the conversation bot becomes a more natural conversation by changing the name portion. This will be described with reference to FIG. FIG. 12 is a diagram illustrating a correspondence between an example of subtitle text input to the conversation bot and a response comment candidate created by the conversation bot for the subtitle text.
字幕テキストに名前が含まれている状態のまま入力した場合には、図１２の（ａ）に示すように、会話としては違和感のある、ずれた応答コメント候補が出力された。これは、一般的に、会話ボットが入力されたテキストを理解できなかった時の現象として認識されている。 When the input is performed while the name is included in the subtitle text, as shown in FIG. 12A, a shifted response comment candidate that is uncomfortable as a conversation is output. This is generally recognized as a phenomenon when the conversation bot cannot understand the input text.
そこで、図１２の（ｂ）では、出演者の名前を、今回使用した会話ボット自身の呼び名“ひめ”に自動的に置き換えた。この場合には、置き換えられた自分（会話ボット）の名前に強く反応したことを示す応答コメント候補が出力された。 Therefore, in FIG. 12B, the name of the performer is automatically replaced with the name “Hime” of the conversation bot itself used this time. In this case, a response comment candidate indicating that the name of the replaced person (conversation bot) was strongly reacted was output.
最後に、図１２の（ｃ）では、名前部分を、該名前に続く助詞の“も”とともに、自動的に削除した。この場合には、かなり自然に近い会話となった。 Finally, in FIG. 12 (c), the name portion is automatically deleted together with the particle "mo" following the name. In this case, the conversation was fairly natural.
会話ボットを本願のように応答コメント候補の作成に活用する場合には、入力テキストに誰かの名前が含まれるかどうかを確認し、確認できれば該入力テキストの中から名前とそれに続く助詞とを削除して会話ボットに入力するという、アルゴリズムが好適であると考えられる。なお、名前が含まれていることが確認できなければ、その入力テキストはそのまま会話ボットに入力すればよい。 When using a conversation bot to create response comment candidates as in the present application, check whether the name of the input text includes someone's name, and if it can be confirmed, delete the name and subsequent particles from the input text. Then, it is considered that an algorithm of inputting to the conversation bot is preferable. If it cannot be confirmed that the name is included, the input text can be input to the conversation bot as it is.
〔まとめ〕
本発明の態様１に係るコメント作成装置１０は、或る映像に関するコメントを作成して送信するコメント作成装置であって、当該映像を含む映像コンテンツを順次受信するコンテンツ受信手段（コンテンツ受信部１１）と、該コンテンツ受信手段が受信した映像コンテンツから、上記映像に関するコメント候補を次々に作成して出力するコメント候補作成手段（応答コメント候補作成部１４）と、該コメント候補作成手段が出力した上記コメント候補のうち、ユーザによって選択されたコメント候補を、上記映像に関する当該ユーザのコメントとして、外部ネットワーク（通信ネットワーク７）に送信するコメント送信手段（通信部１９）とを備えている。
[Summary]
The
上記の構成によれば、映像を含む映像コンテンツが受信され、受信された映像コンテンツから、該映像に関するコメント候補が順次作成され出力される。そして、ユーザによって選択されたコメント候補が、上記映像に関する当該ユーザのコメントとして、外部ネットワークに送信される。これにより、ユーザは、出力された上記コメント候補を参照して、所望のコメント候補を選択するだけで、自身のコメントを外部ネットワークに送信することができる。従って、ユーザが自身のコメントを作成する場合に比べて、手間がかからず、その結果、上記コメントの作成のために上記映像を視認できない期間を短くでき、上記コメントの発信を遅滞なく行うことができる。 According to the above configuration, video content including a video is received, and comment candidates relating to the video are sequentially created and output from the received video content. Then, the comment candidate selected by the user is transmitted to the external network as the user's comment regarding the video. Accordingly, the user can transmit his / her comment to the external network only by selecting the desired comment candidate by referring to the output comment candidate. Therefore, compared with the case where the user creates his / her own comment, it takes less time, and as a result, the period during which the video cannot be viewed for creating the comment can be shortened, and the comment can be transmitted without delay. Can do.
なお、作成されたコメント候補は、上記映像を表示する表示装置に出力してもよいし、該表示装置とは別の表示装置（例えば携帯端末）に出力してもよい。また、ユーザによる上記選択の指示は、ユーザからユーザインターフェースを介して直接的に取得してもよいし、上記別の表示装置から通信インターフェースを介して間接的に取得してもよい。 Note that the created comment candidates may be output to a display device that displays the video, or may be output to a display device (for example, a portable terminal) different from the display device. Further, the selection instruction by the user may be acquired directly from the user via the user interface, or may be indirectly acquired from the other display device via the communication interface.
本発明の態様２に係るコメント作成装置は、上記態様１において、上記コメント候補はテキストであり、上記コメント候補作成手段は、上記映像コンテンツに含まれるコンテンツデータから、上記映像に関するテキストを抽出し、抽出したテキストから上記映像に関するコメント候補を作成することが好ましい。
In the comment creating apparatus according to aspect 2 of the present invention, in the
この場合、上記コメント候補が映像または音声である場合に比べて、背景または背景音の情報など、コメントに関する情報以外の余分な情報を含まないので、ユーザによる上記コメント候補の参照が容易になる。その結果、ユーザによる上記コメントの選択を迅速に行うことができ、上記コメントの作成のために上記映像を視認できない期間をさらに短くすることができる。なお、上記コンテンツデータから上記テキストを抽出するには、例えば、上記映像コンテンツの字幕データから上記テキストを抽出したり、上記映像コンテンツの音声データから音声認識を介して上記テキストを抽出したり、上記映像コンテンツのテロップデータから画像認識を介して上記テキストを抽出したりすればよい。 In this case, compared to the case where the comment candidate is video or audio, extra information other than information related to the comment such as background or background sound information is not included, so that the user can easily refer to the comment candidate. As a result, it is possible to quickly select the comment by the user, and it is possible to further shorten the period during which the video cannot be visually recognized for the creation of the comment. In order to extract the text from the content data, for example, the text is extracted from the caption data of the video content, the text is extracted from the audio data of the video content through speech recognition, The text may be extracted from image content telop data through image recognition.
本発明の態様３に係るコメント作成装置は、上記態様１において、上記コメント候補作成手段は、人工無脳または人工知能のアルゴリズムを用いて、上記抽出したテキストから上記コメント候補を作成することが好ましい。
In the comment creating device according to aspect 3 of the present invention, in the
人工無脳は、別名を会話ボットともいい、人間が行う知的な会話をシミュレートするものである。人工無脳のアルゴリズムを用いることにより、より人間が行うような会話またはつぶやきとして適当なコメント候補を、映像コンテンツに合わせて迅速に作成することができる。 Artificial brainlessness, also known as a conversation bot, simulates an intelligent conversation performed by humans. By using an artificial brainless algorithm, it is possible to quickly create comment candidates suitable for conversations or tweets that are more humanly performed according to the video content.
一方、人工知能は、推論・判断などの知的な機能を人工的に実現したものである。人工知能のアルゴリズムを用いることにより、より自然で複雑な会話を可能とするコメント候補を自動的に作成することができる。さらに、人工知能が学習機能を有する場合、当該人工知能が繰り返し利用されることにより、ユーザがより選択し易い的確なコメント候補を作成することができる。 Artificial intelligence, on the other hand, artificially realizes intelligent functions such as inference and judgment. By using the artificial intelligence algorithm, it is possible to automatically create comment candidates that enable more natural and complex conversations. Furthermore, when the artificial intelligence has a learning function, it is possible to create an accurate comment candidate that is easier for the user to select by repeatedly using the artificial intelligence.
なお、実施例では、上記抽出したテキストが名前を含む場合、該名前を含む文節を削除した上で、上記コメント候補を作成することが好適であった。 In the embodiment, when the extracted text includes a name, it is preferable to create the comment candidate after deleting a phrase including the name.
本発明の態様４に係るコメント作成装置は、上記態様１から３のいずれか１つにおいて、上記コメント候補作成手段は、作成したコメント候補を上記映像と共に表示するように表示装置（表示部１７）に指示することが好ましい。この場合、ユーザは、上記映像を視認しつつ上記コメント候補を視認できるので、上記映像に対応した上記コメント候補を選択することが容易となる。
The comment creation device according to aspect 4 of the present invention is the display device (display unit 17) in any one of the
本発明の態様５に係るコメント作成装置は、上記態様１から４のいずれか１つにおいて、上記映像コンテンツは、放送局またはサーバから配信される放送番組であることが好ましい。この場合、リアルタイムで放送される放送番組に対し、コメントの発信を遅滞なく行うことができるので、タイムリーなコメントを発信することができる。
In the comment creating apparatus according to
本発明の態様６に係るコメント作成装置は、上記態様１から５のいずれか１つにおいて、他ユーザのコメントを示すテキストデータを上記外部ネットワークから受信した場合には、上記コメント候補作成手段は、上記映像コンテンツおよび上記テキストデータから、上記コメント候補を作成することが好ましい。この場合、上記コメント候補は、上記映像と上記他ユーザのコメントとに関するものとなる。従って、ユーザによって選択された上記コメント候補を当該ユーザのコメントとして上記外部ネットワークに送信することにより、上記映像に関する上記他ユーザとの会話を成立させることができる。 In any one of the first to fifth aspects, the comment creating apparatus according to the sixth aspect of the present invention receives the text data indicating the comment of another user from the external network. It is preferable that the comment candidate is created from the video content and the text data. In this case, the comment candidate is related to the video and the comment of the other user. Accordingly, by transmitting the comment candidate selected by the user as the user's comment to the external network, a conversation with the other user regarding the video can be established.
本発明の態様７に係るコメント作成装置は、上記態様６において、上記コメント候補作成手段は、作成したコメント候補と、上記他ユーザのコメントとを表示するように表示装置に指示することが好ましい。この場合、上記ユーザは、上記他ユーザのコメントを視認しつつ上記コメント候補を視認できるので、上記他ユーザのコメントに対応した上記コメント候補を選択することが容易となる。なお、上記コメント候補作成手段は、上記コメント候補と上記他ユーザのコメントとを上記映像と共に表示するように上記表示装置に指示する場合、上記他ユーザのコメントを上記コメント候補の近傍に表示するように上記表示装置に指示することが好ましい。
In the comment creating apparatus according to
本発明の態様８に係るコメント作成装置は、上記態様１から７のいずれか１つにおいて、上記ユーザの属性情報を記憶する記憶部をさらに備え、上記コメント候補作成手段は、作成したコメント候補について、上記記憶部における上記ユーザの属性情報に基づいて表現を変更した上で出力してもよい。ここで、ユーザの属性情報の例としては、ユーザの性別、年齢などが挙げられる。上記の場合、言い回し、言葉遣いなどの表現が上記ユーザに適合したコメント候補が出力されるので、上記ユーザに違和感を与えることがない。
A comment creating apparatus according to an aspect 8 of the present invention further includes a storage unit for storing the attribute information of the user in any one of the
本発明の態様９に係るコメント作成装置は、上記態様１から８のいずれか１つにおいて、上記コンテンツ受信手段が受信した上記映像コンテンツと、上記コメント候補作成手段が出力した上記コメント候補とを表示する表示手段を備えてもよい。
The comment creating apparatus according to
本発明の態様１０に係るコメントサーバ５は、或る映像に関するコメントを提供するコメントサーバであって、当該映像に関するユーザのグループを設定し、当該映像に関するコメントを、上記グループの或るユーザの通信装置（コメント作成装置１）から外部ネットワークを介して受信し、かつ、受信したコメントを、当該グループの他のユーザの通信装置に外部ネットワークを介して送信するものである。
The
これにより、或るグループの或るユーザが作成した或る映像に関するコメントを、当該グループの他のユーザに提供することができる。その結果、上記映像に関するコメントを、上記グループ内でやりとりすることができる。 Thereby, a comment regarding a certain video created by a certain user of a certain group can be provided to other users of the group. As a result, comments regarding the video can be exchanged within the group.
本発明の態様１１に係る表示装置は、或る映像を表示する表示装置であって、当該映像を含む映像コンテンツを順次受信し、上記映像に関するコメント候補を次々に受信し、受信した映像コンテンツに含まれる映像を、受信したコメント候補と共に表示するものである。 A display device according to an aspect 11 of the present invention is a display device that displays a certain video, sequentially receives video content including the video, sequentially receives comment candidates related to the video, and receives the received video content. The included video is displayed together with the received comment candidate.
これにより、ユーザは、上記映像と該映像に関するコメント候補とを容易に比較できる。その結果、上記コメント候補の中から適切なものを選択することができる。 Thereby, the user can easily compare the video and comment candidates related to the video. As a result, an appropriate comment can be selected from the comment candidates.
本発明の態様１２に係るコメント作成装置の制御方法は、上記態様１から８のいずれか１つにおいて、或る映像に関するコメントを作成して送信するコメント作成装置の制御方法であって、当該映像を含む映像コンテンツを順次受信するコンテンツ受信ステップ（Ｓ１）と、該コンテンツ受信ステップにおいて受信した映像コンテンツから、上記映像に関するコメント候補を次々に作成して出力するコメント候補作成ステップ（Ｓ５）と、該コメント候補作成ステップにおいて作成して出力した上記コメント候補のうち、ユーザによって選択されたコメント候補を、上記映像に関する当該ユーザのコメントとして、外部ネットワークに送信するコメント送信ステップ（Ｓ１１）とを含んでいる。
A control method for a comment creating apparatus according to
上記の方法によれば、上記の態様１と同様の効果を奏する。
According to said method, there exists an effect similar to said
本発明の各態様に係るコメント作成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記コメント作成装置が備える各手段として動作させることにより上記コメント作成装置をコンピュータにて実現させるコメント作成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The comment creating apparatus according to each aspect of the present invention may be realized by a computer. In this case, the comment creating apparatus is realized by the computer by causing the computer to operate as each unit included in the comment creating apparatus. A control program for the comment creating apparatus and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
本発明は、放送局から放送波によって配信される放送番組、および、動画などの映像コンテンツを外部ネットワークから受信して再生可能なタブレット、スマートフォンなどの通信端末、およびテレビなどに利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for a tablet, a communication terminal such as a smartphone, a TV, and the like that can receive a broadcast program distributed from a broadcast station by broadcast waves and a video content such as a moving image from an external network and reproduce it. .
１ 情報表示装置
５ コメントサーバ
７ 通信ネットワーク（外部ネットワーク）
１０ コメント作成装置
１１ コンテンツ受信部（コンテンツ受信手段）
１４ 応答コメント候補作成部（コメント候補作成手段）
１６ 表示制御部（表示制御手段）
１７ 表示部（表示手段、表示装置）
１９ 通信部（コメント送信手段）
２０ 記憶部
Ｓ１ コンテンツ受信ステップ
Ｓ５ コメント候補作成ステップ
Ｓ１１ コメント送信ステップ
1
DESCRIPTION OF
14 Response comment candidate creation section (comment candidate creation means)
16 Display control unit (display control means)
17 Display unit (display means, display device)
19 Communication Department (Comment sending means)
20 storage unit S1 content reception step S5 comment candidate creation step S11 comment transmission step
Claims (5)
当該映像を含む映像コンテンツを順次受信するコンテンツ受信手段と、
該コンテンツ受信手段が受信した映像コンテンツから、上記映像に関するコメント候補を次々に作成して出力するコメント候補作成手段と、
該コメント候補作成手段が出力した上記コメント候補のうち、ユーザによって選択されたコメント候補を、上記映像に関する当該ユーザのコメントとして、外部ネットワークに送信するコメント送信手段とを備えることを特徴とするコメント作成装置。 A comment creation device for creating and sending a comment about a video,
Content receiving means for sequentially receiving video content including the video;
Comment candidate creating means for creating and outputting comment candidates relating to the video one after another from the video content received by the content receiving means;
Comment creating means comprising comment sending means for sending a comment candidate selected by the user among the comment candidates output by the comment candidate creating means to the external network as the user's comment regarding the video. apparatus.
上記コメント候補作成手段は、上記映像コンテンツに含まれるコンテンツデータから、上記映像に関するテキストを抽出し、抽出したテキストから上記映像に関するコメント候補を作成することを特徴とする請求項１に記載のコメント作成装置。 The comment candidate is text,
The comment creation unit according to claim 1, wherein the comment candidate creating unit extracts text related to the video from content data included in the video content, and creates a comment candidate related to the video from the extracted text. apparatus.
当該映像を含む映像コンテンツを順次受信するコンテンツ受信ステップと、
該コンテンツ受信ステップにおいて受信した映像コンテンツから、上記映像に関するコメント候補を次々に作成して出力するコメント候補作成ステップと、
該コメント候補作成ステップにおいて作成して出力した上記コメント候補のうち、ユーザによって選択されたコメント候補を、上記映像に関する当該ユーザのコメントとして、外部ネットワークに送信するコメント送信ステップとを含むことを特徴とするコメント作成装置の制御方法。 A method for controlling a comment creating apparatus for creating and sending a comment about a video,
A content receiving step for sequentially receiving video content including the video;
A comment candidate creating step for creating and outputting comment candidates for the video one after another from the video content received in the content receiving step;
A comment transmission step of transmitting a comment candidate selected by a user among the comment candidates generated and output in the comment candidate generation step as a comment of the user regarding the video to an external network, To control the comment creating apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258602A JP2015115892A (en) | 2013-12-13 | 2013-12-13 | Comment generating apparatus and control method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258602A JP2015115892A (en) | 2013-12-13 | 2013-12-13 | Comment generating apparatus and control method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015115892A true JP2015115892A (en) | 2015-06-22 |
Family
ID=53529285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013258602A Pending JP2015115892A (en) | 2013-12-13 | 2013-12-13 | Comment generating apparatus and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015115892A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6178941B1 (en) * | 2017-03-21 | 2017-08-09 | 株式会社ドワンゴ | Reaction selection device, reaction selection method, reaction selection program |
| JP2018525675A (en) * | 2015-08-18 | 2018-09-06 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Method and device for generating live text broadcast content using past broadcast text |
| WO2019054792A1 (en) * | 2017-09-15 | 2019-03-21 | 삼성전자 주식회사 | Method and terminal for providing content |
| JP2019169976A (en) * | 2019-06-09 | 2019-10-03 | 田村 昌和 | Live distribution server, live distribution method, and program for assisting live distributor and the like |
| JP2019197486A (en) * | 2018-05-11 | 2019-11-14 | 株式会社Ｎｔｔドコモ | Information processing apparatus and program |
| JP2019197488A (en) * | 2018-05-11 | 2019-11-14 | 株式会社Ｎｔｔドコモ | Information processing apparatus and program |
| JP2020126437A (en) * | 2019-02-04 | 2020-08-20 | 株式会社ミクシィ | Information processing system, control program, and information processing device |
| JP2020181584A (en) * | 2016-09-20 | 2020-11-05 | グーグル エルエルシー | System and method for transmitting response in messaging application |
| JP7154360B1 (en) | 2021-09-30 | 2022-10-17 | Kddi株式会社 | Information delivery device, information delivery method and program |
| JP2023503264A (en) * | 2019-11-19 | 2023-01-27 | 北京字節跳動網絡技術有限公司 | View adjustment method and apparatus for target devices, electronic devices and media |
| JP7520264B1 (en) | 2024-04-26 | 2024-07-22 | 株式会社ドワンゴ | USER TERMINAL, REACTION CONTROL METHOD, REACTION CONTROL PROGRAM, AND DISTRIBUTION SYSTEM |
| JP7549312B2 (en) | 2022-12-21 | 2024-09-11 | グリー株式会社 | Information processing system, information processing method, and program |
-
2013
- 2013-12-13 JP JP2013258602A patent/JP2015115892A/en active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018525675A (en) * | 2015-08-18 | 2018-09-06 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Method and device for generating live text broadcast content using past broadcast text |
| JP2020181584A (en) * | 2016-09-20 | 2020-11-05 | グーグル エルエルシー | System and method for transmitting response in messaging application |
| US11425060B2 (en) | 2016-09-20 | 2022-08-23 | Google Llc | System and method for transmitting a response in a messaging application |
| WO2018173804A1 (en) * | 2017-03-21 | 2018-09-27 | 株式会社ドワンゴ | Reaction selection device, reaction selection method, and reaction selection program |
| JP2018157465A (en) * | 2017-03-21 | 2018-10-04 | 株式会社ドワンゴ | Reaction selection device, reaction selection method, and reaction selection program |
| JP6178941B1 (en) * | 2017-03-21 | 2017-08-09 | 株式会社ドワンゴ | Reaction selection device, reaction selection method, reaction selection program |
| CN110326301A (en) * | 2017-03-21 | 2019-10-11 | 多玩国株式会社 | Selecting response device, selecting response method and selecting response program |
| US11064258B2 (en) | 2017-03-21 | 2021-07-13 | Dwango Co., Ltd. | Reaction selection device, reaction selection method, and reaction selection program |
| US11210525B2 (en) | 2017-09-15 | 2021-12-28 | Samsung Electronics Co., Ltd. | Method and terminal for providing content |
| WO2019054792A1 (en) * | 2017-09-15 | 2019-03-21 | 삼성전자 주식회사 | Method and terminal for providing content |
| JP7134699B2 (en) | 2018-05-11 | 2022-09-12 | 株式会社Ｎｔｔドコモ | Information processing device and program |
| JP2019197488A (en) * | 2018-05-11 | 2019-11-14 | 株式会社Ｎｔｔドコモ | Information processing apparatus and program |
| JP2019197486A (en) * | 2018-05-11 | 2019-11-14 | 株式会社Ｎｔｔドコモ | Information processing apparatus and program |
| JP7134698B2 (en) | 2018-05-11 | 2022-09-12 | 株式会社Ｎｔｔドコモ | Information processing device and program |
| JP7212255B2 (en) | 2019-02-04 | 2023-01-25 | 株式会社Mixi | Information processing system, control program and information processing device |
| JP2020126437A (en) * | 2019-02-04 | 2020-08-20 | 株式会社ミクシィ | Information processing system, control program, and information processing device |
| JP2023052126A (en) * | 2019-02-04 | 2023-04-11 | 株式会社Mixi | Information processing system, control program, and information processing device |
| JP7525801B2 (en) | 2019-02-04 | 2024-07-31 | 株式会社Mixi | Information processing system, control program, and information processing device |
| JP2019169976A (en) * | 2019-06-09 | 2019-10-03 | 田村 昌和 | Live distribution server, live distribution method, and program for assisting live distributor and the like |
| JP2023503264A (en) * | 2019-11-19 | 2023-01-27 | 北京字節跳動網絡技術有限公司 | View adjustment method and apparatus for target devices, electronic devices and media |
| JP7383150B2 (en) | 2019-11-19 | 2023-11-17 | 北京字節跳動網絡技術有限公司 | View adjustment method and apparatus for target devices, electronic devices and media |
| JP7154360B1 (en) | 2021-09-30 | 2022-10-17 | Kddi株式会社 | Information delivery device, information delivery method and program |
| JP2023050587A (en) * | 2021-09-30 | 2023-04-11 | Kddi株式会社 | Information distribution apparatus, information distribution method, and program |
| JP7549312B2 (en) | 2022-12-21 | 2024-09-11 | グリー株式会社 | Information processing system, information processing method, and program |
| JP7520264B1 (en) | 2024-04-26 | 2024-07-22 | 株式会社ドワンゴ | USER TERMINAL, REACTION CONTROL METHOD, REACTION CONTROL PROGRAM, AND DISTRIBUTION SYSTEM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015115892A (en) | Comment generating apparatus and control method of the same | |
| US11477537B2 (en) | Event-driven streaming media interactivity | |
| US20220284896A1 (en) | Electronic personal interactive device | |
| US9282377B2 (en) | Apparatuses, methods and systems to provide translations of information into sign language or other formats | |
| Messerli | Participation structure in fictional discourse: Authors, scriptwriters, audiences and characters | |
| US11863836B2 (en) | Event-driven streaming media interactivity | |
| CN108027832A (en) | The visualization of the autoabstract scaled using keyword | |
| US11948594B2 (en) | Automated conversation content items from natural language | |
| WO2021120690A1 (en) | Speech recognition method and apparatus, and medium | |
| EP3693847B1 (en) | Facilitating awareness and conversation throughput in an augmentative and alternative communication system | |
| US9563704B1 (en) | Methods, systems, and media for presenting suggestions of related media content | |
| US20230027035A1 (en) | Automated narrative production system and script production method with real-time interactive characters | |
| JP2011164681A (en) | Device, method and program for inputting character and computer-readable recording medium recording the same | |
| Kroon Lundell et al. | Interpreting the news: Swedish correspondents as expert sources, 1982–2012 | |
| Sindoni | Multimodality and Translanguaging in Video Interactions | |
| US20240346728A1 (en) | Information processing device, information processing method, and information processing system | |
| CN111178086B (en) | Data processing method, device and medium | |
| US12033258B1 (en) | Automated conversation content items from natural language | |
| Arduser | Remediating diagnosis: A familiar narrative form or emerging digital genre? | |
| Cao | When Documentaries Meet New Media: Interactive Documentary Projects in China and the West | |
| Cui | Meme genres and the art of the YouTube apology parody | |
| Zhou et al. | Exploring the Diversity of Music Experiences for Deaf and Hard of Hearing People | |
| Butler | Principles for Cultivating Rhetorics and Research Studies within Communities | |
| US12057956B2 (en) | Systems and methods for decentralized generation of a summary of a vitrual meeting | |
| Chang | Innovation of a smartphone app design as used in face-to-face communication for the deaf/hard of hearing |