JP7019984B2 - Information presentation system, information presentation method and program - Google Patents
Information presentation system, information presentation method and program Download PDFInfo
- Publication number
- JP7019984B2 JP7019984B2 JP2017140557A JP2017140557A JP7019984B2 JP 7019984 B2 JP7019984 B2 JP 7019984B2 JP 2017140557 A JP2017140557 A JP 2017140557A JP 2017140557 A JP2017140557 A JP 2017140557A JP 7019984 B2 JP7019984 B2 JP 7019984B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- dialogue
- data
- browsing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000008569 process Effects 0.000 claims description 21
- 238000013075 data extraction Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 description 44
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報提示システム、情報提示方法及びプログラムに関する。 The present invention relates to an information presentation system, an information presentation method and a program.
近年、インターネット環境が充実したことにより、ソーシャル・ネットワーク・サービス(以下、SNSと示す)が普及し、テキストや画像を用いて複数のユーザ間において簡易に意思疎通を行うことが可能となっている。例えば、SNSのアプリケーションとしては、LINE(登録商標)やFacebook(登録商標)メッセンジャーなどが代表的である。これらのSNSは、一対一のユーザ間の情報のやり取りだけでなく、所定のグループにおける多人数のユーザ間で送受信する情報(複数のユーザ間における対話)を、グループ内の全てのユーザで共有する機能も有している。 In recent years, with the enhancement of the Internet environment, social network services (hereinafter referred to as SNS) have become widespread, and it has become possible to easily communicate between a plurality of users using texts and images. .. For example, LINE (registered trademark) and Facebook (registered trademark) messenger are typical SNS applications. These SNSs not only exchange information between one-to-one users, but also share information transmitted and received between a large number of users in a predetermined group (dialogue between a plurality of users) among all users in the group. It also has a function.
上記SNSにおける送受信される情報のユーザに対する情報提示方法には様々な手法があり、メッセージ(情報)がやり取りされた時系列な順番を示す一般的な表示に加えて、やり取りの時間間隔を直感的に視認できるよう、時間間隔に対応した画面上の表示位置の間隔によりメッセージを表示して視覚的に時系列変化を示す提示方法がある(例えば、特許文献1参照)。 There are various methods for presenting information sent and received to users in the above SNS, and in addition to the general display showing the chronological order in which messages (information) are exchanged, the time interval of exchange is intuitive. There is a presentation method in which a message is displayed according to the interval of display positions on the screen corresponding to the time interval to visually indicate the time-series change (see, for example, Patent Document 1).
また、多人数の対話においては、利用者が異なるグループで発言した内容を相互に対応付けて提示するインターフェースを有する提示方法がある(例えば、特許文献2参照)。
また、各ユーザの対話内容を記録し、再生する際にLINE(登録商標)の対話インターフェースのように、時系列の順番にユーザ毎のメッセージを表示する電子会議室システムがある(例えば、特許文献3参照)。
Further, in a dialogue with a large number of people, there is a presentation method having an interface for presenting the contents of the statements made by the users in different groups in association with each other (see, for example, Patent Document 2).
Further, there is an electronic conference room system that records a dialogue content of each user and displays a message for each user in chronological order like a dialogue interface of LINE (registered trademark) when playing back (for example, a patent document). 3).
しかしながら、上述した情報提示方法においては、多人数で対話を行う際、表示画面に表示されるメッセージのフォントや吹き出しの画像が同一あるいは類似したものが多く、自身以外の他のユーザのメッセージを、上記表示画面において直感的に判別し難いという問題がある。 However, in the above-mentioned information presentation method, when a large number of people have a dialogue, the font of the message displayed on the display screen and the image of the balloon are often the same or similar, and the message of a user other than itself is displayed. There is a problem that it is difficult to intuitively distinguish on the above display screen.
また、情報提示方法においては、SNS内で構築されたグループ内のユーザ間のメッセージのやり取りを閲覧する際、他のユーザ間である程度のメッセージやり取りが行われた後に、このやり取りに途中から参加するユーザもいる。この途中参加のユーザが過去のメッセージのやり取りを全て閲覧して確認しなければ、自身が閲覧したい、すなわち自身が「興味がある」あるいは自身と「関連がある」とされるメッセージを検出することが困難という問題がある。 Further, in the information presentation method, when viewing the message exchange between users in the group constructed in the SNS, after a certain amount of message exchange is performed between other users, the user participates in this exchange from the middle. There are also users. If this mid-career user does not view and confirm all past message exchanges, it will detect messages that he or she wants to view, that is, that he or she is "interested" or "related" to. There is a problem that it is difficult.
本発明は、このような状況に鑑みてなされたもので、ユーザ自身が「興味がある」あるいはユーザ自身と「関連がある」と推定されるメッセージのフォントや吹き出しの画像等を、他の興味/関連性の低いメッセージの画像に比較して強調表示(強調提示)し、自身以外のユーザの興味/関連性の有するメッセージを直感的に知覚可能とし、判別し易くすることが可能な情報提示システム、情報提示方法及びプログラムを提供する。 The present invention has been made in view of such a situation, and is interested in the font of a message, the image of a balloon, etc., which are presumed to be "interested" by the user or "related" to the user. / Information presentation that can be highlighted (highlighted) compared to the image of a message with low relevance, and messages that are of interest / relevance to users other than itself can be intuitively perceived and easily distinguished. Provide systems, information presentation methods and programs.
上述した課題を解決するために、本発明の情報提示システムは、ネットワークを介して、所定の対話グループに属する複数のユーザが各々の端末を用い、それぞれのユーザの間で対話を行う際、対話データの履歴のなかから前記ユーザの各々が参照したい対話データの表示制御を行う情報提示システムであり、前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部と、前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定部と、少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築部と、前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出部と、前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御部とを備えることを特徴とする。 In order to solve the above-mentioned problems, the information presentation system of the present invention has a dialogue when a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between the respective users via a network. It is an information presentation system that controls the display of dialogue data that each of the users wants to refer to from the data history, and has a speech storage unit that stores dialogue data of each of the users belonging to the dialogue group, and the user's speech storage unit. A browsing-oriented information estimation unit that estimates browsing-oriented information, which is a score indicating the degree of interest / association of each user, from the contents of each dialogue data for each dialogue data by a model corresponding to each of the users . The user obtains the score in accordance with the characteristic information of at least the speech information indicating the speech of the user in the dialogue data and the behavior information indicating the operation of the terminal of the user in the dialogue data. Highlight data that determines the highlight information indicating the display form of the dialogue data by associating the model construction unit generated by machine learning for each user with the viewing-oriented information of each of the dialogue data of the user for each user. It is characterized by including an extraction unit and a data display control unit that displays each of the dialogue data in the display form indicated by the highlighting information on the display screen of the terminal.
本発明の情報配信システムは、前記モデル構築部が、前記対話グループにおける前記ユーザの属性情報により類似サブグループを生成し、当該類似サブグループに対する前記モデルを生成し、前記閲覧志向情報推定部が、前記対話グループに新たに参加したユーザの前記スコアの推定に、当該ユーザの属性情報に対応する前記類似サブグループの前記モデルを用いることを特徴とする。
本発明の情報提示システムは、強調データ抽出部が、前記閲覧志向情報が高くなるにしたがって、より前記閲覧志向情報が低い対話データに比較して、ユーザの知覚が高くなる表示形態で提示するように強調表示情報を決定することを特徴とする。
In the information distribution system of the present invention, the model building unit generates a similar subgroup based on the attribute information of the user in the dialogue group, generates the model for the similar subgroup, and the browsing-oriented information estimation unit generates the model. It is characterized in that the model of the similar subgroup corresponding to the attribute information of the user is used for estimating the score of the user who newly joins the dialogue group.
In the information presentation system of the present invention, the emphasized data extraction unit presents in a display form in which the user's perception becomes higher as the browsing-oriented information becomes higher, as compared with the dialogue data having a lower browsing-oriented information. It is characterized by determining the highlighting information.
本発明の情報提示システムは、前記ユーザ毎に、履歴として記憶されている対話データの自然言語処理を行い、単語の少なくとも意味及び配列から、前記対話データの特徴情報を抽出するデータ解析部をさらに有し、前記閲覧志向情報推定部が、前記特徴情報に対応して、前記ユーザ毎に前記対話データの各々の前記閲覧志向情報を求めることを特徴とする。 The information presentation system of the present invention further includes a data analysis unit that performs natural language processing of dialogue data stored as a history for each user and extracts feature information of the dialogue data from at least the meaning and arrangement of words. It is characterized in that the browsing-oriented information estimation unit obtains the browsing-oriented information of each of the dialogue data for each user in response to the feature information.
本発明の情報提示システムは、前記閲覧志向情報推定部が、前記閲覧志向情報を推定する際に前記対話データのみでなく、少なくとも、前記ユーザと同一の前記対話グループにおける他のユーザの対話データに対する回答の回数、当該回答における対話メッセージの文字数、前記回答までの時間、及び他のユーザの対話データの展開の有無の各々のいずれか、あるいは組み合わせを含む行動情報を用いて、前記閲覧志向情報を推定することを特徴とする。 In the information presentation system of the present invention, when the browsing-oriented information estimation unit estimates the browsing-oriented information, not only the dialogue data but also at least the dialogue data of other users in the same dialogue group as the user. The browsing-oriented information is obtained using behavioral information including the number of responses, the number of characters in the dialogue message in the response, the time until the response, and the presence / absence or combination of expansion of dialogue data of other users. It is characterized by estimating.
本発明の情報提示システムは、前記閲覧志向情報推定部が、前記閲覧志向情報を推定する際に前記対話データのみでなく、少なくとも、前記ユーザと同一の前記対話グループにおける他のユーザの住所、性別、年齢及び職業の各々のいずれかあるいは組み合わせを含む属性情報を用いて、前記閲覧志向情報を推定することを特徴とする。 In the information presentation system of the present invention, when the browsing-oriented information estimation unit estimates the browsing-oriented information, not only the dialogue data but also at least the address and gender of another user in the same dialogue group as the user. It is characterized in that the browsing-oriented information is estimated by using the attribute information including any one or a combination of each of, age and occupation.
本発明の情報提示システムは、前記データ表示制御部が、前記対話データを強調する表示形態として、前記対話データの圧縮(縮小)、展開、フォントサイズ、表示色、明滅のいずれかあるいは組み合わせにより表示することを特徴とする。 In the information presentation system of the present invention, the data display control unit displays the dialogue data by compression (reduction), expansion, font size, display color, blinking, or a combination as a display form for emphasizing the dialogue data. It is characterized by doing.
本発明の情報提示システムは、前記データ表示制御部が、前記対話データを強調する表示形態として、前記対話データに添付された音声、静止画及び動画の各々のテキストの文章以外のコンテンツを提示することを特徴とする。 In the information presentation system of the present invention, the data display control unit presents contents other than texts of audio, still images, and moving images attached to the dialogue data as a display form for emphasizing the dialogue data. It is characterized by that.
本発明の情報提示方法は、ネットワークを介して、所定の対話グループに属する複数のユーザが各々の端末を用い、それぞれのユーザの間で対話を行う際、対話メッセージの履歴のなかから前記ユーザの各々が参照したい対話メッセージの表示制御を行う情報提示システムの動作方法であり、閲覧志向情報推定部が、前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部における前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定過程と、モデル構築部が、少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築過程と、強調データ抽出部が、前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出過程と、データ表示制御部が、前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御過程とを含むことを特徴とする。 In the information presentation method of the present invention, when a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between the respective users via a network, the user's history of dialogue messages is recorded. It is an operation method of the information presentation system that controls the display of the dialogue message that each wants to refer to, and the browsing-oriented information estimation unit is the speech storage unit in which the dialogue data of each user belonging to the dialogue group is stored. A browsing-oriented information estimation process that estimates browsing-oriented information, which is a score indicating the degree of interest / association of each user, from the contents of each dialogue data for each dialogue data by a model corresponding to each of the users . The model building unit obtains the score corresponding to at least the characteristic information of the utterance information indicating the utterance of the user in the dialogue data and the behavior information indicating the operation of the terminal of the user in the dialogue data. The model construction process in which the model is generated by machine learning for each user and the emphasis data extraction unit correspond to the viewing-oriented information of each of the dialogue data of the user for each user and display the dialogue data. The highlight data extraction process for determining the highlight information indicating the form, and the data display control in which the data display control unit displays each of the dialogue data on the display screen of the terminal according to the display form indicated by the highlight information. It is characterized by including processes.
本発明のプログラムは、ネットワークを介して、所定の対話グループに属する複数のユーザが各々の端末を用い、それぞれのユーザの間で対話を行う際、対話メッセージの履歴のなかから前記ユーザの各々が参照したい対話メッセージの表示制御を行う情報提示システムとしてコンピュータを動作させるプログラムであり、前記コンピュータを、前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部における前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定手段、少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築手段、前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出手段、前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御手段として機能させるためのプログラムである。 In the program of the present invention, when a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between the respective users via a network, each of the above users from the history of the dialogue message It is a program that operates a computer as an information presentation system that controls the display of a dialogue message to be referred to, and the computer is used as a user in an utterance storage unit in which dialogue data of each user belonging to the dialogue group is stored. A browsing-oriented information estimation means that estimates browsing-oriented information, which is a score indicating the degree of interest / association of each user from the contents of the dialogue data, for each dialogue data by a model corresponding to each of the users, at least the user . The model for obtaining the score corresponds to the characteristic information of the utterance information indicating the utterance in the dialogue data and the behavior information indicating the operation of the terminal of the user in the dialogue data. A model building means generated by learning, a highlight data extraction means for each user, which corresponds to the viewing-oriented information of each of the dialogue data of the user and determines highlight information indicating a display form of the dialogue data. It is a program for functioning as a data display control means for displaying each of the dialogue data in the display form indicated by the highlighting information on the display screen of the terminal.
以上説明したように、本発明によれば、ユーザ自身が「興味がある」あるいはユーザ自身と「関連がある」と推定されるメッセージのフォントや吹き出しの画像を、他のメッセージの画像に比較して強調表示し、自身以外の他のユーザのメッセージにおける興味/関連性を有するメッセージを直感的に知覚可能とし、判別し易くすることが可能な情報提示システム、情報提示方法及びプログラムを提供することができる。
また、本発明によれば、上述した構成により、「興味が無い」、「関連がない(あるいは低い)」と推定されるメッセージに対し、直感的に知覚可能を得る表示と逆に、直感的な知覚を得ることができない表示(例えば、「興味がある」または「関連がある」メッセージに対して、より抑えめあるいは控えた表示)を行うことにより、「興味がある」または「関連がある」メッセージを直感的に知覚可能とすることもできる。
As described above, according to the present invention, a message font or an image of a balloon that is presumed to be "interested" by the user or "related" to the user is compared with an image of another message. To provide an information presentation system, information presentation method and program capable of intuitively perceiving a message having an interest / relevance in a message of a user other than itself and making it easy to distinguish. Can be done.
Further, according to the present invention, the above-described configuration makes it intuitive, as opposed to a display in which a message presumed to be "not interested" or "irrelevant (or low)" is intuitively perceptible. "Interested" or "related" by making a display that is not perceptible (for example, a more subdued or refrained display for "interested" or "related" messages). The message can also be intuitively perceptible.
本発明においては、SNSの対話システムの利用において、グループ対話の多人数のユーザ間の対話メッセージのやり取りにおける内容把握や対話の話者識別を容易とする情報提供の方法を提供する。ここで、本発明においては、グループにおける任意のユーザと、同一グループの他のユーザとの興味や関連性などをスコアリングした閲覧志向情報を求め、この閲覧志向情報が所定の閾値以上の他のユーザの対話メッセージの表示を、他の対話メッセージに比較して強調表示する。
また、閲覧志向情報が上記閾値未満のメッセージを、閲覧志向情報が閾値以上のメッセージに比較して、より目だたない(控えめあるいは抑えめの)ように圧縮(縮小)した表示とし、閲覧志向情報が閾値以上のメッセージを、より閲覧志向情報が上記閾値未満のメッセージに比較し、より強調させるようにする。
ここで、上記閲覧志向とは、自身の嗜好性及び関連性の各々を有する単語等を含む対話データを参照(閲覧)したいと感じるユーザの意志を示している。
The present invention provides a method for providing information that facilitates grasping the contents of dialogue messages exchanged between a large number of users in a group dialogue and identifying the speaker of the dialogue in the use of the dialogue system of the SNS. Here, in the present invention, browsing-oriented information scoring interests and relationships between any user in the group and other users in the same group is obtained, and the browsing-oriented information is other than a predetermined threshold value or more. Highlight the display of the user's dialogue message compared to other dialogue messages.
In addition, a message whose browsing-oriented information is less than the above threshold value is compressed (reduced) so as to be less noticeable (modest or restrained) compared to a message whose browsing-oriented information is more than the threshold value, and is viewed-oriented. Messages with information above the threshold value are compared with messages with more browsing-oriented information below the threshold value to be emphasized.
Here, the above-mentioned browsing orientation indicates the intention of the user who wants to refer to (browsing) dialogue data including words and the like having each of his / her own preference and relevance.
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態による情報提示システムを用いた対話システムの構成例を示すブロック図である。図1において、対話システム100は、情報提示システム10、端末装置20及び通信ネットワーク30の各々を備えている。
図1に示す対話システム100は、複数のユーザからなる対話グループにおいて対話データの送受信及び提示に用いられる。端末装置20の各々は、対話システム100を用いるユーザそれぞれが所有する端末であり、情報の送受信及び提示を要求するユーザに使用される端末である。本実施形態において、通信ネットワーク30は、例えば、インターネットやLAN(Local Area Network)などである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of a dialogue system using an information presentation system according to an embodiment of the present invention. In FIG. 1, the
The
本実施形態において、端末装置20は、例えば、汎用コンピュータ、パーソナルコンピュータ、タブレット型端末及びスマートフォンなどである。
また、端末装置20は、自身が有する入力部(例えば、マイクロフォンなど)がユーザの発話する音声を入力し、デジタル形式の音声データに変換し、自身が有する送信部及び通信ネットワーク30を介して、情報提示システム10に対して発話情報として送信する。
In the present embodiment, the
Further, the
情報提示システム10は、あるユーザの端末装置20から供給される発話情報に基づくコンテンツを、対話グループに属する全てのユーザの各々の端末装置20に対して提示する。ここで、情報提示システム10は、上記コンテンツを端末装置20に提示するサーバシステムであり、例えば、汎用コンピュータあるいはパーソナルコンピュータである。
また、情報提示システム10は、端末装置20から受信した発話情報における音声データをテキスト(文字データ)に変換し、記憶部(後述)に書き込んで記憶させる。
The
Further, the
そして、情報提示システム10は、記憶部に蓄積されたテキストに基づき、同一グループの他のユーザとの興味や関連性などをスコアリングした閲覧志向情報をユーザ毎に求め、この閲覧志向情報に基づいて所定のコンテンツを拡張するなど強調して、各ユーザの端末装置20に提示する。
Then, the
また、上述の構成において、情報提示システム10が音声データをテキストに変換する処理を行うとして説明したが、端末装置20が音声データをテキストに変換し、このテキストを発話情報として情報提示システム10に送信する構成としても良い。
また、情報提示システム10が、端末装置20から取得した音声データを、音声データからテキストに変換する変換機構を持つ外部サーバ(不図示)へ送信し,この外部サーバから変換されたテキストを取得するように構成してもよい。
Further, in the above configuration, the
Further, the
また、上述の構成において、端末装置20が備えるマイクロフォンによって、ユーザからの情報提示要求が入力されるものとしたが、この構成に限られない。
例えば、ユーザの意図を伝えることができるデバイスやセンサであればどのような機器でもよい。例えば、文字情報がキーボードやタッチパネルによって入力されるような構成や、ユーザのジェスチャによって示される情報が、端末装置20に備えられたカメラによって入力されるような構成であってもよい。
上記以外にも、ユーザの意図を伝える画像(顔文字、絵文字、LINE(登録商標)スタンプなど)や動画コンテンツをカメラによって入力されるような構成であったり、センサを介さずとも事前に保存されている動画コンテンツを用いてもよい構成とする。
Further, in the above configuration, the information presentation request from the user is input by the microphone included in the
For example, any device or sensor that can convey the user's intention may be used. For example, the character information may be input by a keyboard or a touch panel, or the information indicated by the user's gesture may be input by a camera provided in the
In addition to the above, images that convey the user's intentions (emoticons, pictograms, LINE (registered trademark) stamps, etc.) and video content are configured to be input by the camera, or are saved in advance without going through a sensor. The structure may be such that the moving image content is used.
また、本実施形態における対話システム100は、ユーザ同士(人間同士)における対話のみに対する使用に限られない。例えば、自動応答システム、質問応答システム、対話システムの一種であるコンピュータが応答内容を抽出または生成するチャットボットを含む会話としてもよい。これらのシステムの場合、端末装置20に対して提示するメッセージは、情報提示システム10内部にある応答生成部もしくは外部に設置した応答生成部からコンテンツを受け取り、当該コンテンツに対してグループに属するユーザとの関連性の度合いを算出して強調提示を行うように構成してもよい。ここで、チャットボットについては周知の技術であるため詳細な説明は割愛する。
Further, the
図2は、本実施形態における情報提示システム10が端末装置20に対して行う強調提示の提示例を示す図である。以下の、図2(a)及び図2(b)の各々において、図の右側に端末装置20を所有するユーザの発話内容が提示され、図の左側に対話グループに属する他のユーザの発話内容が提示される。
FIG. 2 is a diagram showing an example of presentation of emphasis presentation performed by the
図2(a)は、情報提示システム10が求めたスコアの高低に応じて、発話(対話メッセージ)の吹き出しのサイズを展開あるいは圧縮して提示している。ここで、圧縮された対話メッセージは、吹き出し部分のクリックやその他のボタン操作などで展開可能とされる(後述するように、この展開あるいは圧縮を行うユーザの動作も行動情報として、記憶部にスコア算出のための履歴の情報として書き込まれて記憶される)。
FIG. 2A shows the size of the speech bubble of the utterance (dialogue message) expanded or compressed according to the level of the score obtained by the
図2(b)は、情報提示システム10が求めたスコアの高低に応じて、端末装置20における表示画面における発話(対話メッセージ)の表示における吹き出しの色と、文字の色・フォント・フォントサイズとを変更して提示している。なお、吹き出しの色と、文字の色・フォントとの各々は、システムにおける初期値(ディフォルト値)以外に、ユーザによるカスタマイズも可能とする(上述と同様に、カスタマイズにおける設定変更に伴うユーザの動作も行動情報として、記憶部に手段によりスコア算出のための履歴の情報として書き込まれて記憶される)構成としても良い。
FIG. 2B shows the color of the utterance (dialogue message) displayed on the display screen of the
また、本実施形態において、閲覧志向情報に対応して、端末装置20の表示画面にコンテンツ(例えば、対話メッセージの吹き出し)を強調して提示する最適化提示の方法をあげたが、表示方法はこれらに限られない。例えば、吹き出し内の文字に下線や枠線の付加、吹き出し内の文字の明滅表示、吹き出し内の文字の代替として絵文字が動画あるいは静止画など他のコンテンツによる置き換えなどによって、閲覧志向情報のスコアに応じて、端末装置20の表示画面におけるコンテンツの表示制御が行われる構成としても良い。
Further, in the present embodiment, the method of optimized presentation in which the content (for example, the balloon of the dialogue message) is emphasized and presented on the display screen of the
図3は、図1の対話システム100における情報提示システム10の構成例を示す図である。情報提示システム10は、取得制御部101、データ解析部102、モデル構築部103、閲覧志向情報推定部104、類似閲覧志向ユーザ推定部105、強調データ抽出部106、データ表示制御部107、発話格納部108、属性格納部109及び行動格納部110の各々を備え、図2で説明した発話内容の最適化提示の制御を行う。
FIG. 3 is a diagram showing a configuration example of the
取得制御部101は、端末装置20からの発話情報を取得する外部入力インターフェースであり、入力された発話情報をデータ解析部102に対して出力する。また、取得制御部101は、端末装置20からの発話情報を入力するのみでなく、直接にキーボード、マイクロフォン、各種センサなどから発話情報を入力する機能を含む構成であっても良い。
The
データ解析部102は、取得制御部101から供給される発話情報をモデル構築部103及び閲覧志向情報推定部104において利用できるように、発話情報からのキーワード抽出やベクトル化をはじめとした発話情報における特徴情報(所謂、特徴量)としての数値データを求める。このとき、データ解析部102は、発話情報(テキストデータ)に対して自然言語処理の手法により計算機で扱える情報への変換を行い、得られた単語などの関係性について機械学習技術を用いることで、発話情報の有する特徴情報を抽出する。例えば、自然言語処理及び機械学習技術として、tr-idfによるキーワード抽出や、word2vecを用いたベクトル化などの手法を用いて、対話内容の共起や類似度を示す数値や記号などを含む上記特徴情報の抽出を行ってもよい(後述する発話格納部108の発話ログテーブルに書き込まれて、モデルを生成するために用いられる履歴データとして記憶される)。
The
モデル構築部103は、閲覧志向情報としてのスコアの算出に用いる数式(関数)やルールを格納している。ここで、モデル構築部103は、後述する発話格納部108、属性格納部109及び行動格納部110の各々の情報を用いて、ユーザの発話に対する興味や関連性を示すスコアを算出するためのモデル(数式及びルール)を構築する。
本実施形態においては、モデル構築部103の一例として、ユーザの興味や関連性の高いキーワードに対してスコアを付与した特徴情報をデータベースとして保持するモデルを構築するという構成がある。そして、閲覧志向情報推定部104は、入力される発話情報から抽出される特徴情報とデータベースにおける特徴情報との比較を行い、閲覧志向情報としてスコアを算出する処理を行う。
The
In the present embodiment, as an example of the
また、モデル構築部103は、例えば、機械学習(教師有り学習、教師なし学習及び強化学習など)の手法により、特徴情報から推定に用いるモデルを生成する構成としても良い。この場合、モデル構築部103は、発話格納部108、属性格納部109及び行動格納部110の各々の特徴情報を用いて、モデルとしてスコア推定用の基底関数(線形回帰の関数など)を生成する。そして、モデル構築部103は、発話格納部108、属性格納部109及び行動格納部110の各々の特徴情報の数値を教師データとして用い、グループに属するユーザの各々のモデルを機械学習により最適化の処理を行う。
Further, the
ここで、上述の説明におけるモデルは、対話グループにおけるユーザ毎のモデルと、対話グループにおける閲覧志向の志向性が類似しているユーザからなる類似サブグループ毎のモデルとの双方を生成しておいても良い。ユーザ毎のモデルは、各ユーザの閲覧志向に対応する発話情報を検索するために用いる。
一方、類似サブグループのモデルは、例えば、グループに新たに参加したユーザがグループ内の各ユーザとの間における対話が少ないため、ユーザ毎のモデルを生成できないために用意される。そして、ユーザ分類において、全体モデルのなかから最も類似した傾向を有する類似サブグループのモデルを選択して、閲覧志向情報のスコアを求めても良い。ここで、新たに参加したユーザのユーザ分類は、属性格納部109におけるユーザの属性データを用いて、属性データが類似したユーザの含まれる類似サブグループを検索して行われる。そして、新たに参加したユーザに対しては、抽出された類似サブグループのモデルがスコアの推定に用いられる。
Here, the model in the above description generates both a model for each user in the dialogue group and a model for each similar subgroup consisting of users having similar viewing-oriented orientations in the dialogue group. Is also good. The model for each user is used to search for utterance information corresponding to each user's browsing intention.
On the other hand, a model of a similar subgroup is prepared because, for example, a user who newly joins the group cannot generate a model for each user because there is little dialogue with each user in the group. Then, in the user classification, a model of a similar subgroup having the most similar tendency may be selected from the overall models, and the score of the browsing-oriented information may be obtained. Here, the user classification of the newly joined user is performed by searching for a similar subgroup including users having similar attribute data by using the attribute data of the user in the
また、モデル構築部103は、ユーザの各々が新たに発話を行う毎に、新たな発話情報に基づき、それぞれの対応するモデルの更新処理を行う。ここで、更新の頻度、すなわち更新の周期は、情報提示システム10の管理者が任意に設定することができる。
この更新により、ユーザの各々の発話内容に対する閲覧志向が明確となり、発話情報を選択する精度が向上し、ユーザが閲覧したいと志向する発話情報を抽出することが可能となる。
また、モデル構築部103は、ユーザ毎に異なる複数のモデル、例えば、閲覧志向のスコア、コンテンツの表示の嗜好性のスコア、属性情報のスコアなどの複数のモデルを生成し、これらを単独モデルであるいは組み合わせた合成モデルとして用い、スコアを算出するように構成しても良い。
Further, each time each user makes a new utterance, the
By this update, the browsing intention for each utterance content of the user is clarified, the accuracy of selecting the utterance information is improved, and the utterance information that the user wants to browse can be extracted.
Further, the
閲覧志向情報推定部104は、データ解析部102から得られた発話情報と、モデル構築部103のモデルとを用いて、各発話情報の閲覧志向情報(閲覧する発話内容の興味・関連性の度合いを示す情報)としてのスコアの推定を行う。
また、閲覧志向情報推定部104は、閲覧志向情報として、上述した嗜好性のモデルを用いて、端末装置20に対するコンテンツの表示の形態に対する嗜好性などに関するスコアを求め、データ表示制御部107に対して出力する。
The browsing-oriented
Further, the browsing-oriented
強調データ抽出部106は、閲覧志向情報推定部104が求めた閲覧志向情報のスコアに対応し、それぞれのコンテンツの強調提示の方法(図2に示した提示例など)を、最適化提示方法として決定する。また、強調データ抽出部106は、閲覧志向情報推定部104が求めたスコアに応じたテキストの変更に加え、コンテンツの表示制御の嗜好性に関する情報を加味し、内外の参照可能なコンテンツを組合せて提示する構成としても良い。すでに述べたように、吹き出し内の文字の代替として絵文字が動画あるいは静止画など他のコンテンツによる置き換えを行い、端末装置20の表示画面に提示する表示形態(提示形態)としても良い。ここで、閲覧志向情報のスコアが高くなるに従い、よりスコアの低い発話情報に比較して、ユーザが知覚し易い強調した提示となる表示形態が強調提示情報として決定される。
そして、強調データ抽出部106は、各発話情報とともに、それぞれの発話情報に対する強調提示情報(強調提示するか否か、強調提示する場合にはその方法)とを組み合わせて、データ表示制御部107に対して出力する。
ここで、例えば、閲覧志向情報のスコアに対して閾値を設け、この閾値以上に関しては強調表示するように構成してもよい。
すなわち、強調データ抽出部106は、閲覧志向情報が上記閾値以上の他のユーザのメッセージ(対話メッセージ)の表示として、閲覧志向情報が上記設定値未満のメッセージに比較して、ユーザが知覚し易い強調した形態の提示とする強調提示情報として決定する。
また、強調データ抽出部106は、閲覧志向情報が上記閾値未満のユーザのメッセージの表示形態として、閲覧志向情報が設定値以上のメッセージに比較して、ユーザが知覚し難い、より目だたない(控えめあるいは抑えめの)ように圧縮(縮小)した形態の提示とする強調提示情報として決定する。
The highlighted
Then, the emphasized
Here, for example, a threshold value may be set for the score of browsing-oriented information, and the score above this threshold value may be highlighted.
That is, the emphasized
Further, the emphasized
データ表示制御部107は、強調データ抽出部106から入力された強調提示情報(最適化提示情報)に基づき、情報提示および必要であれば加工処理を施したコンテンツを生成し、生成したコンテンツを端末装置20へ送信する。
このとき、データ表示制御部107は、データ表示制御部107からの強調提示情報に応じて、コンテンツの表示形態に対して加工処理を行う(例えば、図2に示す変更処理などを行う)。
The data display
At this time, the data
例えば、データ表示制御部107は、強調提示情報に対応し、ユーザの閲覧志向情報のスコアが高い、すなわち閲覧志向のある内容の発話内容(メッセージ)に関しては、テキストのみのコンテンツに各種効果(明滅、フォント、色変更)を加えたり、静止画及び動画などの画像やその他コンテンツを、テキストと差し替えを行う。一方、データ表示制御部107は、ユーザの閲覧志向情報のスコアが低い発話内容に関しては、図2に示すように圧縮表示をしてメッセージの内容を隠す。
For example, the data
また、データ表示制御部107は、発話内容のコンテンツの表示内容に対する各ユーザの評価を取得するため、明示的な項目( 「この表示が気に入りましたか? はい/いいえ」など )を端末装置20の表示画面に対して表示させ、ユーザに評価を促す構成としてもよい。
そして、上記明示的な項目に対するユーザからの応答は、端末装置20から供給されると取得制御部101により行動格納部110に対して書き込まれて記憶される。
Further, the data
Then, when the response from the user to the explicit item is supplied from the
なお、データ表示制御部107は、強調提示情報に伴って表示されたコンテンツの表示形態を、ユーザが端末装置20の操作情報により、任意に変更することができる(圧縮されたメッセージの展開あるいはフォントの変更など)。そして、これらのユーザによる変更が行われた際、取得制御部101は、これらの変更処理をアプリケーション内の行動情報として行動格納部110に対して書き込んで記憶させる。
また、取得制御部101、データ解析部102、データ表示制御部107の各々は、それぞれ取得した発話内容、解析結果、強調提示で用いたコンテンツの情報(文字、音声、静止画及び動画など)を発話格納部108に対して書き込んで記憶させる。
The data display
In addition, each of the
図4は、本実施形態における発話格納部108に記憶されている発話ログテーブルの構成例を示す図である。ここで、発話情報は、テキストデータのメッセージとして説明する。図4における発話ログテーブルは、レコード毎に、少なくとも時刻、ユーザID(identification)、メッセージID、メッセージ本文及び対応メッセージIDを有している。時刻は、メッセージが送信された時刻を示している。ユーザIDは、メッセージを送信したユーザを識別する識別情報である。メッセージIDは、メッセージを識別する識別情報である。メッセージ本文は、メッセージのテキストデータである。対応メッセージIDは、メッセージIDのメッセージの直前に送信されたメッセージを識別する識別情報である。
FIG. 4 is a diagram showing a configuration example of the utterance log table stored in the
図4において、例えば、メッセージID「M20170101000003」の「観たよ!」は、同一レコードにおける対応メッセージID「M20170101000001」に対する回答である。この対応メッセージID(メッセージID)「M20170101000001」の本文は、「○○もう観た?」である。すなわち、ユーザID「U001」のユーザからの質問である「○○もう観た?」のメッセージに対し、ユーザID「U002」のユーザが「観たよ!」と返信している。 In FIG. 4, for example, "I saw you!" Of the message ID "M21701101000003" is a reply to the corresponding message ID "M2171010010001" in the same record. The text of this corresponding message ID (message ID) "M2017010010001" is "Have you seen XX yet?". That is, the user with the user ID "U002" replies "I saw it!" To the message "Have you seen it yet?" Which is a question from the user with the user ID "U001".
上述した発話ログテーブルから、ユーザIDの示すユーザの各々の間の対話回数、対話文字数、対話内容、対話を実施した時間長、応答時間をはじめとした情報やメッセージの対応関係を導き出して合わせて記憶させる構成としても良い。ここで、対話回数は、対話文の量(文字数)とは独立した単純な対話の回数や頻度を示している。対話文字数は、メッセージにおけるテキストデータの文字数を示している。応答時間は、時刻の差分として求められ、他のユーザのメッセージに対する応答に要した時間であり、最短、最長及び平均値の各々を示している。 From the above-mentioned utterance log table, the correspondence relationship of information and messages such as the number of dialogues between each user indicated by the user ID, the number of dialogue characters, the content of the dialogue, the length of time the dialogue was performed, and the response time are derived and combined. It may be configured to be memorized. Here, the number of dialogues indicates the number and frequency of simple dialogues independent of the amount (number of characters) of dialogue sentences. The number of dialogue characters indicates the number of characters in the text data in the message. The response time is obtained as a difference in time, is the time required to respond to a message from another user, and indicates each of the shortest, longest, and average values.
すなわち、閲覧志向情報のスコアが高いメッセージは、対話回数及び対話文字数の各々が多く、応答時間が短くなる。一方、閲覧志向情報のスコアが低いメッセージは、対話回数及び対話文字数の各々が少なく、応答時間が長くなる。
上述した閲覧志向情報のスコアとする指標に加えて、文字数と応答時間の間隔との相互関係を元に、スコアリングする構成としても良い。
閲覧志向情報推定部104は、上述した発話ログテーブルにおける情報を用いて、嗜好性に対応するスコアを推定するモデルにより、他のユーザの発話情報であるメッセージの各々に対する嗜好性のスコアを推定する。
That is, a message having a high score of browsing-oriented information has a large number of dialogues and a large number of dialogue characters, and the response time is short. On the other hand, a message having a low score of browsing-oriented information has a small number of dialogues and a small number of dialogue characters, and has a long response time.
In addition to the index used as the score of the browsing-oriented information described above, the score may be configured based on the interrelationship between the number of characters and the interval of the response time.
The browsing-oriented
また、モデル構築部103は、上記発話ログテーブルにおけるユーザ毎のメッセージのテキストデータを用いて、閲覧志向情報のスコアを推定するモデルを、それぞれのユーザ毎に生成する。
そして、閲覧志向情報推定部104は、上記ユーザ毎のモデルを用いて、他のユーザの発話情報であるテキストデータなどの特徴情報を入力し、発話情報の各々に対するスコアを求めて付与する。
Further, the
Then, the browsing-oriented
図5は、本実施形態における属性格納部109に記憶されているユーザ属性テーブルの構成例を示す図である。図5におけるユーザ属性テーブルは、レコード毎に、少なくとも、ユーザID、ユーザIDの示すユーザの年齢、性別、職業、所属グループ、未婚/既婚、子有/無の各々などの欄を有している。ユーザIDは、ユーザを識別する識別情報である。年齢は、ユーザの年齢を示している。性別は、ユーザがmale(男性)またはfemale(女性)のいずれであるかを示している。職業は、ユーザの職種が示されている(例えば、会社員、学生、主婦、主夫など)。所属グループは、対応するユーザがいずれの対話グループに属しているかを示している。未婚/既婚は、ユーザが未婚または既婚のいずれであるかを示している。子有/無は、ユーザに子供がいるか否かを示している。
FIG. 5 is a diagram showing a configuration example of a user attribute table stored in the
また、図5に記載されている以外に、出身地、居住地(住所)、勤務地などの地理的情報(居所)や、趣味、志向などの欄を備えても良い。このユーザ属性情報の情報は、ユーザに対するアンケート調査による回答により得ている。また、これ以外に、ユーザの許諾があれば、ユーザの嗜好性のスコアを求める情報として用いるため、ユーザの端末装置20から取得可能なウェブの閲覧履歴あるいはアプリケーションの利用履歴などを記載しても良い。例えば、モデル構築部103は、上述したユーザ属性テーブルの情報を用いて、類似サブグループを形成し、類似サブグループのユーザの発話ログテーブルにおける情報を用いて、類似サブグループに対応するモデルを生成する。
Further, in addition to those shown in FIG. 5, a column such as geographical information (whereabouts) such as birthplace, place of residence (address), place of work, hobbies, intentions, etc. may be provided. The information of this user attribute information is obtained by the response of the questionnaire survey to the user. In addition to this, if the user permits, it is used as information for obtaining the user's preference score, so that the web browsing history or application usage history that can be acquired from the user's
図6は、本実施形態における行動格納部110に記憶されているユーザ行動テーブルの構成例を示す図である。図6におけるユーザ行動テーブルは、レコード毎に、少なくとも、時刻、ユーザID、アクションID、直前に行われたアクションID、メッセージID、…の欄を有している。時刻は、ユーザがアクションを行った時刻を示している。ユーザIDは、アクションを起こしたユーザを識別する識別情報である。アクションIDは、ユーザの行った動作の種類を識別する識別情報である。直前のアクションIDは、ユーザIDの示すユーザが直前に行ったアクションの種類を識別する識別情報である。メッセージIDは、メッセージを識別する識別情報である。
FIG. 6 is a diagram showing a configuration example of a user action table stored in the
図7は、本実施形態における行動格納部110に記憶されているアクションテーブルの構成例を示す図である。図7におけるアクションテーブルは、レコード毎に、アクションID及びアクションの各々の欄を有している。アクションIDは、ユーザの行った動作の種類を識別する識別情報である。アクションは、アクションの種類を示す名称を示している。
FIG. 7 is a diagram showing a configuration example of an action table stored in the
図8は、本実施形態の情報提示システムを用いた対話システムの動作例を示すフローチャートである。この図8のフローチャートの動作は、例えば、ユーザが所属するグループに参加し、他のユーザとの対話を行う際に開始される。以下の図8のフローチャートの動作説明は、閲覧志向情報のスコアを求めるモデルとして、ユーザ毎のモデル及び類似サブグループ毎のモデルの各々が、モデル構築部103において、すでに説明したように生成されて、蓄積されている状態において行う。
FIG. 8 is a flowchart showing an operation example of the dialogue system using the information presentation system of the present embodiment. The operation of the flowchart of FIG. 8 is started, for example, when a user joins a group to which the user belongs and has a dialogue with another user. In the operation explanation of the flowchart of FIG. 8 below, each of the model for each user and the model for each similar subgroup are generated as already described in the
ステップS1:
閲覧志向情報推定部104は、ユーザが属するグループにおける対話が初めて、すなわちグループにおける対話に初参加か否かの判定を行う。このとき、閲覧志向情報推定部104は、発話格納部108の発話ログテーブルを参照し、この参加したユーザのユーザIDが発話ログテーブルに有るか否かにより、初参加か否かの判定を行う。
そして、閲覧志向情報推定部104は、参加したユーザのユーザIDが発話ログテーブルに有る場合、このユーザが初参加でないと判定し、処理をステップS2へ進める。
一方、閲覧志向情報推定部104は、参加したユーザのユーザIDが発話ログテーブルにない場合、このユーザが初参加であると判定し、処理をステップS3へ進める。
Step S1:
The browsing-oriented
Then, when the user ID of the participating user is in the utterance log table, the browsing-oriented
On the other hand, if the user ID of the participating user is not in the utterance log table, the browsing-oriented
ステップS2:
閲覧志向情報推定部104は、モデル構築部103から、このユーザに対応した、閲覧志向情報のスコアを求めるモデル(個人モデル)を読み込む。
Step S2:
The browsing-oriented
ステップS3:
閲覧志向情報推定部104は、モデル構築部103に対して、このユーザに対応した、類似サブグループの抽出を依頼する。
これにより、モデル構築部103は、初参加のユーザの属性情報から、この初参加のユーザに類似するユーザからなる類似サブグループを抽出し、閲覧志向情報推定部104に対して通知する。
そして、閲覧志向情報推定部104は、通知された類似サブグループに対応するモデル(全体モデル)を、モデル構築部103から読み込む。
Step S3:
The browsing-oriented
As a result, the
Then, the browsing-oriented
ステップS4:
閲覧志向情報推定部104は、モデル(個人モデルあるいは全体モデル)の読み込み後、発話情報が供給されるのを待つ待機状態(入力待機)となる。すなわち、閲覧志向情報推定部104は、データ解析部102から発話情報の解析結果が供給されるのを待機する。
Step S4:
After reading the model (individual model or overall model), the browsing-oriented
ステップS5:
閲覧志向情報推定部104は、発話情報が入力されたか、あるいは発話情報ではなくユーザの何らかのアクション(画面の操作など)が行われたかの情報である行動情報が入力されたかの判定を行う。このとき、閲覧志向情報推定部104は、発話情報が入力された(yes)場合、処理をステップS6へ進める。一方、閲覧志向情報推定部104は、上記行動情報が入力された場合、すなわち、発話情報が入力されない(no)場合、処理をステップS6へ進める。
Step S5:
The browsing-oriented
ステップS6:
データ解析部102は、新たに受信した発話情報(対話を行うアプリケーションが起動された際に受信される対話のメッセージ)を解析する処理を行い、発話情報毎の特徴情報を閲覧志向情報推定部104へ出力する。ここで、データ解析部102は、対話のメッセージのテキストデータの各々の解析を行い、解析結果として発話内容の特徴情報を閲覧志向情報推定部104に対して出力する。
Step S6:
The
これにより、閲覧志向情報推定部104は、データ解析部102から供給される特徴情報と、モデル構築部103から読み出したモデルとを用いて、各発話情報の閲覧志向情報のスコアを算出する。
そして、強調データ抽出部106は、発話情報の各々のスコア、あるはスコアと各種記憶情報(発話、属性、行動)との組み合わせに応じて、発話情報それぞれの強調提示情報(最適化提示情報)を求める。ここで、各種記憶情報とは、発話格納部108、属性格納部109及び行動格納部110の各々に記憶されている、発話ログテーブル、ユーザ属性テーブル、ユーザ行動テーブルそれぞれに記憶されているユーザの情報である。
As a result, the browsing-oriented
Then, the emphasized
すなわち、強調データ抽出部106は、強調提示情報に対して、ユーザの各々の表示に対する嗜好性に関する情報を加味しても良い。
強調データ抽出部106は、ユーザの端末装置20に対して、発話情報及び強調提示情報の組み合わせを送信する。
これにより、端末装置20は、発話情報を強調提示情報に対応して、図2の例に示すように、表示画面に表示する。
That is, the emphasis
The emphasis
As a result, the
ステップS7:
閲覧志向情報推定部104は、全ての発話情報に対する強調提示情報のスコアの算出が終了したか否かの判定を行う。このとき、閲覧志向情報推定部104は、全ての発話情報に対する強調提示情報のスコアの算出が終了した場合、処理を終了する。一方、閲覧志向情報推定部104は、全ての発話情報に対する強調提示情報のスコアの算出が終了していない場合、処理をステップS9へ進める。
ここで、モデル構築部103は、発話格納部108の発話ログテーブル及び行動格納部110のユーザ行動テーブルに新たに書き込まれた情報に対応し、ユーザ毎のモデル及び類似サブグループ毎のモデルの更新処理を行う。
Step S7:
The browsing-oriented
Here, the
ステップS8:
取得制御部101は、取得されたユーザの行動情報を、行動格納部110のユーザ行動テーブルに書き込んで記憶させ、処理をステップS2へ進める。
Step S8:
The
ステップS9:
取得制御部101は、取得された発話情報を、発話格納部108の発話ログテーブルに書き込んで記憶させ、処理をステップS2へ進める。
Step S9:
The
上述したように、本実施形態によれば、ユーザ自身が「興味がある」あるいはユーザ自身と「関連がある」と推定される(閲覧志向情報のスコアが閾値より高い)、端末装置20の表示画面におけるメッセージのフォントや吹き出しの画像を、他のメッセージの画像に比較して強調表示するため、ユーザ自身以外の他のユーザのメッセージのなかから関連性を有する、すなわちユーザの閲覧志向の高いメッセージを直感的に判別し易くすることが可能となる。
また、本実施形態によれば、ユーザ自身が「興味がない」あるいはユーザ自身と「関連がない」と推定される(閲覧志向情報のスコアが閾値未満)、端末装置20の表示画面におけるメッセージのフォントや吹き出しの画像を、ユーザ自身が「興味がある」あるいはユーザ自身と「関連がある」とするメッセージの画像に比較して目立ち難い表示とするため、ユーザ自身以外の他のユーザのメッセージのなかから関連性を有しない、すなわちユーザの閲覧志向の低いメッセージを直感的に判別し難くすることが可能となる。これにより、ユーザ自身が「興味がある」あるいはユーザ自身と「関連がある」と推定されるメッセージの表示がより強調される提示形態となる。
また、本実施形態によれば、ユーザの興味や、ユーザと対話グループにおけるメンバーの他のユーザとの関連性を反映して、端末装置20の表示画面にメッセージの表示を実現することができ、各ユーザに対して「必要な情報(自身の閲覧志向の高い情報)の素早い収集・把握」という効果、及び嗜好が近いユーザのメッセージが強調されることにより、「対話しているユーザ識別の簡便化」という効果を提供できる。
As described above, according to the present embodiment, the display of the
Further, according to the present embodiment, it is presumed that the user himself / herself is "not interested" or "not related" to the user himself / herself (the score of the browsing-oriented information is less than the threshold value), and the message on the display screen of the
Further, according to the present embodiment, it is possible to display a message on the display screen of the
なお、本発明における図1の情報提示システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより端末装置の表示画面における発話情報の強調提示を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
By recording a program for realizing the function of the information presentation system of FIG. 1 in the present invention on a computer-readable recording medium, and having the computer system read and execute the program recorded on the recording medium, the program is executed. You may perform a process of highlighting and presenting the spoken information on the display screen of the terminal device. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.
Further, the "computer system" shall also include a WWW system provided with a homepage providing environment (or display environment). Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.
100…対話システム
10…情報提示システム
20…端末装置
30…通信ネットワーク
100…対話システム
101…取得制御部
102…データ解析部
103…モデル構築部
104…閲覧志向情報推定部
106…強調データ抽出部
107…データ表示制御部
108…発話格納部
109…属性格納部
110…行動格納部
100 ...
Claims (10)
前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部と、
前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定部と、
少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築部と、
前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出部と、
前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御部と
を備えることを特徴とする情報提示システム。 When a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between each user via a network, display of dialogue data that each of the users wants to refer to from the history of dialogue data. It is an information presentation system that controls
An utterance storage unit that stores dialogue data of each user belonging to the dialogue group, and
Browsing-oriented information estimation that estimates browsing-oriented information, which is a score indicating the degree of interest / association of each user, from the contents of each dialogue data of the users for each dialogue data by a model corresponding to each of the users. Department and
The user obtains the score in accordance with the characteristic information of at least the utterance information indicating the utterance in the dialogue data of the user and the behavior information indicating the operation of the terminal of the user in the dialogue data. A model construction unit generated by machine learning for each,
A highlight data extraction unit that corresponds to the viewing-oriented information of each of the dialogue data of the user for each user and determines the highlight information indicating the display form of the dialogue data.
An information presentation system comprising a data display control unit for displaying each of the dialogue data in the display form indicated by the highlighting information on the display screen of the terminal.
前記対話グループにおける前記ユーザの属性情報により類似サブグループを生成し、当該類似サブグループに対する前記モデルを生成し、A similar subgroup is generated from the attribute information of the user in the dialogue group, and the model for the similar subgroup is generated.
前記閲覧志向情報推定部が、The browsing-oriented information estimation unit
前記対話グループに新たに参加したユーザの前記スコアの推定に、当該ユーザの属性情報に対応する前記類似サブグループの前記モデルを用いるThe model of the similar subgroup corresponding to the attribute information of the user is used for estimating the score of the user who newly joins the dialogue group.
ことを特徴とする請求項1に記載の情報提示システム。The information presentation system according to claim 1.
ことを特徴とする請求項1または請求項2に記載の情報提示システム。 The highlighting data extraction unit determines the highlighting information so as to present it in a display form in which the user's perception becomes higher as compared with the dialogue data having the lower browsing-oriented information as the browsing-oriented information becomes higher. The information presentation system according to claim 1 or 2 .
前記閲覧志向情報推定部が、前記特徴情報に対応して、前記ユーザ毎に前記対話データの各々の前記閲覧志向情報を求める
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報提示システム。 Each user further has a data analysis unit that performs natural language processing of dialogue data stored as a history and extracts feature information of the dialogue data from at least the meaning and arrangement of words.
The present invention according to any one of claims 1 to 3, wherein the browsing-oriented information estimation unit obtains the browsing-oriented information of each of the dialogue data for each user in response to the feature information. The information presentation system described.
ことを特徴とする請求項1から請求項4のいずれか一項に記載の情報提示システム。 When the browsing-oriented information estimation unit estimates the browsing-oriented information, not only the dialogue data but also at least the number of responses to the dialogue data of other users in the same dialogue group as the user, the dialogue in the response. A claim characterized in that the browsing-oriented information is estimated using behavioral information including any one or a combination of the number of characters in the message, the time until the response, and the presence / absence of expansion of dialogue data of other users. The information presentation system according to any one of items 1 to 4 .
ことを特徴とする請求項1から請求項5のいずれか一項に記載の情報提示システム。 When the browsing-oriented information estimation unit estimates the browsing-oriented information, not only the dialogue data but also at least any of the whereabouts, gender, age, and occupation of other users in the same dialogue group as the user. The information presentation system according to any one of claims 1 to 5 , wherein the browsing-oriented information is estimated by using the attribute information including the combination.
ことを特徴とする請求項1から請求項6のいずれか一項に記載の情報提示システム。 The data display control unit is characterized in that, as a display form for emphasizing the dialogue data, the dialogue data is displayed by any one or a combination of compression (reduction), expansion, font, font size, display color, and blinking. The information presentation system according to any one of claims 1 to 6 .
ことを特徴とする請求項1から請求項7のいずれか一項に記載の情報提示システム。 The data display control unit is characterized in that, as a display form for emphasizing the dialogue data, content other than the text of each text of the voice, the still image, and the moving image attached to the dialogue data is presented. The information presentation system according to any one of claims 7 .
閲覧志向情報推定部が、前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部における前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定過程と、
モデル構築部が、少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築過程と、
強調データ抽出部が、前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出過程と、
データ表示制御部が、前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御過程と
を含むことを特徴とする情報提示方法。 When a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between the respective users via a network, the display of the dialogue message that each of the users wants to refer to from the history of the dialogue message. It is an operation method of the information presentation system that controls.
A score of the degree to which the browsing-oriented information estimation unit indicates the interest / relationship of each user from the content of each dialogue data of the user in the speech storage unit in which the dialogue data of each user belonging to the dialogue group is stored. The browsing-oriented information estimation process, which estimates the browsing-oriented information for each dialogue data by the model corresponding to each of the users, and the browsing-oriented information estimation process.
The model building unit obtains the score corresponding to at least the characteristic information of the utterance information indicating the utterance in the dialogue data of the user and the behavior information indicating the operation of the terminal of the user in the dialogue data. A model construction process in which the model is generated by machine learning for each user,
A highlight data extraction process in which the highlight data extraction unit corresponds to the viewing-oriented information of each of the dialogue data of the user for each user and determines the highlight information indicating the display form of the dialogue data.
An information presentation method comprising a data display control process in which a data display control unit displays each of the dialogue data in the display form indicated by the highlighting information on the display screen of the terminal.
前記コンピュータを、
前記対話グループに属する前記ユーザの各々の対話データが記憶される発話格納部における前記ユーザの各々の対話データの内容から、前記ユーザそれぞれの興味/関連を示す度合いのスコアである閲覧志向情報を、前記ユーザの各々に対応したモデルによって、対話データ毎に推定する閲覧志向情報推定手段、
少なくとも前記ユーザの前記対話データにおける発話を示す発話情報と、当該対話データにおける前記ユーザの前記端末の操作を示す行動情報との各々の特徴情報に対応して、前記スコアを求める前記モデルを前記ユーザ毎に機械学習により生成するモデル構築手段、
前記ユーザ毎に、当該ユーザの前記対話データの各々の前記閲覧志向情報に対応させ、当該対話データの表示形態を示す強調表示情報を決定する強調データ抽出手段、
前記端末の表示画面において、前記強調表示情報の示す前記表示形態により、前記対話データの各々を表示させるデータ表示制御手段
として機能させるためのプログラム。 When a plurality of users belonging to a predetermined dialogue group use each terminal and have a dialogue between the respective users via a network, the display of the dialogue message that each of the users wants to refer to from the history of the dialogue message. A program that operates a computer as an information presentation system that controls
The computer
From the content of each dialogue data of the user in the utterance storage unit in which the dialogue data of each user belonging to the dialogue group is stored, the browsing-oriented information which is a score indicating the interest / relationship of each user is obtained. A browsing-oriented information estimation means that estimates for each dialogue data by a model corresponding to each of the users .
The user obtains the score in accordance with the characteristic information of at least the utterance information indicating the utterance in the dialogue data of the user and the behavior information indicating the operation of the terminal of the user in the dialogue data. Model building means generated by machine learning for each,
A highlight data extraction means for each user, which corresponds to the browsing-oriented information of each of the dialogue data of the user and determines the highlight information indicating the display form of the dialogue data.
A program for functioning as a data display control means for displaying each of the dialogue data in the display form indicated by the highlighting information on the display screen of the terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140557A JP7019984B2 (en) | 2017-07-20 | 2017-07-20 | Information presentation system, information presentation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140557A JP7019984B2 (en) | 2017-07-20 | 2017-07-20 | Information presentation system, information presentation method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019021157A JP2019021157A (en) | 2019-02-07 |
JP7019984B2 true JP7019984B2 (en) | 2022-02-16 |
Family
ID=65354293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017140557A Active JP7019984B2 (en) | 2017-07-20 | 2017-07-20 | Information presentation system, information presentation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7019984B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135960A (en) * | 2020-02-28 | 2021-09-13 | ソニーグループ株式会社 | Information processing device, information processing method and program |
CN111783587B (en) * | 2020-06-22 | 2024-11-29 | 腾讯数码(天津)有限公司 | Interaction method, device and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284876A (en) | 1999-03-31 | 2000-10-13 | Sony Corp | Device and method for display control and medium |
JP2003216564A (en) | 2001-10-15 | 2003-07-31 | Matsushita Electric Ind Co Ltd | Communication supporting method, communication server using therefor and communication supporting system |
US20060195785A1 (en) | 2005-02-28 | 2006-08-31 | Microsoft Corporation | Automatically generated highlight view of electronic interactions |
US20120023113A1 (en) | 2010-07-23 | 2012-01-26 | Bran Ferren | System and method for chat message prioritization and highlighting |
JP2015133038A (en) | 2014-01-15 | 2015-07-23 | 株式会社コナミデジタルエンタテインメント | message control server, message control terminal, and program |
-
2017
- 2017-07-20 JP JP2017140557A patent/JP7019984B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284876A (en) | 1999-03-31 | 2000-10-13 | Sony Corp | Device and method for display control and medium |
JP2003216564A (en) | 2001-10-15 | 2003-07-31 | Matsushita Electric Ind Co Ltd | Communication supporting method, communication server using therefor and communication supporting system |
US20060195785A1 (en) | 2005-02-28 | 2006-08-31 | Microsoft Corporation | Automatically generated highlight view of electronic interactions |
US20120023113A1 (en) | 2010-07-23 | 2012-01-26 | Bran Ferren | System and method for chat message prioritization and highlighting |
JP2015133038A (en) | 2014-01-15 | 2015-07-23 | 株式会社コナミデジタルエンタテインメント | message control server, message control terminal, and program |
Non-Patent Citations (2)
Title |
---|
吉田 理貴、外4名,音響的,言語的特徴及び対話行為を用いた話題に対する興味推定,日本音響学会 2013年 秋季研究発表会講演論文集CD-ROM [CD-ROM],日本,一般社団法人日本音響学会,2013年09月27日,p.105-106 |
林 佑樹、外2名,協調学習におけるスポットライトを用いた議論誘発インタフェース,第72回(平成22年)全国大会講演論文集(4) インタフェース コンピュータと人間社会,日本,社団法人情報処理学会,2010年03月08日,p.4-53~4-54 |
Also Published As
Publication number | Publication date |
---|---|
JP2019021157A (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220284896A1 (en) | Electronic personal interactive device | |
JP6730843B2 (en) | Communication support system | |
CN107924372B (en) | Information processing system and information processing method | |
US10229167B2 (en) | Ranking data items based on received input and user context information | |
JP6061729B2 (en) | Product information providing system and product information providing program | |
US20140335483A1 (en) | Language proficiency detection in social applications | |
CN113826090A (en) | Developing event-specific temporal knowledge graph | |
JP2017224190A (en) | Artificial intelligence system for supporting communication | |
JP2012113589A (en) | Action motivating device, action motivating method and program | |
US11967177B2 (en) | Method for managing item recommendation using degree of association between language unit and usage history | |
JP7096172B2 (en) | Devices, programs and methods for generating dialogue scenarios, including utterances according to character. | |
US20210406736A1 (en) | System and method of content recommendation | |
US10313403B2 (en) | Systems and methods for virtual interaction | |
US20240073162A1 (en) | Contextual messaging in video conference | |
JP5125558B2 (en) | RECOMMENDATION INFORMATION PROVIDING DEVICE, RECOMMENDATION INFORMATION PROVIDING METHOD, RECOMMENDATION INFORMATION PROVIDING SYSTEM, AND RECOMMENDATION INFORMATION PROVIDING PROGRAM | |
JP7019984B2 (en) | Information presentation system, information presentation method and program | |
JP7160757B2 (en) | Determination device, determination method and determination program | |
EP2740045A1 (en) | Contextual based communication method and user interface | |
KR102279125B1 (en) | Terminal and apparatus for providing recommendation information based on preference filter | |
JP6885217B2 (en) | User dialogue support system, user dialogue support method and program | |
US20240412165A1 (en) | Computer system, method, and program for determining optimal communication counterpart in order to assist one individual together with another | |
WO2024042817A1 (en) | Information providing device and information providing method | |
CN113850899A (en) | Digital human rendering method, system, storage medium and electronic device | |
JP2024133767A (en) | Dialogue system and center device | |
WO2025009489A1 (en) | Network system, information processing method, and server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7019984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |