JP6570718B1

JP6570718B1 - Evaluation apparatus, evaluation method, and evaluation program

Info

Publication number: JP6570718B1
Application number: JP2018175384A
Authority: JP
Inventors: 信伊藤; 嘉人西川
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2019-09-04
Anticipated expiration: 2038-09-19
Also published as: JP2020046991A

Abstract

【課題】評価対象を適切に評価する。【解決手段】本願に係る評価装置は、所定の評価対象と関連する関連行動（例えば、評価対象に関するコンテンツの閲覧、選択操作、検索クエリの入力等）を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出部と、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する評価部とを有することを特徴とする。【選択図】図１[PROBLEMS] To appropriately evaluate an evaluation target. An evaluation apparatus according to the present application includes a first user group who has performed a related action related to a predetermined evaluation target (for example, browsing of content related to the evaluation target, selection operation, input of a search query, etc.) and the related Based on the extraction unit that extracts the second user group that did not perform the action, the action of the first user group after the related action was performed, and the action of the second user group after the related action was not performed And an evaluation unit that evaluates a predetermined evaluation object. [Selection] Figure 1

Description

本発明は、評価装置、評価方法及び評価プログラムに関する。 The present invention relates to an evaluation apparatus, an evaluation method, and an evaluation program.

従来、コンテンツのコンバージョンに至ることが想定される行動を行ったユーザを抽出する技術が提供されている。例えば、広告コンテンツのコンバージョンに至る特定の行動、並びに、ユーザが特定の行動をとると想定される根拠となる行動（説明行動）を広告主が入力し、特定の行動及び説明行動に基づいて生成したモデルと、広告コンテンツの配信候補であるユーザの行動履歴との類似度に基づいて、特定の行動をとることが予測されるユーザを抽出する技術が提供されている。 2. Description of the Related Art Conventionally, a technique for extracting a user who has performed an action that is supposed to lead to content conversion has been provided. For example, an advertiser inputs a specific action that leads to a conversion of advertising content, and an action (explanatory action) that is the basis on which the user is assumed to take a specific action, and is generated based on the specific action and the explanatory action There is provided a technique for extracting a user who is predicted to take a specific action based on the similarity between the model and the action history of a user who is a candidate for distribution of advertisement content.

特許第６０２３１２９号公報Japanese Patent No. 6023129

しかしながら、上記の従来技術では、評価対象を適切に評価できるとは限らない。例えば、上記の従来技術では、モデル生成に用いられる説明行動とは広告主が保持する知見に基づいて入力されるものであり、説明行動等の評価対象がコンバージョンに寄与したか否か適切に評価しているとは限らない。 However, with the above-described conventional technology, it is not always possible to appropriately evaluate the evaluation target. For example, in the above prior art, the explanatory behavior used for model generation is input based on knowledge held by the advertiser, and it is appropriately evaluated whether or not the evaluation target such as explanatory behavior contributed to the conversion. Not necessarily.

本願は、上記に鑑みてなされたものであって、評価対象を適切に評価できる評価装置、評価方法及び評価プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide an evaluation device, an evaluation method, and an evaluation program that can appropriately evaluate an evaluation target.

本願に係る評価装置は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する抽出部と、前記関連行動を行った後における前記第１ユーザ群の行動と、前記関連行動を行わなかった後における前記第２ユーザ群の行動とに基づいて、前記所定の評価対象を評価する評価部とを有することを特徴とする。 The evaluation apparatus according to the present application performs the related action, an extraction unit that extracts a first user group that has performed related actions related to a predetermined evaluation target, and a second user group that has not performed the related actions. An evaluation unit that evaluates the predetermined evaluation object based on the behavior of the first user group later and the behavior of the second user group after the related behavior is not performed. .

実施形態の一態様によれば、評価対象を適切に評価できるという効果を奏する。 According to one aspect of the embodiment, there is an effect that the evaluation target can be appropriately evaluated.

図１は、実施形態に係る評価処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of an evaluation process according to the embodiment. 図２は、実施形態に係る評価処理システムの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the evaluation processing system according to the embodiment. 図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the content distribution server according to the embodiment. 図４は、実施形態に係るユーザ情報記憶部の一例を示す図である。FIG. 4 is a diagram illustrating an example of a user information storage unit according to the embodiment. 図５は、実施形態に係る評価装置の構成例を示す図である。FIG. 5 is a diagram illustrating a configuration example of the evaluation apparatus according to the embodiment. 図６は、実施形態に係る評価処理手順の一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of an evaluation processing procedure according to the embodiment. 図７は、評価装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 7 is a hardware configuration diagram illustrating an example of a computer that realizes the function of the evaluation apparatus.

以下に本願に係る評価装置、評価方法及び評価プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る評価装置、評価方法及び評価プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a mode for carrying out an evaluation apparatus, an evaluation method, and an evaluation program according to the present application (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings. Note that the evaluation apparatus, the evaluation method, and the evaluation program according to the present application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and redundant description is omitted.

〔１．実施形態〕
図１を用いて、本実施形態の評価装置等により実現される評価処理を説明する。図１は、実施形態に係る評価処理の一例を示す図である。図１に示す例において、評価処理システム１は、端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０及び評価装置１００を有する。端末装置１０と、広告配信サーバ２０と、コンテンツ配信サーバ３０と、評価装置１００とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す評価処理システム１は、複数台の端末装置１０や、複数台の広告配信サーバ２０や、複数台のコンテンツ配信サーバ３０や、複数台の評価装置１００が含まれてもよい。 [1. Embodiment)
An evaluation process realized by the evaluation apparatus and the like of this embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of an evaluation process according to the embodiment. In the example illustrated in FIG. 1, the evaluation processing system 1 includes a terminal device 10, an advertisement distribution server 20, a content distribution server 30, and an evaluation device 100. The terminal device 10, the advertisement distribution server 20, the content distribution server 30, and the evaluation device 100 are connected to be communicable by wire or wirelessly via a predetermined communication network (not shown). The evaluation processing system 1 shown in FIG. 1 may include a plurality of terminal devices 10, a plurality of advertisement distribution servers 20, a plurality of content distribution servers 30, and a plurality of evaluation devices 100. .

図１に示す端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報の表示処理を実現する制御情報をコンテンツ配信サーバ３０から受け取った場合には、制御情報に従って表示処理を実現する。 A terminal device 10 illustrated in FIG. 1 is an information processing device used by a user. The terminal device 10 is realized by, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), or the like. Further, the terminal device 10 displays information distributed by the content distribution server 30 using a web browser or an application. Further, when receiving from the content distribution server 30 control information for realizing display processing of information distributed by the content distribution server 30, the terminal device 10 realizes display processing according to the control information.

なお、図１に示す例において、端末装置１０は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。また、図１に示す例では、端末装置１０は、液晶ディスプレイ等の出力部（以下、画面と記載する場合がある）を有し、タッチパネルが採用されているものとする。すなわち、ユーザは、指や専用ペンで出力部の表示面をタッチすることにより端末装置１０の各種操作を行う。また、広告配信サーバ２０及びコンテンツ配信サーバ３０は、端末装置１０との間でやり取りされるクッキー（Ｃｏｏｋｉｅ）情報等にユーザを識別するためのユーザ識別情報（ユーザＩＤ）を含めることにより、端末装置１０を利用するユーザの識別を行うことができる。 In the example illustrated in FIG. 1, the terminal device 10 is a smart device such as a smartphone or a tablet used by the user. In the example illustrated in FIG. 1, the terminal device 10 includes an output unit (hereinafter sometimes referred to as a screen) such as a liquid crystal display, and a touch panel is employed. That is, the user performs various operations of the terminal device 10 by touching the display surface of the output unit with a finger or a dedicated pen. Further, the advertisement distribution server 20 and the content distribution server 30 include the user identification information (user ID) for identifying the user in the cookie information and the like exchanged with the terminal device 10, so that the terminal device The user who uses 10 can be identified.

図１に示す広告配信サーバ２０は、広告主から入稿された広告を端末装置１０に配信するサーバ装置である。例えば、広告配信サーバ２０は、端末装置１０に広告を配信した際の各ユーザの広告への接触の有無（例えば、インプレッションの有無や、広告の選択操作の有無、など）を収集し、広告に接触したユーザのユーザＩＤを当該広告に対応付けて広告配信サーバ２０の記憶部に格納する。 The advertisement distribution server 20 illustrated in FIG. 1 is a server device that distributes advertisements submitted by advertisers to the terminal device 10. For example, the advertisement distribution server 20 collects the presence / absence of contact (for example, presence / absence of impressions, presence / absence of an advertisement selection operation) of each user when the advertisement is distributed to the terminal device 10. The user ID of the contacted user is stored in the storage unit of the advertisement distribution server 20 in association with the advertisement.

図１に示すコンテンツ配信サーバ３０は、端末装置１０からの要求に応じて端末装置１０にインストールされたアプリケーション（以下、アプリと記載する場合がある）に表示されるアプリ向けのコンテンツや、ユーザ端末に実装されるブラウザ等に実装されるウェブページを提供するサーバ装置である。例えば、コンテンツ配信サーバ３０は、端末装置１０に配信したコンテンツ等に対するユーザの操作や閲覧等に基づくユーザ属性（例えば、年齢、性別、地域等のデモフラフィック属性や、コンテンツ等の利用履歴に基づいて推定されるサイコグラフィック属性など）や、コンテンツ等におけるユーザの行動履歴を収集し、ユーザＩＤと対応付けてコンテンツ配信サーバ３０の記憶部（ユーザ情報記憶部３３）に格納する。 The content distribution server 30 illustrated in FIG. 1 is a content for an application displayed in an application installed in the terminal device 10 in response to a request from the terminal device 10 (hereinafter may be referred to as an application), or a user terminal It is a server apparatus which provides the web page mounted in the browser etc. which are mounted in. For example, the content distribution server 30 is based on user attributes (for example, demographic attributes such as age, gender, and region, and usage history of contents, etc.) based on user operations and browsing for contents distributed to the terminal device 10. The psychographic attributes estimated) and the user's action history in the content or the like are collected and stored in the storage unit (user information storage unit 33) of the content distribution server 30 in association with the user ID.

なお、コンテンツ配信サーバ３０は、端末装置１０に種々のサービスを配信可能であり、例えば、ポータルサイト、ニュースサイト、オークションサイト、天気予報サイト、ショッピングサイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどに関するウェブページや、端末装置１０にインストールされた各種アプリ（例えば、ポータルアプリ、ニュースアプリ、オークションサイト、天気予報アプリ、ショッピングアプリ、ファイナンス（株価）アプリ、路線検索アプリ、地図提供アプリ、旅行アプリ、飲食店紹介アプリ、ブログ閲覧アプリ等）に表示する情報を端末装置１０に配信する装置であってもよい。 The content distribution server 30 can distribute various services to the terminal device 10, for example, portal site, news site, auction site, weather forecast site, shopping site, finance (stock price) site, route search site, map Web pages related to provided sites, travel sites, restaurants introduction sites, web blogs, etc., and various applications installed on the terminal device 10 (for example, portal apps, news apps, auction sites, weather forecast apps, shopping apps, finance (stock prices) ) An app, a route search app, a map providing app, a travel app, a restaurant introduction app, a blog browsing app, etc.) may be a device that delivers information displayed on the terminal device 10.

図１に示す評価装置１００は、広告配信サーバ２０が配信する広告を評価する情報処理装置である。例えば、評価装置１００は、広告配信サーバ２０が配信する広告に接触したユーザ群の行動履歴と、接触しなかったユーザ群の行動履歴とに基づいて、広告を評価する。 An evaluation apparatus 100 illustrated in FIG. 1 is an information processing apparatus that evaluates an advertisement distributed by the advertisement distribution server 20. For example, the evaluation device 100 evaluates the advertisement based on the behavior history of the user group that has contacted the advertisement distributed by the advertisement distribution server 20 and the behavior history of the user group that has not contacted.

以下、図１を用いて、評価装置１００が行う評価処理について説明する。なお、以下の説明では、広告配信サーバ２０は、予め設定された配信期間（例えば、１週間、１ヶ月）において広告Ａの配信を行うものとする。また、以下の説明において、広告に接触したユーザとは、当該ユーザが利用する端末装置１０に配信された広告に対し、選択操作を行ったユーザを示す。 Hereinafter, the evaluation process performed by the evaluation apparatus 100 will be described with reference to FIG. In the following description, it is assumed that the advertisement distribution server 20 distributes the advertisement A during a preset distribution period (for example, one week, one month). Moreover, in the following description, the user who contacted the advertisement indicates a user who performed a selection operation on the advertisement distributed to the terminal device 10 used by the user.

また、以下の説明では、ユーザＩＤ「ＵＮ（Ｎは任意の数）」により識別されるユーザを「ユーザＵＮ」と表記する場合がある。また、以下では、端末装置１０を利用するユーザに応じて、端末装置１０を端末装置１０−１、１０−２として説明する。例えば、端末装置１０−１は、ユーザＵ１により利用される端末装置１０である。また、例えば、端末装置１０−２は、ユーザＵ２により利用される端末装置１０である。また、以下では、端末装置１０−１、１０−２について、特に区別なく説明する場合には、端末装置１０と記載する。 In the following description, a user identified by the user ID “UN (N is an arbitrary number)” may be referred to as “user UN”. Moreover, below, the terminal device 10 is demonstrated as terminal device 10-1, 10-2 according to the user who uses the terminal device 10. For example, the terminal device 10-1 is the terminal device 10 used by the user U1. For example, the terminal device 10-2 is the terminal device 10 used by the user U2. Hereinafter, the terminal devices 10-1 and 10-2 will be referred to as the terminal device 10 when they are not particularly distinguished.

まず、広告配信サーバ２０は、各ユーザが利用する端末装置１０に広告を配信する（ステップＳ１１）。例えば、図１の例において、コンテンツ配信サーバ３０が端末装置１０に配信する種々のサービスにおいて広告Ａを配信期間の間配信する。そして、広告配信サーバ２０は、接触したユーザのユーザＩＤを広告Ａに対応付けて広告配信サーバ２０の記憶部に格納する。 First, the advertisement distribution server 20 distributes advertisements to the terminal device 10 used by each user (step S11). For example, in the example of FIG. 1, the advertisement A is distributed during a distribution period in various services distributed by the content distribution server 30 to the terminal device 10. Then, the advertisement distribution server 20 stores the user ID of the contacted user in the storage unit of the advertisement distribution server 20 in association with the advertisement A.

続いて、広告配信サーバ２０は、広告に接触したユーザの情報（ユーザＩＤ）を評価装置１００に送信する（ステップＳ１２）。なお、図１の例において、広告配信サーバ２０は、広告Ａに接触したユーザのユーザＩＤを広告Ａの配信期間が経過した後に評価装置１００に送信してもよいし、配信期間の経過後、評価装置１００からの送信要求に応じてユーザＩＤを送信してもよい。 Subsequently, the advertisement distribution server 20 transmits information (user ID) of the user who has contacted the advertisement to the evaluation device 100 (step S12). In the example of FIG. 1, the advertisement distribution server 20 may transmit the user ID of the user who has contacted the advertisement A to the evaluation device 100 after the distribution period of the advertisement A has elapsed. A user ID may be transmitted in response to a transmission request from the evaluation device 100.

続いて、評価装置１００は、コンテンツ配信サーバ３０から各ユーザのユーザ属性及び行動履歴を取得する（ステップＳ１３）。例えば、図１の例において、評価装置１００は、広告Ａの配信期間の後、ユーザの行動履歴を蓄積するための所定の期間（例えば、１週間、１ヶ月。以下、「配信後期間」と記載する場合がある）が経過した後にコンテンツ配信サーバ３０のユーザ情報記憶部３３から各ユーザのユーザ属性及び行動履歴を取得する。 Subsequently, the evaluation apparatus 100 acquires the user attributes and action history of each user from the content distribution server 30 (step S13). For example, in the example of FIG. 1, the evaluation apparatus 100 has a predetermined period (for example, one week, one month, hereinafter “post-delivery period”) for accumulating the user's behavior history after the advertisement A distribution period. The user attributes and action history of each user are acquired from the user information storage unit 33 of the content distribution server 30 after the elapse of (which may be described).

続いて、評価装置１００は、各ユーザの中から、広告Ａに接触したユーザ群と、広告Ａに接触したユーザ群と類似性を有するユーザ群とを抽出する（ステップＳ１４）。例えば、図１の例において、評価装置１００は、ステップＳ１２において広告配信サーバ２０から送信された各ユーザＩＤに対応するユーザを広告Ａに接触したユーザ群Ｇ１として抽出する。そして、評価装置１００は、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間（図１に示す期間Ｔ２）より前の期間である配信前期間（図１に示す期間Ｔ１）においてユーザ群Ｇ１との類似性を有するユーザを、ユーザ群Ｇ２として抽出する。 Subsequently, the evaluation apparatus 100 extracts, from each user, a user group that has contacted the advertisement A and a user group that has similarity to the user group that has contacted the advertisement A (step S14). For example, in the example of FIG. 1, the evaluation apparatus 100 extracts the user corresponding to each user ID transmitted from the advertisement distribution server 20 in step S12 as the user group G1 that has contacted the advertisement A. And the evaluation apparatus 100 is a user in the period before delivery (period T1 shown in FIG. 1) before the delivery period (period T2 shown in FIG. 1) of the advertisement A among the users who did not contact the advertisement A. Users having similarity with the group G1 are extracted as the user group G2.

具体的には、評価装置１００は、ステップＳ１３においてコンテンツ配信サーバ３０から取得した情報に基づいて、ユーザ群Ｇ１に属するユーザの配信前期間におけるユーザ属性（例えば、配信前期間におけるユーザのコンテンツ等に対する操作や閲覧等に基づくユーザの年齢、性別、地域等のデモフラフィック属性）と、行動履歴（例えば、入力した検索クエリ、コンテンツの閲覧、電子商取引サービスにおける利用履歴など）から推定される趣味嗜好等とを特定する。ここで、評価装置１００は、ユーザ群Ｇ１に属するユーザのうち、ユーザ属性が「性別：男、年齢：３０代」であるユーザの割合が所定の閾値以上であり、ユーザ群Ｇ１に属するユーザの趣味嗜好を「アウトドア」と特定したものとする。この場合、評価装置１００は、広告Ａに接触しなかったユーザのうち、配信前期間におけるユーザ属性が「性別：男、年齢：３０代」であり、行動履歴から推定される趣味嗜好が「アウトドア」であるユーザをユーザ群Ｇ２として抽出する。 Specifically, the evaluation device 100 determines, based on the information acquired from the content distribution server 30 in step S13, the user attributes (for example, the user content in the pre-distribution period) of the users belonging to the user group G1 in the pre-distribution period. Demographic attributes such as the user's age, gender, and region based on operations and browsing) and behavioral history (eg, input search queries, content browsing, usage history in e-commerce services, etc.) And so on. Here, the evaluation apparatus 100 has a ratio of users whose user attributes are “gender: male, age: 30s” among users belonging to the user group G1, which are equal to or greater than a predetermined threshold. The hobby preference is specified as “outdoor”. In this case, the evaluation apparatus 100 has the user attribute “gender: male, age: 30s” in the pre-delivery period among the users who have not contacted the advertisement A, and the hobby preference estimated from the action history is “outdoor” Are extracted as the user group G2.

続いて、評価装置１００は、広告Ａの配信期間より後の期間である配信後期間（図１に示す期間Ｔ３）におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する（ステップＳ１５）。例えば、評価装置１００は、配信後期間におけるユーザ群Ｇ１の行動履歴に含まれる広告Ａに関する行動（例えば、広告Ａに対応する商品の検索、購買等）と、ユーザ群Ｇ２の行動履歴に含まれる広告Ａに関する行動との比較に基づいて、広告Ａを評価する。例えば、ユーザ群Ｇ１において広告Ａに関する行動がユーザ群Ｇ２よりも多く含まれる場合、評価装置１００は、広告Ａの広告効果（例えば、リフト値）を高く評価する。 Subsequently, the evaluation apparatus 100 evaluates the advertisement A based on the behavior history of the user group G1 and the user group G2 in a post-delivery period (period T3 shown in FIG. 1) that is a period after the delivery period of the advertisement A ( Step S15). For example, the evaluation device 100 is included in the behavior related to the advertisement A (for example, searching for or purchasing a product corresponding to the advertisement A) included in the behavior history of the user group G1 in the post-delivery period and the behavior history of the user group G2. The advertisement A is evaluated based on the comparison with the behavior regarding the advertisement A. For example, when the user group G1 includes more actions related to the advertisement A than the user group G2, the evaluation apparatus 100 highly evaluates the advertisement effect (for example, lift value) of the advertisement A.

このようにして、実施形態に係る評価装置１００は、広告に接触したユーザ群と、広告に接触しなかったユーザ群との比較に基づいて広告を評価する。 Thus, the evaluation apparatus 100 according to the embodiment evaluates the advertisement based on the comparison between the user group that has contacted the advertisement and the user group that has not contacted the advertisement.

従来、コンテンツのリフト値の計測を目的としてＡ／Ｂテストを実施する場合、コンテンツ配信を行う前にＡ／Ｂテストを実施するターゲット群の設定等に手間がかかるという問題がある。更に、コンテンツ配信を行う際には、コンテンツを配信したユーザとの比較を行う為、コンテンツ配信を意図的に実施しないユーザが発生する。この場合、コンテンツへの親和性が高いユーザや、潜在層のユーザを逃し、コンテンツのコンバージョンの機会を失う可能性がある。 Conventionally, when an A / B test is performed for the purpose of measuring a lift value of content, there is a problem that it takes time to set a target group for performing the A / B test before content distribution. Furthermore, when content distribution is performed, a user who does not intentionally perform content distribution occurs because of comparison with the user who distributed the content. In this case, there is a possibility that a user who has a high affinity for the content or a user in the potential layer will be missed and the opportunity for content conversion will be lost.

これに対し、実施形態に係る評価装置１００は、上記のように、広告に接触したユーザ群と、これに類似するユーザ群であって広告に接触しなかったユーザ群との比較に基づく広告の評価を、広告の配信後に行うことができる。すなわち、実施形態に係る評価装置１００は、広告配信前の設定等の手間を必要とせず、更にコンバージョンの機会を失うことなく、評価対象の広告を適切に評価することを可能とする。 On the other hand, as described above, the evaluation apparatus 100 according to the embodiment performs an advertisement based on a comparison between a user group that contacts an advertisement and a user group that is similar to the user group and does not contact the advertisement. The evaluation can be performed after the advertisement is delivered. That is, the evaluation device 100 according to the embodiment can appropriately evaluate the advertisement to be evaluated without requiring time and effort for setting before advertisement distribution and without losing the opportunity for conversion.

〔２．評価処理システムの構成〕
次に、上述した評価処理を実現するための評価処理システム１について図２を用いて説明する。図２は、実施形態に係る評価処理システムの構成例を示す図である。図２に示すように、実施形態に係る評価処理システム１は、端末装置１０と、広告配信サーバ２０と、コンテンツ配信サーバ３０と、評価装置１００とを含む。端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０及び評価装置１００は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す評価処理システム１には、複数台の端末装置１０や、複数台の広告配信サーバ２０や、複数台のコンテンツ配信サーバ３０や、複数台の評価装置１００が含まれてもよい。 [2. Configuration of evaluation processing system]
Next, an evaluation processing system 1 for realizing the above-described evaluation processing will be described with reference to FIG. FIG. 2 is a diagram illustrating a configuration example of the evaluation processing system according to the embodiment. As illustrated in FIG. 2, the evaluation processing system 1 according to the embodiment includes a terminal device 10, an advertisement distribution server 20, a content distribution server 30, and an evaluation device 100. The terminal device 10, the advertisement distribution server 20, the content distribution server 30, and the evaluation device 100 are connected via a network N so that they can communicate with each other by wire or wirelessly. The network N is a communication network such as a LAN (Local Area Network), a WAN (Wide Area Network), a telephone network (a mobile phone network, a fixed telephone network, etc.), a regional IP (Internet Protocol) network, and the Internet. The network N may include a wired network or a wireless network. 2 may include a plurality of terminal devices 10, a plurality of advertisement distribution servers 20, a plurality of content distribution servers 30, and a plurality of evaluation devices 100. Good.

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現され、広告配信サーバ２０や、コンテンツ配信サーバ３０、評価装置１００との間で情報の送受信を行う。また、端末装置１０は、広告配信サーバ２０や、コンテンツ配信サーバ３０によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、端末装置１０は、コンテンツ配信サーバ３０によって配信される情報の表示処理を実現する制御情報をコンテンツ配信サーバ３０から受け取った場合には、制御情報に従って表示処理を実現する。 The terminal device 10 is an information processing device used by a user. The terminal device 10 is realized by, for example, a smartphone, a tablet terminal, a notebook PC, a desktop PC, a mobile phone, a PDA, and the like, and is connected to the advertisement distribution server 20, the content distribution server 30, and the evaluation device 100. Send and receive information between them. Further, the terminal device 10 displays information distributed by the advertisement distribution server 20 and the content distribution server 30 using a web browser or an application. Further, when receiving from the content distribution server 30 control information for realizing display processing of information distributed by the content distribution server 30, the terminal device 10 realizes display processing according to the control information.

また、端末装置１０は、端末装置１０を利用するユーザの広告配信サーバ２０が配信する広告への接触の有無を広告配信サーバ２０に送信する。また、端末装置１０は、端末装置１０を利用するユーザの属性に関するユーザ属性（例えば、年齢、性別など）や、行動履歴（例えば、インターネットを介した各種のサービスにおける行動履歴など）を取得し、コンテンツ配信サーバ３０に送信する。 In addition, the terminal device 10 transmits to the advertisement distribution server 20 whether or not there is contact with the advertisement distributed by the advertisement distribution server 20 of the user who uses the terminal device 10. In addition, the terminal device 10 acquires user attributes (for example, age, sex, etc.) and behavior history (for example, behavior history in various services via the Internet) regarding the attributes of the user who uses the terminal device 10, It transmits to the content distribution server 30.

広告配信サーバ２０は、広告主から入稿された広告を端末装置１０に配信するサーバ装置である。例えば、広告配信サーバ２０は、端末装置１０に広告を配信した際の各ユーザの広告への接触の有無を収集し、広告に接触したユーザのユーザＩＤを当該広告に対応付けて広告配信サーバ２０の記憶部に格納する。 The advertisement distribution server 20 is a server device that distributes advertisements submitted by advertisers to the terminal device 10. For example, the advertisement distribution server 20 collects the presence / absence of contact of each user with the advertisement when the advertisement is distributed to the terminal device 10, and associates the user ID of the user who has contacted the advertisement with the advertisement. Stored in the storage unit.

コンテンツ配信サーバ３０は、端末装置１０からの要求に応じて端末装置１０にインストールされたアプリに表示されるアプリ向けのコンテンツや、端末装置１０に実装されるブラウザ等に実装されるウェブページを提供するサーバ装置である。なお、コンテンツ配信サーバ３０は、アプリケーションのデータそのものを配信するサーバであってもよい。また、コンテンツ配信サーバ３０は、端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、コンテンツ配信サーバ３０から配信されるアプリそのものを制御情報とみなしてもよい。コンテンツ配信サーバ３０の構成は後述する。 In response to a request from the terminal device 10, the content distribution server 30 provides content for an application displayed on an application installed in the terminal device 10, a web page mounted on a browser or the like mounted on the terminal device 10. Server device. The content distribution server 30 may be a server that distributes application data itself. The content distribution server 30 may function as a distribution device that distributes control information to the terminal device 10. Here, the control information is described in, for example, a script language such as JavaScript (registered trademark) or a style sheet language such as CSS (Cascading Style Sheets). Note that the application itself distributed from the content distribution server 30 may be regarded as control information. The configuration of the content distribution server 30 will be described later.

評価装置１００は、広告配信サーバ２０が配信する広告を評価する情報処理装置である。例えば、評価装置１００は、広告配信サーバ２０が配信する広告に接触したユーザ群の行動履歴と、接触しなかったユーザ群の行動履歴とに基づいて、広告を評価する。評価装置１００の構成は後述する。 The evaluation device 100 is an information processing device that evaluates an advertisement distributed by the advertisement distribution server 20. For example, the evaluation device 100 evaluates the advertisement based on the behavior history of the user group that has contacted the advertisement distributed by the advertisement distribution server 20 and the behavior history of the user group that has not contacted. The configuration of the evaluation apparatus 100 will be described later.

〔３．コンテンツ配信サーバの構成〕
次に、図３を用いて、コンテンツ配信サーバ３０の構成について説明する。図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。図３に示すように、コンテンツ配信サーバ３０は、通信部３１と、記憶部３２と、制御部３４とを有する。 [3. Content distribution server configuration]
Next, the configuration of the content distribution server 30 will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration example of the content distribution server according to the embodiment. As illustrated in FIG. 3, the content distribution server 30 includes a communication unit 31, a storage unit 32, and a control unit 34.

（通信部３１について）
通信部３１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部３１は、ネットワークＮと有線または無線で接続され、端末装置１０、広告配信サーバ２０、評価装置１００等との間で情報の送受信を行う。 (About the communication unit 31)
The communication unit 31 is realized by a NIC (Network Interface Card) or the like, for example. The communication unit 31 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the terminal device 10, the advertisement distribution server 20, the evaluation device 100, and the like.

（記憶部３２について）
記憶部３２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３２は、ユーザ情報記憶部３３を有する。 (About the storage unit 32)
The storage unit 32 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. As illustrated in FIG. 3, the storage unit 32 includes a user information storage unit 33.

（ユーザ情報記憶部３３について）
ユーザ情報記憶部３３は、各ユーザの属性や、インターネットを介した各種のサービスにおける行動履歴などのユーザに関するユーザ情報を記憶する。ここで、図４を用いて、ユーザ情報記憶部３３が記憶する情報の一例を説明する。図４は、実施形態に係るユーザ情報記憶部の一例を示す図である。図４の例において、ユーザ情報記憶部３３は、「ユーザＩＤ」、「ユーザ属性」、「行動履歴」といった項目を有する。 (About the user information storage unit 33)
The user information storage unit 33 stores user information related to users such as the attributes of each user and behavior histories in various services via the Internet. Here, an example of information stored in the user information storage unit 33 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of a user information storage unit according to the embodiment. In the example of FIG. 4, the user information storage unit 33 includes items such as “user ID”, “user attribute”, and “behavior history”.

「ユーザＩＤ」は、ユーザを識別するためのユーザ識別情報を示す。「ユーザ属性」は、ユーザの属性に関する情報であり、「性別」、「年齢」といった項目が含まれる。「性別」は、ユーザの性別を示す。「年齢」は、ユーザの年齢を示す。「行動履歴」は、コンテンツ配信サーバ３０が端末装置１０に配信したコンテンツ等における各ユーザの行動履歴を示すものであり、例えば、ユーザが入力した検索クエリ、コンテンツの閲覧、電子商取引サービスにおける利用履歴などが格納される。 “User ID” indicates user identification information for identifying a user. The “user attribute” is information regarding the user attribute, and includes items such as “sex” and “age”. “Gender” indicates the gender of the user. “Age” indicates the age of the user. The “behavior history” indicates the behavior history of each user in the content or the like distributed by the content distribution server 30 to the terminal device 10. For example, the search query input by the user, the browsing of the content, the usage history in the electronic commerce service Etc. are stored.

すなわち、図５では、性別が「男」、年齢が「３０代」であり、ユーザＩＤ「Ｕ１」によって識別されるユーザの行動履歴が「履歴１１」である例を示す。 That is, FIG. 5 shows an example in which the gender is “male”, the age is “30s”, and the user action history identified by the user ID “U1” is “history 11”.

（制御部３４について）
制御部３４は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、コンテンツ配信サーバ３０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３４は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部３４は、図３に示すように、受付部３５と、送信部３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。 (About the control unit 34)
The control unit 34 is a controller, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like that causes various programs stored in the storage device inside the content distribution server 30 to store the RAM in the work area. This is realized by being executed as The control unit 34 is a controller, and is realized by an integrated circuit such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA). As shown in FIG. 3, the control unit 34 according to the embodiment includes a reception unit 35 and a transmission unit 36, and realizes or executes functions and operations of information processing described below.

（受付部３５について）
受付部３５は、ユーザ属性及び行動履歴の送信要求を評価装置１００から受け付ける。 (About the reception unit 35)
The accepting unit 35 accepts a user attribute and action history transmission request from the evaluation device 100.

（送信部３６について）
送信部３６は、評価装置１００からの送信要求に応じて、ユーザ属性及び行動履歴を評価装置１００に送信する。 (About the transmitter 36)
The transmission unit 36 transmits the user attribute and the action history to the evaluation device 100 in response to the transmission request from the evaluation device 100.

〔４．評価装置の構成〕
次に、図５を用いて、評価装置１００の構成について説明する。図５は、実施形態に係る評価装置の構成例を示す図である。図５に示すように、評価装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。 [4. Configuration of evaluation device]
Next, the configuration of the evaluation apparatus 100 will be described with reference to FIG. FIG. 5 is a diagram illustrating a configuration example of the evaluation apparatus according to the embodiment. As illustrated in FIG. 5, the evaluation apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130.

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０、広告配信サーバ２０、コンテンツ配信サーバ３０等との間で情報の送受信を行う。 (About the communication unit 110)
The communication unit 110 is realized by a NIC or the like, for example. The communication unit 110 is connected to the network N in a wired or wireless manner, and transmits and receives information to and from the terminal device 10, the advertisement distribution server 20, the content distribution server 30, and the like.

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。 (About the storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.

（制御部１３０について）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、評価装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。実施形態に係る制御部１３０は、図５に示すように、抽出部１３１と、評価部１３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。 (About the control unit 130)
The control unit 130 is a controller, and is realized, for example, by executing various programs stored in the storage device inside the evaluation apparatus 100 using the RAM as a work area by a CPU, an MPU, or the like. The control unit 130 is a controller, and is realized by an integrated circuit such as an ASIC or FPGA, for example. As shown in FIG. 5, the control unit 130 according to the embodiment includes an extraction unit 131 and an evaluation unit 132, and realizes or executes functions and operations of information processing described below.

（抽出部１３１について）
抽出部１３１は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する。例えば、図１の例において、抽出部１３１は、広告Ａに接触したユーザ群Ｇ１と、広告Ａに接触しなかったユーザ群Ｇ２とを抽出する。 (About the extraction unit 131)
The extraction unit 131 extracts a first user group that has performed a related action related to a predetermined evaluation target and a second user group that has not performed the related action. For example, in the example of FIG. 1, the extraction unit 131 extracts a user group G1 that has contacted the advertisement A and a user group G2 that has not contacted the advertisement A.

また、抽出部１３１は、関連行動を行う前の第１ユーザ群と所定の類似性を有する第２ユーザ群を抽出してもよい。例えば、図１の例において、抽出部１３１は、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間より前の期間である配信前期間においてユーザ群Ｇ１との類似性を有するユーザを、ユーザ群Ｇ２として抽出する。 The extraction unit 131 may extract a second user group having a predetermined similarity with the first user group before performing the related action. For example, in the example of FIG. 1, the extraction unit 131 selects users who have not contacted the advertisement A and have similarities to the user group G1 in the pre-delivery period that is a period before the distribution period of the advertisement A. , Extracted as a user group G2.

また、抽出部１３１は、関連行動を行う前の第１ユーザ群と属性または行動が類似する第２ユーザ群を抽出してもよい。例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群の行動履歴や、行動履歴から推定されるデモフラフィック属性、サイコグラフィック属性が類似する第２ユーザ群を抽出する。例えば、図１の例において、抽出部１３１は、
コンテンツ配信サーバ３０から取得した情報に基づいて、ユーザ群Ｇ１に属するユーザの配信前期間におけるユーザ属性と、行動履歴から推定される趣味嗜好等とを特定する。そして、特定したユーザ群Ｇ１に属するユーザのユーザ属性及び趣味嗜好が類似するユーザをユーザ群Ｇ２として抽出する。 In addition, the extraction unit 131 may extract a second user group having attributes or behaviors similar to those of the first user group before performing the related behavior. For example, the extraction unit 131 extracts a second user group having similar behavior history of the first user group before performing the related behavior, demographic attributes estimated from the behavior history, and psychographic attributes. For example, in the example of FIG.
Based on the information acquired from the content distribution server 30, the user attributes in the pre-distribution period of the users belonging to the user group G <b> 1 and the hobby preferences estimated from the action history are specified. Then, users having similar user attributes and hobbies preferences belonging to the specified user group G1 are extracted as the user group G2.

また、抽出部１３１は、所定の期間内に関連行動を行った第１ユーザ群と、当該所定の期間内に関連行動を行わなかった第２ユーザ群とを抽出してもよい。例えば、図１の例において、抽出部１３１は、広告Ａの配信期間内に広告Ａに接触したユーザをユーザ群Ｇ１として抽出し、広告Ａの配信期間内に広告Ａに接触しなかったユーザをユーザ群Ｇ２として抽出する。 Further, the extraction unit 131 may extract a first user group that has performed a related action within a predetermined period and a second user group that has not performed a related action within the predetermined period. For example, in the example of FIG. 1, the extraction unit 131 extracts a user who has contacted the advertisement A within the delivery period of the advertisement A as the user group G1 and a user who has not contacted the advertisement A within the delivery period of the advertisement A. Extracted as the user group G2.

（評価部１３２について）
評価部１３２は、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。例えば、図１の例において、評価部１３２は、広告Ａに接触した後におけるユーザ群Ｇ１の行動履歴と、広告Ａに接触しなかった後におけるユーザ群Ｇ２の行動履歴とに基づき、広告Ａを評価する。 (About the evaluation unit 132)
The evaluation unit 132 evaluates a predetermined evaluation target based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior. For example, in the example of FIG. 1, the evaluation unit 132 determines the advertisement A based on the behavior history of the user group G1 after contacting the advertisement A and the behavior history of the user group G2 after not contacting the advertisement A. evaluate.

また、評価部１３２は、関連行動を行った後における所定の評価対象に関する第１ユーザ群の行動と、関連行動を行わなかった後における所定の評価対象に関する第２ユーザ群の行動とに基づいて、所定の評価対象を評価してもよい。例えば、図１の例において、評価部１３２は、ユーザ群Ｇ１の行動履歴に含まれる広告Ａに関する行動（例えば、広告Ａに対応する商品の検索、購買等）と、ユーザ群Ｇ２の行動履歴に含まれる広告Ａに関する行動との比較に基づいて、広告Ａを評価する。 Further, the evaluation unit 132 is based on the behavior of the first user group regarding the predetermined evaluation target after performing the related behavior and the behavior of the second user group regarding the predetermined evaluation target after not performing the related behavior. A predetermined evaluation object may be evaluated. For example, in the example of FIG. 1, the evaluation unit 132 uses the behavior related to the advertisement A included in the behavior history of the user group G1 (for example, search and purchase of products corresponding to the advertisement A) and the behavior history of the user group G2. The advertisement A is evaluated based on the comparison with the behavior related to the advertisement A included.

また、評価部１３２は、所定の評価対象に関する第１ユーザ群の行動の回数が、所定の評価対象に関する第２ユーザ群の行動の回数よりも多い場合、所定の評価対象を高く評価してもよい。例えば、図１の例において、評価部１３２は、ユーザ群Ｇ１において広告Ａに関する行動がユーザ群Ｇ２よりも多く含まれる場合、評価装置１００は、広告Ａの広告効果を高く評価する。 Further, the evaluation unit 132 may evaluate the predetermined evaluation object highly when the number of actions of the first user group regarding the predetermined evaluation object is larger than the number of actions of the second user group regarding the predetermined evaluation object. Good. For example, in the example of FIG. 1, when the user group G1 includes more actions related to the advertisement A than the user group G2, the evaluation device 100 highly evaluates the advertising effect of the advertisement A.

また、評価部１３２は、所定の期間後における第１ユーザ群及び第２ユーザ群の行動に基づいて、所定の評価対象を評価する。例えば、図１の例において、評価部１３２は、広告Ａの配信期間より後の期間である配信後期間におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する。 The evaluation unit 132 evaluates a predetermined evaluation target based on the behaviors of the first user group and the second user group after a predetermined period. For example, in the example of FIG. 1, the evaluation unit 132 evaluates the advertisement A based on the behavior history of the user group G1 and the user group G2 in the post-delivery period that is a period after the delivery period of the advertisement A.

〔５．評価処理のフロー〕
ここで、図６を用いて、実施形態に係る評価処理システム１の情報処理の手順について説明する。図６は、実施形態に係る評価処理手順の一例を示すフローチャートである。 [5. (Evaluation process flow)
Here, the procedure of the information processing of the evaluation processing system 1 according to the embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of an evaluation processing procedure according to the embodiment.

図６に示すように、評価装置１００は、所定の評価対象と関連する関連行動を行ったユーザの情報を取得する（ステップＳ１０１）。例えば、図１の例において、評価装置１００は、広告配信サーバ２０から広告に接触したユーザの情報（ユーザＩＤ）を取得する。続いて、評価装置１００は、コンテンツ配信サーバ３０から、各ユーザのユーザ属性及び行動履歴を取得する（ステップＳ１０２）。 As illustrated in FIG. 6, the evaluation apparatus 100 acquires information on a user who has performed a related action related to a predetermined evaluation target (Step S101). For example, in the example of FIG. 1, the evaluation device 100 acquires information (user ID) of a user who has contacted the advertisement from the advertisement distribution server 20. Subsequently, the evaluation apparatus 100 acquires the user attributes and action history of each user from the content distribution server 30 (step S102).

続いて、評価装置１００は、ユーザ群を抽出する（ステップＳ１０３）。例えば、図１の例において、評価装置１００は、広告Ａに接触したユーザ群Ｇ１と、広告Ａに接触したユーザ群と類似性を有するユーザ群Ｇ２とを抽出する。続いて、評価装置１００は、各ユーザ群の行動履歴に基づき、評価対象を評価する（ステップＳ１０４）。例えば、図１の例において、評価装置１００は、広告Ａの配信期間より後の期間である配信後期間におけるユーザ群Ｇ１及びユーザ群Ｇ２の行動履歴に基づき、広告Ａを評価する。 Subsequently, the evaluation apparatus 100 extracts a user group (step S103). For example, in the example of FIG. 1, the evaluation apparatus 100 extracts a user group G1 that has contacted the advertisement A and a user group G2 that is similar to the user group that has contacted the advertisement A. Subsequently, the evaluation apparatus 100 evaluates the evaluation target based on the behavior history of each user group (step S104). For example, in the example of FIG. 1, the evaluation device 100 evaluates the advertisement A based on the behavior history of the user group G1 and the user group G2 in a post-delivery period that is a period after the distribution period of the advertisement A.

〔６．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。 [6. (Modification)
The above-described embodiment shows an example, and various changes and applications are possible.

〔６−１．評価対象について〕
上述の実施形態において、評価装置１００が広告を評価する例を示したが、評価装置１００は、広告に限らず、種々のコンテンツや、商品、役務等を評価対象として評価してもよい。 [6-1. About the evaluation target)
In the above-described embodiment, an example in which the evaluation device 100 evaluates an advertisement has been described. However, the evaluation device 100 may evaluate not only the advertisement but also various contents, products, services, and the like as evaluation targets.

〔６−２．抽出するユーザ群について〕
上述の実施形態において、評価装置１００が評価対象である広告に対し選択操作を行ったか否かに基づいてユーザ群を抽出する例を示したが、評価装置１００は上述した例に限られない。例えば、評価対象に関連するコンテンツの配信の有無や、評価対象に関連する検索クエリの入力の有無、評価対象に関連する商品の購買の有無など、各ユーザが行った評価対象に関連する種々の行動に基づいて、評価装置１００はユーザ群を抽出してもよい。 [6-2. About user groups to be extracted)
In the above-mentioned embodiment, although the example which extracts a user group based on whether the evaluation apparatus 100 performed selection operation with respect to the advertisement which is an evaluation object was shown, the evaluation apparatus 100 is not restricted to the example mentioned above. For example, various contents related to the evaluation target performed by each user, such as whether content related to the evaluation target is distributed, whether a search query related to the evaluation target is input, whether a product related to the evaluation target is purchased, etc. Based on the behavior, the evaluation apparatus 100 may extract a user group.

〔６−３．広告の配信前におけるユーザ群の抽出について〕
図１に示す実施形態において、評価装置１００が広告Ａの配信後に、広告Ａに接触したユーザ群Ｇ１を抽出し、広告Ａに接触しなかったユーザのうち、広告Ａの配信期間より前の期間である配信前期間においてユーザ群Ｇ１との類似性を有するユーザをユーザ群Ｇ２として抽出する例を示した。しかし、評価装置１００は上述した例に限られない。例えば、評価装置１００は、広告の配信前に所定の類似性を有するユーザ群を抽出してもよい。具体的には、評価装置１００は、コンテンツ配信サーバ３０から取得したユーザ属性及び行動履歴が類似するユーザ群を抽出し、当該ユーザ群に関する情報を広告配信サーバ２０に送信する。そして、広告配信サーバ２０が上記ユーザ群に広告を配信した後、評価装置１００は、上記ユーザ群のうち広告に接触したユーザの広告配信後の行動と、上記ユーザ群のうち広告に接触しなかったユーザの広告配信後の行動とに基づいて、広告を評価する。 [6-3. Extraction of users before advertisement distribution)
In the embodiment shown in FIG. 1, the evaluation device 100 extracts the user group G1 that has contacted the advertisement A after the distribution of the advertisement A, and the period before the distribution period of the advertisement A among the users who have not contacted the advertisement A. An example in which a user having similarity with the user group G1 in the pre-delivery period is extracted as the user group G2 is shown. However, the evaluation apparatus 100 is not limited to the example described above. For example, the evaluation apparatus 100 may extract a user group having a predetermined similarity before the advertisement is distributed. Specifically, the evaluation apparatus 100 extracts a user group having similar user attributes and action histories acquired from the content distribution server 30 and transmits information related to the user group to the advertisement distribution server 20. After the advertisement distribution server 20 distributes the advertisement to the user group, the evaluation device 100 does not contact the advertisement of the user group after the advertisement distribution of the user who contacts the advertisement and the advertisement of the user group. The advertisement is evaluated based on the behavior of the user after the advertisement distribution.

〔７．効果〕
上述してきたように、実施形態に係る評価装置１００は、抽出部１３１と、評価部１３２とを有する。抽出部１３１は、所定の評価対象と関連する関連行動を行った第１ユーザ群と、当該関連行動を行わなかった第２ユーザ群とを抽出する。また、評価部１３２は、関連行動を行った後における第１ユーザ群の行動と、関連行動を行わなかった後における第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。 [7. effect〕
As described above, the evaluation apparatus 100 according to the embodiment includes the extraction unit 131 and the evaluation unit 132. The extraction unit 131 extracts a first user group that has performed a related action related to a predetermined evaluation target and a second user group that has not performed the related action. The evaluation unit 132 evaluates a predetermined evaluation target based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior.

これにより、実施形態に係る評価装置１００は、評価対象に関連する行動を行った後のユーザ群の行動と、評価対象に関連する行動を行わなかった後のユーザ群の行動との比較に基づいて評価対象を評価することにより、評価対象によってユーザの行動が変化するか否か評価できるため、評価対象を適切に評価できる。 Thereby, the evaluation apparatus 100 according to the embodiment is based on the comparison between the behavior of the user group after performing the behavior related to the evaluation target and the behavior of the user group after not performing the behavior related to the evaluation target. By evaluating the evaluation object, it can be evaluated whether or not the user's behavior changes depending on the evaluation object, and therefore the evaluation object can be appropriately evaluated.

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群と所定の類似性を有する第２ユーザ群を抽出する。 In the evaluation apparatus 100 according to the embodiment, for example, the extraction unit 131 extracts a second user group having a predetermined similarity with the first user group before performing the related action.

これにより、実施形態に係る評価装置１００は、類似性を有する各ユーザ群における、関連行動を行ったか否かによって生じる行動の変化に基づいて評価対象を評価できるため、評価対象を適切に評価できる。 Thereby, since the evaluation apparatus 100 which concerns on embodiment can evaluate an evaluation object based on the change of the action which arises according to whether the related action was performed in each user group which has similarity, it can evaluate an evaluation object appropriately. .

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、関連行動を行う前の第１ユーザ群と属性または行動が類似する第２ユーザ群を抽出する。 In the evaluation apparatus 100 according to the embodiment, for example, the extraction unit 131 extracts a second user group having attributes or behaviors similar to those of the first user group before performing the related behavior.

これにより、実施形態に係る評価装置１００は、属性または行動が類似する各ユーザ群における、関連行動を行ったか否かによって生じる行動の変化に基づいて評価対象を評価できるため、評価対象を適切に評価できる。 Thereby, since the evaluation apparatus 100 according to the embodiment can evaluate the evaluation target based on the change in behavior caused by whether or not the related behavior is performed in each user group having similar attributes or behaviors, the evaluation target is appropriately selected. Can be evaluated.

また、実施形態に係る評価装置１００において、例えば、評価部１３２は、関連行動を行った後における所定の評価対象に関する第１ユーザ群の行動と、関連行動を行わなかった後における所定の評価対象に関する第２ユーザ群の行動とに基づいて、所定の評価対象を評価する。 Further, in the evaluation apparatus 100 according to the embodiment, for example, the evaluation unit 132 performs the action of the first user group regarding the predetermined evaluation object after performing the related action and the predetermined evaluation object after not performing the related action. The predetermined evaluation object is evaluated based on the behavior of the second user group related to.

これにより、実施形態に係る評価装置１００は、評価対象に関する各ユーザ群の行動に基づいて評価対象を評価できるため、評価対象を適切に評価できる。 Thereby, since the evaluation apparatus 100 which concerns on embodiment can evaluate an evaluation object based on the action of each user group regarding an evaluation object, it can evaluate an evaluation object appropriately.

また、実施形態に係る評価装置１００において、例えば、評価部１３２は、所定の評価対象に関する第１ユーザ群の行動の回数が、所定の評価対象に関する第２ユーザ群の行動の回数よりも多い場合、所定の評価対象を高く評価する。 Further, in the evaluation device 100 according to the embodiment, for example, the evaluation unit 132 has a case where the number of actions of the first user group related to the predetermined evaluation target is larger than the number of actions of the second user group related to the predetermined evaluation target. The predetermined evaluation object is highly evaluated.

これにより、実施形態に係る評価装置１００は、評価対象に関する行動の多寡に基づいて評価対象を評価できるため、評価対象を適切に評価できる。 Thereby, since the evaluation apparatus 100 which concerns on embodiment can evaluate an evaluation object based on the number of the actions regarding an evaluation object, it can evaluate an evaluation object appropriately.

また、実施形態に係る評価装置１００において、例えば、抽出部１３１は、所定の期間内に関連行動を行った第１ユーザ群と、当該所定の期間内に関連行動を行わなかった第２ユーザ群とを抽出する。また、評価部１３２は、所定の期間後における第１ユーザ群及び第２ユーザ群の行動に基づいて、所定の評価対象を評価する。 In the evaluation apparatus 100 according to the embodiment, for example, the extraction unit 131 includes a first user group that has performed a related action within a predetermined period and a second user group that has not performed the related action within the predetermined period. And extract. The evaluation unit 132 evaluates a predetermined evaluation target based on the behaviors of the first user group and the second user group after a predetermined period.

これにより、実施形態に係る評価装置１００は、所定の期間内における評価対象に対する行動によってユーザのその後の行動が変化するか否か評価できるため、評価対象を適切に評価できる。 Thereby, since the evaluation apparatus 100 which concerns on embodiment can evaluate whether a user's subsequent action changes with the action with respect to the evaluation object within a predetermined period, it can evaluate an evaluation object appropriately.

〔８．ハードウェア構成〕
また、上述してきた各実施形態に係る評価装置は、例えば図７に示すような構成のコンピュータ１０００によって実現される。以下、評価装置１００を例に挙げて説明する。図７は、評価装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。 [8. Hardware configuration)
Moreover, the evaluation apparatus according to each embodiment described above is realized by a computer 1000 having a configuration as shown in FIG. 7, for example. Hereinafter, the evaluation apparatus 100 will be described as an example. FIG. 7 is a hardware configuration diagram illustrating an example of a computer that realizes the function of the evaluation apparatus. The computer 1000 includes a CPU 1100, RAM 1200, ROM 1300, HDD 1400, communication interface (I / F) 1500, input / output interface (I / F) 1600, and media interface (I / F) 1700.

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400 and controls each unit. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。 The HDD 1400 stores a program executed by the CPU 1100, data used by the program, and the like. The communication interface 1500 receives data from other devices via the communication network 500 (corresponding to the network N in the embodiment) and sends the data to the CPU 1100, and the data generated by the CPU 1100 via the communication network 500 is sent to the other devices. Send to device.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls an output device such as a display and a printer and an input device such as a keyboard and a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the data generated via the input / output interface 1600 to the output device.

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The media interface 1700 reads a program or data stored in the recording medium 1800 and provides it to the CPU 1100 via the RAM 1200. The CPU 1100 loads such a program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. Etc.

例えば、コンピュータ１０００が評価装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the evaluation apparatus 100, the CPU 1100 of the computer 1000 implements the function of the control unit 130 by executing a program loaded on the RAM 1200. In addition, each data in the storage unit 120 is stored in the HDD 1400. The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be obtained from other devices via a predetermined communication network.

〔９．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 [9. Others]
As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.

また、上述した評価装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。 In addition, the configuration of the evaluation apparatus 100 described above can be flexibly changed depending on functions, such as by implementing an external platform or the like by calling an API (Application Programming Interface) or network computing.

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。 Further, the “part” described in the claims can be read as “means”, “circuit”, or the like. For example, the extraction unit can be read as extraction means or an extraction circuit.

１評価処理システム
１０端末装置
２０広告配信サーバ
３０コンテンツ配信サーバ
３１通信部
３２記憶部
３３ユーザ情報記憶部
３４制御部
３５受付部
３６送信部
１００評価装置
１１０通信部
１２０記憶部
１３０制御部
１３１抽出部
１３２評価部 DESCRIPTION OF SYMBOLS 1 Evaluation processing system 10 Terminal device 20 Advertisement delivery server 30 Content delivery server 31 Communication part 32 Storage part 33 User information storage part 34 Control part 35 Reception part 36 Transmission part 100 Evaluation apparatus 110 Communication part 120 Storage part 130 Control part 131 Extraction part 132 Evaluation Department

Claims

A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, and a predetermined similarity with the first user group before performing the related action An extraction unit for extracting a second user group having
An evaluation unit that evaluates the predetermined evaluation object based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior. An evaluation apparatus comprising:

A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, the first user group and the attribute or action before performing the related action An extraction unit for extracting the similar second user group;
An evaluation unit that evaluates the predetermined evaluation target based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior;
The evaluation apparatus characterized by having.

The evaluation unit is
Based on the behavior of the first user group related to the predetermined evaluation target after performing the related behavior and the behavior of the second user group related to the predetermined evaluation target after not performing the related behavior, evaluation apparatus according to claim 1 or 2, characterized in that evaluating the predetermined evaluation.

The evaluation unit is
When the number of actions of the first user group related to the predetermined evaluation object is larger than the number of actions of the second user group related to the predetermined evaluation object, the predetermined evaluation object is highly evaluated. The evaluation apparatus according to claim 3 .

An evaluation method performed by a computer,
A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, and a predetermined similarity with the first user group before performing the related action An extraction step of extracting a second user group having
An evaluation step for evaluating the predetermined evaluation object based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior. The evaluation method characterized by including.

A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, and a predetermined similarity with the first user group before performing the related action An extraction procedure for extracting a second user group having
An evaluation procedure for evaluating the predetermined evaluation object based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior. An evaluation program that is executed by a computer.

An evaluation method performed by a computer,
A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, the first user group and the attribute or action before performing the related action An extraction step of extracting similar second user groups;
An evaluation step of evaluating the predetermined evaluation object based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior;
The evaluation method characterized by including.

A first user group that has performed a related action related to a predetermined evaluation target, and a second user group that has not performed the related action, the first user group and the attribute or action before performing the related action An extraction procedure for extracting similar second user groups;
An evaluation procedure for evaluating the predetermined evaluation object based on the behavior of the first user group after performing the related behavior and the behavior of the second user group after not performing the related behavior;
An evaluation program for causing a computer to execute.

An extraction unit that extracts a first user group that has performed a related action related to a predetermined evaluation target within a predetermined period, and a second user group that has not performed the related action within the predetermined period;
An evaluation unit that evaluates the predetermined evaluation target based on the behavior of the first user group after the predetermined period and the behavior of the second user group after the predetermined period;
The evaluation apparatus characterized by having.

An evaluation method performed by a computer,
An extraction step of extracting a first user group that has performed a related action related to a predetermined evaluation target within a predetermined period, and a second user group that has not performed the related action within the predetermined period;
An evaluation step for evaluating the predetermined evaluation object based on the behavior of the first user group after the predetermined period and the behavior of the second user group after the predetermined period;
The evaluation method characterized by including.

An extraction procedure for extracting a first user group that has performed a related action related to a predetermined evaluation target within a predetermined period, and a second user group that has not performed the related action within the predetermined period;
An evaluation procedure for evaluating the predetermined evaluation object based on the behavior of the first user group after the predetermined period and the behavior of the second user group after the predetermined period;
An evaluation program for causing a computer to execute.