[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7209441B2 - Screen configuration analysis device, screen configuration analysis method and program - Google Patents

Screen configuration analysis device, screen configuration analysis method and program Download PDF

Info

Publication number
JP7209441B2
JP7209441B2 JP2018087310A JP2018087310A JP7209441B2 JP 7209441 B2 JP7209441 B2 JP 7209441B2 JP 2018087310 A JP2018087310 A JP 2018087310A JP 2018087310 A JP2018087310 A JP 2018087310A JP 7209441 B2 JP7209441 B2 JP 7209441B2
Authority
JP
Japan
Prior art keywords
content
screen
screen configuration
video
audience rating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018087310A
Other languages
Japanese (ja)
Other versions
JP2019192144A (en
Inventor
誠 佐藤
芳博 岩佐
正斗 神崎
寿晃 鈴木
貴之 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Television Network Corp
Original Assignee
Nippon Television Network Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Television Network Corp filed Critical Nippon Television Network Corp
Priority to JP2018087310A priority Critical patent/JP7209441B2/en
Publication of JP2019192144A publication Critical patent/JP2019192144A/en
Application granted granted Critical
Publication of JP7209441B2 publication Critical patent/JP7209441B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画面構成分析装置、画面構成分析方法及びプログラムに関する。 The present invention relates to a screen configuration analysis device, a screen configuration analysis method, and a program.

放送番組において、ある番組の評価を放送後に行う場合に、番組の様々な構成、例えば、複数のTVカメラの配置、カメラの使用方法の評価、バラエティ番組の進行状況の確認、当該番組の視聴率との関係で番組を傍聴している観客に、出演者のどの発言が受けたか、というような観点から番組の評価、確認を事後的に行いたいという要望がある。 In a broadcast program, when evaluating a certain program after broadcasting, various configurations of the program, such as the arrangement of multiple TV cameras, evaluation of how to use the cameras, confirmation of the progress of a variety program, and audience rating of the program Therefore, there is a demand for the audience watching the program to evaluate and confirm the program after the fact from the viewpoint of which statements of the performers received.

この課題を解決すべく、特許文献1の発明が提案されている。 In order to solve this problem, the invention of Patent Document 1 is proposed.

特許文献1の発明は、TVで放送された映像の各ショットの静止画像を作成し、この静止画像と、TV局名、チャンネル名、番組タイトル、放送日付、放送開始時間、放送経過時間、番組コンテンツの要約、及びタイムコードを有するインデックスとを関連付けて記憶している。このインデックスはメタデータとも呼ばれ、番組に関する情報である。 The invention of Patent Document 1 creates a still image of each shot of a video broadcast on TV, and this still image, TV station name, channel name, program title, broadcast date, broadcast start time, broadcast elapsed time, program A content summary and an index with time codes are stored in association with each other. This index, also called metadata, is information about the program.

特開2013-162337号公報JP 2013-162337 A

しかし、特許文献1の発明は、インデックスには、出演者などの画面上における時系列的な有無や、配置、占有比等の画面構成に関する情報は含まれておらず、制作者側が実際にその映像を目視して画面構成を確認している。一方、制作者としては、出演者などの画面上における時系列的な出現の有無や、配置、占有比等のメタデータには表れない映像の画面構成が、視聴者に対してどのような影響を与えるのかを知りたい。 However, in the invention of Patent Document 1, the index does not include information on the time-series presence or absence of the performers on the screen, the layout, the screen configuration such as the occupancy ratio, etc. Visually check the screen composition. On the other hand, as a producer, what kind of impact will the appearance of the performers on the screen in chronological order, and the screen composition of the video, such as placement and occupancy ratio, not appear in the metadata, on the viewer? I want to know what to give

そこで、本発明は上記課題に鑑みて発明されたものであって、コンテンツ映像の画面構成を分析することができる画面構成分析装置、画面構成分析方法及びプログラムを提供することにある。 Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a screen configuration analysis device, a screen configuration analysis method, and a program capable of analyzing the screen configuration of a content video.

本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識する画像認識部と、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力する画面構成分析部と、指標と前記指標の時刻情報とを取得する指標取得部と、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する関連付け部とを有する画面構成分析装置である。 According to one aspect of the present invention, an image recognition unit that recognizes, from a content video of a content, a designated component of interest among screen components forming the content video, and the content when the component of interest is focused on a screen configuration analysis unit that analyzes the screen configuration of a video image and outputs screen configuration information as an analysis result and temporal position information on the content video of the image to be analyzed for the screen configuration; By using an index acquisition unit that acquires time information of an index, temporal position information on the content video, and time information of the index, the screen configuration information and the index are associated on the same time axis, It is a screen configuration analysis device having an association unit that stores in a storage unit.

本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識し、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力し、指標と前記指標の時刻情報とを取得し、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する画面構成分析方法である。 One aspect of the present invention is to recognize, from a content video of a content, a designated component of interest among screen constituent elements that constitute the content video, and reproduce an image of the content video when focusing on the component of interest. analyzing a screen configuration, outputting screen configuration information as an analysis result and temporal position information on the content video of an image to be analyzed for the screen configuration, acquiring an index and time information of the index; In the screen configuration analysis method, the screen configuration information and the index are associated on the same time axis using the temporal position information on the content video and the time information of the index, and stored in a storage unit.

本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識する画像認識処理と、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力する画面構成分析処理と、指標と前記指標の時刻情報とを取得する指標取得処理と、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する関連付け処理とをコンピュータに実行させるプログラムである。 According to one aspect of the present invention, image recognition processing for recognizing, from a content video of a content, a designated component of interest among screen components forming the content video; screen configuration analysis processing for analyzing the screen configuration of a video image and outputting screen configuration information as an analysis result and temporal position information on the content video of the image whose screen configuration is to be analyzed; The screen configuration information and the indicator are associated on the same time axis by using an indicator acquisition process for acquiring the time information of the indicator and the temporal position information on the content video and the time information of the indicator, It is a program that causes a computer to execute association processing stored in a storage unit.

本発明は、コンテンツ映像の画面構成を分析することができる INDUSTRIAL APPLICABILITY The present invention can analyze the screen configuration of content video.

図1は第1の実施形態における画面構成分析装置を示すブロック図である。FIG. 1 is a block diagram showing a screen configuration analysis device according to the first embodiment. 図2は画像認識部1による注目画面構成要素の画面上の位置、大きさの認識例を示す図である。FIG. 2 is a diagram showing an example of recognition of the position and size on the screen of the constituent elements of the target screen by the image recognition unit 1. In FIG. 図3は画面構成の分析及び画面構成情報を説明するための図である。FIG. 3 is a diagram for explaining screen configuration analysis and screen configuration information. 図4は画面構成の分析及び画面構成情報を説明するための図である。FIG. 4 is a diagram for explaining screen configuration analysis and screen configuration information. 図5は画面構成の分析及び画面構成情報を説明するための図である。FIG. 5 is a diagram for explaining screen configuration analysis and screen configuration information. 図6は画面構成情報と指標とを関連付けを説明するための図である。FIG. 6 is a diagram for explaining the association between screen configuration information and indicators. 図7はコンピュータシステムによって構成された画面構成分析装置のブロック図である。FIG. 7 is a block diagram of a screen configuration analysis device configured by a computer system. 図8は出力部7に出力されるドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフの一例を示す図である。FIG. 8 is a diagram showing an example of a line graph of the occupancy ratio of performer A in drama X and the audience rating of drama X output to the output unit 7 . 図9は第1の実施形態の変形例1のブロック図である。FIG. 9 is a block diagram of Modification 1 of the first embodiment. 図9は第1の実施形態の変形例2のブロック図である。FIG. 9 is a block diagram of Modification 2 of the first embodiment. 図10は第2の実施の形態における画面構成分析装置のブロック図である。FIG. 10 is a block diagram of a screen configuration analysis device according to the second embodiment. 図11は出力部7に出力される出演者Bの映像上の表示(出現)の有無、出演者Bの音声のレベルの数値及びコンテンツYの視聴率の折れ線グラフの一例を示す図である。FIG. 11 is a diagram showing an example of a line graph of the presence or absence of display (appearance) of performer B on the video output to the output unit 7, the numerical value of the voice level of performer B, and the audience rating of content Y. In FIG. 図13は第3の実施の形態における画面構成分析装置のブロック図である。FIG. 13 is a block diagram of a screen configuration analysis device according to the third embodiment. 図14は第3の実施の形態の応用例を示したブロック図である。FIG. 14 is a block diagram showing an application example of the third embodiment.

<第1の実施の形態>
以下、図面を参照して、本発明の第1の実施形態における画面構成分析装置を説明する。
<First embodiment>
A screen configuration analysis apparatus according to a first embodiment of the present invention will be described below with reference to the drawings.

図1は本実施形態における画面構成分析装置を示すブロック図である。画面構成分析装置は、画像認識部1と、画面構成分析部2と、指標取得部3と、関連付け部4と、記憶部5と、出力制御部6と、出力部7とを備える。 FIG. 1 is a block diagram showing a screen configuration analysis device according to this embodiment. The screen configuration analysis device includes an image recognition section 1 , a screen configuration analysis section 2 , an index acquisition section 3 , an association section 4 , a storage section 5 , an output control section 6 and an output section 7 .

画像認識部1は、コンテンツ映像の画面(映像)を構成する画面構成要素のうち、指定された注目画面構成要素を、入力されたコンテンツ映像から認識するものである。 The image recognition unit 1 recognizes, from an input content video, a specified target screen component among the screen components that configure the screen (video) of the content video.

ここで、画面構成要素とは、コンテンツ映像の画面(映像)を構成する各要素をいう。コンテンツ映像には人物や各種のオブジェクト(建物や、空、木等の自然物)、テロップ等が映っており、これらの要素から画面(映像)が構成される。本実施の形態では、これらのコンテンツ映像の画面を構成する要素を画面構成要素と記載する。そして、画面構成要素のうち、コンテンツ映像の画面構成を分析する上で着目する画面構成要素を注目画面構成要素と記載する。注目画面構成要素の代表的な例としては、コンテンツ映像に映っている特定の出演者、商品、テロップ等である。そして、コンテンツ映像は、画面構成要素が経時的に変化するものであれば種類は問わないが、例えば、放送番組の番組映像、ストリーミング配信される動画、デジタルサイネージに表示される連続する静止画からなるコンテンツ等がある。また、画像認識部1に入力されるコンテンツ映像は、リアルタイムの映像であるかは問わない。 Here, the screen constituent elements refer to the respective elements that constitute the screen (video) of the content video. People, various objects (buildings, sky, trees, and other natural objects), telops, and the like appear in the content video, and a screen (video) is composed of these elements. In the present embodiment, these elements that form the screen of the content video are described as screen constituent elements. Among the screen constituent elements, a screen constituent element to which attention is focused when analyzing the screen configuration of the content video is described as a target screen constituent element. Typical examples of the focused screen component are specific performers, products, telops, etc. appearing in the content video. Any type of content video can be used as long as the screen components change over time. There are various contents. Moreover, it does not matter whether the content video input to the image recognition unit 1 is a real-time video.

注目画面構成要素の指定であるが、ユーザが分析を行いたい画面構成要素を、画像認識部1に指定することにより行われる。注目画面構成要素の指定は、個々の個体を特定する方法(例えば、具体的な司会者や主演者等を指定する方法)と、個々の個体を特定しない方法(例えば、映像上に現れる人物等を指定する方法)とのいずれでも良い。また、指定する注目画面構成要素の数は、単数、複数を問わない。 Designation of the target screen constituent element is performed by designating the screen constituent element that the user wishes to analyze to the image recognition section 1 . The designation of the screen component of interest can be done by specifying individual individuals (e.g., specifying a specific moderator or leading actor, etc.) or by not specifying individual individuals (e.g., a person appearing on the method to specify ). Also, the number of target screen components to be specified may be singular or plural.

このような、注目画面構成要素を認識する画像認識方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習を用いた画像認識技術などがある。 As image recognition methods for recognizing such a target screen constituent element, there are image recognition techniques using pattern matching and machine learning using techniques such as deep learning.

画像認識部1は、コンテンツ映像から、指定された注目画面構成要素を認識すると、注目画面構成要素を識別する識別情報(例えば、注目画面構成要素が人物ならば氏名、注目画面構成要素がテロップならばテロップ等)と、注目画面構成要素の画面上の位置、大きさ等を含む注目画面構成要素認識情報を出力する。認識及び注目画面構成要素認識情報の出力は、予め定められた時間間隔(例えば、1秒又は2秒毎)で行われる。 When the image recognizing unit 1 recognizes the specified target screen constituent element from the content video, the image recognition unit 1 identifies the target screen constituent element (for example, the name if the target screen constituent element is a person, the name if the attention screen constituent element is a telop, (for example, telop, etc.) and attention screen component recognition information including the position, size, etc. of the attention screen component on the screen are output. Recognition and attention screen component recognition information are output at predetermined time intervals (for example, every 1 second or 2 seconds).

画像認識部1による注目画面構成要素の画面上の位置、大きさの認識であるが、例えば、図2の例がある。図2の例は、注目画面構成要素を人物とした場合の例である。画像認識部1は、検出した人物に関して、図2に示す如く、認識した人物を囲む領域を注目領域に設定し、その注目領域の対角線の交点を中心点とする。そして、認識した人物の大きさを注目領域の面積とし、その中心点を認識した人物の画面上の位置座標とする。本例は一例であり、他の方法でもかまわない。 As for the recognition of the position and size on the screen of the target screen component by the image recognition unit 1, there is an example shown in FIG. The example of FIG. 2 is an example in which a person is used as the target screen component. As for the detected person, the image recognition unit 1 sets an area surrounding the recognized person as an attention area as shown in FIG. 2, and sets the intersection of diagonal lines of the attention area as the center point. Then, the size of the recognized person is set as the area of the attention area, and the center point is set as the positional coordinates of the recognized person on the screen. This example is an example, and other methods may be used.

画面構成分析部2は、画像認識部1が認識した少なくとも一以上の注目画面構成要素に着目した場合のコンテンツ映像の画面構成を分析し、画面構成情報を生成する。この画面構成の分析は、注目画面構成要素をどのような観点から着目するかを設定し、その観点から画面構成を分析する。 The screen configuration analysis unit 2 analyzes the screen configuration of the content video when focusing on at least one or more target screen components recognized by the image recognition unit 1, and generates screen configuration information. In this analysis of the screen configuration, from what point of view the target screen constituent element should be focused on is set, and the screen configuration is analyzed from that point of view.

画面構成の分析及び画面構成情報について、図3から図5を参照しながら説明する。 Screen configuration analysis and screen configuration information will be described with reference to FIGS. 3 to 5. FIG.

注目画面構成要素をドラマに出演しているある出演者Aとした場合、出演者Aが画面上にどのように映っているかによって画面構成は異なる。図3の例は、出演者A(単独)の画面での占有率の観点から画面構成を着目した例であり、出演者Aが画面中央に大きく(アップで)映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比70%以下で映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比50%以下で映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比30%以下で映っている場合を例示している。このような場合、出演者Aが映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。注目画面構成要素をドラマに出演している複数の出演者とした場合も同様である。更に、注目画面構成要素をドラマの映像の各種スーパの文字とし、その各種スーパの位置、及びスーパ内の文字(番組名や、出演者名等)としても、その配置や内容によって、視聴者に与える影響は異なる。 Assuming that a performer A appearing in a drama is the screen component of interest, the screen configuration differs depending on how the performer A appears on the screen. The example of FIG. 3 is an example focusing on the screen configuration from the viewpoint of the occupancy rate of performer A (single) on the screen. If A is shown with a screen ratio of 70% or less with the background, scene, and many extras, and if Performer A is shown with a background, scene, and many extras, with a screen ratio of 50% or less, and if Performer A is the background, The example shows a case where the screen ratio is 30% or less with a large number of scenes and extras. In such a case, although they are common in that the performer A is shown, the screen configurations are different, and the respective images (screens) have different effects on the viewer. The same is true when a plurality of performers appearing in a drama are set as the screen constituent elements of interest. Furthermore, the attention screen constituent elements are the characters of various supers of the video of the drama, and the position of the various supers and the characters in the supers (program name, performer name, etc.) The impact is different.

また、注目画面構成要素を情報番組の司会者(MC)とした場合、司会者(MC)が画面上にどのように映っているかによって画面構成は異なる。図4の例は、司会者(MC)と他の構成要素との位置関係に着目した例であり、司会者(MC)が単独で画面中央に大きく(アップで)映っている場合と、司会者(MC)が画面にフリップ(あるいはCG画面)と一緒に映っている場合と、司会者(MC)が他の出演者(あるいはコメンテーター)と映っている(あるいは会話している)場合と、司会者(MC)が画面上のワイプ画面に映っている場合を例示している。このような場合、同じ司会者(MC)が映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。 Further, when the focused screen component is the moderator (MC) of an information program, the screen configuration differs depending on how the moderator (MC) appears on the screen. The example in FIG. 4 is an example focusing on the positional relationship between the moderator (MC) and other components. When the person (MC) is shown on the screen with Flip (or CG screen), and when the moderator (MC) is shown (or talking) with other performers (or commentators), A case where the moderator (MC) is shown on the wipe screen on the screen is exemplified. In such cases, the same moderator (MC) is shown, but the screen configurations are different, and the respective images (screens) have different effects on the viewers.

また、注目画面構成要素をある商品とした場合、商品が画面上にどのように映っているかによって画面構成は異なる。図5の例は、商品の表示形態に着目した例であり、商品が単独で画面中央に大きく(アップで)映っている場合と、商品を紹介するVTRやCG映像が映っている場合を例示しているが、同じ商品が映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。 Further, when a certain product is selected as a target screen component, the screen configuration differs depending on how the product appears on the screen. The example in Fig. 5 is an example that focuses on the display form of the product, and illustrates the case where the product is shown alone in a large (close-up) image in the center of the screen and the case where a VTR or CG image introducing the product is shown. However, although they are common in that they show the same product, the screen configuration is different, and the impact of each image (screen) on the viewer is different.

このように、画像認識部1が認識した少なくとも一以上の注目画面構成要素に対し、着目する観点を設定し、コンテンツ映像の画面構成を分析する。具体的な分析方法であるが、着目する観点の基準となる分析基準を指定し、その分析基準に基づいて、注目画面構成要素に着目した場合の画面構成を判断する。 In this way, the viewpoint of attention is set for at least one or more of the attention screen constituent elements recognized by the image recognition unit 1, and the screen composition of the content video is analyzed. As a specific analysis method, an analysis standard that serves as a standard of a viewpoint to be focused on is specified, and a screen configuration is determined based on the analysis standard when attention is paid to a focused screen constituent element.

最も簡単な分析基準としては、出演者や司会者のような特定の人物を注目画面構成要素に指定した場合、画面上にその特定の人物が出現しているか否かである。例えば、出演者Aを注目画面構成要素に指定した場合、画面構成分析部2は、出演者Aが画面上に出現している場合は“1”、出演者Aが画面上に出現していない場合は“0”とする分析する。そして、その数値化したデータを画面構成情報として生成する。また、複数の人物を注目画面構成要素に指定した場合、指定した注目画面構成要素(人物)が画面に出現している数でも良い。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。 The simplest analysis criterion is whether or not a specific person such as a performer or moderator appears on the screen when a specific person is designated as a focused screen component. For example, when the performer A is specified as the target screen constituent element, the screen configuration analysis unit 2 sets "1" when the performer A appears on the screen, and "1" when the performer A does not appear on the screen. If so, it is analyzed as "0". Then, the digitized data is generated as screen configuration information. Also, when a plurality of persons are specified as the target screen component, the number of specified target screen components (persons) appearing on the screen may be used. Furthermore, the screen configuration analysis unit 2 also acquires temporal position information (such as the time code of the content video) of the content video of the image to be analyzed. The screen configuration analysis unit 2 then outputs the screen configuration information and the temporal position information.

また、特定の人物を注目画面構成要素に設定した場合、その特定の人物が画面を占有する占有率を分析基準として良い。この場合、画面構成分析部2は、上述した図2の例における注目領域の面積と画面面積との比を占有率として計算し、その占有率の数値を画面構成情報として生成する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。尚、占有率を段階的な数値としても良い。例えば、出演者Aが画面を占有する占有率が0%の場合は“0”、出演者Aが画面を占有する占有率が0%以上30%未満の場合は“1”、出演者Aが画面を占有する占有率が30%以上50%未満の場合は“2”、出演者Aが画面を占有する占有率が50%以上70%未満の場合は“3”、出演者Aが画面を占有する占有率が70%以上の場合は“4”とする。そして、その数値化したデータを画面構成情報として生成する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。 Also, when a specific person is set as a target screen component, the occupancy rate of the screen occupied by the specific person may be used as an analysis criterion. In this case, the screen configuration analysis unit 2 calculates the ratio of the area of the attention area to the screen area in the example of FIG. 2 as the occupancy rate, and generates the numerical value of the occupancy rate as the screen configuration information. Furthermore, the screen configuration analysis unit 2 also acquires temporal position information (such as the time code of the content video) of the content video of the image to be analyzed. The screen configuration analysis unit 2 then outputs the screen configuration information and the temporal position information. It should be noted that the occupancy rate may be a stepwise numerical value. For example, if the occupation rate of performer A occupying the screen is 0%, "0", if the occupation rate of performer A occupying the screen is 0% or more and less than 30%, "1", performer A "2" if the screen occupation rate is 30% or more and less than 50%, "3" if the screen occupation rate of performer A is 50% or more and less than 70%, and performer A occupies the screen If the occupancy rate is 70% or more, it is set to "4". Then, the digitized data is generated as screen configuration information. Furthermore, the screen configuration analysis unit 2 also acquires temporal position information (such as the time code of the content video) of the content video of the image to be analyzed. The screen configuration analysis unit 2 then outputs the screen configuration information and the temporal position information.

また、テロップ等を注目画面構成要素に設定し、その分析基準を、そのテロップ等の位置としても良い。例えば、画面を9個の領域に分割し、左上から順番にその領域を識別する識別番号を付する(例えば、左上の領域:1,・・・,右下の領域:9)。画面構成分析部2は、画像認識部1で認識した注目画面構成要素の中心点の位置座標がいずれの領域に属するかを判断し、属する領域の識別番号を画面構成情報として出力する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得し、時間的位置情報も出力する。 Alternatively, a telop or the like may be set as a screen component of interest, and the position of the telop or the like may be used as the analysis criterion. For example, the screen is divided into nine areas, and identification numbers for identifying the areas are assigned in order from the upper left (for example, upper left area: 1, . . . , lower right area: 9). The screen configuration analysis unit 2 determines to which area the position coordinates of the center point of the target screen component recognized by the image recognition unit 1 belongs, and outputs the identification number of the area to which it belongs as screen configuration information. Furthermore, the screen configuration analysis unit 2 also acquires temporal position information (such as the time code of the content video) of the content video of the image to be analyzed, and outputs the temporal position information.

上述した画面構成分析部2による画面構成の分析及び画面構成情報は、一例であり、他の方法でも良い。 The analysis of the screen configuration and the screen configuration information by the screen configuration analysis unit 2 described above are examples, and other methods may be used.

指標取得部3は、指標とこの指標の時刻情報とを取得する。指標には、直接コンテンツに関連する指標のみならず、直接コンテンツには関係しないが、経時的な人の行動をセンシングして得られた指標も含む。また、指標は、コンテンツの視聴者の行動の指標ともいえる。尚、取得する指標は所定時間間隔毎の指標であることが好ましい。 The index acquisition unit 3 acquires the index and the time information of this index. The indicators include not only indicators directly related to content, but also indicators obtained by sensing human behavior over time, although they are not directly related to content. The index can also be said to be an index of behavior of viewers of content. It is preferable that the indices to be acquired are indices at predetermined time intervals.

コンテンツ映像のコンテンツに関連する指標は、例えば、放送番組の視聴率、コンテンツに関連するWebページの時系列のアクセス数、コンテンツに関連した時系列のツィート数、コンテンツの時系列の再生回数等である。これらの指標は、コンテンツの内容を直接反映する指標であり、コンテンツ映像の画面構成を検討する上で重要な指標である。 Indexes related to content video content are, for example, audience ratings of broadcast programs, number of time-series accesses to web pages related to content, time-series number of tweets related to content, time-series playback count of content, etc. be. These indicators are indicators that directly reflect the contents of the content, and are important indicators when considering the screen configuration of the content video.

一方、経時的な人の行動をセンシングして得られた指標は、コンテンツの内容を直接反映するものではないが、コンテンツ映像の画面構成を検討する上で有益な指標となる可能性がある。例えば、テレビ受信機に装着された人感センサによりセンシングして得られたテレビ受信機前に存在する人の時系列の有無、家屋に設けられた水量計によりセンシングして得られた時系列の水道量等である。サッカーの試合のコンテンツでは、試合中は視聴のためにテレビ受信機前に人が存在する場合が多いが、ハーフタイムになるとそれまで我慢していた家事等を行うため、コンテンツを表示させたまま、テレビ受信機前から離れる傾向があると思われる。すると、人感センサは人を検出しなくなり、また、水道量も増えると思われる。このように、コンテンツの視聴率のようにコンテンツの直接の指標となるものではないが、コンテンツの構成を検討する上で、有益な指標となりうる。 On the other hand, indices obtained by sensing people's behavior over time do not directly reflect the contents of content, but they may be useful indices in examining the screen composition of content video. For example, the presence or absence of the time series of people in front of the TV receiver obtained by sensing with the human sensor attached to the TV receiver, the time series obtained by sensing with the water meter installed in the house. water volume, etc. In soccer game content, there are often people in front of the TV receiver to watch it during the match, but at halftime they do housework, etc. that they had put up with until then, so the content is left displayed. , tend to move away from the front of the TV receiver. Then, the human sensor will stop detecting people, and the amount of water supply will increase. In this way, unlike the audience rating of content, it is not a direct indicator of content, but it can be a useful indicator when considering the structure of content.

また、各家電に設けられたセンサの時系列データを指標としても良い。例えば、テレビ受信機の電源のON・OFF、テレビリモコンの各種ボタンの押下、冷蔵庫のドアの開閉等の時系列データである。これらのデータも、コンテンツへの興味を分析する上で、有益な指標となる。 Alternatively, time-series data from sensors provided in each home appliance may be used as an index. For example, it is time-series data of turning on/off the power of a television receiver, pressing various buttons of a television remote controller, opening and closing a refrigerator door, and the like. These data are also useful indicators for analyzing interest in content.

また、コンテンツを表示する表示装置(例えば、テレビ受信機)に、視線検出センサが設けられている場合、時系列的な視聴者の画面上の注視領域を指標としても良い。更に、視線検出センサが視聴者の瞳孔の大きさも検出できる場合は、その視聴者の瞳孔の大きさの時系列的な変化を指標としても良い。瞳孔径は「興味」のあるモノに対しては広がり、興味のないものに対しては狭まるという実験結果があり、コンテンツへの興味を分析する上で、有益な指標となるからである。 In addition, when a display device (for example, a television receiver) that displays content is provided with a line-of-sight detection sensor, the viewer's gaze area on the screen in chronological order may be used as an index. Furthermore, if the line-of-sight detection sensor can also detect the size of the viewer's pupil, the time-series change in the size of the viewer's pupil may be used as an index. This is because there is an experimental result that the pupil diameter widens for "interesting" objects and narrows for uninteresting objects, which is a useful index for analyzing interest in content.

また、人体に各種センサが装着されている場合、その各種センサから得られる人体の変化の時系列データも指標としても良い。視聴者のコンテンツへの興味により、視聴者の体には変化が生じるからである。 Moreover, when various sensors are attached to the human body, time-series data of changes in the human body obtained from the various sensors may also be used as an index. This is because the viewer's body changes due to the viewer's interest in the content.

関連付け部4は、画面構成分析部2から取得した画面構成情報と、指標取得部3から取得した指標とを、同一時間軸上に関連付けて、記憶部5に記憶する。例えば、コンテンツのタイムコードを時間軸として、同一の時刻情報を持つ、画面構成情報と指標とを関連付けて記憶部5に記憶する。図6の例では、コンテンツタイムコード1:00:25に、画面構成情報Aと指標Aとが関連付けて記憶され、コンテンツタイムコード1:00:27に、画面構成情報Bと指標Bとが関連付けて記憶され、コンテンツタイムコード1:00:29に、画面構成情報Cと指標Cとが関連付けて記憶され、コンテンツタイムコード1:00:31に、画面構成情報Dと指標Dとが関連付けて記憶されている。 The association unit 4 associates the screen configuration information acquired from the screen configuration analysis unit 2 and the index acquired from the index acquisition unit 3 on the same time axis and stores them in the storage unit 5 . For example, with the time code of the content as the time axis, the screen configuration information and the index having the same time information are associated with each other and stored in the storage unit 5 . In the example of FIG. 6, screen configuration information A and index A are stored in association with content time code 1:00:25, and screen configuration information B and index B are associated with content time code 1:00:27. The screen configuration information C and the index C are associated and stored at the content time code 1:00:29, and the screen configuration information D and the index D are associated and stored at the content time code 1:00:31. It is

記憶部5は、ハードディスクのような記録媒体である。 The storage unit 5 is a recording medium such as a hard disk.

出力制御部6は、分析基準及び指標が指定されると、その分析基準の画面構成情報と指標との関係を時系列で表現した時系列情報を出力部7に出力する。尚、出力される画面構成情報と指標とは一対一の関係でなくても良く、複数の画面構成情報とひとつの指標、ひとつの画面構成情報と複数の指標、又は、複数の画面構成情報と複数の指標を同時に出力するようにしても良い。この場合、出力される画面構成情報と指標とは、同一の時間軸に対応付けられて出力されることが好ましい。 When the analysis standard and the index are specified, the output control unit 6 outputs to the output unit 7 time-series information representing the relationship between the screen configuration information of the analysis standard and the index in time series. Note that the output screen configuration information and the index may not be in a one-to-one relationship. A plurality of indices may be output simultaneously. In this case, the output screen configuration information and the index are preferably output in association with the same time axis.

出力部7は、ディスプレイ等の出力手段である。 The output unit 7 is output means such as a display.

上述した画面構成分析装置は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステム(情報処理装置)によって実現することができる。図7はコンピュータシステムによって構成された画面構成分析装置のブロック図である。 Specifically, the screen configuration analysis device described above can be realized by a computer system (information processing device) having a processor that performs various kinds of arithmetic processing. FIG. 7 is a block diagram of a screen configuration analysis device configured by a computer system.

画面構成分析装置は、プロセッサ10、メモリ(ROMやRAM)11、記憶装置(ハードディスク、半導体ディスクなど)12、入力装置(キーボード、マウス、タッチパネルなど)13、表示装置14、通信装置15などのハードウェア資源を有する汎用のコンピュータにより構成することができる。 The screen configuration analyzer includes hardware such as a processor 10, a memory (ROM or RAM) 11, a storage device (hard disk, semiconductor disk, etc.) 12, an input device (keyboard, mouse, touch panel, etc.) 13, a display device 14, a communication device 15, and the like. It can be configured by a general-purpose computer having hardware resources.

画面構成分析装置は、記憶装置12に格納されたプログラムがメモリ11にロードされ、プロセッサ10により実行されることにより、画像認識処理と、画面構成分析処理と、指標取得処理と、関連付け処理と、出力制御処理とが実現されるものである。尚、画像認識処理は画像認識部1に対応し、画面構成分析処理は画面構成分析部2に対応し、指標取得処理は指標取得部3に対応し、関連付け処理は関連付け部4に対応し、出力制御処理は出力制御部6に対応する。 The program stored in the storage device 12 is loaded into the memory 11 and executed by the processor 10 to perform image recognition processing, screen configuration analysis processing, index acquisition processing, association processing, Output control processing is realized. The image recognition processing corresponds to the image recognition unit 1, the screen configuration analysis processing corresponds to the screen configuration analysis unit 2, the index acquisition processing corresponds to the index acquisition unit 3, the association processing corresponds to the association unit 4, Output control processing corresponds to the output control unit 6 .

次に、上述した画面構成分析装置の具体的な実施例を説明する。 Next, a specific embodiment of the screen configuration analysis device described above will be described.

本実施例は、コンテンツを放送番組のドラマX、注目構成要素をドラマXに出演している出演者Aとし、分析基準を出演者A(単独)の画面での占有比とし、指標をドラマXの視聴率とする例を説明する。 In this embodiment, the content is the drama X of the broadcast program, the attention component is the performer A appearing in the drama X, the analysis criterion is the screen occupancy ratio of the performer A (single), and the index is the drama X. An example of the audience rating of .

画像認識部1は、ドラマXの映像から出演者Aを認識する。認識は、1秒毎に行うものとする。そして、画像認識部1は、出演者Aの注目領域の面積と、出演者Aを認識した映像のタイムコードとを出力する。 The image recognition unit 1 recognizes the performer A from the drama X video. Recognition shall be performed every second. Then, the image recognition unit 1 outputs the area of the attention area of the performer A and the time code of the video in which the performer A is recognized.

画面構成分析部2は、画像認識部1から受信した出演者Aの注目領域の面積とタイムコードとから、タイムコードで特定される画面において出演者Aの注目領域の面積が占める占有比を求める。ここでの占有比は、出演者Aが映像の画面に表示されていない場合を0とし、出演者Aの注目領域の面積が画面の面積と一致する場合を10として、0から10の範囲で求める。画面構成分析部2は、求めた出演者Aの占有比とその時のタイムコードとを関連付け部4に出力する。 Based on the area of the attention area of performer A received from the image recognition unit 1 and the time code, the screen configuration analysis unit 2 obtains the occupation ratio of the area of the attention area of performer A on the screen specified by the time code. . The occupancy ratio here ranges from 0 to 10, where 0 is when performer A is not displayed on the video screen, and 10 is when the area of the attention area of performer A matches the area of the screen. demand. The screen configuration analysis unit 2 outputs the obtained occupancy ratio of performer A and the time code at that time to the association unit 4 .

指標取得部3は、ドラマXの1秒単位の視聴率を取得する。尚、視聴率のデータは、既存のサービスから取得することができる。 The index acquisition unit 3 acquires the audience rating of the drama X in 1-second units. Note that audience rating data can be obtained from existing services.

関連付け部4は、画面構成分析部2から受信した出演者Aの占有比(画面構成情報)と、指標取得部3から受信したドラマXの1秒単位の視聴率とを、ドラマXのタイムコードに関連付けて記憶部5に記憶する。 The association unit 4 converts the occupancy ratio (screen configuration information) of the performer A received from the screen configuration analysis unit 2 and the audience rating of the drama X received from the index acquisition unit 3 into the time code of the drama X. is stored in the storage unit 5 in association with .

出力制御部6は、分析基準であるドラマXの出演者Aの占有比(画面構成情報)と、ドラマXの視聴率(指標)との時系列情報が指定されると、横軸をタイムコード(時間)とし、縦軸の第1軸を視聴率とし、縦軸の第2軸を出演者Aの占有比としたドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフを、時系列情報として出力部7に出力する。出力部7に出力されるドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフの一例を、図8に示す。図8では、出演者Aの占有比と視聴率の増加とに相関があることがわかる。 When time-series information of the occupation ratio (screen configuration information) of performer A in drama X and the audience rating (indicator) of drama X, which are the analysis criteria, are designated, the output control unit 6 sets the horizontal axis to the time code. (time), the first vertical axis is the audience rating, and the second vertical axis is the occupation ratio of the performer A in the drama X, and the line graph of the audience rating of the drama X. , is output to the output unit 7 as time-series information. FIG. 8 shows an example of a line graph of the occupancy ratio of cast A in drama X and the audience rating of drama X output to the output unit 7 . It can be seen from FIG. 8 that there is a correlation between the occupancy ratio of performer A and the increase in audience rating.

このように、注目構成要素に着目した場合のコンテンツ映像の画像の画面構成情報と指標との関係を時系列に並べることにより、客観的にコンテンツ映像の画面構成を検討、評価できる。 In this way, by arranging the relationship between the screen configuration information of the image of the content video and the index when focusing on the component of interest in chronological order, the screen configuration of the content video can be examined and evaluated objectively.

尚、出力制御部6は、時系列情報とともに、時系列に沿ってコンテンツ映像も表示するようにしても良い。 Note that the output control unit 6 may display the content video in time series along with the time series information.

更に、画面構成分析部2は、画面構成情報を生成すると共に、タイムコードのようなコンテンツ映像の時間的位置情報も取得し、それらは記録部に記憶されているので、画面構成情報はコンテンツ映像のメタデータとしても活用することができる。例えば、画面構成情報が出演者の画面上の出現の有無である場合、出演者の出現が有の画面構成情報の時間的位置情報を用いて、出演者が出現する映像のみを選択することができる。 Furthermore, the screen configuration analysis unit 2 generates screen configuration information and also acquires temporal position information of the content video such as a time code, which is stored in the recording unit. It can also be used as metadata for For example, if the screen configuration information indicates whether or not the performer appears on the screen, it is possible to select only the video in which the performer appears using the temporal position information of the screen configuration information in which the performer appears. can.

<第1の実施の形態の変形例1>
第1の実施の形態の変形例1を説明する。
<Modification 1 of the first embodiment>
Modification 1 of the first embodiment will be described.

図9は第1の実施の形態の変形例1のブロック図である。 FIG. 9 is a block diagram of Modification 1 of the first embodiment.

第1の実施の形態の変形例1は、上述した第1の実施の形態における画像分析装置の構成要素のうち、出力制御部6及び出力部7が除かれ、画像認識部1と画面構成分析部2と指標取得部3と関連付け部4と記憶部5とから画像分析装置100が構成される。そして、LAN等のネットワークを介して画像分析装置100と接続されている端末200が出力制御部6及び出力部7を備える。 Modification 1 of the first embodiment removes the output control unit 6 and the output unit 7 from among the components of the image analysis apparatus in the first embodiment described above, and removes the image recognition unit 1 and screen configuration analysis. The image analysis apparatus 100 is configured by the unit 2 , the index acquisition unit 3 , the association unit 4 and the storage unit 5 . A terminal 200 connected to the image analysis apparatus 100 via a network such as a LAN includes an output control section 6 and an output section 7 .

このような構成にすることにより、画像分析装置100が分析収集した画面構成と指標との時系列的な関係を、複数の端末が閲覧することができる。 With such a configuration, a plurality of terminals can browse the time-series relationship between the screen configuration and the indices analyzed and collected by the image analysis apparatus 100 .

<第1の実施の形態の変形例2>
第1の実施の形態の変形例2を説明する。
<Modification 2 of the first embodiment>
Modification 2 of the first embodiment will be described.

第1の実施の形態の変形例2は、第1の実施の形態の変形例1の画像分析装置100が複数設けられ、各画像分析装置100が分析したコンテンツ映像の画面構成情報及び指標を、端末200の出力制御部6において対比させて出力できるように構成したものである。 Modification 2 of the first embodiment is provided with a plurality of image analysis apparatuses 100 of Modification 1 of the first embodiment. It is configured so that the output control unit 6 of the terminal 200 can compare and output.

図10は第1の実施の形態の変形例2のブロック図である。 FIG. 10 is a block diagram of Modification 2 of the first embodiment.

第1の実施の形態の変形例2では、複数の画像分析装置100が設けられ、それぞれの画像分析装置100には、異なる番組映像M、番組映像N、...、番組映像Zのいずれかが入力される。 In modification 2 of the first embodiment, a plurality of image analysis apparatuses 100 are provided, and each image analysis apparatus 100 stores different program images M, program images N, . . . , or the program image Z is input.

各画像分析装置100に指定される注目構成要素であるが、注目構成要素を出演者とした場合、各番組映像M、番組映像N、...、番組映像Zの出演者は異なるので、指定される注目構成要素も異なる。例えば、番組映像Mでは出演者A、番組映像Nでは出演者Bとなるからである。しかし、着目する注目構成要素の概念としては、番組に出演している出演者のように共通していることが好ましい。 The constituent elements of interest are designated to each image analysis apparatus 100. When the constituent elements of interest are performers, each program video M, program video N, . . . , the performers of the program video Z are different, so the target components to be designated are also different. This is because, for example, the program image M is the performer A, and the program image N is the performer B. However, it is preferable that the concept of the component of interest to be focused on is common, such as the performers appearing in the program.

一方、各画像分析装置100に指定される分析基準であるが、好ましくは同一の分析基準であることが好ましい。例えば、各番組映像M、番組映像N、...、番組映像Zの出演者の画面の占有比等である。 On the other hand, the analysis criteria specified for each image analysis apparatus 100 are preferably the same analysis criteria. For example, each program video M, program video N, . . . , the occupation ratio of the screen of the cast of the program image Z, and the like.

また、指標取得部3が取得する指標であるが、対比の観点から好ましくは同一種類の指標が好ましい。例えば、各番組映像M、番組映像N、...、番組映像Zの各番組の視聴率である。 Further, the indices acquired by the index acquisition unit 3 are preferably of the same type from the viewpoint of comparison. For example, each program video M, program video N, . . . , is the audience rating of each program of the program video Z.

このようにして各画像分析装置100は、各番組映像M、番組映像N、...、番組映像Zの分析を行い、画面構成情報と指標とを同一時間軸上に関連付けて記憶する。 In this way, each image analysis device 100 can generate each program image M, program image N, . . . , the program image Z is analyzed, and the screen configuration information and the index are stored in association with each other on the same time axis.

出力制御6は、分析基準及び指標が指定されると、各画像分析装置100から画面構成情報及び指標と読み出して、各画面構成情報及び各指標との関係を、同一画面上に時系列で表現した時系列情報を出力部7に出力する。例えば、各番組映像M、番組映像N、...、番組映像Zの画面構成情報(例えば、各番組の出演者の画面占有比)と各番組映像M、番組映像N、...、番組映像Zの指標(例えば、各番組の視聴率)とを、同一画面上で時系列に並べた時系列情報を出力する。 When the analysis criteria and indices are specified, the output control 6 reads out the screen configuration information and indices from each image analysis device 100, and expresses the relationship between each screen configuration information and each index on the same screen in time series. The resulting time-series information is output to the output unit 7 . For example, each program video M, program video N, . . . , screen configuration information of program video Z (for example, the screen occupation ratio of performers in each program) and each program video M, program video N, . . . , and indexes of the program video Z (for example, audience rating of each program) are arranged in chronological order on the same screen to output time-series information.

このように構成することにより、複数のコンテンツ映像と指標との関係を対比させることができ、画面構成情報の変化に伴う視聴者の番組の遷移も評価することができる。 By configuring in this way, it is possible to compare the relationship between a plurality of content videos and the index, and to evaluate the transition of the viewer's program accompanying the change of the screen configuration information.

尚、番組映像M、番組映像N、...、番組映像Zをリアルタイムで分析しない場合は、単独の画像分析装置100により、各番組映像M、番組映像N、...、番組映像Zをそれぞれ分析後、出力制御6が各番組映像M、番組映像N、...、番組映像Zの画面構成情報と各番組映像M、番組映像N、...、番組映像Zの指標とを、同一画面上で時系列に並べた時系列情報を出力しても良いことはいうまでもない。 Note that program video M, program video N, . . . , program video Z is not analyzed in real time, each program video M, program video N, . . . , program video Z, the output control 6 analyzes each program video M, program video N, . . . , screen configuration information of program video Z and each program video M, program video N, . . . , and the index of the program image Z may be output as time series information arranged in time series on the same screen.

<第2の実施の形態>
第2の実施の形態を説明する。
<Second Embodiment>
A second embodiment will be described.

コンテンツの映像に含まれる音声も、視聴者に大きな影響を与えると考えられる。そこで、第2の実施の形態は、コンテンツの映像に含まれる音声も認識対象に加えてコンテンツ映像を分析する例を説明する。 The sound contained in the video of the content is also considered to have a great influence on the viewer. Therefore, in the second embodiment, an example will be described in which the content video is analyzed in addition to the speech included in the content video as a recognition target.

図11は第2の実施の形態における画面構成分析装置のブロック図である。 FIG. 11 is a block diagram of a screen configuration analysis device according to the second embodiment.

第2の実施の形態の画面構成分析装置は、第1の実施の形態の画面構成分析装置に加えて音声認識部20を備える。 The screen configuration analysis device of the second embodiment includes a speech recognition unit 20 in addition to the screen configuration analysis device of the first embodiment.

音声認識部20は、注目画面構成要素の音声を認識するものである。注目画面構成要素の音声を認識するために、音声認識部20は、機械学習等により、注目画面構成要素の音声を学習させておく。認識する音声は、注目画面構成要素が人物である場合は人物の音声、注目画面構成要素が楽器等のオブジェクトの場合はその注目画面構成要素が発する音である。尚、音声認識部20は、注目画面構成要素の音声に限らず、例えば、オープニング曲や、バックグラウンドミュージックのように、映像としではなく、音が単独で存在する場合には、その音自体を注目構成要素として認識するようにしても良い。 The speech recognition unit 20 recognizes the speech of the component of the screen of interest. In order to recognize the voice of the target screen constituent element, the voice recognition unit 20 learns the voice of the target screen constituent element by machine learning or the like. The voice to be recognized is the voice of a person when the target screen component is a person, and the sound produced by the target screen component when the target screen component is an object such as a musical instrument. Note that the speech recognition unit 20 is not limited to the sound of the constituent element of the screen of interest. For example, when the sound exists alone instead of as an image, such as an opening song or background music, the sound itself is recognized. You may make it recognize as an attention component.

音声認識部20認識する音声の情報は、注目画面構成要素の音声の有無のみならず、注目画面構成要素が発する音声のレベル、周波数、ピッチ、スピード、ラウドネス値も含む。そして、これら識別した音声について、その内容に関する情報である注目構成要素音声認識情報を生成する。 The information of the voice recognized by the voice recognition unit 20 includes not only the presence or absence of the voice of the target screen component, but also the level, frequency, pitch, speed, and loudness value of the voice emitted by the target screen component. Then, attention component speech recognition information, which is information about the content of the identified speech, is generated.

画面構成分析部2は、画像認識部1から受信した注目画面構成要素認識情報と、音声認識部20から受信した注目構成要素音声認識情報とを用いて、設定された分析基準でコンテンツ映像の画面構成を分析する。分析基準の例としては、注目画面構成が人物である場合、その人物が映像上に出現している場合におけるその人物の音声のレベルや、周波数、ピッチ、スピード、ラウドネス値等があげられる。 The screen configuration analysis unit 2 uses the target screen component recognition information received from the image recognition unit 1 and the target component voice recognition information received from the voice recognition unit 20 to analyze the content video screen according to the set analysis criteria. Analyze your configuration. Examples of analysis criteria include a person's voice level, frequency, pitch, speed, loudness value, etc. when the person appears on the video when the target screen configuration is a person.

画面構成分析部2は、分析基準に従って、コンテンツ映像の画面構成を分析し、画面構成情報及び時間的位置情報を出力する。 The screen configuration analysis unit 2 analyzes the screen configuration of the content video according to the analysis standard, and outputs screen configuration information and temporal position information.

指標取得部3、関連付け部4、記憶部5、出力制御部6、及び出力部7の動作は、第1の実施の形態と同様である。 The operations of the index acquisition unit 3, the association unit 4, the storage unit 5, the output control unit 6, and the output unit 7 are the same as in the first embodiment.

具体的な実施例を説明する
本実施例は、注目構成要素を、コンテンツYに出演しているある出演者Bと出演者Bの音声とし、分析基準を出演者B(単独)の映像上の表示(出現)の有無と、出演者Bの音声のレベルとし、指標をそのコンテンツYの視聴率とする例を説明する。
Explaining a specific embodiment In this embodiment, the components of interest are a certain performer B appearing in the content Y and the voice of the performer B, and the analysis criterion is the video of the performer B (single) An example will be described in which presence/absence of display (appearance) and voice level of performer B are used, and the audience rating of content Y is used as an index.

画像認識部1は、コンテンツYの映像から出演者Bを認識する。認識は、1秒毎に行うものとする。そして、画像認識部1は、出演者Bの注目領域の面積と、出演者Bを認識した映像のタイムコードとを出力する。 The image recognition unit 1 recognizes the performer B from the content Y video. Recognition shall be performed every second. Then, the image recognition unit 1 outputs the area of the attention area of the performer B and the time code of the video in which the performer B is recognized.

音声認識部20は、出演者Bの音声を認識し、その音声データを画面構成分析部2に出力する。 The voice recognition section 20 recognizes the voice of performer B and outputs the voice data to the screen configuration analysis section 2 .

画面構成分析部2は、画像認識部1から受信した出演者Bの注目領域の面積とタイムコードとから、タイムコードで特定される画面において出演者Bの映像上の表示(出現)の有無について判断する。すなわち、出演者Bの注目領域の面積がゼロでなければ、出演者Bの映像上の表示(出現)されていることになる。ここでの画面構成情報は、出演者Bの映像上の表示(出現)されている場合は1となり、出演者Bの映像上の表示(出現)されていない場合は0となる。 Based on the area of attention area of performer B received from image recognition unit 1 and the time code, screen configuration analysis unit 2 determines whether or not performer B is displayed (appears) in the image on the screen specified by the time code. to decide. That is, if the area of the attention area of performer B is not zero, it means that performer B is displayed (appears) on the video. The screen configuration information here is 1 when the performer B is displayed (appears) on the video, and is 0 when the performer B is not displayed (appears) on the video.

更に、画面構成分析部2は、音声認識部20からの出演者Bの音声データに基づいて、出演者Bの音声のレベルを判定する。レベルの判定は、10段階で行い、レベルが高くなると、数値が高くなるものとする。そして、画面構成分析部2は、音声のレベルの数値を画面構成情報として出力する。 Further, the screen configuration analysis unit 2 determines the voice level of the performer B based on the voice data of the performer B from the voice recognition unit 20 . The level is determined in 10 stages, and the higher the level, the higher the numerical value. Then, the screen configuration analysis unit 2 outputs the numerical value of the audio level as the screen configuration information.

指標取得部3は、コンテンツYの1秒単位の視聴率を取得する。 The index acquisition unit 3 acquires the audience rating of the content Y in units of one second.

関連付け部4は、画面構成分析部2から受信した出演者Bの画面構成情報(出演者Bの映像上の表示(出現)の有無と、出演者Bの音声のレベルの数値)と、指標取得部3から受信したコンテンツYの1秒単位の視聴率とを、コンテンツYのタイムコードと、そのタイムコードに対応する画面構成情報と、コンテンツYの視聴率とを関連付けて記憶部5に記憶する。 The association unit 4 acquires the screen configuration information of the performer B received from the screen configuration analysis unit 2 (presence or absence of display (appearance) of the performer B on the video and the numerical value of the voice level of the performer B) and an index. The viewing rate of the content Y in units of one second received from the unit 3 is stored in the storage unit 5 in association with the time code of the content Y, the screen configuration information corresponding to the time code, and the viewing rate of the content Y. .

出力制御部6は、分析基準であるコンテンツYの出演者Bの画面構成情報と、コンテンツYの視聴率との時系列情報が指定されると、横軸をタイムコード(時間)とし、縦軸の第1軸をコンテンツYの視聴率、縦軸の第2軸を出演者Bの映像上の表示(出現)の有無及び出演者Bの音声のトーンの数値とする出演者Bの映像上の表示(出現)の有無、出演者Bの音声のレベルの数値及びコンテンツYの視聴率の折れ線グラフを、時系列情報として出力部7に出力する。出力部7に出力されるドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフの一例を、図12に示す。図12では、出演者Bの音声のレベルと視聴率の増加とに相関があることがわかる。 When the screen configuration information of the performer B of the content Y and the time-series information of the audience rating of the content Y, which are the analysis criteria, are specified, the output control unit 6 sets the horizontal axis as the time code (time) and the vertical axis. The first axis is the audience rating of content Y, and the second axis of the vertical axis is the presence or absence of display (appearance) on the video of performer B and the numerical value of the tone of performer B's voice on the video of performer B The presence or absence of display (appearance), the numerical value of the voice level of performer B, and the line graph of the audience rating of content Y are output to the output unit 7 as time-series information. FIG. 12 shows an example of a line graph of the occupancy ratio of cast A in drama X and the audience rating of drama X output to the output unit 7 . In FIG. 12, it can be seen that there is a correlation between the voice level of performer B and the increase in audience rating.

このように、注目構成要素に着目した場合のコンテンツ映像の画像の画面構成情報と指標との関係を時系列に並べることにより、客観的にコンテンツ映像の画面構成を検討、評価できる。 In this way, by arranging the relationship between the screen configuration information of the image of the content video and the index when focusing on the component of interest in chronological order, the screen configuration of the content video can be examined and evaluated objectively.

尚、第2の実施の形態は、上述した第1の実施の形態の変形と組み合わせて構成することもできる。 It should be noted that the second embodiment can also be configured in combination with the modification of the first embodiment described above.

<第3の実施の形態>
図13は第3の実施の形態における画面構成分析装置を示すブロック図である。第3の実施の形態は、第2の実施の形態に加えて、相関分析部30を有する。
<Third Embodiment>
FIG. 13 is a block diagram showing a screen configuration analysis device according to the third embodiment. The third embodiment has a correlation analysis section 30 in addition to the second embodiment.

分析部30は、記憶部5に記憶されている画面構成情報及び指標を入力データとし、その画面構成情報と指標との相関性を分析する。例えば、画面構成情報の変化にともない、その指標がどのように変化していくか、また、指標に特徴的な変化が起きた時の画面構成情報の提示等の情報である。これらは、ひとつのコンテンツ映像の分析だけでも良いが、第1の実施の形態の変形例2に説明したように複数のコンテンツの画面構成情報及び指標を分析することにより、より効果的なものとなる。 The analysis unit 30 uses the screen configuration information and the index stored in the storage unit 5 as input data and analyzes the correlation between the screen configuration information and the index. For example, it is information such as how the index changes as the screen configuration information changes, and presentation of the screen configuration information when a characteristic change occurs in the index. These can be performed by analyzing only one content video, but it is more effective to analyze the screen configuration information and indices of a plurality of content as described in Modification 2 of the first embodiment. Become.

相関分析部30の分析の一例として、相関分析部30は、特定のコンテンツの視聴率の急上昇や急降下、人感センサの検出値が同時多発的に下がるなどの指標の特徴的変化を検出し、その特徴的変化が起きた時のコンテンツの画面構成情報とその指標データとを出力する。また、相関分析部30は、毎日の同じ時間や、同じ曜日に現れる等の定期的な指標の特徴的変化を検出し、その特徴的変化が起きた時のコンテンツの画面構成情報とその指標データとを出力する。 As an example of the analysis by the correlation analysis unit 30, the correlation analysis unit 30 detects a characteristic change in the index, such as a rapid increase or a sudden drop in the audience rating of a specific content, or a simultaneous decrease in the detection value of the human sensor, The screen configuration information of the content when the characteristic change occurs and its index data are output. Further, the correlation analysis unit 30 detects periodic characteristic changes in the index, such as appearing at the same time every day or on the same day of the week. and

また、記憶部5に記憶されている複数の画面構成情報及び指標のデータを、分析部30に学習させ、どのような画面構成情報のときにどのような指標が変化する傾向があるのか、又は、どのような画面構成情報の変化のときにどのような指標が変化する傾向にあるのか、又は、その指標の値の高低はどのような画面構成情報が影響を与える傾向にあるのか等の総合的な分析情報も提供することができる。このような、分析方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習によるものなどがある。 In addition, the analysis unit 30 is made to learn a plurality of pieces of screen configuration information and index data stored in the storage unit 5, and what kind of index tends to change with what kind of screen configuration information, or , what kind of index tends to change when what kind of screen configuration information changes, or what kind of screen configuration information tends to affect the value of the index Analytical information can also be provided. Such analysis methods include those based on pattern matching and machine learning using techniques such as deep learning.

このような相関分析部30の分析結果は、コンテンツの編集の自動化にも貢献することができる。 Such analysis results of the correlation analysis unit 30 can also contribute to automation of content editing.

図14は第3の実施の形態の応用例を示したブロック図である。 FIG. 14 is a block diagram showing an application example of the third embodiment.

図14の例では、相関分析部30の分析結果は、コンテンツ制作システム40に入力される。コンテンツ制作システム40の一例を説明すると、分析の結果、視聴率の上昇が認められる画面構成情報、例えば、コンテンツの特定の時間帯に、主演者が50~70%の画面占有率で映像上に映っていることが、視聴率の上昇に大きく貢献しているとの分析結果があるものとする。そして、複数のカメラで撮影した映像からひとつのコンテンツの映像を制作するような場合、各カメラの映像における主演者の画面占有率を監視し、特定の時間帯において、主演者が50~70%の画面占有率で映っているカメラの映像を自動的に選択するようにすれば、カメラの映像のスイッチング処理を自動化することができる。1台のカメラにおけるカメラワーク(ズームやパン等)の処理も同様である。 In the example of FIG. 14 , the analysis result of the correlation analysis section 30 is input to the content production system 40 . To explain an example of the content production system 40, as a result of analysis, the screen configuration information that is recognized to increase the audience rating, for example, the main character is displayed on the video with a screen share of 50 to 70% during a specific time period of the content. It is assumed that there is an analysis result that being reflected greatly contributes to an increase in audience rating. In the case of creating a single content video from images shot with multiple cameras, the screen share of the main actor in each camera's video is monitored, and during a specific time period, the main actor accounts for 50-70% of the screen. By automatically selecting a camera image captured with a screen occupation ratio of , the switching processing of the camera image can be automated. The same is true for camera work (zoom, pan, etc.) performed by a single camera.

第3の実施の形態は、相関分析部を設けることにより、画面構成情報と指標との関係を推測できる。更に、分析結果を用いることにより、コンテンツの制作の自動化にも貢献することができる。 The third embodiment can estimate the relationship between the screen configuration information and the index by providing the correlation analysis unit. Furthermore, by using the analysis results, it is possible to contribute to the automation of content production.

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described above with reference to preferred embodiments, it is not necessary to include all the configurations of the embodiments, and not only can they be combined as appropriate, but the present invention is not necessarily limited to the above embodiments. However, it can be modified and implemented in various ways within the scope of its technical ideas.

1 画像認識部
2 画面構成分析部
3 指標取得部
4 関連付け部
5 記憶部
6 出力制御部
7 出力部
20 音声認識部
30 相関分析部
40 コンテンツ制作システム
100 画面構成分析装置
1 image recognition unit 2 screen configuration analysis unit 3 index acquisition unit 4 association unit 5 storage unit 6 output control unit 7 output unit 20 voice recognition unit 30 correlation analysis unit 40 content production system 100 screen configuration analysis device

Claims (6)

コンテンツのコンテンツ映像から、画像認識により、指定された人物を認識する画像認識部と、
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、前記指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比の分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力する画面構成分析部と、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得する指標取得部と、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶する関連付け部と、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する出力制御部と、
を有する画面構成分析装置。
an image recognition unit for recognizing a designated person by image recognition from content video of content;
analyzing a specified person occupancy ratio, which is an occupancy ratio of the specified person on the screen of the content video , converting the specified person occupancy ratio into a representative value of a class to which the specified person occupancy ratio belongs , and a screen configuration analysis unit that outputs temporal position information on the content video of the image to be analyzed for the specified person occupancy ratio;
an index acquisition unit that acquires the audience rating of the content and the time information of the audience rating of the content;
an associating unit that associates the representative value with the audience rating of the content on the same time axis using the temporal position information on the content video and the time information of the audience rating of the content, and stores the result in a storage unit; ,
an output control unit that outputs time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
A screen configuration analyzer having
前記画像認識部と、前記画面構成分析部と、前記指標取得部と、前記関連付け部とを有する画面構成分析装置を複数設け、
前記各画面構成分析装置に、異なるコンテンツ映像の分析を行わせ、
前記出力制御部は、前記各コンテンツ映像の代表値と前記コンテンツの視聴率との時系列情報を出力する
請求項1に記載の画面構成分析装置。
providing a plurality of screen configuration analysis devices each having the image recognition unit, the screen configuration analysis unit, the index acquisition unit, and the association unit;
causing each of the screen configuration analysis devices to analyze different content videos;
The output control unit outputs time-series information of a representative value of each content video and an audience rating of the content.
The screen configuration analysis device according to claim 1 .
前記同一時間軸上に関連付けて記憶されている前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との相関性を分析する相関性分析部を有する
請求項1又は請求項2に記載の画面構成分析装置。
a correlation analysis unit that analyzes the correlation between the representative value and the audience rating of the content, using the representative value and the audience rating of the content stored in association on the same time axis;
3. The screen configuration analysis device according to claim 1 or 2 .
前記相関性分析部の分析結果を用いて、映像制作機器を制御する映像制作システムを有する
請求項3に記載の画面構成分析装置。
A video production system that controls video production equipment using the analysis result of the correlation analysis unit
The screen configuration analysis device according to claim 3 .
情報処理装置は、
コンテンツのコンテンツ映像から、画像認識により、指定された人物を認識し、
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、前記指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力し、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得し、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶し、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する、
画面構成分析方法。
The information processing device
Recognize the designated person by image recognition from the content video of the content,
analyzing a specified person occupancy ratio, which is an occupancy ratio of the specified person on the screen of the content video , converting the specified person occupancy ratio into a representative value of a class to which the specified person occupancy ratio belongs , and outputting temporal position information on the content video of the image to be analyzed for the specified person occupancy ratio;
Acquiring the audience rating of the content and the time information of the audience rating of the content,
By using the temporal position information on the content video and the time information of the audience rating of the content, the representative value and the audience rating of the content are associated on the same time axis and stored in a storage unit;
outputting time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
Screen composition analysis method.
コンテンツのコンテンツ映像から、画像認識により、指定された人物を認識する画像認識処理と、
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、分析結果である指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比の分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力する画面構成分析処理と、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得する指標取得処理と、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶する関連付け処理と、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する出力処理と、
をコンピュータに実行させるプログラム。
Image recognition processing for recognizing a specified person from content video of content by image recognition;
The specified person occupancy ratio, which is the occupancy ratio of the specified person on the screen of the content video, is analyzed, the specified person occupancy ratio that is the analysis result is converted into a representative value of the class to which the specified person occupancy ratio belongs, and the representative screen configuration analysis processing for outputting a value and temporal position information on the content video of the image targeted for analysis of the specified person occupancy ratio;
an index acquisition process for acquiring the audience rating of the content and the time information of the audience rating of the content;
an association process of associating the representative value and the audience rating of the content on the same time axis using the temporal position information on the content video and the time information of the audience rating of the content, and storing the result in a storage unit; ,
an output process of outputting time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
A program that makes a computer run
JP2018087310A 2018-04-27 2018-04-27 Screen configuration analysis device, screen configuration analysis method and program Active JP7209441B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018087310A JP7209441B2 (en) 2018-04-27 2018-04-27 Screen configuration analysis device, screen configuration analysis method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087310A JP7209441B2 (en) 2018-04-27 2018-04-27 Screen configuration analysis device, screen configuration analysis method and program

Publications (2)

Publication Number Publication Date
JP2019192144A JP2019192144A (en) 2019-10-31
JP7209441B2 true JP7209441B2 (en) 2023-01-20

Family

ID=68390508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087310A Active JP7209441B2 (en) 2018-04-27 2018-04-27 Screen configuration analysis device, screen configuration analysis method and program

Country Status (1)

Country Link
JP (1) JP7209441B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116826A (en) 2006-11-07 2008-05-22 Nippon Hoso Kyokai <Nhk> Pause duration calculation device and its program, and voice synthesizer
JP2009081575A (en) 2007-09-25 2009-04-16 Toshiba Corp Apparatus, method, and system for outputting video image
JP2010034675A (en) 2008-07-25 2010-02-12 Yahoo Japan Corp Program analyzing device, program analyzing method and program analyzing program
JP2010114723A (en) 2008-11-07 2010-05-20 Brother Ind Ltd Reproduction information output device, reproduction information outputting method, and reproduction information output processing program
JP2010204823A (en) 2009-03-02 2010-09-16 Hitachi Information & Control Solutions Ltd Line-of-sight recognition device
JP2012129760A (en) 2010-12-15 2012-07-05 Casio Comput Co Ltd Content evaluation device and content evaluation method
JP2013021661A (en) 2011-07-14 2013-01-31 Ntt Docomo Inc Viewing rate estimation device and viewing rate estimation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116826A (en) 2006-11-07 2008-05-22 Nippon Hoso Kyokai <Nhk> Pause duration calculation device and its program, and voice synthesizer
JP2009081575A (en) 2007-09-25 2009-04-16 Toshiba Corp Apparatus, method, and system for outputting video image
JP2010034675A (en) 2008-07-25 2010-02-12 Yahoo Japan Corp Program analyzing device, program analyzing method and program analyzing program
JP2010114723A (en) 2008-11-07 2010-05-20 Brother Ind Ltd Reproduction information output device, reproduction information outputting method, and reproduction information output processing program
JP2010204823A (en) 2009-03-02 2010-09-16 Hitachi Information & Control Solutions Ltd Line-of-sight recognition device
JP2012129760A (en) 2010-12-15 2012-07-05 Casio Comput Co Ltd Content evaluation device and content evaluation method
JP2013021661A (en) 2011-07-14 2013-01-31 Ntt Docomo Inc Viewing rate estimation device and viewing rate estimation method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
昼間 貴宏,外2名,スポーツ映像を対象としたストリーム処理型内容分析によるスポンサー広告価値計量方式と実現,第1回データ工学と情報マネジメントに関するフォーラム-DEIMフォーラム-論文集,日本,電子情報通信学会データ工学研究専門委員会,2009年05月09日
藤田 悦郎,外2名,D-8-7 コンテンツ空間の可視化に基づく視聴率分析,電子情報通信学会2001年総合大会予稿集,日本,2001年03月07日,pp.106

Also Published As

Publication number Publication date
JP2019192144A (en) 2019-10-31

Similar Documents

Publication Publication Date Title
JP4538756B2 (en) Information processing apparatus, information processing terminal, information processing method, and program
CN111954020B (en) Live information processing method, device, equipment and computer readable storage medium
CA2923807C (en) Generating alerts based upon detector outputs
TWI399973B (en) Methods, apparatus and machine readable medium storing instructions to distinguish a signal originating from a local device from a boradcast signal
EP2190198A1 (en) Method and apparatus for delivering video and video-related content at sub-asset level
CN102193794B (en) Link real-time media situation is to relevant application program and service
JP2008124574A (en) Preference extracting apparatus, preference extracting method and preference extracting program
JP2011139441A (en) Viewing terminal device, viewing statistics apparatus, viewing statistics processing system, and viewing statistics processing method
KR20140128766A (en) System, apparatus, method and computer readable recording medium for providing analyzing the log of a subscriber through the recognition of circumstantial based on the smart tv
JP2009239729A (en) Device, method and program for informing content scene appearance
JP2007215046A (en) Information processor, information processing method, information processing program, and recording medium
JP4812733B2 (en) Information editing apparatus, information editing method, information editing program, and recording medium recording the program
KR20150081414A (en) Service server and method for providing quick-menu
WO2017008498A1 (en) Method and device for searching program
JP2005534248A (en) Method and system for controlling the operation of a video system
JP7209441B2 (en) Screen configuration analysis device, screen configuration analysis method and program
CN112188221B (en) Play control method, play control device, computer equipment and storage medium
JP6560503B2 (en) Rise notification system
CN113099250B (en) Information processing method and electronic equipment
JP2008130215A (en) Automatic editing apparatus and automatic editing method
JP5266981B2 (en) Electronic device, information processing method and program
JP2011166572A (en) Apparatus for estimation of program preference, image viewing system, program viewing confirmation method, and program
CN106559708A (en) A kind of information recommendation method and electronic equipment based on intelligent television
Sandifort et al. VisLoiter+ An entropy model-based loiterer retrieval system with user-friendly interfaces
CN107534785A (en) Method for the grade of the definition of the image that sets multimedia programming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230109

R150 Certificate of patent or registration of utility model

Ref document number: 7209441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150