JP2014150434A

JP2014150434A - Image output device

Info

Publication number: JP2014150434A
Application number: JP2013018519A
Authority: JP
Inventors: Hideya Inoue; 英也井上; Masanaga Nakamura; 正永中村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-02-01
Filing date: 2013-02-01
Publication date: 2014-08-21

Abstract

PROBLEM TO BE SOLVED: To obtain an image output device for proposing the viewing of a program coinciding with the feeling or interest of a viewer.SOLUTION: An image output device 1 performs: storing a viewed program in a viewing history DB 302 as a viewing history in association with the expression of a person detected when the person has viewed the program displayed in an image display unit 3; detecting a viewed program where the associated expression coincides with an expression being currently detected among the stored viewed programs; and proposing viewing by extracting a program to be the sequel of the detected viewed program or the program of the same category from data of a program list DB 303.

Description

本発明は、映像コンテンツを出力する映像出力装置に関する。 The present invention relates to a video output device that outputs video content.

提供される複数の番組に対する視聴者の必要度を推定し、推定した必要度に基づいて視聴者へ供給する番組を選択し、選択した番組データを記録し、記録した複数の番組から必要度の高いと推定される番組を見出し画面で案内し、見出し画面上から視聴者が所望の番組を選択できるように視聴者からの指示操作を受け付ける映像出力装置が知られている（特許文献１参照）。 Estimate the viewer's necessity for multiple provided programs, select the program to be supplied to the viewer based on the estimated necessity, record the selected program data, and select the necessary degree from the recorded multiple programs. There is known a video output device that guides a program estimated to be high on a headline screen and receives an instruction operation from the viewer so that the viewer can select a desired program from the headline screen (see Patent Document 1). .

特開平９−３１２８１１号公報JP 9-312811 A

従来の技術では、視聴者のパーソナルな嗜好と番組の属性を示すデータとの相関と、視聴者の視聴履歴のデータとに基づいて必要度が推定される。このため、例えば視聴者の気分の良し悪しにかかわらず一定の番組が案内されてしまい、案内された番組が視聴者の気分に合致しないということがある。 In the conventional technology, the degree of necessity is estimated based on the correlation between the viewer's personal preference and the data indicating the attribute of the program and the viewer's viewing history data. For this reason, for example, a certain program is guided regardless of whether the viewer feels good or bad, and the guided program may not match the viewer's mood.

本発明による映像出力装置は、番組の放送信号を入力する入力部と、番組に関するイベント情報である番組表データを取得する番組表取得部と、入力部から入力された放送信号を処理した番組の映像信号を映像表示部へ出力する映像出力部と、映像表示部に表示された番組を視聴する人物の顔を撮像する撮像部と、撮像部で撮像された画像に基づいて、顔の表情を検出する表情検出部と、人物が映像表示部に表示された番組を視聴した時に表情検出部で検出された表情に対応付けて、当該視聴された番組を視聴履歴として記憶する視聴履歴記憶部と、視聴履歴記憶部に記憶された視聴済み番組のうち、対応付けられている表情が表情検出部によって現在検出されている表情と一致する視聴済み番組を検出し、検出した視聴済み番組の続編となる番組、および検出した視聴済み番組と同ジャンルの番組の少なくとも一方の番組を、番組表取得部で取得された番組表データから抽出する推奨番組抽出部と、推奨番組抽出部で抽出された番組の視聴を提案する提案制御部と、を備えることを特徴とする。 A video output apparatus according to the present invention includes an input unit that inputs a broadcast signal of a program, a program guide acquisition unit that acquires program guide data that is event information related to the program, and a program that processes the broadcast signal input from the input unit. A video output unit that outputs a video signal to the video display unit, an imaging unit that captures the face of a person who views the program displayed on the video display unit, and facial expressions based on images captured by the imaging unit A facial expression detection unit for detecting, a viewing history storage unit for storing the viewed program as a viewing history in association with the facial expression detected by the facial expression detection unit when a person views the program displayed on the video display unit , Detecting a viewed program in which the associated facial expression matches the facial expression currently detected by the facial expression detection unit among the viewed programs stored in the viewing history storage unit, and a sequel to the detected viewed program Na A recommended program extracting unit for extracting at least one of the program and a program of the same genre as the detected viewed program from the program guide data acquired by the program guide acquiring unit, and a program extracted by the recommended program extracting unit And a suggestion control unit for proposing viewing.

本発明による映像出力装置では、視聴者の気分あるいは興味に合致する番組の視聴を提案できる。 With the video output device according to the present invention, it is possible to propose viewing of a program that matches the mood or interest of the viewer.

本発明の一実施の形態によるデジタルテレビジョンを例示する外観斜視図である。1 is an external perspective view illustrating a digital television according to an embodiment of the present invention. デジタルテレビジョンの信号処理系を例示するブロック図である。It is a block diagram which illustrates the signal processing system of a digital television. 表情履歴データベースのデータ構造を示す模式図である。It is a schematic diagram which shows the data structure of a facial expression history database. 視聴履歴データベースのデータ構造を示す模式図である。It is a schematic diagram which shows the data structure of a viewing history database. 番組表データベースのデータ構造を示す模式図である。It is a schematic diagram which shows the data structure of a program schedule database. 制御部の構成を説明する図である。It is a figure explaining the structure of a control part. ＬＣＤパネルの画面に表示された番組提案メッセージを例示する図である。It is a figure which illustrates the program proposal message displayed on the screen of an LCD panel.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルテレビジョン１を例示する外観斜視図である。図１において、デジタルテレビジョン１は、正面視（前面に対する平面視）で、長方形状の外観を呈している。デジタルテレビジョン１は、筐体２と、ＬＣＤ（Liquid Crystal Display）パネル３とを備える。ＬＣＤパネル３は、後述する映像処理部２０（図２）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２は、支持部４によって支持される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view illustrating a digital television 1 according to an embodiment of the present invention. In FIG. 1, the digital television 1 has a rectangular appearance when viewed from the front (plan view with respect to the front surface). The digital television 1 includes a housing 2 and an LCD (Liquid Crystal Display) panel 3. The LCD panel 3 receives a video signal from a video processing unit 20 (FIG. 2) described later, and displays a video such as a still image or a moving image. The housing 2 is supported by the support portion 4.

図２は、デジタルテレビジョン１の信号処理系を例示するブロック図である。図２において、デジタルテレビジョン１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介して受信部を構成するチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局し得る。デジタルテレビジョン１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してデジタルの映像信号および音声信号等に復元した後、入力信号処理部１６に出力する。なお、本実施形態のチューナ部１４は、デジタルテレビジョン放送信号を受信するチューナを複数台（例えば３台）有しており、複数の異なるチャンネルの放送信号を同時に受信し得る。 FIG. 2 is a block diagram illustrating a signal processing system of the digital television 1. In FIG. 2, a digital television 1 selects a broadcast signal of a desired channel by supplying a digital television broadcast signal received by an antenna 12 to a tuner unit 14 constituting a receiving unit via an input terminal 13. You can bureau. The digital television 1 supplies the broadcast signal selected by the tuner unit 14 to the demodulation / decoding unit 15 and restores it to a digital video signal, audio signal, etc., and then outputs it to the input signal processing unit 16. Note that the tuner unit 14 of the present embodiment has a plurality of (for example, three) tuners that receive digital television broadcast signals, and can simultaneously receive broadcast signals of a plurality of different channels.

入力信号処理部１６は、復調復号部１５から供給されたデジタルの映像信号および音声信号に対してそれぞれ所定のデジタル信号処理を施す。また、入力信号処理部１６は、チューナ部１４で選局された放送信号から番組名、出演者、開始時刻などのイベント情報を記述したテーブルであるＥＩＴ（Event Information Table）を分離する。入力信号処理部１６で分離されたＥＩＴは、番組表データとして制御部２３に入力される。ＥＩＴには、番組にかかるイベント情報である番組のタイトル情報やジャンル情報、放送日時、出演者情報などの放送内容などの番組に関連する情報が含まれている。 The input signal processing unit 16 performs predetermined digital signal processing on the digital video signal and audio signal supplied from the demodulation / decoding unit 15. The input signal processing unit 16 separates an EIT (Event Information Table), which is a table describing event information such as a program name, performers, and start time, from the broadcast signal selected by the tuner unit 14. The EIT separated by the input signal processing unit 16 is input to the control unit 23 as program guide data. The EIT includes information related to the program, such as program title information, genre information, broadcast date and time, and performer information, which are event information related to the program.

また、入力信号処理部１６は、デジタルの映像信号を合成処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力する。合成処理部１７は、入力信号処理部１６から供給されるデジタルの映像信号に、ＯＳＤ（On Screen Display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力する。 The input signal processing unit 16 outputs a digital video signal to the synthesis processing unit 17 and outputs a digital audio signal to the audio processing unit 18. The composition processing unit 17 adds a video for superimposition such as subtitles, GUI (Graphical User Interface), and OSD generated by an OSD (On Screen Display) signal generation unit 19 to the digital video signal supplied from the input signal processing unit 16. The OSD signal as a signal is superimposed and output.

デジタルテレビジョン１は、合成処理部１７から出力されたデジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたデジタルの映像信号を、出力部として機能するＬＣＤパネル３で表示可能なフォーマットの映像信号に変換する。デジタルテレビジョン１は、映像処理部２０から出力された映像信号を、ＬＣＤパネル３に供給して映像表示させる。 The digital television 1 supplies the digital video signal output from the synthesis processing unit 17 to the video processing unit 20. The video processing unit 20 converts the input digital video signal into a video signal in a format that can be displayed on the LCD panel 3 functioning as an output unit. The digital television 1 supplies the video signal output from the video processing unit 20 to the LCD panel 3 for video display.

音声処理部１８は、入力されたデジタルの音声信号を、出力部として機能するスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換する。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。図２に示すように、上述した合成処理部１７、音声処理部１８、ＯＳＤ信号生成部１９、および映像処理部２０は、出力信号処理部２１を構成する。 The audio processing unit 18 converts the input digital audio signal into an analog audio signal in a format that can be reproduced by the speaker 22 functioning as an output unit. The analog audio signal output from the audio processing unit 18 is supplied to the speaker 22 for audio reproduction. As shown in FIG. 2, the above-described synthesis processing unit 17, audio processing unit 18, OSD signal generation unit 19, and video processing unit 20 constitute an output signal processing unit 21.

デジタルテレビジョン１はさらに、図１に示すように、映像出力部として機能するＬＣＤパネル３の近傍にカメラ装置６０を搭載する。このカメラ装置６０は、デジタルテレビジョン１に対向する人物、すなわち視聴者の顔を撮像可能な位置に設けられている。 As shown in FIG. 1, the digital television 1 further includes a camera device 60 in the vicinity of the LCD panel 3 that functions as a video output unit. The camera device 60 is provided at a position where a person facing the digital television 1, that is, a viewer's face can be imaged.

ここで、デジタルテレビジョン１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御する。制御部２３は、ＣＰＵ（Central Processing Unit）２３ａおよびメモリ部２３ｂを内蔵する。メモリ部２３ｂは、主としてＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、該ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報および制御情報等が格納される不揮発性メモリとを含む。 Here, the digital television 1 comprehensively controls all the operations including the above-described various reception operations by the control unit 23. The control unit 23 includes a CPU (Central Processing Unit) 23a and a memory unit 23b. The memory unit 23b mainly includes a ROM (Read Only Memory) storing a control program executed by the CPU 23a, a RAM (Random Access Memory) for providing a work area to the CPU 23a, various setting information, control information, and the like. Non-volatile memory to be stored.

また、制御部２３にはディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してデジタルデータの記録や、光ディスク２８に記録されているデジタルデータの再生を行なう機能を有する。 Further, a disk drive unit 27 is connected to the control unit 23. The disk drive unit 27 is a unit that allows an optical disk 28 such as a DVD (Digital Versatile Disk) to be detachable. For example, digital data can be recorded on the mounted optical disk 28 and digital data recorded on the optical disk 28 can be reproduced. It has the function to perform.

また、制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。ＨＤＤ（Hard Disk Drive）３０は、ハードディスクに各種データを記憶することにより、表情履歴データベース（表情履歴ＤＢ）３０１と、視聴履歴データベース（視聴履歴ＤＢ）３０２と、番組表データベース（番組表ＤＢ）３０３と、して機能する。 Further, an HDD (Hard Disk Drive) 30 is connected to the control unit 23. An HDD (Hard Disk Drive) 30 stores various data in a hard disk, thereby allowing an expression history database (expression history DB) 301, a viewing history database (viewing history DB) 302, and a program guide database (program guide DB) 303. And function.

図３は、表情履歴データベース３０１のデータ構造を示す模式図である。図３に示すように、表情履歴データベース３０１は、番組視聴時においてカメラ装置６０で撮像された視聴者の顔の画像から公知の表情検出処理によって検出された所定時間ごとの表情データと、その表情履歴データのＩＤ（表情履歴ＩＤ）とを対応付けて記憶する表情テーブル３０１１を有する蓄積型のデータベースである。 FIG. 3 is a schematic diagram showing the data structure of the facial expression history database 301. As shown in FIG. 3, the expression history database 301 includes expression data for each predetermined time detected by a known expression detection process from the image of the viewer's face captured by the camera device 60 when viewing a program, and the expression. This is an accumulation type database having an expression table 3011 that stores history data IDs (expression history IDs) in association with each other.

表情検出は、カメラ装置６０で撮像された画像に基づいて制御部２３が行う。制御部２３は、顔の画像に含まれる目、口、しわの形状、口の開閉具合など、顔全体に分布する特徴に基づいて笑顔、怒り顔、悲しみ顔などを検出する。例えば、目尻が下がっている、口角が上がっている、口が開いている、ほうれい線が明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は笑顔であると判断する。また例えば、目尻が上がっている、口角が下がっている、眉間のしわが明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は怒り顔であると判断する。 The facial expression detection is performed by the control unit 23 based on the image captured by the camera device 60. The control unit 23 detects a smile, an angry face, a sad face, and the like based on features distributed over the entire face, such as eyes, mouths, wrinkle shapes, and mouth opening / closing states included in the face image. For example, if a feature is detected from a face image, such as the corner of the eye is lowered, the corner of the mouth is raised, the mouth is open, or the fringe line is clear, the facial image is judged to be a smile. To do. Further, for example, when a feature such as the corner of the eye is raised, the corner of the mouth is lowered, or the wrinkles between the eyebrows are clear is detected from the face image, the expression of the face image is determined to be an angry face.

図４は、視聴履歴データベース３０２のデータ構造を示す模式図である。図４に示すように、視聴履歴データベース３０２は、視聴履歴テーブル３０２１と、番組テーブル３０２２と、チューナテーブル３０２３と、チャンネルテーブル３０２４と、を有する蓄積型のデータベースである。視聴履歴テーブル３０２１は、視聴履歴ＩＤに対応付けて、上記番組視聴の際に検出した視聴者の表情履歴ＩＤと、視聴番組を示す番組ＩＤと、番組の視聴時間と、視聴の際に検出した注視時間とを記憶する。番組の視聴時間は、番組の映像をＬＣＤパネル３へ出力した時間である。このうち、視聴者の視線がＬＣＤパネル３へ向いていた時間を注視時間とする。 FIG. 4 is a schematic diagram showing the data structure of the viewing history database 302. As shown in FIG. 4, the viewing history database 302 is a storage-type database having a viewing history table 3021, a program table 3022, a tuner table 3023, and a channel table 3024. The viewing history table 3021 is detected in association with the viewing history ID, the viewer's facial expression history ID detected during the program viewing, the program ID indicating the viewing program, the viewing time of the program, and the viewing. Memorize the gaze time. The viewing time of the program is the time when the video of the program is output to the LCD panel 3. Of these, the time during which the viewer's line of sight is directed to the LCD panel 3 is referred to as a gaze time.

視聴者の視線は、カメラ装置６０で撮像された画像に基づいて制御部２３が検出する。制御部２３は、公知の視線検出技術を用いることにより、例えば視聴者の目の瞳孔で反射される像に基づいて視線方向を検出する。 The control unit 23 detects the viewer's line of sight based on an image captured by the camera device 60. The control part 23 detects a gaze direction, for example based on the image reflected by the pupil of a viewer's eye by using a well-known gaze detection technique.

番組テーブル３０２２は、視聴番組を示す番組ＩＤに対応付けて、視聴番組の詳細情報を示す番組データを記憶する。番組データは、受信したチューナのチューナＩＤと、視聴番組のチャンネルを示すチャンネルＩＤと、視聴番組のジャンルと、視聴番組のタイトルと、視聴番組の開始日時と、視聴番組の終了日時とを含んでいる。チューナテーブル３０２３は、チューナＩＤに対応付けてチューナ番号を記憶する。チャンネルテーブル３０２４は、チャンネルＩＤに対応付けてチャンネル番号を記憶する。 The program table 3022 stores program data indicating detailed information of the viewing program in association with the program ID indicating the viewing program. The program data includes the tuner ID of the received tuner, the channel ID indicating the channel of the viewing program, the genre of the viewing program, the title of the viewing program, the start date / time of the viewing program, and the end date / time of the viewing program. Yes. The tuner table 3023 stores a tuner number in association with the tuner ID. The channel table 3024 stores channel numbers in association with channel IDs.

図５は、番組表データベース３０３のデータ構造を示す模式図である。図５に示すように、番組表データベース３０３は、番組テーブル３０３１と、チューナテーブル３０３２と、チャンネルテーブル３０３３と、を有する更新型のデータベースである。番組テーブル３０３１は、提供（放送）される番組を示す番組ＩＤに対応付けて、番組の詳細情報を示す番組データを記憶する。番組データは、受信したチューナのチューナＩＤと、番組のチャンネルを示すチャンネルＩＤと、番組の開始日時と、番組の終了日時と、番組のジャンルと、番組のタイトルとを含む。チューナテーブル３０３２は、チューナＩＤと、チューナ番号と、チューナ名とを対応付けて記憶する。チャンネルテーブル３０３３は、チャンネルＩＤと、チャンネル番号と、チャンネル名とを対応付けて記憶する。 FIG. 5 is a schematic diagram showing the data structure of the program guide database 303. As shown in FIG. 5, the program guide database 303 is an update type database having a program table 3031, a tuner table 3032, and a channel table 3033. The program table 3031 stores program data indicating detailed information of a program in association with a program ID indicating a program to be provided (broadcast). The program data includes a tuner ID of the received tuner, a channel ID indicating a program channel, a program start date and time, a program end date and time, a program genre, and a program title. The tuner table 3032 stores a tuner ID, a tuner number, and a tuner name in association with each other. The channel table 3033 stores a channel ID, a channel number, and a channel name in association with each other.

制御部２３は、ＣＰＵ２３ａが制御プログラムに従って動作することによって、図６に示すように、撮像処理部２３１と、図示しないリモコン送信機からの送信信号に応じて所定の指示を発するリモートコントロール処理部２３２と、ネットワーク処理部２３３と、表情検出および注視時間を検出する表情・注視時間検出部２３４と、視聴履歴データに対する処理を行う視聴履歴処理部２３５と、番組表データに対する処理を行う番組表処理部２３６と、番組提案処理を行う番組提案処理部２３７とを実現する。 As shown in FIG. 6, the control unit 23 operates according to the control program, and the imaging processing unit 231 and a remote control processing unit 232 that issues a predetermined instruction in response to a transmission signal from a remote control transmitter (not shown). A network processing unit 233, a facial expression / gaze time detection unit 234 for detecting facial expression detection and gaze time, a viewing history processing unit 235 for processing viewing history data, and a program table processing unit for processing program table data 236 and a program proposal processing unit 237 that performs a program proposal process.

ネットワーク処理部２３３は、入出力端子３３（図２）を介して外部のネットワーク３４にアクセスする通信を制御する。ネットワーク３４（図２）には、各種サービスを提供する複数（図２の場合は２つ）の外部ネットワークサーバ３５、３６が接続されている。これにより、ネットワーク処理部２３３は、外部ネットワークサーバ３５、３６から提供されるサービスを利用可能である。 The network processing unit 233 controls communication for accessing the external network 34 via the input / output terminal 33 (FIG. 2). A plurality of (two in the case of FIG. 2) external network servers 35 and 36 that provide various services are connected to the network 34 (FIG. 2). Thereby, the network processing unit 233 can use the services provided from the external network servers 35 and 36.

撮像処理部２３１は、カメラ装置６０で撮像された視聴者の顔画像を表情・注視時間検出部２３４に送る。表情・注視時間検出部２３４は、顔画像に基づいて検出した表情データおよび注視時間のデータを視聴履歴処理部２３５へ送り、表情データを番組提案処理部２３７へ送る。表情・注視時間検出部２３４はさらに、表情データを表情履歴データベース３０１へ記憶させ、表情履歴ＩＤを視聴履歴処理部２３５へ送る。 The imaging processing unit 231 sends the viewer's face image captured by the camera device 60 to the facial expression / gaze time detection unit 234. The expression / gaze time detection unit 234 sends the expression data and gaze time data detected based on the face image to the viewing history processing unit 235 and sends the expression data to the program proposal processing unit 237. The facial expression / gaze time detection unit 234 further stores facial expression data in the facial expression history database 301 and sends the facial expression history ID to the viewing history processing unit 235.

番組表処理部２３６は、入力信号処理部１６で分離されたＥＩＴ（番組表データ）を取得して番組表データベース３０３に格納する。なお、ＥＩＴ（番組表データ）をネットワーク３４経由で取得するものであってもよい。ＥＩＴ（番組表データ）の取得先は、視聴者による設定に従う。番組表処理部２３６は、ＥＩＴ（番組表データ）のキーワード検索機能を有しており、指定のキーワードと一致するＥＩＴ（番組表データ）を検索し、検索でヒットした番組に絞り込んで番組表データを番組表データベース３０３に供給することができる。 The program guide processing unit 236 acquires the EIT (program guide data) separated by the input signal processing unit 16 and stores it in the program guide database 303. Note that EIT (program guide data) may be acquired via the network 34. The acquisition destination of EIT (program guide data) follows the setting by the viewer. The program guide processing unit 236 has a keyword search function of EIT (program guide data), searches for EIT (program guide data) that matches the specified keyword, narrows down to programs hit by the search, and program guide data. Can be supplied to the program guide database 303.

視聴履歴処理部２３５は、視聴者が番組を視聴中のチューナ情報、チャンネル情報、番組情報、視聴時間、視聴者の表情、注視時間などの視聴履歴データを生成する。そして、所定の条件（例えば、視聴時間が当該番組の開始時刻から終了時刻までの時間の８０％を超える）で番組視聴成立と判断すると、その視聴履歴データを視聴履歴データベース３０２に登録する。 The viewing history processing unit 235 generates viewing history data such as tuner information, channel information, program information, viewing time, viewer's facial expression, and gaze time when the viewer is viewing the program. When it is determined that the program viewing is established under a predetermined condition (for example, the viewing time exceeds 80% of the time from the start time to the end time of the program), the viewing history data is registered in the viewing history database 302.

番組提案処理部２３７は、視聴履歴データベース３０２に格納されている視聴履歴データを１件ずつ、番組表データとの間で照合処理を行いながら、視聴者に推奨する推奨番組を番組表の中から抽出する。具体的には、番組提案処理部２３７は、過去に視聴者が視聴した番組のうち、番組視聴中の視聴者の表情が表情・注視時間検出部２３４によって現在検出されている視聴者の表情と一致する視聴番組であって、かつ、その視聴時間において注視時間の占める比率が所定値（例えば８０％）以上であった視聴番組を視聴履歴データの中から検出する。 The program suggestion processing unit 237 compares the viewing history data stored in the viewing history database 302 one by one with the program guide data, and recommends a recommended program recommended to the viewer from the program guide. Extract. Specifically, the program suggestion processing unit 237 determines the facial expression of the viewer who is currently viewing the program among the programs viewed by the viewer in the past and the facial expression of the viewer currently detected by the facial expression / gaze time detection unit 234. A viewing program that is a matching viewing program and whose ratio of the gazing time in the viewing time is equal to or greater than a predetermined value (for example, 80%) is detected from the viewing history data.

番組提案処理部２３７はさらに、上記検出した過去の視聴番組の続編番組、および上記検出した過去の視聴番組と同ジャンルの番組を、推奨番組として番組表の中から抽出する。そして番組提案処理部２３７は、抽出した推奨番組の番組データに基づいて番組提案メッセージであるＯＳＤデータを作成し、ＯＳＤ信号生成部１９に送る。番組提案メッセージは、例えばリスト状に構成し、推奨番組を並べて提案する。 The program proposal processing unit 237 further extracts a sequel program of the detected past viewing program and a program of the same genre as the detected past viewing program from the program table as recommended programs. Then, the program proposal processing unit 237 creates OSD data that is a program proposal message based on the extracted program data of the recommended program, and sends it to the OSD signal generation unit 19. The program proposal message is configured in a list form, for example, and recommended programs are arranged side by side.

ここで、番組提案処理部２３７が行う上記提案処理は、１日のうちでデジタルテレビジョン１を最初に起動する際に、当日の全ての番組表データを対象に行なう。また、起動後の番組視聴中の間は、現時刻から所定時間先の番組表データのみを対象に毎分行なう。 Here, the proposal process performed by the program proposal processing unit 237 is performed on all program schedule data on the current day when the digital television 1 is first activated within one day. In addition, during viewing of the program after startup, the program schedule data is performed every minute for only the program guide data a predetermined time ahead from the current time.

すなわち、出力信号処理部２１は、入力信号処理部１６から送られる映像音声データ、および番組提案処理部２３７で作成された番組提案メッセージであるＯＳＤデータを結合処理したのち、映像出力および音声出力にそれぞれのデータを送る。 That is, the output signal processing unit 21 combines the video / audio data sent from the input signal processing unit 16 and the OSD data which is the program proposal message created by the program proposal processing unit 237, and then outputs the combined video and audio output. Send each data.

図７は、ＬＣＤパネル３の画面に表示された番組提案メッセージ７１を例示する図である。図７において、番組提案メッセージ７１は、視聴中の番組映像に重ねてＬＣＤパネル３に表示される。番組提案メッセージ７１には、推奨番組の内容（放送日時、チャンネル、タイトル、番組ジャンルなど）が番組表データベース３０３に格納されたＥＩＴ（番組表データ）に基づいて含められる。 FIG. 7 is a diagram illustrating a program proposal message 71 displayed on the screen of the LCD panel 3. In FIG. 7, a program proposal message 71 is displayed on the LCD panel 3 so as to be superimposed on the program video being viewed. The program proposal message 71 includes the content of the recommended program (broadcast date, channel, title, program genre, etc.) based on the EIT (program guide data) stored in the program guide database 303.

また、番組提案メッセージ７１には、提案された番組を視聴者が視聴するか否かを意思表示するためのボタン７２、７３も表示される。視聴者は、操作部２４やリモコン送信機（不図示）を操作してボタン７２またはボタン７３を選択することによって意思表示が可能である。 The program proposal message 71 also displays buttons 72 and 73 for intentionally displaying whether or not the viewer views the proposed program. The viewer can display intention by operating the operation unit 24 or a remote control transmitter (not shown) and selecting the button 72 or the button 73.

提案する番組が複数ある場合の番組提案メッセージ７１には、複数の推奨番組がリスト表示される。この場合、例えば上記続編番組を上位に表示し、次いで上記同ジャンルの番組を表示する。視聴者は、操作部２４やリモコン送信機（不図示）を操作してカーソル７４を移動させて目当ての番組を選び、ボタン７２を選択操作することによって視聴の意思表示を行う。 In the program proposal message 71 when there are a plurality of programs to be proposed, a plurality of recommended programs are displayed in a list. In this case, for example, the sequel program is displayed at the top, and then the program of the same genre is displayed. The viewer operates the operation unit 24 or a remote control transmitter (not shown) to move the cursor 74 to select a target program, and performs a selection intention operation on the button 72 to display the intention of viewing.

なお、提案する番組が複数ある場合において、番組提案メッセージ７１にリスト表示する推奨番組を、放送時刻が早いものから順番に並べるように構成してもよい。リストの順番は、上記番組提案処理部２３７が決定する。 When there are a plurality of programs to be proposed, the recommended programs displayed as a list in the program proposal message 71 may be arranged in order from the earliest broadcast time. The program proposal processing unit 237 determines the order of the list.

リモートコントロール処理部２３２は、図示しないリモコン送信機から送信され受信部２６で受信したリモートコントロールコードに基づいて、電源オン／オフ、チューナ切替やチャンネル切替（チャンネルを繰り返し切り替えるような所謂ザッピング操作を含む）を入力信号処理部１６に指示する。なお、制御部２３は、デジタルテレビジョン１の本体に設置された操作部２４からの操作情報を受けても、その操作内容を反映するように各部をそれぞれ制御する。 The remote control processing unit 232 includes a so-called zapping operation such as power on / off, tuner switching and channel switching (repeatingly switching channels) based on a remote control code transmitted from a remote control transmitter (not shown) and received by the receiving unit 26. ) To the input signal processing unit 16. In addition, even if the control part 23 receives the operation information from the operation part 24 installed in the main body of the digital television 1, it controls each part so that the operation content may be reflected.

例えば、制御部２３は、視聴者による操作部２４やリモコン送信機（不図示）の操作に応じて、復調復号部１５から得られるデジタルの映像信号および音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスクの番組保存領域に記録させるように制御することができる。 For example, the control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 in accordance with the operation of the operation unit 24 or remote control transmitter (not shown) by the viewer. After being converted into a predetermined recording format, it can be controlled to be supplied to the HDD 30 and recorded in the program storage area of the hard disk.

また、制御部２３は、視聴者による操作部２４やリモコン送信機（不図示）の操作に応じて、ＨＤＤ３０の番組保存領域からデジタルの映像信号および音声信号を読み出させ、記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、映像出力および音声再生に供させるように制御することができる。 In addition, the control unit 23 reads out digital video signals and audio signals from the program storage area of the HDD 30 in accordance with the operation of the operation unit 24 and the remote control transmitter (not shown) by the viewer, and the recording / playback processing unit 29. Then, by supplying the input signal to the input signal processing unit 16, it can be controlled to be used for video output and audio reproduction.

なお、制御部２３は、視聴者による操作部２４やリモコン送信機（不図示）の操作に応じて、復調復号部１５から得られるデジタルの映像信号および音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することもできる。 The control unit 23 encrypts the digital video signal and audio signal obtained from the demodulation / decoding unit 15 by the recording / playback processing unit 29 in accordance with the operation of the operation unit 24 or remote control transmitter (not shown) by the viewer. It is also possible to control such that the data is converted into a predetermined recording format and then supplied to the disk drive unit 27 to be recorded on the optical disk 28.

さらにまた、制御部２３は、視聴者による操作部２４やリモコン送信機（不図示）の操作に応じて、ディスクドライブ部２７により光ディスク２８からデジタルの映像信号および音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、映像出力および音声再生に供させるように制御することもできる。 Furthermore, the control unit 23 causes the disc drive unit 27 to read out digital video signals and audio signals from the optical disc 28 in accordance with the operation of the operation unit 24 and a remote control transmitter (not shown) by the viewer, and the above recording. After being decoded by the reproduction processing unit 29, the video signal can be supplied to the input signal processing unit 16 so as to be used for video output and audio reproduction.

デジタルテレビジョン１に設けられている入力端子３１は、デジタルテレビジョン１の外部からデジタルの映像信号および音声信号を直接入力するための端子である。この入力端子３１を介して入力されたデジタルの映像信号および音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、入力信号処理部１６に供給されて、映像出力および音声再生に供される。入力端子３１を介して入力されたデジタルの映像信号および音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録／再生や、ＨＤＤ３０によるハードディスクに対しての記録／再生に供される。 An input terminal 31 provided in the digital television 1 is a terminal for directly inputting a digital video signal and an audio signal from the outside of the digital television 1. The digital video signal and audio signal input through the input terminal 31 are supplied to the input signal processing unit 16 through the recording / playback processing unit 29 based on the control of the control unit 23, and output to the video signal. And used for audio playback. The digital video signal and audio signal input through the input terminal 31 are recorded / recorded on the optical disk 28 by the disk drive unit 27 after passing through the recording / playback processing unit 29 based on the control of the control unit 23. It is used for reproduction and recording / reproduction on the hard disk by the HDD 30.

制御部２３は、視聴者による操作部２４やリモコン送信機（不図示）の操作に応じて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているデジタルの映像信号および音声信号をＨＤＤ３０の番組保存領域に記録したり、ＨＤＤ３０の番組保存領域に記録されているデジタルの映像信号および音声信号を光ディスク２８に記録したりする制御も行う。 The control unit 23 performs digital video and audio signals recorded on the optical disk 28 between the disk drive unit 27 and the HDD 30 in accordance with the operation of the operation unit 24 and a remote control transmitter (not shown) by the viewer. Are also recorded in the program storage area of the HDD 30 and digital video and audio signals recorded in the program storage area of the HDD 30 are recorded on the optical disk 28.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルテレビジョン１は、番組の放送信号を入力する入力信号処理部１６と、番組に関するイベント情報である番組表データを取得する制御部２３（番組表処理部２３６）と、入力信号処理部１６から入力された放送信号を処理した番組の映像信号をＬＣＤパネル３へ出力する出力信号処理部２１と、ＬＣＤパネル３に表示された番組を視聴する人物の顔を撮像するカメラ装置６０と、カメラ装置６０で撮像された画像に基づいて、顔の表情を検出する制御部２３（表情・注視時間検出部２３４）と、人物がＬＣＤパネル３に表示された番組を視聴した時に制御部２３（表情・注視時間検出部２３４）で検出された表情に対応付けて、当該視聴された番組を視聴履歴として記憶するＨＤＤ３０と、ＨＤＤ３０に記憶された視聴済み番組のうち、対応付けられている表情が制御部２３（表情・注視時間検出部２３４）によって現在検出されている表情と一致する視聴済み番組を検出し、検出した視聴済み番組の続編となる番組、および検出した視聴済み番組と同ジャンルの番組を、制御部２３（番組表処理部２３６）で取得された番組表データから抽出する制御部２３（番組提案処理部２３７）と、制御部２３（番組提案処理部２３７）で抽出された番組の視聴を提案する制御部２３と、を備える。これにより、視聴者の現在の気分あるいは興味に合致する番組の視聴を提案できる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The digital television 1 includes an input signal processing unit 16 that inputs a broadcast signal of a program, a control unit 23 (program guide processing unit 236) that acquires program guide data that is event information related to the program, and input signal processing. An output signal processing unit 21 that outputs a video signal of a program obtained by processing a broadcast signal input from the unit 16 to the LCD panel 3, a camera device 60 that captures the face of a person who views the program displayed on the LCD panel 3, and The control unit 23 (expression / gaze time detection unit 234) that detects facial expression based on the image captured by the camera device 60, and the control unit 23 when a person views a program displayed on the LCD panel 3. The HDD 30 that stores the viewed program as a viewing history in association with the facial expression detected by the (facial expression / gaze time detection unit 234), and the viewed number stored in the HDD 30 Among them, a program that is a sequel to the detected watched program that detects a watched program whose associated facial expression matches the currently detected facial expression by the control unit 23 (facial expression / gaze time detection unit 234), And a control unit 23 (program proposal processing unit 237) for extracting a program of the same genre as the detected viewed program from the program guide data acquired by the control unit 23 (program guide processing unit 236), and a control unit 23 (program And a control unit 23 that proposes viewing of the program extracted by the proposal processing unit 237). As a result, it is possible to propose viewing of a program that matches the viewer's current mood or interest.

（２）上記（１）のデジタルテレビジョン１において、番組を視聴する人物の視線がＬＣＤパネル３に向いているか否かを検出する制御部２３（表情・注視時間検出部２３４）をさらに備え、ＨＤＤ３０はさらに、視聴された番組の視聴時間のうち視聴する人物の視線がＬＣＤパネル３に向いていた注視時間を視聴履歴に記憶し、制御部２３（番組提案処理部２３７）は、ＨＤＤ３０に記憶された視聴済み番組のうち、対応付けられている表情が制御部２３（表情・注視時間検出部２３４）によって現在検出されている表情と一致する視聴済み番組であって、かつ、その視聴時間において注視時間の占める比率が所定値以上であった視聴済み番組を検出し、検出した視聴済み番組の続編となる番組、および検出した視聴済み番組と同ジャンルの番組を、制御部２３（番組表処理部２３６）で取得された番組表データから抽出するようにした。これにより、視聴者が注視する可能性が高い番組を提案できる。 (2) The digital television 1 of (1) further includes a control unit 23 (facial expression / gaze time detection unit 234) that detects whether or not the line of sight of the person viewing the program is facing the LCD panel 3, The HDD 30 further stores, in the viewing history, the gaze time during which the viewer's line of sight was facing the LCD panel 3 in the viewing time of the viewed program, and the control unit 23 (program proposal processing unit 237) stores the gaze time in the HDD 30. Among the viewed programs that have been viewed, the associated facial expression is a viewed program that matches the facial expression currently detected by the control unit 23 (facial expression / gaze time detection unit 234), and the viewing time is Detects a program that has already been viewed for which the ratio of gaze time is greater than or equal to a predetermined value, and is a sequel to the detected program that has been detected, and the same genre as the detected program The program was to be extracted from the program guide data acquired by the control unit 23 (program table processing unit 236). Thereby, it is possible to propose a program that is likely to be watched by the viewer.

（変形例１）
上述したデジタルテレビジョン１において、番組視聴中にカメラ装置６０で撮像された視聴者の顔の画像から検出された笑顔の出現回数を示すデータを、表情履歴データベース３０１に含めるようにしてもよい。すなわち、変形例１の場合の表情履歴データベース３０１は、番組視聴時に所定時間ごとに検出された表情データと、視聴時間内の笑顔出現回数と、その表情履歴データのＩＤ（表情履歴ＩＤ）とを対応付けて記憶する表情テーブル３０１１を有する蓄積型のデータベースとする。 (Modification 1)
In the digital television 1 described above, the facial expression history database 301 may include data indicating the number of appearances of a smile detected from the image of the viewer's face captured by the camera device 60 during program viewing. That is, the facial expression history database 301 in the first modification includes facial expression data detected every predetermined time when viewing a program, the number of smiles appearing within the viewing time, and the ID (expression facial history ID) of the facial expression history data. Assume that this is an accumulation type database having a facial expression table 3011 stored in association with each other.

そして、変形例１の場合の番組提案処理部２３７は、提案する番組が複数ある場合において、笑顔の出現回数がより多かった過去の視聴番組の続編番組、および笑顔の出現回数がより多かった過去の視聴番組と同ジャンルの番組を、提案メッセージ７１のリスト上位に並べる。変形例１によれば、視聴者が視聴すると笑顔になる可能性が高い番組を提案し得る。 Then, the program suggestion processing unit 237 in the case of the modified example 1, when there are a plurality of programs to be proposed, the sequel program of the past viewing program in which the number of appearances of smiles is larger and the past in which the number of appearances of smiles is larger. The programs of the same genre as the viewing program are arranged at the top of the list of the proposal message 71. According to the first modification, it is possible to propose a program that is likely to make a smile when the viewer views it.

（変形例２）
上述した実施形態において番組提案処理部２３７は、過去に視聴者が視聴した番組のうち、番組視聴中の視聴者の表情が表情・注視時間検出部２３４によって現在検出されている視聴者の表情と一致する過去の視聴番組であって、かつ、その視聴時間において注視時間の占める比率が所定値（例えば８０％）以上であった過去の視聴番組を視聴履歴データの中から検出し、上記検出した過去の視聴番組の続編番組、および上記検出した過去の視聴番組と同ジャンルの番組を、推奨番組として番組表の中から抽出するようにした。この代わりに、過去の視聴時間において注視時間の占める比率に基づく判断を省略してもよい。 (Modification 2)
In the above-described embodiment, the program suggestion processing unit 237 determines the facial expression of the viewer who is watching the program among the programs viewed by the viewer in the past and the facial expression of the viewer currently detected by the facial expression / gaze time detection unit 234. A past viewing program that is a matching past viewing program and whose ratio of the gazing time in the viewing time is equal to or greater than a predetermined value (for example, 80%) is detected from the viewing history data, and is detected. A sequel to a past viewing program and a program of the same genre as the detected past viewing program are extracted from the program table as recommended programs. Instead, the determination based on the ratio of the gaze time in the past viewing time may be omitted.

すなわち、変形例２の場合の番組提案処理部２３７は、過去に視聴者が視聴した番組のうち、番組視聴中の視聴者の表情が表情・注視時間検出部２３４によって現在検出されている視聴者の表情と一致する過去の視聴番組を視聴履歴データの中から検出し、上記検出した過去の視聴番組の続編番組、および上記検出した過去の視聴番組と同ジャンルの番組を、推奨番組として番組表の中から抽出する。このような変形例２の場合でも、視聴者の現在の気分あるいは興味に合致する番組を提案し得る。 That is, the program suggestion processing unit 237 in the second modification example uses the viewer whose facial expression of the viewer who is viewing the program is currently detected by the facial expression / gaze time detection unit 234 among the programs viewed by the viewer in the past. A past viewing program that matches the facial expression is detected from the viewing history data, and a sequel to the detected past viewing program and a program of the same genre as the detected past viewing program are recommended as a program table. Extract from Even in the case of such modification 2, a program that matches the viewer's current mood or interest can be proposed.

（変形例３）
上述した番組提案処理部２３７は、上記検出した過去の視聴番組の続編番組、および上記検出した過去の視聴番組と同ジャンルの番組を、推奨番組として番組表の中から抽出する例を説明した。この代わりに、上記検出した過去の視聴番組の続編番組のみ、または上記検出した過去の視聴番組と同ジャンルの番組のみを推奨番組として番組表の中から抽出するようにしてもよい。このような変形例３の場合でも、視聴者の現在の気分あるいは興味に合致する番組を提案し得る。 (Modification 3)
The program suggestion processing unit 237 described above has described an example in which a sequel program of the detected past viewing program and a program of the same genre as the detected past viewing program are extracted from the program table as recommended programs. Instead, only the sequel program of the detected past viewing program or only the program of the same genre as the detected past viewing program may be extracted from the program table as a recommended program. Even in the case of Modification 3, a program that matches the viewer's current mood or interest can be proposed.

（変形例４）
上述したデジタルテレビジョン１において、番組提案処理部２３７が、これから放送される番組の中から推奨番組を提案する例を説明した。この代わりに、複数の放送局から所定の期間（例えば１日分）に放送された番組の全て（複数の放送局から放送された全ての番組の放送信号（ＥＩＴを含む））をあらかじめＨＤＤ３０の番組保存領域に保存しておき、これら保存した複数放送局による全番組の中から推奨番組を提案するように構成してもよい。変形例４によれば、放送前でなく放送後であっても、視聴者の現在の気分あるいは興味に合致する番組を提案し得る。 (Modification 4)
In the digital television 1 described above, an example has been described in which the program proposal processing unit 237 proposes a recommended program from programs to be broadcast. Instead of this, all programs broadcast from a plurality of broadcasting stations in a predetermined period (for example, one day) (broadcast signals (including EIT) of all programs broadcast from a plurality of broadcasting stations) are stored in the HDD 30 in advance. The program may be stored in a program storage area, and a recommended program may be proposed from all the stored programs by a plurality of broadcast stations. According to the fourth modification, a program that matches the viewer's current mood or interest can be proposed even before the broadcast but before the broadcast.

（変形例５）
上述したデジタルテレビジョン１においてカメラ装置６０によって取得された視聴者の顔の画像に基づいて視聴者を識別する機能を加え、視聴者ごとに、上記視聴履歴ＤＢ３０２および表情履歴ＤＢ３０１を設けるように構成してもよい。これにより、複数の異なる視聴者がデジタルテレビジョン１を視聴する場合でも、視聴者ごとに異なる推奨番組を提案できる。 (Modification 5)
In the digital television 1 described above, a function of identifying the viewer based on the viewer's face image acquired by the camera device 60 is added, and the viewing history DB 302 and the expression history DB 301 are provided for each viewer. May be. Thereby, even when a plurality of different viewers view the digital television 1, different recommended programs can be proposed for each viewer.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.

１…デジタルテレビジョン
３…ＬＣＤパネル
１４…チューナ部
１６…入力信号処理部
１７…合成処理部
１９…ＯＳＤ信号生成部
２０…映像処理部
２１…出力信号処理部
２３…制御部
３０…ＨＤＤ DESCRIPTION OF SYMBOLS 1 ... Digital television 3 ... LCD panel 14 ... Tuner part 16 ... Input signal processing part 17 ... Composition processing part 19 ... OSD signal generation part 20 ... Video processing part 21 ... Output signal processing part 23 ... Control part 30 ... HDD

Claims

An input unit for inputting a broadcast signal of a program;
A program guide acquisition unit that acquires program guide data that is event information related to the program;
A video output unit for outputting a video signal of a program obtained by processing a broadcast signal input from the input unit to a video display unit;
An imaging unit for imaging a face of a person who views the program displayed on the video display unit;
A facial expression detection unit that detects the facial expression based on an image captured by the imaging unit;
A viewing history storage unit that stores the viewed program as a viewing history in association with the facial expression detected by the facial expression detection unit when the person views the program displayed on the video display unit;
Among the viewed programs stored in the viewing history storage unit, a viewed program in which the associated facial expression matches the facial expression currently detected by the facial expression detection unit is detected, and the detected viewed program is detected. A recommended program extracting unit that extracts a program to be a sequel and a program of the same genre as the detected viewed program from the program guide data acquired by the program guide acquiring unit;
A suggestion control unit for proposing viewing of the program extracted by the recommended program extraction unit;
A video output device comprising:

The video output device according to claim 1,
A line-of-sight detection unit that detects whether or not the line of sight of a person viewing the program is facing the video display unit;
The viewing history storage unit further stores, in the viewing history, a gaze time in which the line of sight of the person to be viewed is facing the video display unit among the viewing time of the viewed program.
The recommended program extraction unit is a viewed program in which the associated facial expression matches the facial expression currently detected by the facial expression detection unit among the viewed programs stored in the viewing history storage unit, In addition, a watched program in which the ratio of the gaze time in the viewing time is equal to or greater than a predetermined value is detected, a program that is a sequel to the detected watched program, and a program of the same genre as the detected watched program A video output apparatus that extracts at least one of the programs from the program guide data acquired by the program guide acquisition unit.

In the video output device according to claim 1 or 2,
The facial expression detection unit further determines the number of appearances of a smile based on an image captured by the imaging unit when a person views a program displayed on the video display unit,
The viewing history storage unit further stores the number of appearances of the smile in the viewing time of the watched program in the viewing history,
The control unit controls the video output unit to superimpose a program proposal message for suggesting viewing of the program extracted by the recommended program extraction unit on a video signal and outputs the superimposed message to the video display unit, and the recommended program When a plurality of programs are extracted by the extraction unit, in the program suggestion message, a program that is a sequel to the watched program with a large number of smiles appearing, and the same program as the watched program with a large number of smiles appearing The video output apparatus controls the video output unit so as to propose the above program as a higher rank.

In the video output device according to any one of claims 1 to 3,
The input unit receives a plurality of broadcast signals received by a broadcast receiving unit that respectively receives broadcasts from a plurality of broadcast stations, or a plurality of broadcast signals read from a broadcast signal storage unit that stores the plurality of broadcast signals. A video output device characterized by inputting.