JP5609160B2 - 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 - Google Patents
情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP5609160B2 JP5609160B2 JP2010042866A JP2010042866A JP5609160B2 JP 5609160 B2 JP5609160 B2 JP 5609160B2 JP 2010042866 A JP2010042866 A JP 2010042866A JP 2010042866 A JP2010042866 A JP 2010042866A JP 5609160 B2 JP5609160 B2 JP 5609160B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- content
- information
- excitement
- effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 15
- 239000000203 mixture Substances 0.000 title claims description 13
- 238000000034 method Methods 0.000 title description 54
- 230000000694 effects Effects 0.000 claims description 65
- 230000004044 response Effects 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000002522 swelling effect Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 31
- 239000002131 composite material Substances 0.000 description 12
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000035807 sensation Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、情報処理システム、コンテンツ合成装置および方法、並びに記録媒体に関し、特に、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにした情報処理システム、コンテンツ合成装置および方法、並びに記録媒体に関する。
従来のテレビジョン受像機は、一般的に番組の作り手から視聴者への一方通行の情報伝達のデバイスとして用いられることが多かった。そこで、視聴者が参加できる番組を作る枠組みとして、キャプテンシステムや、地上デジタル放送における双方向サービスが提案されている。
一方、近年、ネットワークの発達により、ユーザ同士のコミュニケーションが盛んになってきている。特に、マイクロブログと呼ばれる、短い文章を打込むようなコミュニケーションツールにより、より速報性の高いコミュニケーションが好まれるようになってきている。このようなツールを使うことで、ユーザは、好きな話題を雑談のように手軽に話すことができ、親近感、臨場感を得ることができる。
また、ユーザ同士がコミュニケーションをとるための技術として、ストリーミング配信中の動画像コンテンツに、自分や他のユーザが書き込んだテキストを重畳させる技術が提案されている（例えば、特許文献１）。この技術では、ユーザにより入力されたテキストがストリーミングサーバに送信され、そのテキストと、他のユーザにより書き込まれたテキストが配信中の動画像コンテンツに重畳される。
さらに、携帯電話機でスポーツ等のイベントの番組を視聴するユーザが、携帯電話機を操作して応援情報を入力すると、その応援情報が、実際にスポーツ等が行なわれている会場にフィードバックされ、応援情報に応じた歓声が会場で再生される技術もある（例えば、特許文献２）。この技術では、番組を視聴するユーザの携帯電話機にも、他のユーザの応援情報がフィードバックされるので、携帯電話機のユーザも臨場感を得ることができる。
しかしながら、上述した技術では、コンテンツの視聴時において、ユーザは、視聴に支障をきたすことなく、臨場感を得ることができなかった。
例えば、上述した双方向サービスでは、視聴者は、番組においてされる質問に対し、いくつかの選択肢から回答を選ぶ程度のことしかできないため、リアルタイム性に欠け、番組のスタジオとの一体感や臨場感を得ることが困難であった。
また、マイクロブログによるコミュニケーションや、ストリーミング配信中の動画像コンテンツに入力されたテキストを重畳させるといった方法では、実際にユーザが自発的に文章を入力する必要があった。そのため、自分自身の感情を上手く伝えることができなかったり、テキストの入力のためにコンテンツに集中できなくなってしまったりすることがあった。
さらに、携帯電話機で入力された応援情報を実際の会場にフィードバックする方法においても、ユーザは、応援や歓声を応援情報として送信するために、積極的に意思表示をしなければならず、やはりコンテンツの視聴に集中できなくなってしまう。
本発明は、このような状況に鑑みてなされたものであり、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにするものである。
本発明の第１の側面の情報処理システムは、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、複数の前記視聴者の前記盛り上がりの度合いを示す全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部と、サーバと複数のコンテンツ再生装置とを備え、前記コンテンツ再生装置は、少なくとも前記盛り上がり情報を前記サーバに送信する送信部を有し、前記サーバは、複数の前記盛り上がり情報に基づいて前記全視聴者視聴情報を生成する。
本発明の第１の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成される。また、複数の前記視聴者の前記盛り上がりの度合いを示す全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択された前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第２の側面のコンテンツ合成装置は、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、前記盛り上がり情報をサーバに送信する送信部と、複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部とを備える。
本発明の第２の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報がサーバに送信され、複数の前記盛り上がり情報から得られる全視聴者視聴情報が前記サーバから受信され、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第３の側面のコンテンツ合成処理方法または記録媒体のプログラムは、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得し、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成し、前記盛り上がり情報をサーバに送信し、複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する。
本発明の第３の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報がサーバに送信され、複数の前記盛り上がり情報から得られる全視聴者視聴情報が前記サーバから受信され、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第１の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成される。また、複数の前記視聴者の前記盛り上がりの度合いを示す全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択された前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第２の側面のコンテンツ合成装置は、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、前記盛り上がり情報をサーバに送信する送信部と、複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部とを備える。
本発明の第２の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報がサーバに送信され、複数の前記盛り上がり情報から得られる全視聴者視聴情報が前記サーバから受信され、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第３の側面のコンテンツ合成処理方法または記録媒体のプログラムは、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得し、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成し、前記盛り上がり情報をサーバに送信し、複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する。
本発明の第３の側面においては、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声が、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得され、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報がサーバに送信され、複数の前記盛り上がり情報から得られる全視聴者視聴情報が前記サーバから受信され、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かが判定されるとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果が選択され、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量が前記全視聴者視聴情報に基づいて調整され、前記盛り上がり効果が前記コンテンツに合成される。
本発明の第１の側面乃至第３の側面によれば、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができる。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
［コンテンツ視聴システムの構成例］
図１は、本発明を適用したコンテンツ視聴システムの一実施の形態の構成例を示す図である。
図１は、本発明を適用したコンテンツ視聴システムの一実施の形態の構成例を示す図である。
コンテンツ視聴システム１１は、クライアント装置２１−１乃至クライアント装置２１−Ｎと、それらのクライアント装置２１−１乃至クライアント装置２１−Ｎに接続されたサーバ２２とから構成される。例えば、クライアント装置２１−１乃至クライアント装置２１−Ｎとサーバ２２とは、図示せぬインターネット等のネットワークを介して相互に接続されている。
クライアント装置２１−１乃至クライアント装置２１−Ｎは、テレビジョン放送された番組等のコンテンツを受信して再生する。なお、以下、クライアント装置２１−１乃至クライアント装置２１−Ｎを個々に区別する必要のない場合、単にクライアント装置２１とも称する。
例えば、クライアント装置２１−１は、ユーザの自宅などの視聴環境２３に設置されており、図示せぬ放送局から放送された電波による番組の放送信号を、放送ネットワークを介して受信する。クライアント装置２１−１は、チューナ３１、視聴者反応入力部３２、クライアント処理部３３、および表示部３４から構成される。
チューナ３１は、放送局から送信された放送信号を受信して、放送信号から、ユーザにより指定されたチャンネルの番組の放送信号を分離し、クライアント処理部３３に供給する。なお、以下、放送信号により再生される番組を単にコンテンツと称する。
視聴者反応入力部３２は、例えばカメラやマイクロホンなどからなり、コンテンツを視聴しているユーザの映像（動画像）や音声を、ユーザのコンテンツに対する反応を示す視聴者反応情報として取得し、クライアント処理部３３に供給する。
クライアント処理部３３は、視聴者反応入力部３２からの視聴者反応情報を用いて、ユーザが視聴中のコンテンツについての視聴情報を生成し、視聴情報をインターネット等のネットワークを介してサーバ２２に送信する。
ここで、視聴情報とは、ユーザのコンテンツに対する反応に関する情報であり、視聴情報には、視聴者反応情報、盛り上がり情報、およびチャンネル情報が含まれている。なお、盛り上がり情報とは、コンテンツを視聴するユーザの盛り上がりの度合い、つまりコンテンツの視聴に伴うユーザの気分の高揚の度合いを示す情報であり、チャンネル情報とは、視聴中のコンテンツのチャンネルを示す情報である。
また、クライアント処理部３３は、インターネット等のネットワークを介して、サーバ２２から送信された全視聴者視聴情報を受信する。この全視聴者視聴情報は、サーバ２２に接続された各クライアント装置２１からの視聴情報を集約することにより生成される情報であり、全視聴者視聴情報には、コンテンツのチャンネル情報、全視聴者の盛り上がり情報の平均値を示す平均盛り上がり情報、各視聴者の視聴者反応情報が含まれている。
なお、全視聴者視聴情報に含まれる平均盛り上がり情報は、全体の視聴者の平均的な盛り上がり度合いを示すものであればよく、盛り上がり情報の平均値である必要はない。また、全視聴者視聴情報に含まれる視聴者反応情報は、一部の視聴者の視聴者反応情報であってもよいし、視聴者の視聴者反応情報の一部の情報であってもよい。さらに、全視聴者視聴情報には、集約された視聴情報の数、つまり全体の視聴者数を示す情報が含まれるようにしてもよい。
クライアント処理部３３は、サーバ２２から取得した全視聴者視聴情報により特定される盛り上がり効果を、チューナ３１から供給されたコンテンツに合成し、得られたコンテンツ（以下、適宜、合成コンテンツとも称する）を表示部３４に供給して再生させる。
ここで、盛り上がり効果とは、視聴者反応情報を構成するユーザの映像や音声、予め用意された笑い声や歓声、応援の声等の音声のデータなどからなる。換言すれば、盛り上がり効果とは、コンテンツに対する多数の視聴者（ユーザ）の盛り上がりを表現する映像や音声等のデータである。なお、盛り上がり効果は、現実の視聴者のコンテンツに対する反応であってもよいし、仮想的な視聴者の反応を表す歓声などの音声等であってもよい。
表示部３４は、例えば液晶ディスプレイやスピーカなどから構成され、クライアント処理部３３から供給された合成コンテンツを再生する。すなわち、表示部３４は、合成コンテンツを構成する映像（動画像）を表示するとともに、合成コンテンツを構成する音声を出力する。このように、コンテンツを視聴している全体の視聴者の生の視聴情報、つまり全視聴者視聴情報から得られる盛り上がり効果をコンテンツに合成して再生することで、コンテンツを視聴しているユーザは、視聴者間の一体感や臨場感を得ることができる。
なお、クライアント装置２１−２乃至クライアント装置２１−Ｎも、クライアント装置２１−１と同じ構成とされ、これらのクライアント装置２１は同様の動作をする。
［クライアント処理部の構成例］
また、図１のクライアント処理部３３は、より詳細には、図２に示すように構成される。
また、図１のクライアント処理部３３は、より詳細には、図２に示すように構成される。
すなわち、クライアント処理部３３は、解析部６１、情報選択部６２、記録部６３、および合成部６４から構成される。
解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を解析して、盛り上がり情報を生成し、情報選択部６２に供給する。
例えば、解析部６１は、視聴者反応情報としての動画像に対する動き検出を行なって、動画像に含まれるユーザの動き量を算出し、得られたユーザの動き量を盛り上がり情報とする。この場合、例えばユーザの動き量が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
また、例えば解析部６１は、視聴者反応情報としての音声の強弱の変化、つまり音量の変化量を示す値を盛り上がり情報とする。この場合、例えば音量の変化が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
なお、盛り上がり情報は、ユーザの盛り上がりの度合いを示すものであれば、ユーザの動きや音声に限らず、顔の表情など、ユーザから得られる他の情報から生成されてもよい。また、盛り上がり情報は、ユーザの動き量や音量の変化など、コンテンツ視聴時のユーザの反応を示す複数の要素からなる情報とされてもよいし、それらの複数の要素の値が重み付き加算されて得られる情報とされてもよい。
さらに、盛り上がり情報には、ユーザの盛り上がりの度合いだけでなく、例えば、笑いや歓声といったユーザの盛り上がりの種類、つまりユーザの感情の種類を示す情報が含まれるようにしてもよい。
情報選択部６２は、視聴者反応入力部３２からの視聴者反応情報、チューナ３１からのコンテンツ、および解析部６１からの盛り上がり情報を用いて視聴情報を生成し、サーバ２２に送信する。
なお、視聴情報に含まれる視聴者反応情報は、視聴者反応入力部３２で得られた視聴者反応情報そのものであってもよいし、その視聴者反応情報の一部、例えばユーザの動画像のみであってもよい。また、視聴情報は、ネットワークを介してサーバ２２に伝送されるので、できるだけ軽量な情報、つまりデータ量の少ない情報とされることが望ましい。さらに、視聴情報には、クライアント装置２１である機器等の情報が含まれるようにしてもよい。
記録部６３は、予め用意された盛り上がり効果を記録し、必要に応じて記録している盛り上がり効果を合成部６４に供給する。なお、記録部６３に記録される盛り上がり効果は、予め用意された動画像や音声等のデータに限らず、サーバ２２から受信した全視聴者視聴情報や、その全視聴者視聴情報の一部のデータなどとされてもよい。例えば、サーバ２２から受信した全視聴者視聴情報に含まれる視聴者反応情報を記録しておき、他のコンテンツの視聴時に盛り上がり効果として用いれば、盛り上がりの度合いの表現のバリエーションを増やすことができる。
合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信するとともに、受信した全視聴者視聴情報に基づいて、記録部６３に記録されている盛り上がり効果のうちのいくつかを選択する。また、合成部６４は、選択された１または複数の盛り上がり効果を、チューナ３１から供給されたコンテンツに合成することで、合成コンテンツを生成し、合成コンテンツを表示部３４に供給して再生させる。
［合成処理と配信処理の説明］
次に、クライアント装置２１とサーバ２２の動作について説明する。
次に、クライアント装置２１とサーバ２２の動作について説明する。
例えば、ユーザがクライアント装置２１を操作して、所定のチャンネルのコンテンツの視聴の開始を指示すると、クライアント装置２１は合成処理を開始して、ユーザにより指示されたコンテンツを受信して合成コンテンツを生成し、合成コンテンツを再生する。また、サーバ２２は、クライアント装置２１による合成処理が開始されると、配信処理を開始して、クライアント装置２１のユーザが視聴しているコンテンツの全視聴者視聴情報を、各クライアント装置２１に配信する。
以下、図３のフローチャートを参照して、クライアント装置２１による合成処理と、サーバ２２による配信処理について説明する。
ステップＳ１１において、クライアント装置２１のチューナ３１は、放送局から送信されたコンテンツを受信し、解析部６１、情報選択部６２、および合成部６４に供給する。すなわち、放送された放送信号が受信され、受信された放送信号から、ユーザにより指定されたチャンネルのコンテンツのデータが抽出される。
また、ステップＳ３１において、サーバ２２は、クライアント装置２１において再生されているコンテンツについて得られた全視聴者視聴情報を、ネットワークを介してクライアント装置２１に送信する。
ステップＳ３２において、サーバ２２は、コンテンツを再生しているクライアント装置２１に、そのコンテンツの全視聴者視聴情報を送信（配信）する処理を終了するか否かを判定する。例えば、処理対象のコンテンツを再生していたクライアント装置２１が、そのコンテンツの再生を終了した場合、処理を終了すると判定される。例えば、コンテンツの再生の終了は、ネットワークを介してクライアント装置２１から通知される。
ステップＳ３２において、処理を終了しないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。すなわち、新たに生成された全視聴者視聴情報が、逐次、クライアント装置２１に送信される。
これに対して、ステップＳ３２において、処理を終了すると判定された場合、サーバ２２は、全視聴者視聴情報の送信を停止し、配信処理は終了する。
また、ステップＳ３１の処理により、サーバ２２からクライアント装置２１に全視聴者視聴情報が送信されると、ステップＳ１２において、合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信する。
ステップＳ１３において、合成部６４は、受信した全視聴者視聴情報に基づいて盛り上がり効果を選択し、選択された盛り上がり効果をチューナ３１から供給されたコンテンツに合成する。
具体的には、合成部６４は、全視聴者視聴情報に含まれる平均盛り上がり情報の値により定まる盛り上がり効果を記録部６３から取得し、取得された盛り上がり効果としての映像や音声を、コンテンツを構成する映像や音声に合成し、合成コンテンツを生成する。
このとき、例えば、平均盛り上がり情報に含まれるユーザの動き量の平均値から、盛り上がり効果としての映像が特定されたり、平均盛り上がり情報に含まれるユーザの音声の音量の変化量の平均値から、盛り上がり効果としての音声が特定されたりしてもよい。
なお、盛り上がり効果の選択は、平均盛り上がり情報により示される視聴者全体の盛り上がりの大小に応じて適切な盛り上がり効果が選択されれば、その選択方法はどのようなものであってもよい。また、盛り上がり効果としての映像の大きさや音声の音量が、平均盛り上がり情報の値などに応じた大きさに調整されたり、平均盛り上がり情報の値に応じて定まる数の盛り上がり効果が選択されたりしてもよい。
さらに、全視聴者視聴情報に含まれる視聴者反応情報としての映像や音声が、コンテンツに合成されるようにしてもよい。このように、処理対象となっているコンテンツを視聴している他のユーザ（他の視聴者）の実際の反応を盛り上がり効果としてコンテンツに合成すれば、より臨場感や他の視聴者との一体感を得ることができるようになる。
なお、全視聴者視聴情報により示される全視聴者の盛り上がりの状況によっては、盛り上がり効果がコンテンツに合成されないようにしてもよい。すなわち、全視聴者の盛り上がりの度合いが低い場合には、特にコンテンツに盛り上がり効果が合成されず、コンテンツがそのまま再生される。
ステップＳ１４において、合成部６４は、生成した合成コンテンツを表示部３４に供給し、合成コンテンツを再生させる。表示部３４は、合成部６４からの合成コンテンツを構成する映像を表示するとともに、合成コンテンツを構成する音声を出力する。これにより、コンテンツとともに、他のクライアント装置２１のユーザのコンテンツの視聴時の反応が反映された歓声、笑い声、声援などや、他のユーザのコンテンツ視聴時の映像などが再生されることになる。
ステップＳ１５において、クライアント処理部３３は、合成コンテンツを再生する処理を終了するか否かを判定する。例えば、ユーザによりクライアント装置２１が操作され、コンテンツの視聴の終了が指示されると、終了すると判定される。
ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、合成コンテンツを生成して再生する処理が継続して行われる。
これに対して、ステップＳ１５において、処理を終了すると判定された場合、クライアント装置２１は、コンテンツの視聴を終了する旨を、ネットワークを介してサーバ２２に通知し、合成処理は終了する。
このようにして、クライアント装置２１は、サーバ２２から全視聴者視聴情報を取得し、取得した全視聴者視聴情報を用いてコンテンツに適切な盛り上がり効果を合成する。
これにより、リアルタイムで、他の視聴者の盛り上がり等の感情のフィードバックを受けて、他の視聴者の反応をコンテンツに合成することができる。その結果、コンテンツを視聴するユーザが、あたかもスタジアムや映画館などにいるようなリアルな臨場感や、他の視聴者との一体感を、自宅等の家庭環境に居ながら得ることができる。しかも、ユーザは、コンテンツの視聴中に、コンテンツに対する感想等、盛り上がりの感情などを示す情報を何ら入力する必要はないため、コンテンツの視聴に支障をきたすことはない。
一般に、競技場でスポーツを観戦したり、映画館で映画鑑賞をしたりする場合、同じ場面で観戦者、視聴者が同じ反応を示すことが多く、その会場内の盛り上がりが、会場の一体感、臨場感をもたらす。
コンテンツ視聴システム１１では、同じコンテンツを視聴している複数ユーザの反応がリアルタイムで視聴中のコンテンツに反映される。したがって、ユーザは、実際にスポーツを観戦したり、映画館で映画鑑賞したりするときに得られる一体感や臨場感に、より近い一体感、臨場感を得ることができる。
また、クライアント装置２１では、予め用意された盛り上がり効果がコンテンツに合成されるため、コンテンツの配信側において、コンテンツに特別な加工を施す必要もなく、既存のテレビジョン放送の番組等についても適用することができる。
［視聴情報生成処理と集約処理の説明］
さらに、ユーザによりコンテンツの視聴開始が指示され、上述した合成処理と配信処理が開始されると、クライアント装置２１およびサーバ２２では、これらの処理と並行して、視聴情報を生成する視聴情報生成処理と、視聴情報を集約して全視聴者視聴情報を生成する集約処理が行われる。
さらに、ユーザによりコンテンツの視聴開始が指示され、上述した合成処理と配信処理が開始されると、クライアント装置２１およびサーバ２２では、これらの処理と並行して、視聴情報を生成する視聴情報生成処理と、視聴情報を集約して全視聴者視聴情報を生成する集約処理が行われる。
以下、図４のフローチャートを参照して、クライアント装置２１による視聴情報生成処理と、サーバ２２による集約処理について説明する。
ユーザによるコンテンツの視聴開始が指示されると、ステップＳ６１において、視聴者反応入力部３２は、クライアント装置２１近傍で、表示部３４を見ているユーザの視聴者反応情報を取得し、解析部６１および情報選択部６２に供給する。例えば、視聴者反応情報として、ユーザの映像や音声など、合成コンテンツを視聴しているときのユーザの反応を示す情報が取得される。
ステップＳ６２において、解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を用いて、盛り上がり情報を生成し、情報選択部６２に供給する。例えば、視聴者反応情報から得られるユーザの合成コンテンツの視聴時の動き量や、音声の音量の変化量などが盛り上がり情報として生成される。
ステップＳ６３において、情報選択部６２は、チューナ３１からのコンテンツ、視聴者反応入力部３２からの視聴者反応情報、および解析部６１からの盛り上がり情報を用いて、クライアント装置２１のユーザ個人についての視聴情報を生成する。
ステップＳ６４において、情報選択部６２は、生成した視聴情報を、ネットワークを介してサーバ２２に送信する。
そして、ステップＳ６５において、クライアント処理部３３は、視聴情報を生成してサーバ２２に送信する処理を終了するか否かを判定する。例えば、ユーザによりコンテンツの視聴の終了が指示された場合、つまり図３の合成処理が終了した場合、処理を終了すると判定される。
ステップＳ６５において、処理を終了しないと判定された場合、処理はステップＳ６１に戻り、上述した処理が繰り返される。すなわち、次の時刻におけるユーザの視聴者反応情報が取得され、新たな視聴情報が生成される。
これに対して、ステップＳ６５において、処理を終了すると判定された場合、クライアント装置２１は行なっている処理を停止し、視聴情報生成処理は終了する。
また、ステップＳ６４において、クライアント装置２１からサーバ２２に視聴情報が送信されると、ステップＳ８１において、サーバ２２は、クライアント装置２１から送信された視聴情報を受信する。
このとき、サーバ２２は、処理対象となっている所定のチャンネルのコンテンツを再生している全てのクライアント装置２１から、視聴情報を受信する。つまり、サーバ２２は、同じコンテンツを視聴している全ての視聴者から、盛り上がり情報を含む視聴情報の供給を受ける。
ステップＳ８２において、サーバ２２は、受信した視聴情報を用いて、所定のチャンネルのコンテンツについての全視聴者視聴情報を生成する。
例えば、サーバ２２は、コンテンツを特定するチャンネル情報、全視聴者の盛り上がりの度合いを示す平均盛り上がり情報、一部または全部の視聴者の視聴者反応情報からなる全視聴者視聴情報を生成する。ここで、平均盛り上がり情報は、例えば各クライアント装置２１から得られた盛り上がり情報の平均値などとされる。
このようにして生成された全視聴者視聴情報は、図３のステップＳ３１の処理において、所定チャンネルのコンテンツを再生している、全てのクライアント装置２１に送信される。
ステップＳ８３において、サーバ２２は、全視聴者視聴情報を生成する処理を終了するか否かを判定する。例えば、集約処理と並行して実行される図３の配信処理が終了した場合、終了すると判定される。
ステップＳ８３において、処理を終了しないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。すなわち、新たに受信された視聴情報に基づいて全視聴者視聴情報が生成される。
一方、ステップＳ８３において、処理を終了すると判定された場合、サーバ２２は行っている処理を停止し、集約処理は終了する。
このようにして、クライアント装置２１は、コンテンツの視聴中のユーザの反応を視聴者反応情報として取得し、視聴者反応情報を含む視聴情報をサーバ２２に送信する。これにより、リアルタイムで、コンテンツを視聴するユーザの反応に関する情報をサーバ２２に供給することができ、その結果、よりリアルな臨場感や一体感をユーザに与えることができるようになる。しかも、この場合、ユーザは、視聴の感想などのコンテンツに対する反応を何ら入力する必要はないので、ユーザのコンテンツの視聴が妨げられるようなこともない。
なお、以上においては、ユーザにより視聴されるコンテンツとして、テレビジョン放送される番組を例に説明したが、コンテンツは、その他、楽曲など、どのようなものであってもよい。また、コンテンツは、サーバ２２などから送信されてもよいし、インターネットやケーブルなど、任意の通信網を介してクライアント装置２１に送信することが可能である。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ コンテンツ視聴システム， ２１−１乃至２１−Ｎ，２１ クライアント装置， ２２ サーバ， ３１ チューナ， ３２ 視聴者反応入力部， ３３ クライアント処理部， ６１ 解析部， ６２ 情報選択部， ６４ 合成部
Claims (14)
- 少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、
前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、
複数の前記視聴者の前記盛り上がりの度合いを示す全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部と、
サーバと複数のコンテンツ再生装置とを備え、
前記コンテンツ再生装置は、少なくとも前記盛り上がり情報を前記サーバに送信する送信部を有し、
前記サーバは、複数の前記盛り上がり情報に基づいて前記全視聴者視聴情報を生成する
情報処理システム。 - 前記コンテンツの放送信号を受信する受信部をさらに備える
請求項１に記載の情報処理システム。 - 前記サーバは、前記全視聴者視聴情報を少なくとも１つの前記コンテンツ再生装置に送信し、
前記少なくとも１つの前記コンテンツ再生装置は前記合成部を有し、前記合成部は前記サーバから送信された前記全視聴者視聴情報を受信する
請求項１に記載の情報処理システム。 - 少なくとも１つの前記コンテンツ再生装置は、前記盛り上がり効果が合成された前記コンテンツを前記視聴者に対して提示する表示部を有する
請求項１に記載の情報処理システム。 - 前記合成部は、前記盛り上がり効果が合成された前記コンテンツを、１つの前記コンテンツ再生装置の表示部に出力する
請求項１に記載の情報処理システム。 - 前記盛り上がり効果には、前記視聴者に対して前記コンテンツが提示されている状態における、前記コンテンツに対する前記視聴者の反応を示す映像および音声が含まれている
請求項１に記載の情報処理システム。 - 前記盛り上がり効果は、複数の前記視聴者に対して前記コンテンツが提示されている状態における、前記コンテンツに対する複数の前記視聴者の反応を示す映像および音声からなる
請求項１に記載の情報処理システム。 - 前記全視聴者視聴情報は、複数の前記視聴者に対して前記コンテンツが提示されている状態における、前記コンテンツに対する複数の前記視聴者の前記盛り上がりの度合いの平均を示している
請求項１に記載の情報処理システム。 - 前記解析部は、前記視聴者の動き量に基づいて前記盛り上がり情報を生成する
請求項１に記載の情報処理システム。 - 前記解析部は、前記視聴者の音声の音量の変化量に基づいて前記盛り上がり情報を生成する
請求項９に記載の情報処理システム。 - 前記解析部は、前記視聴者の音声の音量の変化量に基づいて前記盛り上がり情報を生成する
請求項１に記載の情報処理システム。 - 少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、
前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、
前記盛り上がり情報をサーバに送信する送信部と、
複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、
前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部と
を備えるコンテンツ合成装置。 - 視聴者反応入力部、解析部、送信部、および合成部を備えるコンテンツ合成装置のコンテンツ合成処理方法であって、
前記視聴者反応入力部が、少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得し、
前記解析部が、前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成し、
前記送信部が、前記盛り上がり情報をサーバに送信し、
前記合成部が、複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、
前記合成部が、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、
前記合成部が、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する
ステップを含むコンテンツ合成処理方法。 - コンピュータを、
少なくとも映像または音声の何れかからなるコンテンツに対する視聴者の反応を示す、前記視聴者の映像および音声を、前記コンテンツが前記視聴者に提示されている状態で視聴者反応情報として取得する視聴者反応入力部と、
前記視聴者反応情報に基づいて、前記コンテンツに対する前記視聴者の盛り上がりの度合いを示す盛り上がり情報を生成する解析部と、
前記盛り上がり情報をサーバに送信する送信部と、
複数の前記盛り上がり情報から得られる全視聴者視聴情報を前記サーバから受信し、前記全視聴者視聴情報に基づいて、前記盛り上がりの度合いを表現する映像および音声からなる盛り上がり効果を前記コンテンツに合成するか否かを判定するとともに、前記判定の結果に応じて、前記全視聴者視聴情報に基づいて前記盛り上がり効果を選択し、選択した前記盛り上がり効果としての映像の大きさ、および選択した前記盛り上がり効果としての音声の音量を前記全視聴者視聴情報に基づいて調整し、前記盛り上がり効果を前記コンテンツに合成する合成部と
して機能させるためのコンピュータ読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010042866A JP5609160B2 (ja) | 2010-02-26 | 2010-02-26 | 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 |
| US13/026,907 US20110214141A1 (en) | 2010-02-26 | 2011-02-14 | Content playing device |
| CN2011100420752A CN102170591A (zh) | 2010-02-26 | 2011-02-18 | 内容播放装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010042866A JP5609160B2 (ja) | 2010-02-26 | 2010-02-26 | 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011182109A JP2011182109A (ja) | 2011-09-15 |
| JP2011182109A5 JP2011182109A5 (ja) | 2013-03-21 |
| JP5609160B2 true JP5609160B2 (ja) | 2014-10-22 |
Family
ID=44491544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010042866A Expired - Fee Related JP5609160B2 (ja) | 2010-02-26 | 2010-02-26 | 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20110214141A1 (ja) |
| JP (1) | JP5609160B2 (ja) |
| CN (1) | CN102170591A (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| WO2012177641A2 (en) * | 2011-06-21 | 2012-12-27 | Net Power And Light Inc. | Method and system for providing gathering experience |
| JP5910846B2 (ja) * | 2011-07-26 | 2016-04-27 | ソニー株式会社 | 制御装置、制御方法、及び、プログラム |
| CN103137043B (zh) * | 2011-11-23 | 2015-07-15 | 财团法人资讯工业策进会 | 结合搜索引擎服务的广告播放系统及广告播放方法 |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| KR102099086B1 (ko) * | 2013-02-20 | 2020-04-09 | 삼성전자주식회사 | 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스 |
| US9467486B2 (en) * | 2013-03-15 | 2016-10-11 | Samsung Electronics Co., Ltd. | Capturing and analyzing user activity during a multi-user video chat session |
| BR112015029324A2 (pt) * | 2013-05-30 | 2017-07-25 | Sony Corp | dispositivo cliente, método de controle, sistema, e, programa |
| US20150020086A1 (en) * | 2013-07-11 | 2015-01-15 | Samsung Electronics Co., Ltd. | Systems and methods for obtaining user feedback to media content |
| US9788777B1 (en) | 2013-08-12 | 2017-10-17 | The Neilsen Company (US), LLC | Methods and apparatus to identify a mood of media |
| CN104461222B (zh) * | 2013-09-16 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理的方法和电子设备 |
| JP6206913B2 (ja) * | 2013-10-13 | 2017-10-04 | 国立大学法人 千葉大学 | 笑い促進プログラム及び笑い促進装置 |
| KR101591402B1 (ko) * | 2014-05-29 | 2016-02-03 | 모젼스랩(주) | 관객반응 분석 시스템 및 방법 |
| WO2016002445A1 (ja) | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2016009865A1 (ja) * | 2014-07-18 | 2016-01-21 | ソニー株式会社 | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム |
| EP3229477A4 (en) * | 2014-12-03 | 2018-05-23 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN104900007A (zh) * | 2015-06-19 | 2015-09-09 | 四川分享微联科技有限公司 | 一种基于声音触发无线报警的监护手表 |
| KR20170017289A (ko) * | 2015-08-06 | 2017-02-15 | 삼성전자주식회사 | 콘텐츠를 송수신하는 전자 장치 및 방법 |
| JP6199355B2 (ja) * | 2015-10-13 | 2017-09-20 | 本田技研工業株式会社 | コンテンツ配信サーバ及びコンテンツ配信方法並びにコンテンツ再生システム |
| US10390096B2 (en) * | 2016-09-16 | 2019-08-20 | DISH Technologies L.L.C. | Collecting media consumer data |
| KR102449877B1 (ko) * | 2017-09-15 | 2022-10-04 | 삼성전자주식회사 | 컨텐트를 제공하는 방법 및 단말기 |
| JP7216394B2 (ja) * | 2018-07-04 | 2023-02-01 | 学校法人 芝浦工業大学 | ライブ演出システム、およびライブ演出方法 |
| CN109151515B (zh) * | 2018-09-12 | 2021-11-12 | 广东乐心医疗电子股份有限公司 | 表演场景下的互动系统和方法 |
| EP3941073A4 (en) * | 2019-03-11 | 2022-04-27 | Sony Group Corporation | INFORMATION PROCESSING DEVICE AND SYSTEM |
| JPWO2020183630A1 (ja) * | 2019-03-13 | 2021-12-02 | バルス株式会社 | ライブ配信システムおよびライブ配信方法 |
| JP7333958B2 (ja) * | 2020-05-29 | 2023-08-28 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置のプログラム、ゲーム装置の制御方法、及び、ゲームシステム |
| JP7532963B2 (ja) | 2020-07-08 | 2024-08-14 | 株式会社Ｊｖｃケンウッド | 画像処理装置および画像処理方法 |
| JP2022027224A (ja) * | 2020-07-31 | 2022-02-10 | パナソニックＩｐマネジメント株式会社 | 照明制御装置、照明制御システム、照明システム、照明制御方法及びプログラム |
| JP7303846B2 (ja) * | 2020-10-30 | 2023-07-05 | 株式会社コロプラ | プログラム、情報処理方法、情報処理装置、及びシステム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4931865A (en) * | 1988-08-24 | 1990-06-05 | Sebastiano Scarampi | Apparatus and methods for monitoring television viewers |
| JP2002123693A (ja) * | 2000-10-17 | 2002-04-26 | Just Syst Corp | コンテンツ鑑賞システム |
| JP4368316B2 (ja) * | 2005-03-02 | 2009-11-18 | シャープ株式会社 | コンテンツ視聴システム |
| US20070150916A1 (en) * | 2005-12-28 | 2007-06-28 | James Begole | Using sensors to provide feedback on the access of digital content |
| JP2008141484A (ja) * | 2006-12-01 | 2008-06-19 | Sanyo Electric Co Ltd | 画像再生システム及び映像信号供給装置 |
| JP5020838B2 (ja) * | 2008-01-29 | 2012-09-05 | ヤフー株式会社 | 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法 |
| JP5339737B2 (ja) * | 2008-02-08 | 2013-11-13 | 三菱電機株式会社 | 映像音声再生方法 |
| US20090237564A1 (en) * | 2008-03-18 | 2009-09-24 | Invism, Inc. | Interactive immersive virtual reality and simulation |
| US8413204B2 (en) * | 2008-03-31 | 2013-04-02 | At&T Intellectual Property I, Lp | System and method of interacting with home automation systems via a set-top box device |
| US9246613B2 (en) * | 2008-05-20 | 2016-01-26 | Verizon Patent And Licensing Inc. | Method and apparatus for providing online social networking for television viewing |
| JP2009282697A (ja) * | 2008-05-21 | 2009-12-03 | Sharp Corp | ネットワークシステム、コンテンツ再生装置および画像処理方法 |
| JP2010016482A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置および情報処理方法 |
-
2010
- 2010-02-26 JP JP2010042866A patent/JP5609160B2/ja not_active Expired - Fee Related
-
2011
- 2011-02-14 US US13/026,907 patent/US20110214141A1/en not_active Abandoned
- 2011-02-18 CN CN2011100420752A patent/CN102170591A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN102170591A (zh) | 2011-08-31 |
| JP2011182109A (ja) | 2011-09-15 |
| US20110214141A1 (en) | 2011-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5609160B2 (ja) | 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体 | |
| JP7251592B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Bleidt et al. | Object-based audio: Opportunities for improved listening experience and increased listener involvement | |
| JP2014013400A (ja) | オブジェクトベースのオーディオサービスシステム及びその方法 | |
| CN101473645A (zh) | 使用预设音频场景的基于对象的三维音频服务系统 | |
| US20120155671A1 (en) | Information processing apparatus, method, and program and information processing system | |
| Kasuya et al. | LiVRation: Remote VR live platform with interactive 3D audio-visual service | |
| JP2006041886A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| Shirley et al. | Platform independent audio | |
| US20230188770A1 (en) | Interactive broadcasting method and system | |
| Gasull Ruiz et al. | A description of an object-based audio workflow for media productions | |
| CN114598917B (zh) | 显示设备及音频处理方法 | |
| JP2021021870A (ja) | コンテンツ収集・配信システム | |
| CN114466241B (zh) | 显示设备及音频处理方法 | |
| Scuda et al. | Using audio objects and spatial audio in sports broadcasting | |
| JP2018028646A (ja) | 会場別カラオケ | |
| JP2005086537A (ja) | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 | |
| JP6190012B1 (ja) | データ再生システム、データ再生方法、データ再生端末及びデータ再生用プログラム | |
| Churnside | Object-based radio: Effects on production and audience experience | |
| WO2023157650A1 (ja) | 信号処理装置および信号処理方法 | |
| US20210320959A1 (en) | System and method for real-time massive multiplayer online interaction on remote events | |
| WO2023120244A1 (ja) | 伝送装置、伝送方法、およびプログラム | |
| CN114615534B (zh) | 显示设备及音频处理方法 | |
| Faria et al. | An Overview of Audio Technologies, Immersion and Personalization Features envisaged for the TV3. 0 | |
| JP2007134808A (ja) | 音声配信装置、音声配信方法、音声配信プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140327 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140818 |
|
| LAPS | Cancellation because of no payment of annual fees |