JP2003178078A - 画像、音声データへの付加用標識データとその付加方法 - Google Patents
画像、音声データへの付加用標識データとその付加方法Info
- Publication number
- JP2003178078A JP2003178078A JP2001378313A JP2001378313A JP2003178078A JP 2003178078 A JP2003178078 A JP 2003178078A JP 2001378313 A JP2001378313 A JP 2001378313A JP 2001378313 A JP2001378313 A JP 2001378313A JP 2003178078 A JP2003178078 A JP 2003178078A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- sound
- voice
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 アーカイブの中の映像や音声などに対して、
視聴者側の要望を単純なテキストで現すことが難しい場
合がある。また、視聴者の要望の中で「おもしろい」等
と言った感覚的なキーワードをメタデータとしてシーン
に付与することも非常に難しい。 【解決手段】 従来のメタデータとは別に、画像や音声
などのコンテンツやコンテンツの中のシーン毎に、それ
を視聴した人間の生体的反応を自動的に取りこみ加工し
て関連付ける標識データを用いる。このことにより、対
象となる画像あるいは音声などに対するその視聴した人
間の生体的反応を自動的に取りこみ加工し標識データと
してそのコンテンツやコンテンツの中のシーン毎に自動
的に関連付けることができる。
視聴者側の要望を単純なテキストで現すことが難しい場
合がある。また、視聴者の要望の中で「おもしろい」等
と言った感覚的なキーワードをメタデータとしてシーン
に付与することも非常に難しい。 【解決手段】 従来のメタデータとは別に、画像や音声
などのコンテンツやコンテンツの中のシーン毎に、それ
を視聴した人間の生体的反応を自動的に取りこみ加工し
て関連付ける標識データを用いる。このことにより、対
象となる画像あるいは音声などに対するその視聴した人
間の生体的反応を自動的に取りこみ加工し標識データと
してそのコンテンツやコンテンツの中のシーン毎に自動
的に関連付けることができる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像および音声を
含むデータに関連付ける標識データとその加工方法に関
する。
含むデータに関連付ける標識データとその加工方法に関
する。
【０００２】
【従来の技術】地上波や衛星あるいはケーブルを使った
テレビ放送やラジオ放送、昨今ではインターネット上に
存在するホームページといったメディア上で様々な映像
や音声が放送あるいは配信されている。テレビやラジオ
では「放送される映像や音声などの内容そのもの」（こ
れをコンテンツと呼ぶ）は事前にそれを送出する事業者
側で決められている。もちろん季節や、時流、あるいは
その時期、特に人々の関心を惹くことになった事柄を事
業者が敏感に察知することなどで、直前に最も適した送
出内容を選別し、視聴者の好みに合ったコンテンツを送
出することは可能であり、現実に行われている。しかし
ながら、それは不特定多数に存在する視聴者の集団に対
しての好みを推測し、適合させるように選別を行ってい
るのであり、完全な個人に対して、個別な好みや要望に
対して対応しているわけではない。
テレビ放送やラジオ放送、昨今ではインターネット上に
存在するホームページといったメディア上で様々な映像
や音声が放送あるいは配信されている。テレビやラジオ
では「放送される映像や音声などの内容そのもの」（こ
れをコンテンツと呼ぶ）は事前にそれを送出する事業者
側で決められている。もちろん季節や、時流、あるいは
その時期、特に人々の関心を惹くことになった事柄を事
業者が敏感に察知することなどで、直前に最も適した送
出内容を選別し、視聴者の好みに合ったコンテンツを送
出することは可能であり、現実に行われている。しかし
ながら、それは不特定多数に存在する視聴者の集団に対
しての好みを推測し、適合させるように選別を行ってい
るのであり、完全な個人に対して、個別な好みや要望に
対して対応しているわけではない。
【０００３】これに対して最近の蓄積技術の発達と通信
技術の発達を受けて、完全な個人に対して個別な好みに
答えてコンテンツを送出しようという試みがなされるよ
うになってきた。その試みの一つとしてテレビエニータ
イム（ＴＶ Ａｎｙｔｉｍｅ、ＴＶエニータイム）とい
うものがある。このテレビエニータイムについては例え
ば文献１としてあげる「日経エレクトロニクス２００１
年４月２３日号１７３ページ」や文献２としてあげる朝
日新聞ホームページ（ＵＲＬ：「 HYPERLINK "http://w
ww.asahi.com./science/waza/010521.html" http://ww
w.asahi.com./science/waza/010521.html」）などに開
示されている。テレビやラジオ局、スタジオなどに蓄積
されたコンテンツ（これをアーカイブと呼ぶ）が膨大な
量におよんでおり、今後ますます増大し多様化する。ま
た、視聴者の側も例えばスポーツと言っても、国内野球
や相撲と言ったいずれの世代にも人気のあるものから、
米国大リーグやサッカーなど、視聴者の好みも多様化し
ている。そんな中、テレビ局やラジオ局が、視聴者の好
みや要求を的確に推測し、最も適したコンテンツを送出
することは難しい。また視聴者それぞれが好み、要求す
る内容が異なるため、元来、それにあった１００％応え
るコンテンツの送出は無理である。そこでこの技術は、
視聴者がその時の希望にあわせて自由に最適なコンテン
ツを呼び出すために考えられた仕組みであり、現在その
実用化に向けて開発が行われているのである。特にこの
技術はアーカイブデータの中の個別のコンテンツに、映
像・音声情報とは別にその中にどういうシーンを含むか
というテキスト形式のＩＤを付与し、これを使って、視
聴者が好みのコンテンツを選択、呼び出すよう考えられ
ている。（この様な映像あるいは音声などのコンテンツ
本来のデータとは別に付加される、コンテンツに対する
情報を与えるデータのことを「メタデータ」と呼ぶ。）
それについて文献２本文６行目以下では以下の様に開示
されている『例えば、深夜に帰宅して録画したプロ野球
を見る。巨人戦、松井選手の打席はまずチェックした
い。その時は「松井選手の打席だけ集めて見られるよう
にする、そんな仕組みです」と日本テレビの担当者、新
技術調査企画本部の浦野丈治さんは説明する。地上波の
テレビ電波には映像と音声しか含まれていない。しか
し、デジタル放送なら他の情報も電波に乗せられる。日
本でも０３年に地上波デジタル放送が始まる。そこで、
番組と一緒に、「映画」「スポーツ」「ニュース」など
のジャンルや、題名、出演者などの情報も送る。例え
ば、テレビ局が松井選手の打席の映像にＩＤをつけてお
けば、視聴者はその部分だけを選んで集めて見ることが
できる。浦野さんは「ＩＤのつけ方によっては、試合を
ダイジェストにして見るのも簡単」という。』すなわ
ち、自分が視聴したいコンテンツ、シーンをあらわす様
なテキストをキーワードとして送れば、そのキーワード
に該当するテキストデータ（メタデータ）を付与された
画像や音声を選択、返送してくるため、膨大なアーカイ
ブの中から、自分の見たい、聞きたいコンテンツを抽出
してくる作業が非常に、簡単・迅速かつ広範囲に行える
ようになるだろう。
技術の発達を受けて、完全な個人に対して個別な好みに
答えてコンテンツを送出しようという試みがなされるよ
うになってきた。その試みの一つとしてテレビエニータ
イム（ＴＶ Ａｎｙｔｉｍｅ、ＴＶエニータイム）とい
うものがある。このテレビエニータイムについては例え
ば文献１としてあげる「日経エレクトロニクス２００１
年４月２３日号１７３ページ」や文献２としてあげる朝
日新聞ホームページ（ＵＲＬ：「 HYPERLINK "http://w
ww.asahi.com./science/waza/010521.html" http://ww
w.asahi.com./science/waza/010521.html」）などに開
示されている。テレビやラジオ局、スタジオなどに蓄積
されたコンテンツ（これをアーカイブと呼ぶ）が膨大な
量におよんでおり、今後ますます増大し多様化する。ま
た、視聴者の側も例えばスポーツと言っても、国内野球
や相撲と言ったいずれの世代にも人気のあるものから、
米国大リーグやサッカーなど、視聴者の好みも多様化し
ている。そんな中、テレビ局やラジオ局が、視聴者の好
みや要求を的確に推測し、最も適したコンテンツを送出
することは難しい。また視聴者それぞれが好み、要求す
る内容が異なるため、元来、それにあった１００％応え
るコンテンツの送出は無理である。そこでこの技術は、
視聴者がその時の希望にあわせて自由に最適なコンテン
ツを呼び出すために考えられた仕組みであり、現在その
実用化に向けて開発が行われているのである。特にこの
技術はアーカイブデータの中の個別のコンテンツに、映
像・音声情報とは別にその中にどういうシーンを含むか
というテキスト形式のＩＤを付与し、これを使って、視
聴者が好みのコンテンツを選択、呼び出すよう考えられ
ている。（この様な映像あるいは音声などのコンテンツ
本来のデータとは別に付加される、コンテンツに対する
情報を与えるデータのことを「メタデータ」と呼ぶ。）
それについて文献２本文６行目以下では以下の様に開示
されている『例えば、深夜に帰宅して録画したプロ野球
を見る。巨人戦、松井選手の打席はまずチェックした
い。その時は「松井選手の打席だけ集めて見られるよう
にする、そんな仕組みです」と日本テレビの担当者、新
技術調査企画本部の浦野丈治さんは説明する。地上波の
テレビ電波には映像と音声しか含まれていない。しか
し、デジタル放送なら他の情報も電波に乗せられる。日
本でも０３年に地上波デジタル放送が始まる。そこで、
番組と一緒に、「映画」「スポーツ」「ニュース」など
のジャンルや、題名、出演者などの情報も送る。例え
ば、テレビ局が松井選手の打席の映像にＩＤをつけてお
けば、視聴者はその部分だけを選んで集めて見ることが
できる。浦野さんは「ＩＤのつけ方によっては、試合を
ダイジェストにして見るのも簡単」という。』すなわ
ち、自分が視聴したいコンテンツ、シーンをあらわす様
なテキストをキーワードとして送れば、そのキーワード
に該当するテキストデータ（メタデータ）を付与された
画像や音声を選択、返送してくるため、膨大なアーカイ
ブの中から、自分の見たい、聞きたいコンテンツを抽出
してくる作業が非常に、簡単・迅速かつ広範囲に行える
ようになるだろう。
【０００４】
【発明が解決しようとする課題】しかしながらアーカイ
ブの中の映像や音声などに対して、見たい、聞きたいと
いう要望がいつも簡単なテキストであらわすことができ
るとは限らない。視聴者側の要望を単純なテキストで現
すことが難しい場合もあれば、コンテンツの中の特徴的
なシーンを単純なテキストで現すことが難しい場合もあ
る。例えば今週のプロ野球ジャイアンツ松井のホームラ
ンシーンは、「日付」「プロ野球」「セリーグ」「ジャ
イアンツ戦」「松井」「ホームラン」「本塁打」などの
キーワードを使うことで、視聴者の要望も表すこともで
きれば、コンテンツ自身もその中の特徴的なシーンとし
て現すこともできる。またサッカーＪリーグの中田のゴ
ールシーンも「日付」「場所」「サッカー」「Ｊリー
グ」「中田」「ゴール」などのキーワードであらわしメ
タデータとすることができる。しかしながら、例えばサ
ッカーで1対0であった試合の見所はそのたった1点のゴ
ールシーンのみではない。ゴールにいたるまでのシーン
の中に「見所」と思われるところが数多あるであろう
し、ゴールを防いだところにも「見所」は数多くあるだ
ろう。またいずれにも関係しないのだが、喝采が起こ
り、その試合中の大きな見せ場として注意を呼び起こす
シーンは決して少なくないと思われる。ところが、その
ゴールシーン以外の見所を単純なテキストで現し、メタ
データを付与することは容易ではない。例えば「歓声」
などのキーワードをある特定のシーンに付与するとして
も、それを誰がどの様に、どんな基準でどれだけ付与す
るか決めることは大変難しいし自動化もし難い。また、
視聴者の要望の中で「おもしろい」「すごい」「悲し
い」「つらい」「おだやかな」「おちつく」と言った感
覚的なキーワードをメタデータとしてシーンに付与する
ことも非常に難しい。どの様な基準でその様なキーワー
ドを対応させるかという判断が難しいとともに、判定
し、付与する作業に対して、人的労力も時間も要する。
これも自動化が難しい。
ブの中の映像や音声などに対して、見たい、聞きたいと
いう要望がいつも簡単なテキストであらわすことができ
るとは限らない。視聴者側の要望を単純なテキストで現
すことが難しい場合もあれば、コンテンツの中の特徴的
なシーンを単純なテキストで現すことが難しい場合もあ
る。例えば今週のプロ野球ジャイアンツ松井のホームラ
ンシーンは、「日付」「プロ野球」「セリーグ」「ジャ
イアンツ戦」「松井」「ホームラン」「本塁打」などの
キーワードを使うことで、視聴者の要望も表すこともで
きれば、コンテンツ自身もその中の特徴的なシーンとし
て現すこともできる。またサッカーＪリーグの中田のゴ
ールシーンも「日付」「場所」「サッカー」「Ｊリー
グ」「中田」「ゴール」などのキーワードであらわしメ
タデータとすることができる。しかしながら、例えばサ
ッカーで1対0であった試合の見所はそのたった1点のゴ
ールシーンのみではない。ゴールにいたるまでのシーン
の中に「見所」と思われるところが数多あるであろう
し、ゴールを防いだところにも「見所」は数多くあるだ
ろう。またいずれにも関係しないのだが、喝采が起こ
り、その試合中の大きな見せ場として注意を呼び起こす
シーンは決して少なくないと思われる。ところが、その
ゴールシーン以外の見所を単純なテキストで現し、メタ
データを付与することは容易ではない。例えば「歓声」
などのキーワードをある特定のシーンに付与するとして
も、それを誰がどの様に、どんな基準でどれだけ付与す
るか決めることは大変難しいし自動化もし難い。また、
視聴者の要望の中で「おもしろい」「すごい」「悲し
い」「つらい」「おだやかな」「おちつく」と言った感
覚的なキーワードをメタデータとしてシーンに付与する
ことも非常に難しい。どの様な基準でその様なキーワー
ドを対応させるかという判断が難しいとともに、判定
し、付与する作業に対して、人的労力も時間も要する。
これも自動化が難しい。
【０００５】そこで本発明では、従来のメタデータとは
別に、画像や音声などのコンテンツやコンテンツの中の
シーン毎に、それを視聴した人間の生体的反応を自動的
に取りこみ加工して関連付ける標識データを用いること
を考えた。
別に、画像や音声などのコンテンツやコンテンツの中の
シーン毎に、それを視聴した人間の生体的反応を自動的
に取りこみ加工して関連付ける標識データを用いること
を考えた。
【０００６】本発明の目的は、対象となる画像あるいは
音声などに対するその視聴した人間の生体的反応を自動
的に取りこみ加工し標識データとしてそのコンテンツや
コンテンツの中のシーン毎に自動的に関連付けること
で、単純なキーワード付けができないコンテンツやコン
テンツの中のシーンに対して、あいまいだったり感覚的
だったりするキーワードを用いて視聴者が検索、抽出、
呼び出しすることができるようにする標識データを提供
することにある。
音声などに対するその視聴した人間の生体的反応を自動
的に取りこみ加工し標識データとしてそのコンテンツや
コンテンツの中のシーン毎に自動的に関連付けること
で、単純なキーワード付けができないコンテンツやコン
テンツの中のシーンに対して、あいまいだったり感覚的
だったりするキーワードを用いて視聴者が検索、抽出、
呼び出しすることができるようにする標識データを提供
することにある。
【０００７】
【課題を解決するための手段】人間の精神的な活動が様
々な生体的反応に現れることはよく知られている。つま
り全く運動を行わず、静止している人間においてもその
精神活動によって、生体的反応に様々な変化が現れる。
例えば心拍数が増加・減少したり、血圧が増加・減少し
たりする。また脳内の血流量が増加・減少したりして血
行の分布に変化が生じたりする。脳内の神経に電気パル
スが生じたり、その波形が変化したりする。また全身や
特定の部分の発汗が増加・減少したり、筋肉の膨張・収
縮が起こったりもする。目の瞳孔が拡大・収縮したりも
する。また呼吸数、呼吸の深さなどに変化が生じたりも
する。またその顔の表情や四肢の置き方による体位など
にも変化が現れる。
々な生体的反応に現れることはよく知られている。つま
り全く運動を行わず、静止している人間においてもその
精神活動によって、生体的反応に様々な変化が現れる。
例えば心拍数が増加・減少したり、血圧が増加・減少し
たりする。また脳内の血流量が増加・減少したりして血
行の分布に変化が生じたりする。脳内の神経に電気パル
スが生じたり、その波形が変化したりする。また全身や
特定の部分の発汗が増加・減少したり、筋肉の膨張・収
縮が起こったりもする。目の瞳孔が拡大・収縮したりも
する。また呼吸数、呼吸の深さなどに変化が生じたりも
する。またその顔の表情や四肢の置き方による体位など
にも変化が現れる。
【０００８】この様な人間の生体的反応は現在では様々
な機器によって検知、測定することができ、医療や生理
学研究、人間工学、スポーツなどの分野で活用されてい
る。例えば脳内の血流量などはＭＲＩやＳＱＵＩＤなど
の大掛かりな装置によっても測定することはできるが、
最近では赤外線レーザアレイを使ったヘッドギア型の小
さな装置で簡便に測定することができる。この装置には
赤外線半導体レーザと受光センサー（いずれも数ミリ
角）のものが数個〜数十個ヘッドギア内に配置されてい
るのみで、簡単かつ軽量でもあり、価格も安くどこでも
用意に用いることができる。また例えば目の瞳孔の拡大
や収縮などは小型のカメラによって観測可能であり、そ
の拡大収縮などの量についても、カメラに組み合わせた
画像認識システムによって簡単に定量化できる。セキュ
リティ対応のための瞳虹彩認識システムなどはその応用
の範疇であるが既に市販されている。また例えば心拍数
は数ミリ角の小さなセンサーで常時リアルタイムに検知
しつづけることが可能であるし、血圧測定も一般の人が
毎日の健康チェックに用いるために既に頻繁に用いられ
ており、現在では一本の指をリングに通すだけで数十秒
で測定を行うことができる。
な機器によって検知、測定することができ、医療や生理
学研究、人間工学、スポーツなどの分野で活用されてい
る。例えば脳内の血流量などはＭＲＩやＳＱＵＩＤなど
の大掛かりな装置によっても測定することはできるが、
最近では赤外線レーザアレイを使ったヘッドギア型の小
さな装置で簡便に測定することができる。この装置には
赤外線半導体レーザと受光センサー（いずれも数ミリ
角）のものが数個〜数十個ヘッドギア内に配置されてい
るのみで、簡単かつ軽量でもあり、価格も安くどこでも
用意に用いることができる。また例えば目の瞳孔の拡大
や収縮などは小型のカメラによって観測可能であり、そ
の拡大収縮などの量についても、カメラに組み合わせた
画像認識システムによって簡単に定量化できる。セキュ
リティ対応のための瞳虹彩認識システムなどはその応用
の範疇であるが既に市販されている。また例えば心拍数
は数ミリ角の小さなセンサーで常時リアルタイムに検知
しつづけることが可能であるし、血圧測定も一般の人が
毎日の健康チェックに用いるために既に頻繁に用いられ
ており、現在では一本の指をリングに通すだけで数十秒
で測定を行うことができる。
【０００９】上記にあげた例に代表される人間の生体的
反応はもちろん身体を動かす運動や作業によって変化が
もたらされることが多い。しかしそれのみならず、全く
運動や作業を行わない場合にも生体的反応に変化は生ず
る。すなわち精神的な活動が生体的反応に変化を生じせ
しめる。その精神的な活動の種類には意識的なものもあ
れば無意識的なものもある。能動的なものもあれば受動
的なものもある。身体の大きな動作は行わずとも、外部
から五感を通じて取り入れた情報に対して精神的な活動
に対して変化・反応が現れることは非常に一般的であ
る。またその精神的な変化・反応は生体的反応を引き起
こす。例えば驚きや興奮などは、どの生体的反応にも影
響を与え、心拍数を増加させたり、血圧を上げたりし、
瞬間的に瞳孔を収縮させたり手のひらの発汗を増大させ
たりもする、また当然脳内の特定の部位の血流量や電流
などの変化を生じさせることになる。
反応はもちろん身体を動かす運動や作業によって変化が
もたらされることが多い。しかしそれのみならず、全く
運動や作業を行わない場合にも生体的反応に変化は生ず
る。すなわち精神的な活動が生体的反応に変化を生じせ
しめる。その精神的な活動の種類には意識的なものもあ
れば無意識的なものもある。能動的なものもあれば受動
的なものもある。身体の大きな動作は行わずとも、外部
から五感を通じて取り入れた情報に対して精神的な活動
に対して変化・反応が現れることは非常に一般的であ
る。またその精神的な変化・反応は生体的反応を引き起
こす。例えば驚きや興奮などは、どの生体的反応にも影
響を与え、心拍数を増加させたり、血圧を上げたりし、
瞬間的に瞳孔を収縮させたり手のひらの発汗を増大させ
たりもする、また当然脳内の特定の部位の血流量や電流
などの変化を生じさせることになる。
【００１０】人間が映像や音声などによるコンテンツを
視聴しているとき、その映像や音声が刺激となって視聴
者に精神的な反応あるいは活動が生ずる。もとより視聴
者は感動や感激、安らぎやおかしさ、おもしろさを求め
てコンテンツを視聴するのであるから、その結果精神的
な反応、活動が生ずるのは当然でもある。
視聴しているとき、その映像や音声が刺激となって視聴
者に精神的な反応あるいは活動が生ずる。もとより視聴
者は感動や感激、安らぎやおかしさ、おもしろさを求め
てコンテンツを視聴するのであるから、その結果精神的
な反応、活動が生ずるのは当然でもある。
【００１１】すなわちあるコンテンツが視聴者に感動や
感激、安らぎやおかしさ、面白さをどれだけ与えるか、
またそのコンテンツのどの部分、どのシーンが視聴者に
感動や感激、安らぎやおかしさ、面白さをどれだけ与え
るかということを、そのコンテンツに対する視聴者の一
種の評価とすることができる。そしてその評価を、視聴
者の精神的な反応・活動が反映された、視聴者の生体的
反応として情報収集することができる。そして、収集さ
れた生体的反応を的確な形のデータに加工してから、そ
のコンテンツあるいはコンテンツ中のシーンと関連付け
て保存しておけば、このデータを利用することにより、
膨大な量が蓄積されているアーカイブの中から、視聴者
の欲求に応じたコンテンツを的確に検索し、選択できる
ようになる。
感激、安らぎやおかしさ、面白さをどれだけ与えるか、
またそのコンテンツのどの部分、どのシーンが視聴者に
感動や感激、安らぎやおかしさ、面白さをどれだけ与え
るかということを、そのコンテンツに対する視聴者の一
種の評価とすることができる。そしてその評価を、視聴
者の精神的な反応・活動が反映された、視聴者の生体的
反応として情報収集することができる。そして、収集さ
れた生体的反応を的確な形のデータに加工してから、そ
のコンテンツあるいはコンテンツ中のシーンと関連付け
て保存しておけば、このデータを利用することにより、
膨大な量が蓄積されているアーカイブの中から、視聴者
の欲求に応じたコンテンツを的確に検索し、選択できる
ようになる。
【００１２】この様に、あるコンテンツに対する視聴者
の評価を、その精神的反応・活動の結果現れる生体的反
応として情報収集し、加工してもとのシーン、コンテン
ツに関連付けされたデータとし、検索に利用する。この
時この作製されたデータが視聴者の反応を評価し、ひい
てはそのシーン、コンテンツの評価としており、また元
のシーン、コンテンツに個別の標識（タグ）として関連
付けられていることから、このデータのことをアプレイ
ズドレスポンスタグ（Appraised Response Tag）略して
ＡＲタグと呼ぶことにする（Appraised：アプレイズド
とは〈人・能力などを〉評価する;〈状況などを〉認識
する という意味である。）。
の評価を、その精神的反応・活動の結果現れる生体的反
応として情報収集し、加工してもとのシーン、コンテン
ツに関連付けされたデータとし、検索に利用する。この
時この作製されたデータが視聴者の反応を評価し、ひい
てはそのシーン、コンテンツの評価としており、また元
のシーン、コンテンツに個別の標識（タグ）として関連
付けられていることから、このデータのことをアプレイ
ズドレスポンスタグ（Appraised Response Tag）略して
ＡＲタグと呼ぶことにする（Appraised：アプレイズド
とは〈人・能力などを〉評価する;〈状況などを〉認識
する という意味である。）。
【００１３】以下、以上の考察から導かれた本発明につ
いて説明する。
いて説明する。
【００１４】本発明におけるＡＲタグは目的とする画像
あるいは音声などに対するその視聴した人間の生体的反
応を加工し、その画像あるいは音声に関連付けたことを
特徴とする画像および音声データに対する標識データで
ある。
あるいは音声などに対するその視聴した人間の生体的反
応を加工し、その画像あるいは音声に関連付けたことを
特徴とする画像および音声データに対する標識データで
ある。
【００１５】また本発明におけるＡＲタグは、目的とす
る画像あるいは音声などに対するその視聴した人間の生
体的反応を、その視聴した人間の感情的反応に関連付け
て加工し、その画像あるいは音声に関連付けたことを特
徴とする画像および音声データに対する標識データであ
る。
る画像あるいは音声などに対するその視聴した人間の生
体的反応を、その視聴した人間の感情的反応に関連付け
て加工し、その画像あるいは音声に関連付けたことを特
徴とする画像および音声データに対する標識データであ
る。
【００１６】また本発明におけるＡＲタグは、目的とす
る画像あるいは音声などに対するその視聴した人間の生
体的反応と、既にその目的とする画像あるいは音声など
のデータに関連付けられている既存の標識データとを共
に利用して加工し、あらたにその画像あるいは音声に関
連付けたことを特徴とする画像および音声データに対す
る標識データである。
る画像あるいは音声などに対するその視聴した人間の生
体的反応と、既にその目的とする画像あるいは音声など
のデータに関連付けられている既存の標識データとを共
に利用して加工し、あらたにその画像あるいは音声に関
連付けたことを特徴とする画像および音声データに対す
る標識データである。
【００１７】また本発明におけるＡＲタグは、目的とす
る画像あるいは音声などに対するその視聴した人間の生
体的反応を、目的とする画像あるいは音声の連続する任
意のデータ断片に対して関連付けたことを特徴とする画
像および音声データに対する標識データである。
る画像あるいは音声などに対するその視聴した人間の生
体的反応を、目的とする画像あるいは音声の連続する任
意のデータ断片に対して関連付けたことを特徴とする画
像および音声データに対する標識データである。
【００１８】また本発明は、目的とする画像あるいは音
声などに対するその視聴した人間の生体的反応を加工
し、その画像あるいは音声に関連付けることを特徴とす
る画像および音声データに対する標識データの加工方法
である。
声などに対するその視聴した人間の生体的反応を加工
し、その画像あるいは音声に関連付けることを特徴とす
る画像および音声データに対する標識データの加工方法
である。
【００１９】また本発明は、目的とする画像あるいは音
声などに対するその視聴した人間の生体的反応を、その
視聴した人間の感情的反応に関連付けて加工し、その画
像あるいは音声に関連付けることを特徴とする画像およ
び音声データに対する標識データの加工方法である。
声などに対するその視聴した人間の生体的反応を、その
視聴した人間の感情的反応に関連付けて加工し、その画
像あるいは音声に関連付けることを特徴とする画像およ
び音声データに対する標識データの加工方法である。
【００２０】また本発明は、目的とする画像あるいは音
声などに対するその視聴した人間の生体的反応と、既に
その目的とする画像あるいは音声などのデータに関連付
けられている既存の標識データとを共に利用して加工
し、あらたにその画像あるいは音声に関連付けらること
を特徴とする画像および音声データに対する標識データ
の加工方法である。
声などに対するその視聴した人間の生体的反応と、既に
その目的とする画像あるいは音声などのデータに関連付
けられている既存の標識データとを共に利用して加工
し、あらたにその画像あるいは音声に関連付けらること
を特徴とする画像および音声データに対する標識データ
の加工方法である。
【００２１】また本発明は、目的とする画像あるいは音
声などに対するその視聴した人間の生体的反応を、目的
とする画像あるいは音声の連続する任意の断片に対して
関連付けることを特徴とする画像および音声データに対
する標識データの加工方法である。
声などに対するその視聴した人間の生体的反応を、目的
とする画像あるいは音声の連続する任意の断片に対して
関連付けることを特徴とする画像および音声データに対
する標識データの加工方法である。
【００２２】また本発明におけるＡＲタグは、関連付け
に用いた生体的反応を発生した個人を識別できることを
特徴とする画像および音声データに対する標識データで
ある。
に用いた生体的反応を発生した個人を識別できることを
特徴とする画像および音声データに対する標識データで
ある。
【００２３】
【発明の実施の形態】（第１の実施形態）次に本発明に
おける人間の生体的反応を加工し、目的とする画像ある
いは音声に関連付けた標識であるＡＲタグの作製と利用
に関する実施の形態について図を参照しながら説明す
る。
おける人間の生体的反応を加工し、目的とする画像ある
いは音声に関連付けた標識であるＡＲタグの作製と利用
に関する実施の形態について図を参照しながら説明す
る。
【００２４】図１は、本発明の第１の実施形態に係るＡ
Ｒタグの作製の手順についてあらわした関係図である。
先ず目的とする映像あるいは音声１１が存在する。この
映像あるいは音声１１は撮影したり録音したり複写した
りすることで記録可能なあらゆる種類の事象であり、現
在進行中の事象そのものでもよいし、既に撮影あるいは
録音あるいは複写された後に、再生、再現されている事
象でもよい。その様な事象には例えば通常テレビあるい
はビデオや映画などで放映されているもので代表される
様々な内容のものがあり、例えば自然現象、スポーツ、
ドラマ、バラエティ、事件報道、講義、会見、コンサー
ト、実況放送、実録報道、演芸などがあげられる。また
これは音声のみのものでもよく、例えばラジオ、ＣＤ、
カセットテープなどで聞くことのできるもので代表され
る様々な内容のものがあり、例えば自然現象、音楽曲や
ドラマ、バラエティ、事件報道、講義、会見、コンサー
ト、実況放送、実録報道、演芸などがある。これを反応
提供者１２が見たり、聞いたりした場合、反応提供者の
生体的情報にそれらの映像あるいは音声に対する反応が
現れる。
Ｒタグの作製の手順についてあらわした関係図である。
先ず目的とする映像あるいは音声１１が存在する。この
映像あるいは音声１１は撮影したり録音したり複写した
りすることで記録可能なあらゆる種類の事象であり、現
在進行中の事象そのものでもよいし、既に撮影あるいは
録音あるいは複写された後に、再生、再現されている事
象でもよい。その様な事象には例えば通常テレビあるい
はビデオや映画などで放映されているもので代表される
様々な内容のものがあり、例えば自然現象、スポーツ、
ドラマ、バラエティ、事件報道、講義、会見、コンサー
ト、実況放送、実録報道、演芸などがあげられる。また
これは音声のみのものでもよく、例えばラジオ、ＣＤ、
カセットテープなどで聞くことのできるもので代表され
る様々な内容のものがあり、例えば自然現象、音楽曲や
ドラマ、バラエティ、事件報道、講義、会見、コンサー
ト、実況放送、実録報道、演芸などがある。これを反応
提供者１２が見たり、聞いたりした場合、反応提供者の
生体的情報にそれらの映像あるいは音声に対する反応が
現れる。
【００２５】なおこの反応提供者１２はこのＡＲタグ作
製のためにその事象１１の視聴に対する生体的反応のデ
ータを提供してくれる個人あるいは複数の人間であり、
特にその目的で用意した人でも良く、たまたま何の目的
もなくその映像あるいは音声を視聴した人でもよい。あ
るいはこの事象１１の映像あるいは音声を撮影あるいは
録音している撮影者や録音者でもよく、またこの映像あ
るいは音声を再生、編集、加工している作業者であって
もよい。またこの映像あるいは音声の事象が発生してい
るときにその事象を実行、構成、形成している本人であ
ってもよい。またコンテンツを利用している特定あるい
は不特定多数の視聴者やその集合であってもよい。
製のためにその事象１１の視聴に対する生体的反応のデ
ータを提供してくれる個人あるいは複数の人間であり、
特にその目的で用意した人でも良く、たまたま何の目的
もなくその映像あるいは音声を視聴した人でもよい。あ
るいはこの事象１１の映像あるいは音声を撮影あるいは
録音している撮影者や録音者でもよく、またこの映像あ
るいは音声を再生、編集、加工している作業者であって
もよい。またこの映像あるいは音声の事象が発生してい
るときにその事象を実行、構成、形成している本人であ
ってもよい。またコンテンツを利用している特定あるい
は不特定多数の視聴者やその集合であってもよい。
【００２６】データコレクタ１３は反応提供者１２が発
生する一種類あるいは複数種類の生体的反応のデータを
収集記録する装置であり、生体的反応を感知するための
部分とその感知したデータを一時的に保存する部分、次
の工程にあるプロセサ１４に送る部分などから構成され
るが、それぞれが組み合わさって一個の装置として形を
なしたものであってもよいし、機能別に個別な装置が通
信手段によって結合されているものでもよい。その様な
例としては例えば、反応提供者に装着した脈拍計や血圧
計、脳内電流測定装置、筋電流計などを包含した装置、
あるいは反応提供者の近傍に設置した瞳撮影用カメラ、
表情撮影用カメラなど直接反応提供者に装着しないデー
タ収集装置を包含した装置でもよい。
生する一種類あるいは複数種類の生体的反応のデータを
収集記録する装置であり、生体的反応を感知するための
部分とその感知したデータを一時的に保存する部分、次
の工程にあるプロセサ１４に送る部分などから構成され
るが、それぞれが組み合わさって一個の装置として形を
なしたものであってもよいし、機能別に個別な装置が通
信手段によって結合されているものでもよい。その様な
例としては例えば、反応提供者に装着した脈拍計や血圧
計、脳内電流測定装置、筋電流計などを包含した装置、
あるいは反応提供者の近傍に設置した瞳撮影用カメラ、
表情撮影用カメラなど直接反応提供者に装着しないデー
タ収集装置を包含した装置でもよい。
【００２７】またデータコレクタ１３は特に生体的反応
データの収集記録伝達専用の装置であってもよいが、そ
の他の機能との複合的な装置であってもよい。例えば映
像あるいは音声などの事象１１そのものを記録するため
の撮影装置、録音装置、録画装置と生体的反応の収集装
置との複合した装置であってもよい。その様な例として
例えば野球中継を撮影しているカメラマンとその周辺に
ある機器などを考えることができる。この場合映像およ
び音声１１は実際に目の前で行われている野球の試合で
ある。また反応提供者１２はカメラマンである。データ
コレクタ１３はカメラでありそのカメラにカメラマンの
生体的反応を感知する機能を持った装置やその収集した
生体的反応を記録あるいは他へ中継する装置が付加され
ている。あるいはこのデータコレクタ１３は映像あるい
は音声などの事象１１を記録するカメラとカメラマンの
生体的反応を感知し収集記録する装置とを通信手段によ
って結んだものでもよい。
データの収集記録伝達専用の装置であってもよいが、そ
の他の機能との複合的な装置であってもよい。例えば映
像あるいは音声などの事象１１そのものを記録するため
の撮影装置、録音装置、録画装置と生体的反応の収集装
置との複合した装置であってもよい。その様な例として
例えば野球中継を撮影しているカメラマンとその周辺に
ある機器などを考えることができる。この場合映像およ
び音声１１は実際に目の前で行われている野球の試合で
ある。また反応提供者１２はカメラマンである。データ
コレクタ１３はカメラでありそのカメラにカメラマンの
生体的反応を感知する機能を持った装置やその収集した
生体的反応を記録あるいは他へ中継する装置が付加され
ている。あるいはこのデータコレクタ１３は映像あるい
は音声などの事象１１を記録するカメラとカメラマンの
生体的反応を感知し収集記録する装置とを通信手段によ
って結んだものでもよい。
【００２８】データコレクタ１３の次の工程にあるプロ
セサ１４は収集された一人あるいは複数人数の反応提供
者が発生する一種類あるいは複数種類の生体的反応を適
当な形に加工しＡＲデータとする装置であり、またもと
の事象の映像あるいは音声１１の対応するシーン、コン
テンツなどに関連付けしていく作業を行う装置でもあ
る。加工の方法は様々あり、複数の生体的反応のデータ
を単純に加算してから規格化してもよいし、複数あるデ
ータの種類に応じて重み付けを行い、ある関数に基づい
て演算を行ってもよい。そのデータの大きさも様々考え
られ、通常数ビット〜１０数ビット前後と考えられる。
またその様なビット数のデータを複数個備えて一つのＡ
Ｒタグとしてもよく、ＡＲタグ同士の結合をまた新たな
ＡＲタグとしてもよい。また反応提供者１２を識別し、
その情報もＡＲタグにとりこんでもよいし、ＡＲタグと
は別にメタデータとしてもよい。
セサ１４は収集された一人あるいは複数人数の反応提供
者が発生する一種類あるいは複数種類の生体的反応を適
当な形に加工しＡＲデータとする装置であり、またもと
の事象の映像あるいは音声１１の対応するシーン、コン
テンツなどに関連付けしていく作業を行う装置でもあ
る。加工の方法は様々あり、複数の生体的反応のデータ
を単純に加算してから規格化してもよいし、複数あるデ
ータの種類に応じて重み付けを行い、ある関数に基づい
て演算を行ってもよい。そのデータの大きさも様々考え
られ、通常数ビット〜１０数ビット前後と考えられる。
またその様なビット数のデータを複数個備えて一つのＡ
Ｒタグとしてもよく、ＡＲタグ同士の結合をまた新たな
ＡＲタグとしてもよい。また反応提供者１２を識別し、
その情報もＡＲタグにとりこんでもよいし、ＡＲタグと
は別にメタデータとしてもよい。
【００２９】加工され生成されたＡＲタグは元の事象の
映像あるいは音声１１と関連付けられるが、その関連付
けはコンテンツ全体に対してでもよいし、コンテンツ中
のあるシーンに対してでもよく、あるいはそのシーンの
中のより短い単位やフレームであってもよい。ただしそ
れぞれにおいてＡＲタグとその関連付けられる部分の位
置情報は合致している。つまり、コンテンツ全体に関連
付けられたＡＲタグはそのコンテンツ全体に対する評価
として加工され生成されており、あるシーン毎に関連付
けられたＡＲタグはそのシーン毎に対する評価として加
工され生成されている必要がある。その様子を概念的に
図３に示してある。すなわちコンテンツそのものの全体
データ３０に対して一つあるいは複数個のＡＲタグを関
連付けることができる。この場合のＡＲタグはコンテン
ツ全体に対する評価として加工、生成されている。また
コンテンツの中の断片である、あるシーン３１に対して
も一つあるいは複数個のＡＲタグを関連付けることがで
き、また更に短い断片３２に対しても同様である。
映像あるいは音声１１と関連付けられるが、その関連付
けはコンテンツ全体に対してでもよいし、コンテンツ中
のあるシーンに対してでもよく、あるいはそのシーンの
中のより短い単位やフレームであってもよい。ただしそ
れぞれにおいてＡＲタグとその関連付けられる部分の位
置情報は合致している。つまり、コンテンツ全体に関連
付けられたＡＲタグはそのコンテンツ全体に対する評価
として加工され生成されており、あるシーン毎に関連付
けられたＡＲタグはそのシーン毎に対する評価として加
工され生成されている必要がある。その様子を概念的に
図３に示してある。すなわちコンテンツそのものの全体
データ３０に対して一つあるいは複数個のＡＲタグを関
連付けることができる。この場合のＡＲタグはコンテン
ツ全体に対する評価として加工、生成されている。また
コンテンツの中の断片である、あるシーン３１に対して
も一つあるいは複数個のＡＲタグを関連付けることがで
き、また更に短い断片３２に対しても同様である。
【００３０】ある場合、生成されたＡＲデータはもとの
事象の映像あるいは音声１１の記録データそのものに付
加される。それにより、ＡＲデータが付加された元の事
象の映像あるいは音声１１の記録データであるところの
タグ付データ１５ができる。このデータはある蓄積メデ
ィア１６に蓄積され保存されるが、この蓄積メディア１
６はコンピュータ上のシステムに付属するデータベース
でも良いし、それらを含むサーバーやゲートウェーでも
よい。また家庭内の家電機器におけるビデオやオーディ
オにあたる蓄積メディアを持った映像あるいは音声再生
装置、送出装置でもよい。またＤＶＤなどの光記録媒体
やＶＨＳビデオテープなどの磁気記録媒体、あるいはフ
ラッシュメモリなどによる固体メモリなどで代表され
る、手軽に搬送可能な記憶媒体でもよい。
事象の映像あるいは音声１１の記録データそのものに付
加される。それにより、ＡＲデータが付加された元の事
象の映像あるいは音声１１の記録データであるところの
タグ付データ１５ができる。このデータはある蓄積メデ
ィア１６に蓄積され保存されるが、この蓄積メディア１
６はコンピュータ上のシステムに付属するデータベース
でも良いし、それらを含むサーバーやゲートウェーでも
よい。また家庭内の家電機器におけるビデオやオーディ
オにあたる蓄積メディアを持った映像あるいは音声再生
装置、送出装置でもよい。またＤＶＤなどの光記録媒体
やＶＨＳビデオテープなどの磁気記録媒体、あるいはフ
ラッシュメモリなどによる固体メモリなどで代表され
る、手軽に搬送可能な記憶媒体でもよい。
【００３１】またある場合、生成されたＡＲタグは元の
事象の映像あるいは音声１１などのコンテンツ記録デー
タそのものであるデータ１７とは別に保存されてもよ
い。データ１７がある蓄積メディアに１８に記録される
一方、ＡＲタグ１９は同じ蓄積メディア１８に蓄積され
てもよいが、全く別の蓄積メディア２０に保存されても
よい。この場合データ１７とＡＲタグ１９が分離してい
ることが前述の場合と異なる。分離し別々の場所に保管
されていてもＡＲタグ１９が元のデータ１７に関係付け
られ、保存場所を特定できる。ＡＲタグ自身が元のデー
タ１７の保存場所を特定できなくても、元のデータ１７
と、その関係付けられたＡＲタグ１９の保存場所をデー
タベース化して、別の場所２１で持っておいてもよい。
蓄積メディア１８と蓄積メディア２０はコンピュータ上
のシステムに付属するデータベースでも良いし、サーバ
ーやゲートウェーでもよい。また家庭内の家電機器にお
けるビデオやオーディオにあたる蓄積メディアを持った
映像あるいは音声再生装置、送出装置でもよい。またＤ
ＶＤやＶＨＳビデオテープ、あるいはフラッシュメモリ
などによる固体メモリの様な手軽に搬送可能な記憶媒体
でもよい。
事象の映像あるいは音声１１などのコンテンツ記録デー
タそのものであるデータ１７とは別に保存されてもよ
い。データ１７がある蓄積メディアに１８に記録される
一方、ＡＲタグ１９は同じ蓄積メディア１８に蓄積され
てもよいが、全く別の蓄積メディア２０に保存されても
よい。この場合データ１７とＡＲタグ１９が分離してい
ることが前述の場合と異なる。分離し別々の場所に保管
されていてもＡＲタグ１９が元のデータ１７に関係付け
られ、保存場所を特定できる。ＡＲタグ自身が元のデー
タ１７の保存場所を特定できなくても、元のデータ１７
と、その関係付けられたＡＲタグ１９の保存場所をデー
タベース化して、別の場所２１で持っておいてもよい。
蓄積メディア１８と蓄積メディア２０はコンピュータ上
のシステムに付属するデータベースでも良いし、サーバ
ーやゲートウェーでもよい。また家庭内の家電機器にお
けるビデオやオーディオにあたる蓄積メディアを持った
映像あるいは音声再生装置、送出装置でもよい。またＤ
ＶＤやＶＨＳビデオテープ、あるいはフラッシュメモリ
などによる固体メモリの様な手軽に搬送可能な記憶媒体
でもよい。
【００３２】（第２の実施形態）次に本発明におけるＡ
Ｒタグ利用に関する実施の形態について図を参照しなが
ら説明する。
Ｒタグ利用に関する実施の形態について図を参照しなが
ら説明する。
【００３３】図２は、本発明におけるＡＲタグの利用方
法についてあらわした関係図である。一般の視聴者２２
は通常テレビやラジオ、インターネットを視聴する不特
定の人間であり、誰であってもよい。この一般視聴者２
２は自分が視聴したいと想像するシーンやコンテンツを
あらわす１個あるいは複数個のキーワードをプロセサ２
３に対して送る。このプロセサ２３はコンピュータ上の
システムに付属するデータベースでも良いし、それらを
含むサーバーやゲートウェーでもよい。また家庭内の家
電機器におけるビデオやオーディオにあたる蓄積メディ
アを持った映像あるいは音声再生装置、送出装置でもよ
い。またＤＶＤなどの光記録媒体やＶＨＳビデオテープ
などの磁気記録媒体、あるいはフラッシュメモリなどに
よる固体メモリなどで代表される、手軽に搬送可能な記
憶媒体でもよい。さてこのプロセサ２３に送られたその
キーワードが「場所」「時間」「人」「現象」「出来
事」などで代表される具体的なものであり、簡単なテキ
ストで表現可能である場合は、先ずそのコンテンツやシ
ーンに対して既存の技術で分類、標識付けされているメ
タデータを利用して検索、選択する。更にキーワードが
「おもしろい」「楽しい」「悲しい」「感動する」「感
激する」「おかしい」「落ち着く」「なごむ」などあい
まいな言葉であったり、感覚的な言葉であった場合、プ
ロセサ２３はＡＲタグを使って、その要望を満足させる
ことのできるアーカイブデータを検索する。このときプ
ロセサ２３は、蓄積メディア２４の中に蓄積されている
ＡＲタグのついた映像や音声のコンテンツファイルを、
データにつけられたＡＲタグを頼りに検索し、選択して
一般視聴者２２に届ける。この時プロセサ２３はＡＲタ
グを付与されたタグ付データを直接検索してもよい。ま
たプロセサ２３は蓄積メディア２６中に蓄積されたＡＲ
タグであるタグ２７を検索し、その結果から蓄積メディ
ア２８上にあるもとの映像あるいや音声のデータ２９を
呼び出し、取り出してきて一般視聴者２２に送ってもよ
い。
法についてあらわした関係図である。一般の視聴者２２
は通常テレビやラジオ、インターネットを視聴する不特
定の人間であり、誰であってもよい。この一般視聴者２
２は自分が視聴したいと想像するシーンやコンテンツを
あらわす１個あるいは複数個のキーワードをプロセサ２
３に対して送る。このプロセサ２３はコンピュータ上の
システムに付属するデータベースでも良いし、それらを
含むサーバーやゲートウェーでもよい。また家庭内の家
電機器におけるビデオやオーディオにあたる蓄積メディ
アを持った映像あるいは音声再生装置、送出装置でもよ
い。またＤＶＤなどの光記録媒体やＶＨＳビデオテープ
などの磁気記録媒体、あるいはフラッシュメモリなどに
よる固体メモリなどで代表される、手軽に搬送可能な記
憶媒体でもよい。さてこのプロセサ２３に送られたその
キーワードが「場所」「時間」「人」「現象」「出来
事」などで代表される具体的なものであり、簡単なテキ
ストで表現可能である場合は、先ずそのコンテンツやシ
ーンに対して既存の技術で分類、標識付けされているメ
タデータを利用して検索、選択する。更にキーワードが
「おもしろい」「楽しい」「悲しい」「感動する」「感
激する」「おかしい」「落ち着く」「なごむ」などあい
まいな言葉であったり、感覚的な言葉であった場合、プ
ロセサ２３はＡＲタグを使って、その要望を満足させる
ことのできるアーカイブデータを検索する。このときプ
ロセサ２３は、蓄積メディア２４の中に蓄積されている
ＡＲタグのついた映像や音声のコンテンツファイルを、
データにつけられたＡＲタグを頼りに検索し、選択して
一般視聴者２２に届ける。この時プロセサ２３はＡＲタ
グを付与されたタグ付データを直接検索してもよい。ま
たプロセサ２３は蓄積メディア２６中に蓄積されたＡＲ
タグであるタグ２７を検索し、その結果から蓄積メディ
ア２８上にあるもとの映像あるいや音声のデータ２９を
呼び出し、取り出してきて一般視聴者２２に送ってもよ
い。
【００３４】またあるいはプロセサ２３自身がタグ付デ
ータ２５やタグ２７に関するデータベースを備えたサー
バであり、そのデータベースからタグ付データ２５を取
り出して来て一般視聴者２２に送ってもよいし、またそ
のデータベースからタグ２７を取りだし、そのタグ２７
からデータ２９を選択して一般視聴者２２に送ってもよ
い。
ータ２５やタグ２７に関するデータベースを備えたサー
バであり、そのデータベースからタグ付データ２５を取
り出して来て一般視聴者２２に送ってもよいし、またそ
のデータベースからタグ２７を取りだし、そのタグ２７
からデータ２９を選択して一般視聴者２２に送ってもよ
い。
【００３５】一般視聴者２２に送られた後のＡＲタグは
そのままの状態であってもよいが、今、一般視聴者２２
の検索要求に該当したという履歴を新たに取りこんで、
プロセサ２３によって加工されてもよい。すなわち図２
で表されるこのＡＲタグによる検索利用を、図１で説明
したＡＲタグ生成のスタートとして、再利用してもよ
い。またその検索要求のあった一般視聴者２２を識別
し、その情報もあらたにＡＲデータとして取りこんでも
よい。
そのままの状態であってもよいが、今、一般視聴者２２
の検索要求に該当したという履歴を新たに取りこんで、
プロセサ２３によって加工されてもよい。すなわち図２
で表されるこのＡＲタグによる検索利用を、図１で説明
したＡＲタグ生成のスタートとして、再利用してもよ
い。またその検索要求のあった一般視聴者２２を識別
し、その情報もあらたにＡＲデータとして取りこんでも
よい。
【００３６】
【発明の効果】本発明におけるＡＲタグを用いることに
より、 映像や音声などの蓄積情報の中から、本来、具
体的なキーワードでは定義することが難しく、しかしな
がら印象や感覚的なキーワードでは標識付けが現実的に
難しいために的確な検索ができなかった事象について、
その検索の手がかりとなる標識タグを自動的に生成、関
係付けることができるようになり、その結果簡単に、速
く検索することが可能になる。
より、 映像や音声などの蓄積情報の中から、本来、具
体的なキーワードでは定義することが難しく、しかしな
がら印象や感覚的なキーワードでは標識付けが現実的に
難しいために的確な検索ができなかった事象について、
その検索の手がかりとなる標識タグを自動的に生成、関
係付けることができるようになり、その結果簡単に、速
く検索することが可能になる。
【図１】本発明の第１の実施形態に係るＡＲタグの作製
の手順についてあらわした関係図
の手順についてあらわした関係図
【図２】本発明の第１の実施形態に係るＡＲタグの利用
に関する実施の手順についてあらわした関係図
に関する実施の手順についてあらわした関係図
【図３】本発明の第２の実施形態にＡＲタグの付与の方
法について示した模式図
法について示した模式図
１１ 映像・音声を含む事象
１２ 反応提供者
１３ データコレクタ
１４ プロセサ
１５ タグ付コンテンツデータ
１６ 蓄積メディア
１７ コンテンツデータ
１８ 蓄積メディア
１９ ＡＲタグ
２０ 蓄積メディア
２１ データベースあるいはサーバ
２２ 一般視聴者
２３ プロセサ
２４ 蓄積メディア
２５ タグ付コンテンツデータ
２６ 蓄積メディア
２７ ＡＲタグ
２８ 蓄積メディア
２９ コンテンツデータ
３０ コンテンツデータ全体
３１ コンテンツデータの断片（シーン）
３２ コンテンツデータの断片（フレーム）
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/08 Ｈ０４Ｎ 7/08 Ｚ
7/081
Claims (9)
- 【請求項１】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を加工し、その画像あ
るいは音声に関連付けたことを特徴とする画像、音声デ
ータへの付加用標識データ。 - 【請求項２】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を、その視聴した人間
の感情的反応に関連付けて加工し、その画像あるいは音
声に関連付けたことを特徴とする請求項１に記載の画
像、音声データへの付加用標識データ。 - 【請求項３】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応と、既にその目的とす
る画像あるいは音声などのデータに関連付けられている
既存の標識データとを共に利用して加工し、あらたにそ
の画像あるいは音声に関連付けたことを特徴とする請求
項１又は２に記載の画像、音声データへの付加用標識デ
ータ。 - 【請求項４】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を、目的とする画像あ
るいは音声の連続する任意のデータ断片に対して関連付
けたことを特徴とする請求項１から３のいずれかに記載
の画像、音声データへの付加用標識データ。 - 【請求項５】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を加工し、その画像あ
るいは音声に関連付けることを特徴とする画像、音声デ
ータへの付加用標識データの付加方法。 - 【請求項６】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を、その視聴した人間
の感情的反応に関連付けて加工し、その画像あるいは音
声に関連付けることを特徴とする請求項５に記載の画
像、音声データへの付加用標識データの付加方法。 - 【請求項７】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応と、既にその目的とす
る画像あるいは音声などのデータに関連付けられている
既存の標識データとを共に利用して加工し、あらたにそ
の画像あるいは音声に関連付けることを特徴とする請求
項５又は６に記載の画像、音声データへの付加用標識デ
ータの付加方法。 - 【請求項８】 目的とする画像あるいは音声などに対す
るその視聴した人間の生体的反応を、目的とする画像あ
るいは音声の連続する任意の断片に対して関連付けるこ
とを特徴とする請求項５から７のいずれかに記載の画
像、音声データへの付加用標識データの付加方法。 - 【請求項９】 請求項１、２、３、４記載の標識データ
において、関連付けに用いた生体的反応を発生した個人
を識別できることを特徴とする請求項１から４のいずれ
かに記載の画像、音声データへの付加用標識データ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001378313A JP2003178078A (ja) | 2001-12-12 | 2001-12-12 | 画像、音声データへの付加用標識データとその付加方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001378313A JP2003178078A (ja) | 2001-12-12 | 2001-12-12 | 画像、音声データへの付加用標識データとその付加方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003178078A true JP2003178078A (ja) | 2003-06-27 |
Family
ID=19186072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001378313A Pending JP2003178078A (ja) | 2001-12-12 | 2001-12-12 | 画像、音声データへの付加用標識データとその付加方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003178078A (ja) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005346471A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 情報処理方法、情報処理装置 |
| JP2006050164A (ja) * | 2004-08-03 | 2006-02-16 | Olympus Corp | 画像編集装置、画像編集プログラム、記録媒体 |
| JP2006050163A (ja) * | 2004-08-03 | 2006-02-16 | Olympus Corp | 撮像装置 |
| US7447330B2 (en) | 2004-04-14 | 2008-11-04 | Olympus Corporation | Image capturing apparatus |
| JP2010016482A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置および情報処理方法 |
| JP2010520554A (ja) * | 2007-03-06 | 2010-06-10 | エムセンス コーポレイション | 生理学的データを用いて時間により変化するメディアにおけるユーザ反応の集約されたビューを作成する方法及びシステム |
| JP2010244523A (ja) * | 2009-03-31 | 2010-10-28 | Internatl Business Mach Corp <Ibm> | 感情データを伴うタグを追加および処理するための方法および装置 |
| JP2011505175A (ja) * | 2007-10-31 | 2011-02-24 | エムセンス コーポレイション | 視聴者からの生理的反応の分散収集および集中処理を提供するシステムおよび方法 |
| JP2011054158A (ja) * | 2009-08-31 | 2011-03-17 | Accenture Global Services Gmbh | オブジェクト・カスタマイゼーションおよび管理システム |
| US7945439B2 (en) | 2006-06-09 | 2011-05-17 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
| JP2012244361A (ja) * | 2011-05-18 | 2012-12-10 | Nippon Hoso Kyokai <Nhk> | 受信機及びプログラム |
| US8473044B2 (en) | 2007-03-07 | 2013-06-25 | The Nielsen Company (Us), Llc | Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals |
| JP2014501985A (ja) * | 2010-12-20 | 2014-01-23 | アルカテル−ルーセント | メディア資産管理システム |
| US8764652B2 (en) | 2007-03-08 | 2014-07-01 | The Nielson Company (US), LLC. | Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals |
| US8782681B2 (en) | 2007-03-08 | 2014-07-15 | The Nielsen Company (Us), Llc | Method and system for rating media and events in media based on physiological data |
| US8973022B2 (en) | 2007-03-07 | 2015-03-03 | The Nielsen Company (Us), Llc | Method and system for using coherence of biological responses as a measure of performance of a media |
| US8989835B2 (en) | 2012-08-17 | 2015-03-24 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US9215996B2 (en) | 2007-03-02 | 2015-12-22 | The Nielsen Company (Us), Llc | Apparatus and method for objectively determining human response to media |
| US9292858B2 (en) | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| US9320450B2 (en) | 2013-03-14 | 2016-04-26 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US9351658B2 (en) | 2005-09-02 | 2016-05-31 | The Nielsen Company (Us), Llc | Device and method for sensing electrical activity in tissue |
| US9451303B2 (en) | 2012-02-27 | 2016-09-20 | The Nielsen Company (Us), Llc | Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing |
| JP2016186741A (ja) * | 2015-03-27 | 2016-10-27 | 株式会社東芝 | 電子機器およびその制御方法 |
| US9491507B2 (en) | 2013-05-24 | 2016-11-08 | Fujitsu Limited | Content providing program, content providing method, and content providing apparatus |
| US9622702B2 (en) | 2014-04-03 | 2017-04-18 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US11191439B2 (en) | 2017-03-24 | 2021-12-07 | Samsung Electronics Co., Ltd. | Electronic device and method for capturing contents |
| EP3955137A4 (en) * | 2019-04-10 | 2022-06-15 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
-
2001
- 2001-12-12 JP JP2001378313A patent/JP2003178078A/ja active Pending
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7447330B2 (en) | 2004-04-14 | 2008-11-04 | Olympus Corporation | Image capturing apparatus |
| JP2005346471A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 情報処理方法、情報処理装置 |
| JP4641389B2 (ja) * | 2004-06-03 | 2011-03-02 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
| JP2006050164A (ja) * | 2004-08-03 | 2006-02-16 | Olympus Corp | 画像編集装置、画像編集プログラム、記録媒体 |
| JP2006050163A (ja) * | 2004-08-03 | 2006-02-16 | Olympus Corp | 撮像装置 |
| US10506941B2 (en) | 2005-08-09 | 2019-12-17 | The Nielsen Company (Us), Llc | Device and method for sensing electrical activity in tissue |
| US11638547B2 (en) | 2005-08-09 | 2023-05-02 | Nielsen Consumer Llc | Device and method for sensing electrical activity in tissue |
| US9351658B2 (en) | 2005-09-02 | 2016-05-31 | The Nielsen Company (Us), Llc | Device and method for sensing electrical activity in tissue |
| US7945439B2 (en) | 2006-06-09 | 2011-05-17 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
| US9215996B2 (en) | 2007-03-02 | 2015-12-22 | The Nielsen Company (Us), Llc | Apparatus and method for objectively determining human response to media |
| JP2010520554A (ja) * | 2007-03-06 | 2010-06-10 | エムセンス コーポレイション | 生理学的データを用いて時間により変化するメディアにおけるユーザ反応の集約されたビューを作成する方法及びシステム |
| US8473044B2 (en) | 2007-03-07 | 2013-06-25 | The Nielsen Company (Us), Llc | Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals |
| US8973022B2 (en) | 2007-03-07 | 2015-03-03 | The Nielsen Company (Us), Llc | Method and system for using coherence of biological responses as a measure of performance of a media |
| US8764652B2 (en) | 2007-03-08 | 2014-07-01 | The Nielson Company (US), LLC. | Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals |
| US8782681B2 (en) | 2007-03-08 | 2014-07-15 | The Nielsen Company (Us), Llc | Method and system for rating media and events in media based on physiological data |
| JP2011505175A (ja) * | 2007-10-31 | 2011-02-24 | エムセンス コーポレイション | 視聴者からの生理的反応の分散収集および集中処理を提供するシステムおよび方法 |
| JP2010016482A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置および情報処理方法 |
| US8788495B2 (en) | 2009-03-31 | 2014-07-22 | International Business Machines Corporation | Adding and processing tags with emotion data |
| JP2010244523A (ja) * | 2009-03-31 | 2010-10-28 | Internatl Business Mach Corp <Ibm> | 感情データを伴うタグを追加および処理するための方法および装置 |
| JP2011054158A (ja) * | 2009-08-31 | 2011-03-17 | Accenture Global Services Gmbh | オブジェクト・カスタマイゼーションおよび管理システム |
| JP2014501985A (ja) * | 2010-12-20 | 2014-01-23 | アルカテル−ルーセント | メディア資産管理システム |
| JP2012244361A (ja) * | 2011-05-18 | 2012-12-10 | Nippon Hoso Kyokai <Nhk> | 受信機及びプログラム |
| US9292858B2 (en) | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
| US9451303B2 (en) | 2012-02-27 | 2016-09-20 | The Nielsen Company (Us), Llc | Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing |
| US9215978B2 (en) | 2012-08-17 | 2015-12-22 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US10842403B2 (en) | 2012-08-17 | 2020-11-24 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US11980469B2 (en) | 2012-08-17 | 2024-05-14 | Nielsen Company | Systems and methods to gather and analyze electroencephalographic data |
| US8989835B2 (en) | 2012-08-17 | 2015-03-24 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US9907482B2 (en) | 2012-08-17 | 2018-03-06 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US9060671B2 (en) | 2012-08-17 | 2015-06-23 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US10779745B2 (en) | 2012-08-17 | 2020-09-22 | The Nielsen Company (Us), Llc | Systems and methods to gather and analyze electroencephalographic data |
| US9320450B2 (en) | 2013-03-14 | 2016-04-26 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US11076807B2 (en) | 2013-03-14 | 2021-08-03 | Nielsen Consumer Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US9668694B2 (en) | 2013-03-14 | 2017-06-06 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US9491507B2 (en) | 2013-05-24 | 2016-11-08 | Fujitsu Limited | Content providing program, content providing method, and content providing apparatus |
| US9622702B2 (en) | 2014-04-03 | 2017-04-18 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US9622703B2 (en) | 2014-04-03 | 2017-04-18 | The Nielsen Company (Us), Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| US11141108B2 (en) | 2014-04-03 | 2021-10-12 | Nielsen Consumer Llc | Methods and apparatus to gather and analyze electroencephalographic data |
| JP2016186741A (ja) * | 2015-03-27 | 2016-10-27 | 株式会社東芝 | 電子機器およびその制御方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| US11191439B2 (en) | 2017-03-24 | 2021-12-07 | Samsung Electronics Co., Ltd. | Electronic device and method for capturing contents |
| EP3955137A4 (en) * | 2019-04-10 | 2022-06-15 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003178078A (ja) | 画像、音声データへの付加用標識データとその付加方法 | |
| US10176247B2 (en) | Event-related media management system | |
| Money et al. | Video summarisation: A conceptual framework and survey of the state of the art | |
| Del Molino et al. | Summarization of egocentric videos: A comprehensive survey | |
| US9583146B2 (en) | Media clip creation and distribution systems, apparatus, and methods | |
| US8788495B2 (en) | Adding and processing tags with emotion data | |
| JP4284097B2 (ja) | メディアコンテンツ記述をサポートする方法およびシステム | |
| US9654723B2 (en) | Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium | |
| CN104798346B (zh) | 用于补充与广播媒体相关的电子消息的方法和计算系统 | |
| US20090046991A1 (en) | Contents Replay Apparatus and Contents Replay Method | |
| CN107924416A (zh) | 在其他媒体内容中引用的媒体内容的提醒 | |
| US20030219708A1 (en) | Presentation synthesizer | |
| JP2002335473A (ja) | 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法 | |
| De Silva et al. | Evaluation of video summarization for a large number of cameras in ubiquitous home | |
| CN108140056A (zh) | 媒体节目时刻指南 | |
| US20180232384A1 (en) | Methods and apparatus for information capture and presentation | |
| JP2013098997A (ja) | 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法 | |
| JP2013098640A (ja) | 映像解析情報アップロード装置及び映像視聴システム及び方法 | |
| CN101015206A (zh) | 出现对象估计装置和方法、以及计算机程序 | |
| JP7246289B2 (ja) | 情報処理装置および情報処理方法 | |
| Omojokun et al. | Impact of user context on song selection | |
| Money et al. | Video playing with our emotions |