JP3464688B2 - マルチ映像ストーリ構成方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像を再生提示するサ
ービスや回線を通して映像を配送するサービスなどにお
いて、時間的に切り換えて提示または編集することが可
能な同時進行する複数の映像を切り換えることにより、
同一の素材映像に基づいた複数の映像ストーリを編集あ
るいは提示するマルチ映像ストーリ構成方法に関するも
のである。

【０００２】

【従来の技術】従来、映像を提示する場合、あるいはそ
のために事前に編集する場合には、作り手の意志による
一通りのストーリの結果しかないのが普通であった。一
方、最近では、マルチメディアアプリケーションの一つ
として、同時進行する映像を利用者が会話的に選択的に
切り換える電子ジャーナルの提案や（Ｈ．Ｐ．Ｂｒｏｎ
ｄｏ，Ｇ．Ｄａｖｅｎｐｏｒｔ，“Ｃｒｅａｔｉｎｇ
ａｎｄ Ｖｉｅｗｉｎｇｔｈｅ Ｅｌａｓｔｉｃ Ｃｈ
ａｒｌｅｓ−Ａ Ｈｙｐｅｒｍｅｄｉａ Ｊｏｕｒｎａ
ｌ，”ｉｎ Ｈｙｐｅｒｔｅｘｔ，Ｓｔａｔｅ ｏｆ
ｔｈｅ Ａｒｔ，Ｒ．ＭａｃＡｌｅｓｓｅ ａｎｄ
Ｃ．Ｇｒｅｅｎｅ，ｅｄｓ．，Ｉｎｔｅｌｌｅｃｔ Ｐ
ｒｅｓｓ，Ｏｘｆｏｒｄ，Ｅｎｇｌａｎｄ，１９９
０）、またテレビの複数のチャネルを用いて同時進行の
映像を放送し、視聴者が自分の好みに応じてチャネルを
切り換える試みはあった。

【０００３】図５は従来技術による映像の提示に関する
方法を示したものである。本例では、送信側１から複数
の映像等が受信側２に送信される。送信側１の映像出力
部３では、＃１から＃ｎまでの素材映像読取部４で映像
等を記録媒体や別回線から読み取り出力する。実際に受
信側２に伝送される場合には伝送の形式に従って＃１か
ら＃ｎのチャネル映像が多重化、変調が行われるが、こ
こではそうした信号伝送レベルの方法のことは省略し、
論理的な映像のチャネルが送信側１と受信側２の間に張
られるとして説明する。受信側２では、入力されたチャ
ネルの映像信号の中から一つのチャネルの映像信号だけ
を、チャネル切り換え部８を介して入力される視聴者７
からの操作に従いチューナ５により選択する。

【０００４】上述した最近のマルチメディアアプリケー
ションの試みは、図５の方法、すなわち従来の方法上で
同時進行の映像を入力される複数のチャネルに乗せるも
のであり、視聴者７が自分の意志でチャネルを切り換え
るものである。

【０００５】放送等における提示ではなく、編集の場合
も全く同様であって、図５におけるチューナ５が編集用
の映像切換機であり、表示モニタ６に表示される映像が
記録装置に記録されると考えればよい。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来技術によれば、視聴者は映像内容によっては結果的に
見たくない部分を見せられることになったり、また提示
に関する制約条件のためにオリジナルの映像が再編集さ
れたりするなどの問題があった。例えば映画などの場
合、慣習的には映像内容に応じて性質に分類分けがなさ
れ、視聴者は宣伝文句などと合わせて映画全体として見
るか見ないかの選択を行うしかなかった。テレビ放送の
場合では、視聴者が不特定多数のため、公共的観点から
の制約条件のもとに、映画作品が再編集されることもよ
くある。この場合、視聴する人によっては満足のいかな
いものとなったり、視聴者層によってはそれでも公共的
に問題のある場合があった。

【０００７】また、最近の試みである同時進行映像の利
用者との会話的選択による提示映像の切り換えは、一通
りの見方しか許さない伝統的な方法に比べ、視聴者の見
方の自由度を少し与える意義はあるが、映像内容に関し
て視聴者は内容を知らないために事前に切り換えること
はできない。すなわち、どのように見るかは試行錯誤し
ながらとなってしまい、上述の問題はやはり解決されな
い。

【０００８】本発明は、上記問題点を解決するためにな
されたものであり、その目的は、同一の素材映像に基づ
いた映像ストーリを予め設定した条件、すなわち映像内
容に従って、複数系統の映像により提供を行うこと、す
なわち画一的でない提供を行うことを可能にするマルチ
映像ストーリ構成方法を実現することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
め、本発明のマルチ映像ストーリ構成方法においては、
まず、時間的に切り換えて編集または提示することで映
像ストーリを構成するために必要な、同時進行する同一
の題材に基づいた複数の映像に対しそれぞれあからじめ
時々刻々の映像内容に関する情報をインデクスとして付
加しておき、次に、再生時にその複数の映像の当該時刻
のインデクスをあらかじめ設定する条件により評価し、
次に、その評価結果により前記複数の映像のうちの特定
の映像を選択し、次に、前記当該時刻の選択結果の映像
を前の時刻の選択結果の映像につないで編集または提示
することを特徴とする。

【００１０】あるいは、まず、時間的に切り換えて編集
または提示することが可能な同時進行する複数の映像に
対しそれぞれあからじめ時々刻々の映像内容に関する情
報をインデクスとして付加しておき、次に、再生時に当
該時刻のインデクスをあらかじめ設定する条件により評
価し、次に、その評価結果により前記複数の映像のうち
の特定の映像を選択し、次に、前記当該時刻の選択結果
の映像を前の時刻の選択結果の映像につないで編集また
は提示するマルチ映像ストーリ構成方法であって、当該
時刻の選択結果の映像を前の時刻の選択結果の映像につ
ないで編集または提示する際に、インデクスの評価結果
により前記当該時刻の選択結果の映像にさらに画像処理
を施すことを特徴とする。

【００１１】また、上記のマルチ映像ストーリ構成方法
における、再生時に当該時刻のインデクスをあらかじめ
設定する条件により評価する過程においては、該条件を
視聴者の設定しておく視聴条件により決定することが、
映像構成に視聴者の視聴条件を反映させる点で好適であ
る。

【００１２】

【作用】本発明のマルチ映像ストーリ構成方法は、時間
的に切り換えて提示または編集することが可能な同時進
行する複数の映像に対し、それぞれにあらかじめ時々刻
々の映像内容に関する情報をインデクスとして付加して
おき、再生時にそれらインデクスを評価し、評価結果に
よって自動的に映像を選択することにより、自動的に映
像内容に応じた同時進行映像の切り換えを可能にし、自
動的にその映像内容に応じた映像ストーリの構成を可能
にする。これによって、まず映像ストーリの複数系統の
映像による提供、すなわち画一的でない提供を可能にす
るとともに、映像内容に関するインデクスとそれに対す
る評価条件の工夫により、視聴者条件を反映した映像構
成を可能にする。

【００１３】

【実施例】以下、本発明の一実施例を、図面を参照して
説明する。ここでは、複数映像を切り換えながら構成す
る映像をケーブルテレビにより提供するサービスを例に
説明する。

【００１４】図１は本発明の第１の実施例に係る機能部
分の構成を示した図である。図１において、１は送信
側、２は受信側を示す。

【００１５】送信側１は、映像出力部３と、映像切換部
１２から構成される。映像出力部３は、各々が素材映像
信号１１とそれに予め付加されているインデクス情報１
０とを出力する複数系統（＃１〜＃ｎ）の素材映像読取
部４と、それらの素材映像を同時進行させる同期制御部
９から成る。また、映像切換部１２は、各々が前記のイ
ンデクス情報１０を入力して評価する複数チャネル（＃
１〜＃ｍ）のフィルタ１３と、各フィルタ１３にフィル
タ制御情報２８を出力して各フィルタ１３の評価条件を
制御するフィルタ条件制御部１４と、各フィルタ１３の
評価結果１５により各チャネル毎に特定の素材映像信号
１１を選択する送信側映像切換機１６と、受信側２から
の視聴者条件２３を集約しフィルタ条件制御部１４へフ
ィルタ条件１８を出力する視聴者条件集約部１７と、送
信側映像切換機１６による選択結果の映像に評価結果１
５によりさらに画像処理を施す画像効果処理部１９とを
有する。

【００１６】一方、受信側２は受信装置２１を有し、そ
の受信装置２１を構成する要素として、６は視聴者７に
映像を提示するための表示モニタ、８はチャネル切換
部、２２は送信側１の各チャネル（＃１〜＃ｍ）の画像
効果処理部１９から切換後映像信号２０を受信するとと
もに前述の視聴者条件２３を出力する各チャネル（＃１
〜＃ｍ）別のチャネル対応部、２４はチャネル対応部２
２の映像をチャネル切換部８の指示に従って選択し表示
モニタ６へ出力する受信側映像セレクタ、２５は各チャ
ネル対応部２２に対し視聴者条件を設定するための視聴
者条件設定部である。

【００１７】上記のような構成により実施される本実施
例のマルチ映像ストーリ構成方法を、図２（ａ），
（ｂ）の処理フローで示す。ケーブルテレビ局に対応す
る送信側１では、映像機器、ファイル、他の回線等から
の時間的に切り換えて編集可能な同時進行するｎ系列の
映像を素材映像出力部３から出力し、最終的には加入者
側（受信側２）にｍチャネルの映像を送出する。時間的
に切り換え編集可能な同時進行する映像とは、例えば同
一の場面を別々のカメラで同時撮影した映像など、時間
に対して平行に内容が進むものである。題材によっては
ｎ系列に対して全時間に渡って映像が出力されるとは限
らないが、ある時間に対応する素材映像は最低一つ必要
である。

【００１８】図２（ａ）に示す送信側処理５０において
は、まず、利用する素材となる映像およびインデクス情
報を含むファイルを設定するなどの初期化を行い（ステ
ップ５１）、さらにフィルタ１３の初期条件を設定する
（ステップ５２）。次に、素材映像読取部４により素材
映像およびその素材映像対応のインデクス情報を読み出
す（ステップ５３）。素材映像出力部３からのインデク
ス情報は、本来映像と同じ記録媒体上に記録されている
ものを読み取るか、別記録媒体に格納されているものを
映像と同期して読み出すことによって得られる。インデ
クス情報は１種類とは限らず複数でも良い。読み出した
インデクス情報１０については最終的な出力チャネル数
ｍ分あるフィルタ１３に対して出力する（ステップ５
４）。フィルタ条件モードをチェック・判定し（ステッ
プ５５）、視聴者条件フィードバックモードである場合
には利用者（視聴者７）側からの上り回線等を使って視
聴者条件２３を視聴者条件集約部１７に集め（ステップ
５６）、出力回線毎に条件設定ルールによりフィルタ制
御情報２８を調節し、非フィードバックモードではあら
かじめ設定してある条件に従ってフィルタ条件制御部１
４により各フィルタ１３へフィルタ制御情報２８を加え
（ステップ５７）、フィルタ１３に加えられているイン
デクス情報１０を実際にフィルタ処理により評価する
（ステップ５８）。同様に画像処理条件についてもフィ
ルタ条件制御部１４からの制御信号によって各チャネル
毎に設定する（ステップ５９）。次にフィルタ１３の評
価結果１５を出力し、送信側映像切換機１６にスイッチ
制御信号として入力し、どの出力チャネルの映像に対し
どの系列の素材映像を選択するかを決定する（ステップ
６０）。次に各映像に付されたタイムコード等を用いて
同期制御部９からの制御により同期した映像を映像出力
部３から出力すると同時に（ステップ６１）、送信側映
像切換機１６により、入力素材映像を切り換えあるいは
分配しながら、画像効果処理部１９を経由して切換後映
像信号２０としてｍ個のチャネルに出力する（ステップ
６２）。

【００１９】一方、図２（ｂ）に示す受信側２の受信側
処理７０においては、受信に先だって各種初期設定を行
っておき（ステップ７１）、送信側１からの信号入力を
開始すると送信側１から出力された切換後映像信号２０
は、受信側２の受信装置２１のチャネル対応受信部２２
に入力される（ステップ７２）。視聴者７がチャネル切
換部８を介してチャネルを選択すると、そのことをセン
スし（ステップ７３）、その情報に従って受信側映像セ
レクタ２４により入力された映像チャネルから一つだけ
選択する（ステップ７４）。これにより選択チャネルの
映像が表示モニタ６に表示される。さらに視聴者条件、
例えば視聴者に関する年齢、性別や番組の好みなど設定
されている視聴者条件をチャネル対応部２２を介して送
信側１に送信する（ステップ７５）。

【００２０】送信側処理５０と受信側処理７０との対応
については、受信側処理７０中の送信側１からの信号入
力開始（ステップ７２）と送信側処理５０中の受信側２
への映像信号出力（ステップ６２）が対応し、受信側処
理７０中の視聴者条件の送信（ステップ７５）と送信側
処理７０中の視聴者条件の入力（ステップ５６）とが対
応する。

【００２１】以上の処理における映像内容とインデクス
情報および映像信号の切り換えについて、簡単な例を示
したのが図３である。インデクス情報列４０は、チャネ
ル対応の素材映像（Ａ，Ｂ，Ｃ）それぞれのインデクス
情報値４４を、インデクス軸４２に対して時間軸４３上
に描いたものである。素材映像列４１は時間軸に対して
平行に同時進行する形で各素材映像（Ａ，Ｂ，Ｃ）４５
からなる。今、インデクス情報に対する映像切り換えの
条件を、これらインデクス情報値の最も大きい素材映像
に切り換えるとした場合に、映像切換点４６で切り換え
られた素材映像を素材映像列４１中に太線で示してい
る。この結果出力される映像は、切り換え結果映像４７
となる。この処理の意味は、例えば、インデクス情報を
映像内容の刺激度であるとした場合、処理結果の映像は
同時進行する映像中から編集される最も刺激度の強いも
のとなる。また一方で切換条件をその逆で、刺激度の最
も弱いものとすれば、一般向けの映像を得ることもでき
る。刺激度のインデクス情報の入力は、例えば専門家が
映像を見ながら時間に沿って決定する。

【００２２】この処理方法では、一意に送信側１で切り
換え条件を設定するのではなく視聴者７側の条件による
フィードバックをかけることができる。例えば、上述の
刺激の度合いを用い、最もその度合いの低い映像をある
チャネル＃ｋを通して見たいのであれば、まずある一定
の度合以下の刺激度になるようにするためのしきい値を
視聴者７が決め、視聴者条件２３として視聴者条件設定
部２５、チャネル＃ｋのチャネル対応部２２、および視
聴者条件集約部１７を介してフィルタ条件制御部１４に
伝える。フィルタ条件制御部１４では、該当チャネル＃
ｋのフィルタ１３に対して、まずしきい値以下となる映
像が存在する部分については、その中で最も値の低い映
像を選択するように制御する。また該当する映像が存在
しない場合には、映像としては値の最も低い映像を選択
するが、同時にチャネル＃ｋの画像効果処理部１９を制
御してぼかした映像にするなどを行うことができる。

【００２３】以上は説明の都合上、映像信号についてだ
け述べているが、映像に付随している音声についても各
映像と一体として扱い、同時に切り換える。

【００２４】以上の他の本発明の実施例として、図４
に、映像の切り換えを送信側で行うのではなく、ｎチャ
ネルの素材映像をそのまま受信側まで送信し、受信側に
おいて上述と同様の処理を行う第２の実施例の構成を示
す。図４において、１は送信側、２は受信側を示す。

【００２５】送信側１は、映像出力部３から構成され、
映像出力部３は、各々が素材映像信号とそれに予め付加
されているインデクス情報とを含めて受信側２へ出力す
る複数系統（＃１〜＃ｎ）の素材映像読取部４と、それ
らの素材映像を同時進行させる同期制御部９から成る。

【００２６】一方、受信側２は、受信装置２１を有し、
受信装置２１は、視聴者７に映像を提示する表示モニタ
６と、チャネル切換部８と、各々が送信側１の素材映像
読取部４からの信号をインデクス情報１０と素材映像信
号１１に分離して出力する複数（＃１〜＃ｎ）の素材映
像受信部２９と、各インデクス情報１０を入力して評価
するフィルタ１３と、フィルタ１３の評価条件を制御す
るフィルタ条件制御部１４と、チャネル切換部８から指
示されたチャネル（図例ではチャネル＃ｋ）にフィルタ
１３の時々刻々の評価結果１５により同時進行の素材映
像信号１１を選択して＃ｋチャネル出力２７として表示
モニタ６へ出力する映像セレクタ２６と、フィルタ条件
制御部１４へ視聴者条件２３を出力する視聴者条件設定
部２５とを有する。

【００２７】本実施例では、図１における映像切換部１
２以下を受信側２に置く構成となるが、図１において送
信側映像切換機１６であった部分が受信側２の映像セレ
クタ２６となってフィルタ１３の評価結果１５により見
るチャネル＃ｋ出力２７に出力する構成になるところが
異なる。全体的な処理の流れは、図１に関する説明と同
様である。

【００２８】

【発明の効果】以上説明したように、本発明のマルチ映
像ストーリ構成方法によれば、時間的に切り換えて提示
または編集することが可能な同時進行する複数の映像に
対して、それぞれ付加された時々刻々の映像内容に関す
るインデクスを用い、再生時にそれらインデクスを評価
し、評価結果により自動的に映像を選択することとした
ので、自動的に映像内容に応じた同時進行映像の切り換
え、すなわち映像内容に応じた映像ストーリの構成が可
能になり、さらに、請求項２の発明のように、設定によ
り選択結果の映像に映像内容に応じた画像処理を加える
こともできる。このことにより、まず映像ストーリの複
数系統の映像による提供、すなわち画一的でない提供が
可能になるとともに、具体的には請求項３の発明のよう
に、映像内容に関するインデクスとそれに対する評価条
件の工夫により、視聴者条件を反映した映像構成が可能
となる効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す図であって送信側
で映像を切り換えて映像を構成し受信側に送信する実施
例に係る構成図

【図２】（ａ），（ｂ）は上記第１の実施例に係る処理
フローを示す図

【図３】上記第１の実施例における素材映像とインデク
ス情報から映像を切り換える処理の例を示す図

【図４】本発明の第２の実施例を示す図であって受信側
で映像を切り換えて映像を構成する実施例に係る構成図

【図５】従来技術による映像の送信方法を説明する構成
図

【符号の説明】 １…送信側 ２…受信側 ３…映像出力部 ４…素材映像読取部 ６…表示モニタ ７…視聴者 ８…チャネル切換部 ９…同期制御部 １０…インデクス情報 １１…素材映像信号 １２…映像切換部 １３…フィルタ １４…フィルタ条件制御部 １４…評価結果 １６…送信側映像切換機 １７…視聴者条件集約部 １８…フィルタ条件 １９…画像効果処理部 ２０…切換後映像信号 ２１…受信装置 ２２…チャネル対応部 ２３…視聴者条件 ２４…受信側映像セレクタ ２５…視聴者条件設定部 ２６…映像セレクタ ２７…チャネル＃ｋ出力 ２８…フィルタ制御情報

フロントページの続き (56)参考文献 特開 平１−295573（ＪＰ，Ａ) 特開 平５−130528（ＪＰ，Ａ) 特開 平６−133238（ＪＰ，Ａ) 特開 平６−133239（ＪＰ，Ａ) 特開 平２−305277（ＪＰ，Ａ) 吉村 俊郎，ＩＳＤＢと21世紀の放送 サービス，ＮＨＫ技研Ｒ＆Ｄ，日本，日 本放送協会放送技術研究所，1993年 ９ 月，Ｎｏ．26，ｐ．10−16 柳町 昭夫，ＩＳＤＢによる放送サー ビスの高度化とマルチメディア，ＮＨＫ 技研Ｒ＆Ｄ，日本，日本放送協会放送技 術研究所，1994年 ９月，Ｎｏ．33, ｐ．３−12 河合 直樹、中須 英輔、難波 誠 一，ＩＳＤＢ放送方式の検討，テレビジ ョン学会技術報告，日本，1991年 ６ 月，Ｖｏｌ．15、Ｎｏ．35，ｐ．31−36 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/00 - 7/10 H04N 7/14 - 7/173 H04N 7/20 - 7/22 H04N 5/38 - 5/46

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 まず、時間的に切り換えて編集または提
   示することで映像ストーリを構成するために必要な、同
   時進行する同一の題材に基づいた複数の映像に対しそれ
   ぞれあからじめ時々刻々の映像内容に関する情報をイン
   デクスとして付加しておき、次に、再生時にその複数の
   映像の当該時刻のインデクスをあらかじめ設定する条件
   により評価し、次に、その評価結果により前記複数の映
   像のうちの特定の映像を選択し、次に、前記当該時刻の
   選択結果の映像を前の時刻の選択結果の映像につないで
   編集または提示することを特徴とするマルチ映像ストー
   リ構成方法。
2. 【請求項２】 まず、時間的に切り換えて編集または提
   示することが可能な同時進行する複数の映像に対しそれ
   ぞれあからじめ時々刻々の映像内容に関する情報をイン
   デクスとして付加しておき、次に、再生時に当該時刻の
   インデクスをあらかじめ設定する条件により評価し、次
   に、その評価結果により前記複数の映像のうちの特定の
   映像を選択し、次に、前記当該時刻の選択結果の映像を
   前の時刻の選択結果の映像につないで編集または提示す
   るマルチ映像ストーリ構成方法であって、当該時刻の選
   択結果の映像を前の時刻の選択結果の映像につないで編
   集または提示する際に、インデクスの評価結果により前
   記当該時刻の選択結果の映像にさらに画像処理を施すこ
   とを特徴とするマルチ映像ストーリ構成方法。
3. 【請求項３】 請求項１または請求項２に記載のマルチ
   映像ストーリ構成方法において、再生時に当該時刻のイ
   ンデクスをあらかじめ設定する条件により評価する際
   に、該条件を視聴者の設定しておく視聴条件により決定
   することを特徴とするマルチ映像ストーリ構成方法。