JP3468404B2 - 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 - Google Patents
映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体Info
- Publication number
- JP3468404B2 JP3468404B2 JP05933698A JP5933698A JP3468404B2 JP 3468404 B2 JP3468404 B2 JP 3468404B2 JP 05933698 A JP05933698 A JP 05933698A JP 5933698 A JP5933698 A JP 5933698A JP 3468404 B2 JP3468404 B2 JP 3468404B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- area
- subject
- video
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、映像の画面上に字
幕情報を挿入する際に、挿入される字幕情報の位置を対
応する被写体の動きに合わせて制御する映像字幕挿入方
法および装置並びに字幕挿入処理用のプログラムを記録
した記録媒体に関するものである。
幕情報を挿入する際に、挿入される字幕情報の位置を対
応する被写体の動きに合わせて制御する映像字幕挿入方
法および装置並びに字幕挿入処理用のプログラムを記録
した記録媒体に関するものである。
【０００２】
【従来の技術】映像に字幕情報を埋め込むことは、外国
映画のスーパーや、聴覚障害者のための映像番組や、多
チャンネル時代の並列映像再生表示において、映像内容
を音声情報なしで理解するためには欠かせないものとな
っている。
映画のスーパーや、聴覚障害者のための映像番組や、多
チャンネル時代の並列映像再生表示において、映像内容
を音声情報なしで理解するためには欠かせないものとな
っている。
【０００３】こうしたスーパーを画面に挿入する際に、
１つの簡単な方法は、決まった領域に固定して埋め込む
方法であった。しかし、この方法では、誰が発声者であ
るか分からないときがあるという問題点があった。最も
望ましいのは、視聴者に、被写体の誰が、何を話してい
るのか、音声を聞かない状態でも分かるようにすること
である。
１つの簡単な方法は、決まった領域に固定して埋め込む
方法であった。しかし、この方法では、誰が発声者であ
るか分からないときがあるという問題点があった。最も
望ましいのは、視聴者に、被写体の誰が、何を話してい
るのか、音声を聞かない状態でも分かるようにすること
である。
【０００４】旧来の字幕は、フィルムに手書きで書き込
んでいた。それがディジタル編集システムの発達ととも
に、コンピュータの電子メディア上で処理することにな
ってきている。これにより、簡単に字幕情報を挿入し、
変更し、加工することが可能となっている。
んでいた。それがディジタル編集システムの発達ととも
に、コンピュータの電子メディア上で処理することにな
ってきている。これにより、簡単に字幕情報を挿入し、
変更し、加工することが可能となっている。
【０００５】
【発明が解決しようとする課題】しかし、現在のディジ
タル編集システムでも、ある時刻において、指定した領
域に固定して表示されるだけである。したがって、被写
体が動いた場合、字幕と被写体の関係が保てなくなると
いう問題が依然として残っている。
タル編集システムでも、ある時刻において、指定した領
域に固定して表示されるだけである。したがって、被写
体が動いた場合、字幕と被写体の関係が保てなくなると
いう問題が依然として残っている。
【０００６】また、現在のディジタル編集システムで
は、字幕と被写体の関係を明示するためには、各フレー
ム毎に字幕情報の位置を指定してやる必要があり、多く
の時間がかかるという問題点があった。
は、字幕と被写体の関係を明示するためには、各フレー
ム毎に字幕情報の位置を指定してやる必要があり、多く
の時間がかかるという問題点があった。
【０００７】本発明は、このような問題を解決するため
になされたものであり、その目的は、ある映像区間の画
面上に字幕を挿入する際に、被写体の位置を考慮し、か
つ、被写体の話している内容を反映しつつ、被写体が動
いている場合でも最適な位置にセリフ字幕を挿入するこ
とができる映像字幕挿入方法および装置、並びに字幕挿
入処理用のプログラムを記録した記録媒体を提供するこ
とである。
になされたものであり、その目的は、ある映像区間の画
面上に字幕を挿入する際に、被写体の位置を考慮し、か
つ、被写体の話している内容を反映しつつ、被写体が動
いている場合でも最適な位置にセリフ字幕を挿入するこ
とができる映像字幕挿入方法および装置、並びに字幕挿
入処理用のプログラムを記録した記録媒体を提供するこ
とである。
【０００８】
【課題を解決するのための手段】上記目的を達成するた
めに、本発明の映像字幕挿入方法は、編集対象である入
力映像に対し、被写体領域を指定する被写体領域指定段
階と、指定された被写体領域を追跡する被写体追跡段階
と、入力映像中の字幕を挿入したい区間である映像区間
における一部フレームを抽出し、利用者に字幕領域と字
幕内容とを指定させる字幕領域指定段階と、前記指定さ
れた字幕領域と被写体領域とが重なる場合に、前記指定
された字幕領域を様々な方向にずらし、フレーム内で前
記指定された被写体領域と重ならない位置を検索し、そ
の位置に字幕を挿入する字幕挿入段階とを具備すること
を特徴とする。また、本発明の映像字幕挿入方法は、編
集対象である入力映像に対し、被写体領域を指定する被
写体領域指定手段と、指定された被写体領域を追跡する
被写体追跡手段と、入力映像中の字幕を挿入したい区間
である映像区間における一部フレームを抽出し、利用者
に字幕領域と字幕内容とを指定させる字幕領域指定手段
と、複数フレームに対して、各フレーム単位に前記被写
体領域を除いた余白部を検出し、前記複数のフレームを
重ね合わせ、前記指定された字幕領域を中心に、最も近
い領域で、かつ、前記余白部に基づき前記複数フレーム
のいずれの被写体領域をも遮蔽しない領域を決定し、前
記遮蔽しない領域とフレーム枠との関係から、前記遮蔽
しない領域の内接長方形を求め、前記内接長方形の領域
を字幕挿入候補領域に決定し、前記字幕挿入候補領域に
字幕を挿入する字幕挿入手段とを具備することを特徴と
する。本発明の好ましい実施の形態では、前記字幕挿入
段階において、吹き出し矢印を挿入し、話している被写
体を明示する。
めに、本発明の映像字幕挿入方法は、編集対象である入
力映像に対し、被写体領域を指定する被写体領域指定段
階と、指定された被写体領域を追跡する被写体追跡段階
と、入力映像中の字幕を挿入したい区間である映像区間
における一部フレームを抽出し、利用者に字幕領域と字
幕内容とを指定させる字幕領域指定段階と、前記指定さ
れた字幕領域と被写体領域とが重なる場合に、前記指定
された字幕領域を様々な方向にずらし、フレーム内で前
記指定された被写体領域と重ならない位置を検索し、そ
の位置に字幕を挿入する字幕挿入段階とを具備すること
を特徴とする。また、本発明の映像字幕挿入方法は、編
集対象である入力映像に対し、被写体領域を指定する被
写体領域指定手段と、指定された被写体領域を追跡する
被写体追跡手段と、入力映像中の字幕を挿入したい区間
である映像区間における一部フレームを抽出し、利用者
に字幕領域と字幕内容とを指定させる字幕領域指定手段
と、複数フレームに対して、各フレーム単位に前記被写
体領域を除いた余白部を検出し、前記複数のフレームを
重ね合わせ、前記指定された字幕領域を中心に、最も近
い領域で、かつ、前記余白部に基づき前記複数フレーム
のいずれの被写体領域をも遮蔽しない領域を決定し、前
記遮蔽しない領域とフレーム枠との関係から、前記遮蔽
しない領域の内接長方形を求め、前記内接長方形の領域
を字幕挿入候補領域に決定し、前記字幕挿入候補領域に
字幕を挿入する字幕挿入手段とを具備することを特徴と
する。本発明の好ましい実施の形態では、前記字幕挿入
段階において、吹き出し矢印を挿入し、話している被写
体を明示する。
【０００９】本発明の映像字幕挿入装置は、編集対象で
ある入力映像に対し、被写体領域を指定する被写体領域
指定手段と、指定された被写体領域を追跡する被写体追
跡手段と、入力映像中の字幕を挿入したい区間である映
像区間における一部フレームを抽出し、利用者に字幕領
域と字幕内容とを指定させる字幕領域指定手段と、前記
指定された字幕領域と被写体領域とが重なる場合に、前
記指定された字幕領域を様々な方向にずらし、フレーム
内で前記指定された被写体領域と重ならない位置を検索
し、その位置に字幕を挿入する字幕挿入手段とを具備す
ることを特徴とする。また、本発明の映像字幕挿入装置
は、編集対象である入力映像に対し、被写体領域を指定
する被写体領域指定手段と、指定された被写体領域を追
跡する被写体追跡手段と、入力映像中の字幕を挿入した
い区間である映像区間における一部フレームを抽出し、
利用者に字幕領域と字幕内容とを指定させる字幕領域指
定手段と、複数フレームに対して、各フレーム単位に前
記被写体領域を除いた余白部を検出し、前記複数のフレ
ームを重ね合わせ、前記指定された字幕領域を中心に、
最も近い領域で、かつ、前記余白部に基づき前記複数フ
レームのいずれの被写体領域をも遮蔽しない領域を決定
し、前記遮蔽しない領域とフレーム枠との関係から、前
記遮蔽しない領域の内接長方形を求め、前記内接長方形
の領域を字幕挿入候補領域に決定し、前記字幕挿入候補
領域に字幕を挿入する字幕挿入手段とを具備することを
特徴とする。本発明の好ましい実施の形態では、前記字
幕挿入手段は、吹き出し矢印を挿入し、話している被写
体を明示する。
ある入力映像に対し、被写体領域を指定する被写体領域
指定手段と、指定された被写体領域を追跡する被写体追
跡手段と、入力映像中の字幕を挿入したい区間である映
像区間における一部フレームを抽出し、利用者に字幕領
域と字幕内容とを指定させる字幕領域指定手段と、前記
指定された字幕領域と被写体領域とが重なる場合に、前
記指定された字幕領域を様々な方向にずらし、フレーム
内で前記指定された被写体領域と重ならない位置を検索
し、その位置に字幕を挿入する字幕挿入手段とを具備す
ることを特徴とする。また、本発明の映像字幕挿入装置
は、編集対象である入力映像に対し、被写体領域を指定
する被写体領域指定手段と、指定された被写体領域を追
跡する被写体追跡手段と、入力映像中の字幕を挿入した
い区間である映像区間における一部フレームを抽出し、
利用者に字幕領域と字幕内容とを指定させる字幕領域指
定手段と、複数フレームに対して、各フレーム単位に前
記被写体領域を除いた余白部を検出し、前記複数のフレ
ームを重ね合わせ、前記指定された字幕領域を中心に、
最も近い領域で、かつ、前記余白部に基づき前記複数フ
レームのいずれの被写体領域をも遮蔽しない領域を決定
し、前記遮蔽しない領域とフレーム枠との関係から、前
記遮蔽しない領域の内接長方形を求め、前記内接長方形
の領域を字幕挿入候補領域に決定し、前記字幕挿入候補
領域に字幕を挿入する字幕挿入手段とを具備することを
特徴とする。本発明の好ましい実施の形態では、前記字
幕挿入手段は、吹き出し矢印を挿入し、話している被写
体を明示する。
【００１０】また、本発明は、コンピュータに、前述の
映像字幕挿入方法を実行させるプログラムが記録されて
いる記録媒体である。
映像字幕挿入方法を実行させるプログラムが記録されて
いる記録媒体である。
【００１１】本発明によれば、被写体領域を追跡し、最
適な位置に字幕を挿入することが可能となり、動き被写
体が存在しても、発声者である動き被写体との位置関係
を保ちながらセリフ字幕を挿入することが可能となる。
適な位置に字幕を挿入することが可能となり、動き被写
体が存在しても、発声者である動き被写体との位置関係
を保ちながらセリフ字幕を挿入することが可能となる。
【００１２】
【発明の実施の形態】以下、本発明の映像字幕挿入方法
および装置について図示する実施の形態を参照して詳細
に説明する。図１は、本発明の映像字幕挿入方法の一実
施の形態を示す流れ図である。図１において、字幕を挿
入する対象となる入力映像データＶｉは、被写体領域指
定手段１１に入力される。被写体領域指定手段１１は、
入力映像データＶｉにより、入力映像中のフレーム中の
一部に当たる被写体を指定する。指定された被写体領域
１が指定されたならば、その指定された被写体領域１を
被写体領域追跡手段１２に入力し、対象映像区間中の被
写体領域を追跡させ、複数フレームにわたる被写体領域
１の領域である複数フレーム被写体領域２を算出させ
る。利用者３は、被写体に対する字幕と字幕領域を、字
幕挿入手段１３を用いて指定すると、字幕が挿入された
字幕挿入映像４が生成される。
および装置について図示する実施の形態を参照して詳細
に説明する。図１は、本発明の映像字幕挿入方法の一実
施の形態を示す流れ図である。図１において、字幕を挿
入する対象となる入力映像データＶｉは、被写体領域指
定手段１１に入力される。被写体領域指定手段１１は、
入力映像データＶｉにより、入力映像中のフレーム中の
一部に当たる被写体を指定する。指定された被写体領域
１が指定されたならば、その指定された被写体領域１を
被写体領域追跡手段１２に入力し、対象映像区間中の被
写体領域を追跡させ、複数フレームにわたる被写体領域
１の領域である複数フレーム被写体領域２を算出させ
る。利用者３は、被写体に対する字幕と字幕領域を、字
幕挿入手段１３を用いて指定すると、字幕が挿入された
字幕挿入映像４が生成される。
【００１３】図２は、図１の方法を実現する装置の一実
施の形態を示すブロック図である。図２に示す映像字幕
挿入装置は、入力映像データＶｉをテンポラリーに保存
する記録メディア３０を備えており、入力映像中の字幕
を挿入したい区間である映像区間２０における一部フレ
ーム２１を抽出する。入力映像データＶｉは、記録メデ
ィア３０に一時記憶された後、または直接に被写体領域
指定部４０に入力される。
施の形態を示すブロック図である。図２に示す映像字幕
挿入装置は、入力映像データＶｉをテンポラリーに保存
する記録メディア３０を備えており、入力映像中の字幕
を挿入したい区間である映像区間２０における一部フレ
ーム２１を抽出する。入力映像データＶｉは、記録メデ
ィア３０に一時記憶された後、または直接に被写体領域
指定部４０に入力される。
【００１４】対象となる映像区間は、コンピュータが解
析可能なディジタル映像の区間であれば良く、ＭＰＥＧ
やＪＰＥＧ等の圧縮符号によって圧縮符号化されていて
も構わない。また、その時間及び空間方向へのパラメー
タは任意で構わない。また、一部フレーム２１は、映像
区間の先頭でも良いし、最後でも良いし、真ん中でも良
い。さらに１フレームだけでなく複数フレームであって
構わない。
析可能なディジタル映像の区間であれば良く、ＭＰＥＧ
やＪＰＥＧ等の圧縮符号によって圧縮符号化されていて
も構わない。また、その時間及び空間方向へのパラメー
タは任意で構わない。また、一部フレーム２１は、映像
区間の先頭でも良いし、最後でも良いし、真ん中でも良
い。さらに１フレームだけでなく複数フレームであって
構わない。
【００１５】この一部フレーム２１に対して、利用者５
０は、指示インタフェース４４を介して、被写体領域指
定部４０において、被写体領域２２を指定する。この被
写体領域は、長方形でも良いし、任意の形状でも構わな
い。被写体領域２２が指定されたならば、映像区間中の
全フレームのどこにその被写体領域が対応するのか複数
フレームに渡る被写体領域である複数フレーム被写体領
域２３を被写体領域追跡部４１にて追跡する。この領域
追跡の原理は、選択された領域を幾つかのブロックに分
類し、まず、そのブロック毎に隣接する時系列上で離れ
たフレーム上における類似領域を位置をずらして探索す
ることにより、それぞれに最も類似した位置情報を検出
するというものである。そして、各位置ずれ情報に当た
る動きベクトルの情報を集約し、対応する領域を決定す
る。領域の形状は、指定された形状が反映されていても
良いし、任意の形状に変化していても構わない。なお、
ここでは類似した領域群の外接直方体を追跡された複数
フレーム被写体領域２３として決定する。
０は、指示インタフェース４４を介して、被写体領域指
定部４０において、被写体領域２２を指定する。この被
写体領域は、長方形でも良いし、任意の形状でも構わな
い。被写体領域２２が指定されたならば、映像区間中の
全フレームのどこにその被写体領域が対応するのか複数
フレームに渡る被写体領域である複数フレーム被写体領
域２３を被写体領域追跡部４１にて追跡する。この領域
追跡の原理は、選択された領域を幾つかのブロックに分
類し、まず、そのブロック毎に隣接する時系列上で離れ
たフレーム上における類似領域を位置をずらして探索す
ることにより、それぞれに最も類似した位置情報を検出
するというものである。そして、各位置ずれ情報に当た
る動きベクトルの情報を集約し、対応する領域を決定す
る。領域の形状は、指定された形状が反映されていても
良いし、任意の形状に変化していても構わない。なお、
ここでは類似した領域群の外接直方体を追跡された複数
フレーム被写体領域２３として決定する。
【００１６】一方、利用者５０は、指示インタフェース
４４を介して、一部フレーム２１に対し、字幕領域指定
部４２で、字幕領域を指定し、字幕内容２４を決定す
る。ここでは、領域のみでなく、その内容も反映される
ようにする。なお、一部フレームに含まれる同一映像区
間中に、必ずしも１種類の字幕だけが挿入される必要は
なく、同一映像区間で、任意の字幕を、任意に切替えて
挿入する指定を行うことも可能である。
４４を介して、一部フレーム２１に対し、字幕領域指定
部４２で、字幕領域を指定し、字幕内容２４を決定す
る。ここでは、領域のみでなく、その内容も反映される
ようにする。なお、一部フレームに含まれる同一映像区
間中に、必ずしも１種類の字幕だけが挿入される必要は
なく、同一映像区間で、任意の字幕を、任意に切替えて
挿入する指定を行うことも可能である。
【００１７】複数フレーム被写体領域２３が決定され、
字幕内容２４が決定されたならば、それらの情報から、
字幕を字幕挿入部４３によって挿入する。これにより、
字幕挿入映像２５を得ることができる。
字幕内容２４が決定されたならば、それらの情報から、
字幕を字幕挿入部４３によって挿入する。これにより、
字幕挿入映像２５を得ることができる。
【００１８】被写体が動いている場合には、利用者５０
によって指定された字幕領域と被写体の位置が重なった
り、離れてしまう場合がある。その場合には、動いた被
写体領域とフレーム枠とフレーム枠との間で最適な字幕
領域を決定し、字幕を挿入する。利用者５０によって指
定された字幕領域と被写体の位置が重なった場合の例を
図３（ｄ）の符号３０１、３０２で示す。この場合に
は、図３（ｅ）の符号３０３、３０４に示すように、字
幕位置を被写体と重ならない位置に変更し、その位置に
字幕を挿入する。この結果、字幕が挿入された映像は図
３（ｆ）に示すように表示される。
によって指定された字幕領域と被写体の位置が重なった
り、離れてしまう場合がある。その場合には、動いた被
写体領域とフレーム枠とフレーム枠との間で最適な字幕
領域を決定し、字幕を挿入する。利用者５０によって指
定された字幕領域と被写体の位置が重なった場合の例を
図３（ｄ）の符号３０１、３０２で示す。この場合に
は、図３（ｅ）の符号３０３、３０４に示すように、字
幕位置を被写体と重ならない位置に変更し、その位置に
字幕を挿入する。この結果、字幕が挿入された映像は図
３（ｆ）に示すように表示される。
【００１９】もし、ここで字幕に対してスペースが小さ
い場合には、編集された映像を時系列に分割し、セリフ
を分割して挿入するようにする。これは、セリフの長さ
と、映像区間の長さとを計数し、余白の関係から、セリ
フが入りきらないと判定された場合には、セリフを区切
り、映像区間に割り当てる。セリフの区切りかたは、機
械的に文字数で区切っても良いし、カンマなどの区切り
文字を基準に区切っても構わない。
い場合には、編集された映像を時系列に分割し、セリフ
を分割して挿入するようにする。これは、セリフの長さ
と、映像区間の長さとを計数し、余白の関係から、セリ
フが入りきらないと判定された場合には、セリフを区切
り、映像区間に割り当てる。セリフの区切りかたは、機
械的に文字数で区切っても良いし、カンマなどの区切り
文字を基準に区切っても構わない。
【００２０】また、映像区間への割り当ては、映像区間
の時間長さを基に機械的に区切っても良いし、映像区間
中のカメラワークや、動き被写体の動きの変化などを基
準に区切っても構わない。
の時間長さを基に機械的に区切っても良いし、映像区間
中のカメラワークや、動き被写体の動きの変化などを基
準に区切っても構わない。
【００２１】字幕領域が離れているかどうかの場合の判
断は、字幕領域と被写体領域同士の最短距離から決定す
る。また、重なっているかどうかの判断は、字幕領域と
被写体領域同士を重ねることで容易に判定することがで
きる。最適な位置の探索は、字幕領域を様々な方向にず
らし、フレーム内で元の領域を保てる位置を探索する。
もし、元の領域を保てない場合には、字幕領域は、その
ままの位置としても良いし、利用者に警告を発して修正
を促すなどして修正させるようにしても良い。また、字
幕領域の形状を変更するなどの処理を行っても構わな
い。
断は、字幕領域と被写体領域同士の最短距離から決定す
る。また、重なっているかどうかの判断は、字幕領域と
被写体領域同士を重ねることで容易に判定することがで
きる。最適な位置の探索は、字幕領域を様々な方向にず
らし、フレーム内で元の領域を保てる位置を探索する。
もし、元の領域を保てない場合には、字幕領域は、その
ままの位置としても良いし、利用者に警告を発して修正
を促すなどして修正させるようにしても良い。また、字
幕領域の形状を変更するなどの処理を行っても構わな
い。
【００２２】次に、字幕領域が被写体の移動と共にちら
ちら動いては困るという場合が存在すると思われる。こ
の問題点を回避するための処理を図４を参照して説明す
る。
ちら動いては困るという場合が存在すると思われる。こ
の問題点を回避するための処理を図４を参照して説明す
る。
【００２３】まず、複数フレーム被写体領域２３の互い
に干渉しない領域を算出する。すなわち、図４（ｄ）に
示すように、複数フレームの被写体領域を除いた余白部
４０１を検出し、この余白部４０１を字幕を配置する領
域の候補として決定し、さらに図４（ｅ）に示すよう
に、指定された字幕領域を中心に、最も近い領域で、か
つ被写体を隠蔽しない領域４０２を決定する。
に干渉しない領域を算出する。すなわち、図４（ｄ）に
示すように、複数フレームの被写体領域を除いた余白部
４０１を検出し、この余白部４０１を字幕を配置する領
域の候補として決定し、さらに図４（ｅ）に示すよう
に、指定された字幕領域を中心に、最も近い領域で、か
つ被写体を隠蔽しない領域４０２を決定する。
【００２４】そして、隠蔽しない領域４０２とフレーム
枠との関係から、隠蔽しない領域４０２の内接長方形を
求め、この内接長方形の領域を字幕挿入候補領域４０３
に決定し、この字幕挿入候補領域４０３に字幕４０４を
挿入する。なお、内接長方形は最大でも指定された字幕
領域の面積以下になるように、内接長方形の位置を決定
する。
枠との関係から、隠蔽しない領域４０２の内接長方形を
求め、この内接長方形の領域を字幕挿入候補領域４０３
に決定し、この字幕挿入候補領域４０３に字幕４０４を
挿入する。なお、内接長方形は最大でも指定された字幕
領域の面積以下になるように、内接長方形の位置を決定
する。
【００２５】なお、字幕領域が固定され、被写体領域が
動く場合、被写体の動きについていけない場合がある。
この場合には、図４（ｇ）に示すように、吹き出し矢印
４０５を挿入し、どの被写体が話している内容なのかを
明示する。
動く場合、被写体の動きについていけない場合がある。
この場合には、図４（ｇ）に示すように、吹き出し矢印
４０５を挿入し、どの被写体が話している内容なのかを
明示する。
【００２６】なお、ナレーションなどのように被写体に
関係のいない字幕が存在する場合があり得る。このよう
な場合は、字幕を挿入する対象の被写体を指定しないこ
とになるが、挿入される字幕は、字幕領域の指定どおり
に配置したり、予め決まった位置に固定して配置するな
ど、任意に指定することができる。
関係のいない字幕が存在する場合があり得る。このよう
な場合は、字幕を挿入する対象の被写体を指定しないこ
とになるが、挿入される字幕は、字幕領域の指定どおり
に配置したり、予め決まった位置に固定して配置するな
ど、任意に指定することができる。
【００２７】このようにすることにより、従来、映像区
間で固定した領域に挿入するか、ないしは、各フレーム
毎に挿入する領域の指定を与えなければならなかったセ
リフや字幕などの挿入を、本発明では、簡易に行い、か
つ時系列で、被写体を追跡することで、被写体が動いて
もどの被写体が何を話しているのかを追跡することが可
能になる。
間で固定した領域に挿入するか、ないしは、各フレーム
毎に挿入する領域の指定を与えなければならなかったセ
リフや字幕などの挿入を、本発明では、簡易に行い、か
つ時系列で、被写体を追跡することで、被写体が動いて
もどの被写体が何を話しているのかを追跡することが可
能になる。
【００２８】なお、上述した映像字幕挿入方法をコンピ
ュータプログラムで記述し、ＣＤ・ＲＯＭ等の記録媒体
に記録して、映像編集者が使用するコンピュータに読込
ませて実行させることにより、記録メディア３０に保存
した映像データを、編集者の意図に従って選択しながら
必要な字幕を挿入して編集することが可能になる。
ュータプログラムで記述し、ＣＤ・ＲＯＭ等の記録媒体
に記録して、映像編集者が使用するコンピュータに読込
ませて実行させることにより、記録メディア３０に保存
した映像データを、編集者の意図に従って選択しながら
必要な字幕を挿入して編集することが可能になる。
【００２９】以上、本発明による映像字幕挿入方法とそ
の装置について、実施形態に基づいて具体的に説明した
が、本発明は上述の実施形態に限定されるものではな
く、要旨を逸脱しない範囲で種々の変更が可能である。
の装置について、実施形態に基づいて具体的に説明した
が、本発明は上述の実施形態に限定されるものではな
く、要旨を逸脱しない範囲で種々の変更が可能である。
【００３０】
【発明の効果】以上説明したように、本発明は、編集対
象である入力映像に対し、被写体領域を指定した後、そ
の指定された被写体領域を追跡し、指定された被写体領
域の周辺に字幕を挿入するようにしたため、映像に字幕
を挿入する際に、被写体の位置を考慮し、かつ、被写体
の話している内容を反映しつつ、被写体が動いていて
も、その動きに合わせた最適な位置に字幕を自動的に配
置することができ、視聴者に分かり易い映像編集を行な
うのに極めて有効なものとなる。
象である入力映像に対し、被写体領域を指定した後、そ
の指定された被写体領域を追跡し、指定された被写体領
域の周辺に字幕を挿入するようにしたため、映像に字幕
を挿入する際に、被写体の位置を考慮し、かつ、被写体
の話している内容を反映しつつ、被写体が動いていて
も、その動きに合わせた最適な位置に字幕を自動的に配
置することができ、視聴者に分かり易い映像編集を行な
うのに極めて有効なものとなる。
【図１】本発明の映像字幕挿入方法の一実施の形態を示
す流れ図である。
す流れ図である。
【図２】本発明の方法を実現する装置の一実施の形態を
示すブロック図である。
示すブロック図である。
【図３】字幕挿入アルゴリズムの一例を示す説明図であ
る。
る。
【図４】字幕挿入アルゴリズムの他の例を示す説明図で
ある。
ある。
Ｖｉ…入力映像データ、１…一部被写体領域、２…複数
フレーム被写体領域、３利用者、１１…被写体領域指定
手段、１２…被写体領域追跡手段、１３…字幕挿入手
段、４４…指示インタフェース。
フレーム被写体領域、３利用者、１１…被写体領域指定
手段、１２…被写体領域追跡手段、１３…字幕挿入手
段、４４…指示インタフェース。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平５−276473（ＪＰ，Ａ)
特開 平８−171653（ＪＰ，Ａ)
特開 平６−268897（ＪＰ，Ａ)
特開 平４−310997（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/262 - 5/28
G06T 7/00,7/20 - 7/60
G06T 13/00
Claims (7)
- 【請求項１】 映像の画面上に字幕情報を挿入する際
に、挿入される字幕情報の位置を対応する被写体の動き
に合わせて制御する映像字幕挿入方法であって、 編集対象である入力映像に対し、被写体領域を指定する
被写体領域指定段階と、 指定された被写体領域を追跡する被写体追跡段階と、 入力映像中の字幕を挿入したい区間である映像区間にお
ける一部フレームを抽出し、利用者に字幕領域と字幕内
容とを指定させる字幕領域指定段階と、前記指定された字幕領域と被写体領域とが重なる場合
に、 前記指定された字幕領域を様々な方向にずらし、フ
レーム内で前記指定された被写体領域と重ならない位置
を検索し、その位置に字幕を挿入する字幕挿入段階とを
具備することを特徴とする映像字幕挿入方法。 - 【請求項２】 映像の画面上に字幕情報を挿入する際
に、挿入される字幕情報の位置を対応する被写体の動き
に合わせて制御する映像字幕挿入方法であって、 編集対象である入力映像に対し、被写体領域を指定する
被写体領域指定段階と、 指定された被写体領域を追跡する被写体追跡段階と、 入力映像中の字幕を挿入したい区間である映像区間にお
ける一部フレームを抽出し、利用者に字幕領域と字幕内
容とを指定させる字幕領域指定段階と、 複数フレームに対して、各フレーム単位に前記被写体領
域を除いた余白部を検出し、前記複数のフレームを重ね
合わせ、前記指定された字幕領域を中心に、最も近い領
域で、かつ、前記余白部に基づき前記複数フレームのい
ずれの被写体領域をも遮蔽しない領域を決定し、前記遮
蔽しない領域とフレーム枠との関係から、前記遮蔽しな
い領域の内接長方形を求め、前記内接長方形の領域を字
幕挿入候補領域に決定し、前記字幕挿入候補領域に字幕
を挿入する字幕挿入段階とを具備することを特徴とする
映像字幕挿入方法。 - 【請求項３】 前記字幕挿入段階において、吹き出し矢
印を挿入し、話している被写体を明示することを特徴と
する請求項２に記載の映像字幕挿入方法。 - 【請求項４】 映像の画面上に字幕情報を挿入する際
に、挿入される字幕情報の位置を対応する被写体の動き
に合わせて制御する映像字幕挿入装置であって、 編集対象である入力映像に対し、被写体領域を指定する
被写体領域指定手段と、 指定された被写体領域を追跡する被写体追跡手段と、 入力映像中の字幕を挿入したい区間である映像区間にお
ける一部フレームを抽出し、利用者に字幕領域と字幕内
容とを指定させる字幕領域指定手段と、前記指定された字幕領域と被写体領域とが重なる場合
に、 前記指定された字幕領域を様々な方向にずらし、フ
レーム内で前記指定された被写体領域と重ならない位置
を検索し、その位置に字幕を挿入する字幕挿入手段とを
具備することを特徴とする映像字幕挿入装置。 - 【請求項５】 映像の画面上に字幕情報を挿入する際
に、挿入される字幕情報の位置を対応する被写体の動き
に合わせて制御する映像字幕挿入装置であって、 編集対象である入力映像に対し、被写体領域を指定する
被写体領域指定手段と、 指定された被写体領域を追跡する被写体追跡手段と、 入力映像中の字幕を挿入したい区間である映像区間にお
ける一部フレームを抽出し、利用者に字幕領域と字幕内
容とを指定させる字幕領域指定手段と、 複数フレームに対して、各フレーム単位に前記被写体領
域を除いた余白部を検出し、前記複数のフレームを重ね
合わせ、前記指定された字幕領域を中心に、最も近い領
域で、かつ、前記余白部に基づき前記複数フレームのい
ずれの被写体領域をも遮蔽しない領域を決定し、前記遮
蔽しない領域とフレーム枠との関係から、前記遮蔽しな
い領域の内接長方形を求め、前記内接長方形の領域を字
幕挿入候補領域に決定し、前記字幕挿入候補領域に字幕
を挿入する字幕挿入手段とを具備することを特徴とする
映像字幕挿入装置。 - 【請求項６】 前記字幕挿入手段は、吹き出し矢印を挿
入し、話している被写体を明示することを特徴とする請
求項５に記載の映像字幕挿入装置。 - 【請求項７】 コンピュータに、前記請求項１ないし請
求項３のいずれか１項に記載の映像字幕挿入方法を実行
させるプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05933698A JP3468404B2 (ja) | 1998-03-11 | 1998-03-11 | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05933698A JP3468404B2 (ja) | 1998-03-11 | 1998-03-11 | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261890A JPH11261890A (ja) | 1999-09-24 |
| JP3468404B2 true JP3468404B2 (ja) | 2003-11-17 |
Family
ID=13110390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05933698A Expired - Fee Related JP3468404B2 (ja) | 1998-03-11 | 1998-03-11 | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3468404B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101518055A (zh) * | 2006-09-21 | 2009-08-26 | 松下电器产业株式会社 | 字幕生成装置、字幕生成方法及字幕生成程序 |
| KR101804912B1 (ko) * | 2011-01-28 | 2017-12-05 | 엘지전자 주식회사 | 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6778224B2 (en) * | 2001-06-25 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Adaptive overlay element placement in video |
| JP4599244B2 (ja) * | 2005-07-13 | 2010-12-15 | キヤノン株式会社 | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 |
| JP5594117B2 (ja) * | 2010-12-16 | 2014-09-24 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2012153475A1 (ja) * | 2011-05-11 | 2012-11-15 | パナソニック株式会社 | 描画合成装置 |
| CN109862422A (zh) * | 2019-02-28 | 2019-06-07 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN111225288A (zh) * | 2020-01-21 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 展示字幕信息的方法、装置以及电子设备 |
-
1998
- 1998-03-11 JP JP05933698A patent/JP3468404B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101518055A (zh) * | 2006-09-21 | 2009-08-26 | 松下电器产业株式会社 | 字幕生成装置、字幕生成方法及字幕生成程序 |
| KR101804912B1 (ko) * | 2011-01-28 | 2017-12-05 | 엘지전자 주식회사 | 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11261890A (ja) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7725830B2 (en) | Assembling verbal narration for digital display images | |
| US7974492B2 (en) | Image data reproducing apparatus with changing proportions of combined enlarged images, method of controlling same and control program therefor | |
| JP3892342B2 (ja) | ビデオプロジェクトを編集するためのビデオ編集方法および装置 | |
| US8103062B2 (en) | Video processing apparatus | |
| US9881215B2 (en) | Apparatus and method for identifying a still image contained in moving image contents | |
| JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
| US7856145B2 (en) | Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program | |
| JP2005268991A (ja) | 画像処理装置、画像処理方法およびそのプログラム、記録媒体 | |
| JP2007241496A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2009048490A (ja) | 類似ショット検出装置、プログラムおよび方法 | |
| Rachavarapu et al. | Watch to edit: Video retargeting using gaze | |
| JP4536940B2 (ja) | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム | |
| JP4667381B2 (ja) | 映像処理装置およびその方法 | |
| JP3468404B2 (ja) | 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体 | |
| US6272279B1 (en) | Editing method of moving images, editing apparatus and storage medium storing its editing method program | |
| JP2006094053A (ja) | フォトムービー作成方法および装置、並びにフォトムービー作成プログラム | |
| JP3934780B2 (ja) | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 | |
| JPH0991928A (ja) | 映像の編集方法 | |
| JPH08331504A (ja) | 動画像処理装置および動画像再生装置 | |
| JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
| JP3175760B2 (ja) | 動画像アンカー作成システム | |
| JP2005167822A (ja) | 情報再生装置及び情報再生方法 | |
| JP2005039354A (ja) | メタデータ入力方法と編集システム | |
| JP3426997B2 (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 | |
| JP2000069420A (ja) | 映像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |