JPH08317301A

JPH08317301A - 映像出力装置

Info

Publication number: JPH08317301A
Application number: JP7122147A
Authority: JP
Inventors: Katsumi Taniguchi; 勝美谷口; Shigeki Nagaya; 茂喜長屋; Takafumi Miyatake; 孝文宮武
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-05-22
Filing date: 1995-05-22
Publication date: 1996-11-29

Abstract

(57)【要約】【構成】字幕画像データから区分領域別に字幕の特徴量
を抽出する手段と、該区分領域別の特徴量から領域別の
字幕の有無を判定する手段を具備し、抽出した字幕を主
映像に合成するため、字幕領域内の字幕のみを抽出する
字幕画素抽出手段と、字幕を縮小する字幕縮小手段と字
幕を移動する字幕移動手段の二つの合成字幕の加工手段
と、字幕を視聴中の主映像と合成する映像合成手段を具
備する。また、主映像と副映像とを切り換えるため、字
幕領域から字幕の書式を検出する書式検出手段と、出力
映像を切り換える映像切り換え手段を具備する映像入出
力装置。【効果】合成する字幕のサイズと表示位置をユーザの任
意に変化させることが可能で、主映像の視聴を阻害する
ことなく、主映像と副映像を切り換えるかどうかのきっ
かけとなる情報を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、裏番組の副映像を自動
監視することによって、視聴者が主映像の視聴中であっ
ても、副映像の重要シーンの見落とし防止を支援する映
像出力装置に関する。

【０００２】

【従来の技術】近年、映像チャンネルの増加に伴い、映
像受信システム側で複数の映像を同一画面上に出力する
映像出力装置が増えつつある。

【０００３】これらの映像出力装置における従来の映像
同時出力方式は、大きく次の三つに分類できる。第一の
方式として挙げられるのは、主映像中に副映像を縮小し
て表示する、いわゆる、ピクチャーインピクチャー方式
である。第二の方式は、映像の表示領域（画面）を二つ
に分割し、主映像と副映像を並べて表示する方式であ
る。第三の方式としてあげられるのは、副映像のかわり
に文字放送をスーパーインポーズで合成表示する方式で
ある。

【０００４】こうした装置のユーザの視聴形態は、重点
的に見ようとする映像チャンネルを主映像とし、気にな
るときだけ眺めたい映像チャンネルを副映像とする。例
えば、ドラマを主映像とし、スポーツ番組を副映像とす
る視聴形態が挙げられる。この場合、副映像であるスポ
ーツ番組にユーザの注意が注がれるのは、点数などのゲ
ームの状況確認や、得点シーン，好みの選手が登場する
シーン等である。

【０００５】しかし、従来の映像出力方式では、ユーザ
の視聴形態を考えると様々な問題がある。

【０００６】まず、第一の方式では、副映像の表示領域
が小さい為、内容が確認しづらいという問題が生じる。
このため、せっかく副映像を同時に出力しても、肝心の
シーンを見落としやすく目的とする効果が充分に発揮で
きない。

【０００７】第二の方式では、表示領域を二分割するた
め主映像，副映像とも映像が歪んでしまうという問題が
ある。また、主映像を注視している場合に、副映像のシ
ーンの切り換わりや動きのため目移りして見にくくなる
という欠点がある。

【０００８】第三の方式では、文字情報を副映像の代替
としており、副映像を直接見るものではない。また、こ
の方式では、文字放送の行われている番組に限定されて
しまうという問題がある。

【０００９】

【発明が解決しようとする課題】本発明が解決しようと
する課題は、主映像を小さくしたり、歪ませたり、ある
いは、注意をそらされる事なく主映像が視聴でき、か
つ、裏番組の重要シーンの見落しが防止できる映像出力
装置を提供することにある。

【００１０】

【課題を解決するための手段】まず、字幕を抽出する方
法は、ディジタル画像データから区分領域別に字幕の特
徴量を抽出する手段と、該区分領域別の特徴量から領域
別の字幕の有無を判定する手段を提供する。

【００１１】次に抽出した字幕を主映像に合成する方法
として、字幕領域内の字幕のみを抽出する字幕画素抽出
手段と、字幕を縮小する字幕縮小手段と字幕を移動する
字幕移動手段の二つの合成字幕の加工手段と、字幕を視
聴中の主映像と合成する映像合成手段を提供する。

【００１２】また、主映像と副映像とを切り換える方法
として、字幕領域から字幕の書式を検出する書式検出手
段と、出力映像を切り換える映像切り換え手段を提供す
る。

【００１３】

【作用】まず、映像入力手段により入力された副映像
は、特徴抽出部により、区分領域別に特徴量が抽出さ
れ、字幕領域判定手段により、領域別の字幕の有無が判
定される。これによって、字幕の文字数が画面全体で少
ない場合でも、部分的な抽出が可能である。

【００１４】次に字幕画素抽出手段により、字幕有領域
から背景を取り除いて字幕のみを抽出する。抽出された
字幕は、字幕縮小手段及び字幕移動手段により加工さ
れ、画面の任意の場所に任意の大きさで表示される。最
後に、映像合成手段により、主映像と字幕を合成しディ
スプレイに表示する。このため、主映像の視聴を損なう
ことなく他映像の情報を入手することができ、ユーザに
主映像から副映像に切り換えるかどうかのきっかけを知
らせることができる。

【００１５】合成表示のかわりに映像切り換えを行う場
合、まず書式検出手段により、抽出した字幕領域から書
式が検出される。次に映像切り換え手段により、検出し
た書式とユーザが指定した書式が一致するか判定し、一
致した場合、主映像と副映像が切り換えられる。これに
より、表示された字幕に注視することなく映像が切り換
わるため、重要シーンを見逃すことがない。

【００１６】

【実施例】図１は本発明の全体の処理のブロック図であ
る。主映像入力部１００は映像再生装置７から送られた
映像信号を入力とする。映像信号はアナログデータであ
り、これをディジタル化して主画像データ５−６を出力
する。同じく、副映像入力部２００はテレビチューナ８
から送られた映像信号を入力する。映像信号はアナログ
データであり、これをディジタル化して副画像データ５
−７を出力する。

【００１７】字幕領域抽出部３００は副画像データ５−
７を入力とする。そして、副画像データ５−７を処理し
て字幕領域データ５−２０を出力する。字幕領域データ
５−２０は区分領域別に字幕有無を抽出したデータであ
る。尚、字幕領域抽出部300の詳細は図６で説明する。

【００１８】映像制御部４００は主画像データ５−６と
副画像データ５−７と字幕領域データ２０の三つのデー
タを入力とする。そして、これらのデータから画像の合
成、または切り換える処理を行う。映像制御部４００で
出力した表示画像データ５−２９はディスプレイ１に出
力される。

【００１９】図２は映像制御部４００の詳細を示した処
理ブロック図である。映像制御部４００の処理は大きく
映像合成処理４００−ａと映像切り換え処理４００−ｂ
の二つに分けることができる。コントロール部４１０は
ユーザの指定に従い、映像合成処理４００−ａと映像切
り換え処理４００−ｂのどちらの処理に制御を移すかを
スイッチする。

【００２０】まず、映像合成処理４００−ａについて説
明する。字幕画素抽出部４２０は字幕領域データ５−２
０と副画像データ５−７を入力する。字幕領域データ５
−２０で字幕有りと判定された領域中から字幕画素のみ
を抽出する。これにより、背景を取り除いた字幕画素デ
ータ５−２１が出力される。尚、字幕画素抽出部４２０
の処理の詳細は図１５で述べる。字幕縮小部４３０と字
幕移動部４４０は字幕画素データ５−２１が合成する主
映像の視聴を妨げるのを防ぐ。字幕縮小部４３０は字幕
画素データ５−２１を入力する。その時、字幕画素デー
タ５−２１の字幕が大きく、縮小指定がある場合のみ字
幕画素を間引く。このように字幕を縮小したデータを字
幕画素データ５−２１に入れ直す。字幕移動部４４０も
また字幕画素データ５−２１を入力する。字幕画素デー
タ５−２１の字幕が主映像の視聴を妨げ、移動指定があ
る場合のみ字幕画素を任意の位置に移す。これにより、
再度データを字幕画素データ５−２１に入れ直す。

【００２１】映像合成部４５０は主画像データ５−６と
字幕画素データ５−２１を入力する。そして主画像デー
タ５−６と字幕画素データ５−２１を合成し、表示画像
データ５−２９として出力する。これにより副映像にど
のような字幕表示がなされても、主映像の視聴を妨げる
ことなく字幕を付加することができ、ユーザに主映像か
ら副映像に切り換えるかどうかのきっかけを知らせるこ
とができる。

【００２２】次に映像切り換え処理４００−ｂの処理に
ついて説明する。まず、書式検出部４６０は字幕領域デ
ータ５−２０を入力する。字幕領域データ５−２０から
書式データ５−２２を検出し出力とする。尚、書式検出
部４６０の処理の詳細は図１６，図１７で述べる。映像
切り換え部４５０は、主画像データ５−６と書式データ
５−２２と副画像データ５−７を入力する。書式データ
５−２２とユーザが指定していた書式と同じかを判定す
る。同じ書式であると判定した場合、副画像データ５−
２１を表示画像データ５−２９を代入して出力する。こ
れによりユーザは字幕を注視しなくても重要なシーンを
見逃すこともない。

【００２３】図３は図２で説明した映像合成処理４００
−ａでの画像データのフローチャートである。字幕領域
抽出部３００は副画像データ５−７を入力する。字幕領
域抽出部３００は字幕を有する領域を抽出した字幕領域
データ５−２０を出力する。字幕領域データ５−２０は
字幕を含む領域は１、それ以外は０が代入されている。
字幕画素抽出部４２０は字幕領域データ５−２０と副画
像データ５−７を入力する。字幕画素抽出部４２０は字
幕領域データ５−２０の字幕有り領域中から字幕画素を
抽出する処理を行う。出力された字幕画素データ５−２
１の字幕画素には副画像データ５−７の画素値が入って
いる。それ以外の画素は黒の色値をが入っている。字幕
縮小部４３０は字幕画素データ５−２１の字幕が大き
く、縮小指定のある場合のみ字幕画素を間引く。このよ
うに字幕を縮小したデータを字幕画素データ５−２１に
入れ直す。字幕移動部４４０は字幕画素データ５−２１
を入力する。字幕画素データ５−２１の字幕が主映像の
視聴を妨げ、移動指定のある場合のみ字幕画素を任意の
位置に移し、再度字幕画素データ５−２１に入れ直す。

【００２４】映像合成部４５０は主画像データ５−６と
字幕画素データ５−２１を入力する。主画像データ５−
６と字幕画素データ５−２１を合成し表示画像データ５
−２９として出力する。出力された表示画像データ５−
２９はディスプレイ１に表示される。これにより副映像
にどのような字幕表示されても主映像の視聴を妨げるこ
となく、字幕を付加することができ、ユーザに主映像か
ら副映像に切り換えるかどうかのきっかけを知らせるこ
とができる。

【００２５】図４は図２で説明した映像合成処理４００
−ａで字幕合成したディスプレイ表示例を示す図であ
る。

【００２６】５−２９−ａの合成例は字幕合成処理４０
０−ａで字幕画素データ５−２１に字幕加工処理を行っ
ていない。これにより、入力時の副画像データ５−７で
表示されていた字幕の位置で合成表示する。５−２９−
ｂは初めに字幕縮小部４２０で字幕画素データ５−２１
に字幕の縮小処理を行う。また、更に字幕移動部430で
字幕の移動処理を行い合成表示した例である。５−２９
−ｃは字幕有領域の字幕画素データ５−２１を液晶パネ
ル１−１に表示した例である。

【００２７】図５は図２で説明した映像切り換え処理４
００−ｂでの画像データのフローチャートである。字幕
領域抽出部３００は副画像データ５−７を入力する。字
幕領域抽出部３００は字幕を有する領域を抽出した字幕
領域データ５−２０を出力する。字幕領域データ５−２
０は字幕を含む領域は１、それ以外は０が代入されてい
る。書式検出部４６０は字幕領域データ５−２０を入力
する。書式検出部460では字幕領域の配置状態からの書
式データ５−２２を検出し出力する。映像切り換え部４
７０は、主画像データ５−６と書式データ５−２２と副
画像データ５−７を入力する。書式データ５−２２とユ
ーザが指定していた書式が同じかを判定する。同じ書式
であると判定した場合、副画像データ５−２１を表示画
像データ５−２９に代入して出力する。出力した表示画
像データ５−２９をディスプレイ１に表示する。

【００２８】図６は字幕領域抽出部３００の処理ブロッ
ク図である。図において、５−７は副映像入力部２００
により変換されたディジタル画像データである。特徴抽
出部３５０は入力された画像の中から字幕の特徴を抽出
し、それを計数値として出力する。計数値には、領域別
輝度計数部６００と領域別エッジ計数部７００で計数さ
れた値の二種類がある。また本図で説明する処理は、画
面を区分領域に分割し、領域別に処理を行っている。

【００２９】領域別輝度計数部６００は各領域内の高輝
度の画素を抽出してその個数を出力する。領域別エッジ
計数部７００は、各領域内の隣接画素との色差の大きい
画素（以下は強エッジ）を抽出してその個数を出力す
る。字幕領域判定部８００は領域別輝度計数部６００と
領域別エッジ計数部７００により得られた計数値を入力
とする。両方の計数値が一定の条件を満足するとき、領
域内に字幕が有ると判定する。字幕領域判定部８００で
出力した字幕領域データ５−２０は領域別の字幕有無の
１ビットデータである。字幕を含む領域にはデータに１
を代入し、それ以外には０を代入する。

【００３０】本実施例の字幕判定は、字幕の特徴として
高輝度の画素と、強画素の両方をチェックしている。こ
のため、ライト照明の様なエッジがなくかつ高輝度の領
域。将棋盤のようにエッジは有るが輝度の低い領域は抽
出しないため、誤認識を減らす効果がある。さらに、字
幕の特徴を区分領域毎に判定するため、字幕文字数が画
面全体で少ない場合でも、部分的に抽出できる。

【００３１】図７はプログラムとデータの説明図であ
る。図において、プログラム５−１は、図１の字幕の抽
出合成処理のコンピュータプログラムである。また、５
−２から５−２９はプログラム５−１が参照するデータ
であって、その中で、５−２から５−５は抽出のための
予め設定しておくべきパラメータ、５−６から５−２９
は一回あたりの処理に利用するワーク用のデータであ
る。

【００３２】以下、データを説明する。まず闘値５−
２，５−３は画像中から字幕の特徴量を抽出する際に使
用する闘値、闘値５−４，５−５は特徴量から字幕を判
定するための闘値であり、予め設定しておく。

【００３３】主画像データ５−６は主映像変換装置１０
によって変換した最新フレームのディジタル画像データ
であり、同じく副画像データ５−７は副映像変換装置１
０によって変換した最新フレームのディジタル画像デー
タであり、この画像データは処理のため赤画像データ５
−７−１，緑画像データ５−７−２，青画像データ５−
７−３の三種類の色成分データに分ける。

【００３４】次に特徴抽出部３５０で作成する各種デー
タを説明する。輝度データ５−８は、画像データの中で
高輝度の画素を抽出した配列データである。横エッジデ
ータ５−９は画像の横方向の色差が大きい画素を抽出し
た配列データ，縦エッジデータ５−１０は画像の縦方向
の色差が大きい画素を抽出した配列データである。前フ
レーム輝度データ５−１１，前フレーム横エッジデータ
５−１２，前フレーム縦エッジデータ５−１３は、一時
的に現在処理中のフレームの１フレーム前の輝度データ
５−９，横エッジデータ５−１０，縦エッジデータ５−
１１を格納した配列データである。

【００３５】輝度照合データ５−１４は、輝度データ５
−８と前フレーム輝度データ５−１１が共に高輝度の画
素を格納した配列データである。また、横エッジ照合デ
ータ５−１５は、横エッジデータ５−９と前フレーム横
エッジデータ５−１２が共に強エッジの画素を格納した
配列データである。同様に縦エッジ照合データ５−１６
は縦エッジデータ５−１０と前フレーム縦エッジデータ
５−１３が共に強エッジの画素を格納した配列データで
ある。

【００３６】輝度領域データ５−１７は、区分領域別に
輝度照合データ５−１４の高輝度の画素数を計数した結
果を格納した配列データである。横エッジ領域データ５
−１８は区分領域別に横エッジ照合データ５−１５の強
エッジの画素数を計数した結果を格納した配列データで
ある。同様に縦エッジ領域データ５−１９は区分領域別
に縦エッジ照合データ５−１６の強エッジの画素数を計
数した結果を格納した配列データである。尚、区分領域
の個々のサイズは、字幕の文字が一つ入る程度のサイズ
が望ましい。本実施例では、画面を横に１６分割、縦に
１０分割している。

【００３７】次に、字幕領域判定部４００で作成するデ
ータを説明する。字幕領域データ５−２０は区分領域別
に字幕の有無の判定結果を格納した配列データである。
また、字幕画素抽出部９００で作成する字幕画素データ
５−２１は字幕のみを抽出した画像データである。

【００３８】書式データ５−２２は抽出した代表画像の
字幕の位置および方向データである。行カウントデータ
５−２３は行単位に字幕有りと判定された領域の個数を
格納した配列データである。最大行カウントデータ５−
２４は行カウントデータ５−２３の領域の個数が最も多
い行の領域の個数を格納したデータである。最大行位置
データ５−２５は最大行の行番号を格納したデータであ
る。同様に列カウントデータ５−２６は列単位に字幕有
りと判定された領域の個数を格納した配列データであ
る。最大列カウントデータ５−２７は列カウントデータ
５−２６の値の最大値を格納したデータである。最大列
位置データ５−２８は最大値を有する列の列番号を格納
したデータである。

【００３９】表示画像データ５−２９は副画像データ５
−７に映像制御部４００で映像合成、又は映像切り換え
の処理を行い、ディスプレイに表示するデータであり、
副画像データに字幕のない場合は、主画像データがその
まま表示画像データに移される。

【００４０】以下、図７を参照しながら、図６の領域別
輝度計数部６００，領域別エッジ計数部７００，字幕領
域判定部８００，字幕画素抽出部９００の処理手順をフ
ローチャートを用いて詳細に説明する。

【００４１】図８，図９，図１０は領域別輝度計数部６
００の処理手順を示し、図１１，図１２，図１３は領域
別エッジ計数部７００の処理手順を示し、図１４は字幕
領域判定部８００の処理手順を示すフローチャートであ
る。

【００４２】まず、領域別輝度計数部６００の処理手順
を図８，図９，図１０を参照して説明する。処理６０１
から処理６０９（図８）までは、入力画像中の高輝度の
画素を抽出する処理である。６０１では、処理６０２か
ら処理６０９で使用する、変数Ｘ，Ｙを０で初期化す
る。処理６０２は入力した副画像データ５−７の赤画像
データ５−７−１，緑画像データ５−７−２，青画像デ
ータ５−７−３の各色成分が闘値１以上の輝度であるか
を調べ、すべての色成分が闘値１以上の輝度であれば処
理６０３へ移り、なければ処理６０４へ移る。処理６０
３では処理６０２で輝度を調べた画像上の位置と等しい
位置の輝度データ５−８の配列に１を書き込み、処理６
０４では処理６０２で輝度を調べた画像上の位置と等し
い位置の輝度データ５−８の配列に０を書き込む。処理
６０５から処理６０９は上述の処理を全ての画素に対し
て行うためのアドレス更新処理である。すべての処理が
完了すると処理６１０に移る。

【００４３】処理６１０から処理６１８（図９）まで
は、複数のフレームに渡り、高輝度が継続している画素
を抽出する処理である。処理６１０では、処理６１１か
ら処理６１８で使用する変数Ｘ，Ｙを０で初期化する。
処理６１１は輝度データ５−８と前フレーム輝度データ
５−１１の値が共に１であるかどうかを調べ、共に１で
あるならば処理６１２へ、そうでなければ処理６１３へ
移る。処理６１２では処理６１１で調べた輝度データ上
の位置と等しい位置の輝度照合データ５−１４の配列に
１を書き込み、処理６１３では処理６１１で調べた輝度
データ上の位置と等しい位置の輝度照合データ５−１４
の配列に０を書き込む。処理６１４から処理６１８は上
述の処理を全ての画素に対して行うためのアドレス更新
処理である。すべての処理が完了すると処理６１９に移
る。

【００４４】処理６１９から処理６２５（図９）まで
は、前フレーム輝度データ５−１１の更新処理である。
処理６１９では、処理６２０から処理６２５で使用する
変数Ｘ，Ｙを０で初期化する。処理６２０では、前フレ
ーム輝度データに輝度データを代入する。処理６２１か
ら処理６２５は上述の処理を全ての画素に対して行うた
めのアドレス更新処理である。すべての処理が完了する
と処理６２６に移る。

【００４５】処理６２６から処理６３９（図１０）まで
は、区分領域毎に高輝度の画素数を計数する処理であ
る。処理６２６では処理６２７から処理２３９で使用す
る変数ｉ，ｊ，Ｘｂ，Ｙｂを０で初期化する。処理６２
７は輝度照合データ５−１４が１かどうかを調べ、１で
あれば処理６２８へ移り、そうでなければ処理６２９へ
移る。処理６２８では処理６２７で調べた輝度照合デー
タの位置が属する区分領域に該当する、輝度領域データ
５−１７の配列に１を加える。処理６２９から処理６３
９は上述の処理を全ての画素に対して行うためのアドレ
ス更新処理である。すべての処理が完了すると領域別の
輝度計数結果が輝度領域データ５−１７に格納される。

【００４６】次に、領域別エッジ計数部７００の処理手
順を図１１，図１２，図１３を参照して説明する。処理
７０１から処理７１２（図１１）までは、縦および横の
強エッジの画素を抽出する処理である。処理７０１で
は、処理７０２から処理７１２で使用する変数Ｘ，Ｙを
０で初期化する。処理７０２は入力した画像データの赤
画像データ５−７−１，緑画像データ５−７−２，青画
像データ５−７−３の各色成分が横方向に闘値２以上の
色差があるかを調べ、すべての色データの色差が闘値２
以上であれば処理７０３へ移り、そうでなければ処理７
０４へ移る。処理７０３では処理７０２で色差を調べた
画像中の位置と等しい位置の横エッジデータの配列に１
を書き込み、処理７０４では処理７０２で色差を調べた
画像中の位置と等しい位置の横エッジデータの配列に０
を書き込む。処理７０５から処理７０７では、同様に、
縦エッジデータを抽出する。処理７０８から処理７１２
は上述の処理を全ての画素に対して行うためのアドレス
更新処理である。すべての処理が完了すると処理７１３
に移る。

【００４７】処理７１３から処理３２４（図１２）まで
は、複数のフレームに渡り、強エッジが継続している画
素を抽出する処理である。処理７１３では、処理７１４
から処理７２４で使用する変数Ｘ，Ｙを０で初期化す
る。処理７１４は横エッジデータ５−９と前フレーム横
エッジデータ５−１２の値が共に１であるかどうかを調
べ、共に１であるならば処理７１５へ、そうでなければ
処理７１６へ移る。処理７１５では処理７１４で調べた
横エッジデータ上の位置と等しい位置の横エッジ照合デ
ータ５−１５の配列に１を書き込み、処理７１６では処
理７１４で調べた横エッジデータ上の位置と等しい位置
の横エッジ照合データ５−１５の配列に０を書き込む。
同様に、縦エッジ照合データについて、処理７１７から
処理７１９で計算する。処理７２０から処理７２４は上
述の処理を全ての画素に対して行うためのアドレス更新
処理である。すべての処理が完了すると、処理７２５に
移る。

【００４８】処理７２５から処理７３１（図１２）まで
は、前フレーム横エッジデータ５−１２および前フレー
ム縦エッジデータ５−１３の更新処理である。処理７２
５では、処理７２６から処理７３１で使用する変数Ｘ，
Ｙを０で初期化する。処理７２６は前フレーム横エッジ
データ５−１５に横エッジデータ５−９を代入し、前フ
レーム縦エッジデータ５−１３に縦エッジデータ５−１
０を代入する。処理７２７から処理７３１は上述の処理
を全ての画素に対して行うためのアドレス更新処理であ
る。すべての処理が完了すると処理７３２に移る。

【００４９】処理７３２から処理７４８（図１３）まで
は、区分領域毎に縦及び横の強エッジの画素数を計数す
る処理である。処理７３２では処理７３３から処理７４
８で使用する変数ｉ，ｊ，Ｘｂ，Ｙｂを０で初期化す
る。処理７３３は横エッジ照合データ５−１５が１かど
うかを調べ、１であれば処理７３４へ移り、そうでなけ
れば処理７３５へ移る。処理７３４では処理７３３で調
べた横エッジ照合データの位置が属する区分領域に該当
する、横エッジ領域データ５−１８の配列に１を加え
る。同様に、処理７３５と処理７３６で縦エッジ領域デ
ータを計算する。処理７３７から処理７４８は上述の処
理を全ての画素に対して行うためのアドレス更新処理で
ある。すべての処理が完了すると、領域別のエッジ計数
結果が、横エッジ領域データ５−１８と縦エッジ領域デ
ータ５−１９に格納される。

【００５０】以上の処理により領域別に字幕の特徴抽出
が行われたことになる。

【００５１】次に、字幕領域判定部８００の処理手順を
図１４を参照して説明する。処理８０１から処理８０９
（図１５）までは、区分領域別の字幕有無を判定する処
理である。処理８０１では処理８０２から処理８０９で
使用する変数Ｘｂ，Ｙｂを０で初期化する。処理８０２
は輝度領域データが闘値３以上でかつ横エッジ領域デー
タが闘値３以上でかつ縦エッジ領域データが闘値３以上
であるかを調べ、三つの条件を満たせば処理８０３へ移
り、そうでなければ処理８０４へ移る。処理８０３では
処理８０２で調べた領域と等しい領域の字幕領域データ
５−２０の配列に１を書き込み、処理８０４では処理８
０２で調べた領域と等しい領域の字幕領域データ５−２
０の配列に０を書き込む。処理８０５から処理８０９は
上述の処理を全領域に対して行うためのアドレス更新処
理である。すべての処理が完了すると処理８１０に移
る。以上により領域別の字幕の有無が得られたことにな
る。

【００５２】以下、図７を参照しながら、図２の字幕画
素抽出部４２０，書式検出部４６０の処理手順をフロー
チャートを用いて詳細に説明する。図１５は字幕画素抽
出部４２０の処理手順を示し、図１６，図１７は書式検
出部４６０の処理手順を示している。

【００５３】まず、字幕画素抽出部４２０を説明する。
処理４２０−１から処理４２０−１６までは、１画素毎
に字幕であるかを調べ、字幕に相当する画素を抽出する
処理である。処理４２０−１では処理４２０−２から処
理４２０−１６で使用する変数ｉ，ｊ，Ｘｂ，Ｙｂを０
で初期化する。処理４２０−２は字幕領域データ５−２
０が１かどうかを調べ、１であれば処理４２０−３へ移
り、そうでなければ処理４２０−０５へ移る。処理４２
０−０３では該当する画素の赤画像データ，青画像デー
タ，緑画像データが閾値１以上の輝度であるかを調べ、
三つとも閾値１以上であれば処理４２０−０４へ移り、
そうでなければ処理４２０−０５へ移る。処理４２０−
０４では処理４２０−０３で調べた画素位置の字幕画素
データに副画像データの値を代入する。処理４２０−０
５では処理４２０−０３で調べた画素位置の字幕画素デ
ータに０を代入する。

【００５４】処理４２０−０６から処理４２０−１６は
上述の処理を全ての画素に対して行うためのアドレス更
新処理である。すべての処理が完了すると、副画像中の
字幕だけが抽出される。

【００５５】次に書式検出部４６０の説明をする。処理
４６０−１から処理４６０−７（図１６）までは、字幕
領域データを行方向に投影する処理であり、同様に、処
理４６０−８から処理４６０−１４（図１６）までは、
字幕領域データを列方向に投影する処理である。行方向
の処理について詳細に説明する。処理４６０−１では、
処理４６０−２から処理４６０−７で使用する変数Ｘ
ｂ，Ｙｂを０で初期化する。処理４６０−２では行毎に
字幕有り領域の個数を加算している。処理460−３から
処理４６０−７はこの処理をすべての領域に対して行う
ためのアドレス更新処理である。すべての処理が完了す
ると処理４６０−８に移り、同様に列方向に投影する処
理を行う。列方向の処理が終わると処理４６０−１５に
移る。以上の処理により、行カウントデータ５−２３と
列カウントデータ５−２６に、行および列方向の字幕有
り領域の個数が格納されることになる。

【００５６】処理４６０−１５から処理４６０−３３
（図１７）では、個々の領域の結果を統合して、最終的
に字幕有無の判断と字幕の位置および方向を求める処理
を行う。処理４６０−１５は処理４６０−１６から処理
４６０−２５で使用する変数Ｘｂ，Ｙｂを０で初期化す
る。処理４６０−１６は行カウントデータの中で一番大
きい値を持つ行を調べるため、行カウントデータが最大
行カウントデータより大きいかを調べ、大きければ処理
４６０−１７へ移り、小さければ処理４６０−１９に移
る。処理４６０−１７では最大行カウントデータを行カ
ウントデータの値に置き換え、処理４６０−１８でその
時の行番号を最大行位置データに記憶しておく。処理４
６０−１９から処理４６０−２０は以上の処理を全ての
行に対して行うためアドレス更新処理である。また、処
理４６−２１から処理４６０−２５は、同様にして、最
大列カウントデータと最大列位置データを計算する。

【００５７】処理４６０−２６では最大行カウントデー
タが閾値４以上であるか、または最大列カウントデータ
が閾値４以上であるかどうかを調べ、条件を満足すれ
ば、字幕有りと判定し処理４６０−２７へ、満足しなけ
れば、字幕無しと判定する。

【００５８】字幕有りと判定されると、字幕が画像上で
縦の左書き，縦の右書き，横の上書き，横の下書きのい
ずれの書式であるか分類する。

【００５９】まず、処理４６０−２７では最大行カウン
トデータと最大列カウントデータを比較し、最大行カウ
ントデータが大きければ「横書き」と判定し処理４６０
−２８に移り、最大列カウントデータが大きければ「縦
書き」と判定し処理４６０−３１に移る。処理４６０−
２８では最大行位置データが中央の行（本実施例では５
行目）以上であるかを調べ、以上であれば「上書き」と
判断し処理４６０−２９へ移り、未満であれば「下書
き」と判断し処理４６０−３０へ移る。そして処理４６
０−２９では書式データに「上横書き」を書き込み、処
理４６０−３０では書式データに「下横書き」を書き込
む。一方、処理４６０−３１では最大列位置データが中
央の列（本実施例では８列目）以上であるかを調べ、以
上であれば「右書き」と判断し処理４６０−３２へ移
り、未満であれば「左書き」と判断し処理４６０−３３
へ移る。処理４６０−３２では書式データに「右縦書
き」を書き込み、処理４６０−３３では書式データに
「左縦書き」を書き込む。

【００６０】以上の処理により字幕の書式が判定できる
ことになる。本実施例では縦横それぞれ二分割して書式
を判定しているが、分割数を増やせばさらに詳細に書式
を区別でき、また、字幕領域の数も計数しているため、
領域数が多いときには画面中の字幕の割合が大きく、領
域数が少ない時には画面中の字幕の割合が小さいという
書式の区別ができることは言うまでもない。

【００６１】以上、字幕の特徴抽出部、および、字幕判
定部をフローチャートを用いて詳細に開示した。

【００６２】本字幕抽出例によれば、特徴抽出部によっ
て、ディジタル画像データから区分領域別に字幕が現わ
れているかどうかを判定しているので、字幕の文字数が
画面全体で少ない場合であっても、部分的な抽出が可能
である。また字幕領域判定部によって、字幕有無の情報
を行および列方向に投影して判断しているので、現われ
た字幕が縦書きか横書きであるかを区別することが可能
である。さらに、特徴抽出部は、各領域内に含まれる第
一の閾値以上の高輝度の画素の個数と、各領域内に含ま
れる第二の閾値以上であるエッジの個数を計数して、特
徴としているので、高い輝度の画面が現われただけでは
字幕と判断しない。また、エッジは、複数の方向につい
てそれぞれ求めており、文字部の複雑さを忠実に抽出す
ることができる。

【００６３】

【発明の効果】本発明によれば、副映像から抽出した字
幕を視聴中の主映像と合成するため、文字放送が行われ
ていなくても副映像の代替となる文字情報が得られる。
また、合成する字幕のサイズと表示位置をユーザの任意
に変化させることが可能であり、主映像の視聴を阻害す
ることもない。

【００６４】更に、字幕の書式によって副映像を切り換
えて表示し、視聴できるようにするため、ユーザは字幕
を注視しなくても重要なシーンを見逃すことがない。

【図面の簡単な説明】

【図１】本発明の全体の処理のブロック図。

【図２】映像制御部４００の詳細を示した処理ブロック
図。

【図３】図２で説明した映像合成処理４００−ａでの画
像データのフローチャート。

【図４】図２で説明した映像合成処理４００−ａで字幕
合成したディスプレイ表示例の説明図。

【図５】図２で説明した映像切り換え処理４００−ｂで
の画像データのフローチャート。

【図６】字幕領域抽出部３００の処理ブロック図。

【図７】プログラムとデータの説明図。

【図８】領域別輝度計数部６００の処理手順を示したフ
ローチャート。

【図９】領域別輝度計数部６００の処理手順を示したフ
ローチャート。

【図１０】領域別輝度計数部６００の処理手順を示した
フローチャート。

【図１１】領域別エッジ計数部７００の処理手順を示し
たフローチャート。

【図１２】領域別エッジ計数部７００の処理手順を示し
たフローチャート。

【図１３】領域別エッジ計数部７００の処理手順を示し
たフローチャート。

【図１４】字幕領域判定部８００の処理手順を示したフ
ローチャート。

【図１５】字幕画素抽出部４２０の処理手順を示したフ
ローチャート。

【図１６】書式検出部４６０の処理手順を示したフロー
チャート。

【図１７】書式検出部４６０の処理手順を示したフロー
チャート。

【符号の説明】

１…ディスプレイ、１−１…液晶パネル、７…主映像再
生装置、８…テレビチューナ、１００…主映像入力部、
２００…副映像入力部、３００…字幕領域抽出部、４０
０…映像制御部。

Claims

【特許請求の範囲】

【請求項１】ＶＴＲやテレビチューナから複数の映像を
入力し、ディスプレイに合成出力する映像出力装置にお
いて、主映像を入力する第一手段と、副映像を入力する
第二手段と、映像を出力するユーザが指定した前記副映
像中から字幕情報を抽出する第三手段と、前記第三手段
により得られた字幕情報から前記副映像と前記主映像を
加工して出力する第四手段を具備することを特徴とする
映像出力装置。
【請求項２】請求項１に記載の前記第三の手段は、領域
別に前記字幕の有無を判定する第五手段を具備する映像
出力装置。
【請求項３】請求項１に記載の前記第四の手段は、前記
字幕有りと判定した領域の字幕画素を検出する第六手段
と、検出した前記字幕を縮小する第七手段と、これを移
動する第八手段と、前記主映像の任意の位置に合成する
第九手段を具備する映像出力装置。
【請求項４】請求項１に記載の前記第四の手段は、前記
字幕有りと判定した領域から字幕書式を検出する第十手
段と、検出した書式がユーザの指定した書式と一致した
場合に、前記副映像を主映像に切り換えて表示する第十
一手段を具備する映像出力装置。
【請求項５】請求項４に記載の前記第十手段は、前記字
幕の縦書き，横書き、更に上下左右の表示位置を基に書
式を検出する映像出力装置。
【請求項６】請求項２に記載の前記第五手段において、
前記字幕の有無の判定は、映像中の高輝度画素の個数と
エッジの個数とそれらが一定時間静止していることを条
件として判定する映像出力装置。