JP2012070150A - コンテンツ再生装置、方法、及びプログラム - Google Patents

Abstract

【課題】ＡＶコンテンツを視聴中に騒音が発生した場合であっても、音声情報を欠落なく特別な手順なしでユーザに視聴させるコンテンツ再生装置を提供する。
【解決手段】コンテンツ再生装置（携帯情報端末１で例示）は、字幕コンテンツを映像に重畳し表示部１９に表示させる制御を行う字幕表示制御部１３ａと、音声出力部（スピーカ２２）で出力された音声を除く若しくは該音声を含む、携帯情報端末１の周囲音を検出する周囲音検出部（マイクロホン１６、制御部１３）とを備える。字幕表示制御部１３ａは、周囲音が閾値を超えている間、字幕コンテンツを表示させる自動制御部１３ｂを有する。自動制御部１３ｂは、上記閾値を超えた場合、超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させる。
【選択図】図１

Description

本発明は、字幕コンテンツを含むＡＶ（Audio Visual）コンテンツを再生するためのコンテンツ再生装置、方法、及びプログラムに関する。

近年、携帯電話機や携帯情報端末には、デジタルテレビジョン放送受信機能を搭載したものが普及しており、屋外でこの機能を使用することが可能になっている。

特許文献１には、デジタルテレビジョン視聴時にマナーモードと連動して字幕表示させる方法が開示されている。マナーモードとは、電車内や音声を出力できない場合などのために移行可能に設けられた、音声を無音状態にするモードであり、振動（及び発光）のみでなる振動モードも含むものとする。

また、特許文献２には、テレビジョン放送の受信状態や映像又は音声の出力状態が悪い場合に、字幕表示を実行させる方法が開示されている。

特開２００６−８０６５５号公報 特開２００８−１６０７４９号公報

ところで、屋外では車の騒音など瞬発的な騒音が発生することがあるが、騒音発生時にはＡＶコンテンツにおける音声データは一時的に視聴者に聞こえなくなり、結果として、ＡＶコンテンツに含まれていた音声の情報の一部を欠落した状態で視聴してしまう。

ＡＶコンテンツが録画コンテンツであれば、巻き戻して聞き直すことも可能ではあるが、巻き戻す操作が必要となる。また、録画コンテンツであったとしても倍速再生など行っているときには、巻き戻すことが、早く短い時間で内容を把握したいといった本来の目的を阻害する手順となり、連続で騒音が発生した場合には快適に視聴することができない。一方で、リアルタイムに放送され、視聴と同時の録画処理も行っていないＡＶコンテンツであった場合には、巻き戻しが不可能であり、視聴者は一部の音声を聞き逃したままとなってしまう。

また、屋外でなく屋内でも同居者の話声や近くに敷設された道路上の自動車の走行音など、瞬発的な騒音が発生することがあり、そのような場面でも同様の問題が生じ得る。つまり、コンテンツ再生装置が、携帯電話機や携帯情報端末のような携帯型か、或いは、パーソナルコンピュータ（ＰＣ）、テレビ装置、テレビ装置に接続されたレコーダなどのような設置型かに関係なく、同様の問題が生じ得る。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ＡＶコンテンツを視聴中に騒音が発生した場合であっても、音声情報を欠落なく、特別な手順なしでユーザに視聴させることが可能なコンテンツ再生装置、コンテンツ再生方法、及び字幕表示制御用のプログラムを提供することにある。

上記課題を解決するために、本発明の第１の技術手段は、字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部と、前記字幕コンテンツを前記映像に重畳して前記表示部に表示させる制御を行う字幕表示制御部とを備えたコンテンツ再生装置であって、前記音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する周囲音検出部をさらに備え、前記字幕表示制御部は、前記周囲音検出部で検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御部を有し、該自動制御部は、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記ＡＶコンテンツの再生開始時点の周囲音、又は該再生開始時点から一定時間経過するまでの周囲音に基づいて、前記閾値を設定することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記音声出力部で出力される音声の出力音量の設定変更操作の時点の周囲音、又は該設定変更操作の時点から一定期間経過するまでの周囲音に基づいて、前記閾値を変更することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記自動制御部は、過去の字幕コンテンツを表示させる際に、現在の字幕コンテンツとは、色、フォント、サイズのいずれか１又は複数が異なる文字で表示させることを特徴としたものである。

第５の技術手段は、第１〜第４のいずれか１の技術手段において、ユーザ操作により、前記所定の表示速度、及び／又は、前記所定時間又は前記所定数を設定するユーザ設定部をさらに備えたことを特徴としたものである。

第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記字幕表示制御部は、所定のユーザ操作を継続している間、前記閾値を超えなくても強制的に、所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、前記表示部に表示させる強制制御部をさらに有することを特徴としたものである。

第７の技術手段は、第１〜第５のいずれか１の技術手段において、前記字幕表示制御部は、１回の所定のユーザ操作により、前記閾値を超えなくても強制的に、所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、前記表示部に表示させる強制制御部をさらに有することを特徴としたものである。

第８の技術手段は、字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部とを備えたコンテンツ再生装置におけるコンテンツ再生方法であって、周囲音検出部が、前記音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する検出ステップと、自動制御部が、前記検出ステップで検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御ステップとを有し、前記自動制御ステップは、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴としたものである。

第９の技術手段は、字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部と、該音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する周囲音検出部と、制御用のコンピュータとを備えたコンテンツ再生装置において、該コンピュータに組み込むための字幕表示制御用のプログラムであって、該プログラムは、前記コンピュータに、前記周囲音検出部で検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御ステップを実行させるためのプログラムであり、前記自動制御ステップは、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴としたものである。

本発明によれば、ＡＶコンテンツを視聴中に騒音が発生した場合であっても、音声情報を欠落なく、特別な手順なしでユーザに視聴させることが可能になる。

本発明に係るコンテンツ再生装置の一例としての携帯情報端末の構成例を示すブロック図である。 図１の携帯情報端末における字幕表示制御の一例を説明するためのフロー図である。 図１の携帯情報端末における字幕表示制御の一例を説明するための図である。 図１の携帯情報端末における字幕表示制御の閾値処理例を説明するための図である。 図１の携帯情報端末における字幕表示制御の他の例を説明するための図である。

本発明に係るコンテンツ再生装置は、映像コンテンツとそれに対応した音声コンテンツ及び字幕コンテンツとを含めた、番組や映画などのＡＶコンテンツを再生する装置であり、ＡＶコンテンツの映像を表示する表示部、ＡＶコンテンツの音声を出力する音声出力部、並びに、字幕コンテンツを上述の映像に重畳して表示部に表示させる制御を行う字幕表示制御部を備えている。

このコンテンツ再生装置は、例えばテレビ装置、ＰＣ、ＳＴＢ（Set Top Box）、レコーダ、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）等のプレーヤ、携帯電話機、携帯情報端末などに適用することができる。但し、レコーダやプレーヤなどの表示部を備えない電子機器については、モニタやテレビ装置などの表示装置が接続されて本発明に係るコンテンツ再生装置を構成する。これらの電子機器は音声出力部としてはスピーカを備えなくてもスピーカに接続されていればよい。

ＡＶコンテンツは、その圧縮形式やファイル形式、さらにはコンテナの形式は問わない。また、ＡＶコンテンツとしては、アンテナ又はネットワークから受信して、再生のみしてもよいし録画しながら再生してもよいし、記録媒体駆動装置にセットされたＤＶＤやＢＤや半導体メモリ等の可搬記録媒体に記録されたものを再生してもよいし、既に装置内部に記録済みのものを再生してもよい。

アンテナ経由で受信するものとしては、地上デジタル放送、ＢＳ（Broadcasting Satellite）デジタル放送、ＣＳ（communications satellite）デジタル放送の各種サービスを受信するものや、携帯電話・移動体端末向けの１セグメント部分受信サービスを利用するものなどが挙げられる。ネットワーク経由で受信するものとしては、ケーブルテレビ放送サービス、ＶＯＤ（Video On Demand）配信サービス、ＩＰ（Internet Protocol）放送サービスなどが挙げられる。記録済みのものとしては、上述のようにアンテナ又はネットワーク経由で受信したＡＶコンテンツを録画したものや、可搬記録媒体に記録されたＡＶコンテンツをコピーしたものが挙げられる。その他、記録済みのものとしては、例えばゲームプログラムの実行により再生されるゲーム画面の映像・音声も、本発明で言うところのＡＶコンテンツに該当する。

以下、コンテンツ再生装置の一例として、携帯情報端末を挙げて説明するが、上述した様々な形態の装置についても同様に適用可能である。また、以下の説明では、基本的にＡＶコンテンツが放送中（又は配信中）であっても、記録媒体や装置内部に記録済みであっても適用可能な装置例を挙げるが、本発明に係るコンテンツ再生装置は、いずれか一つのみに対応するだけでもよい。

図１は、本発明に係るコンテンツ再生装置の一例としての携帯情報端末の構成例を示すブロック図で、図中、１は携帯情報端末、ＳＴは基地局である。

携帯情報端末１は、基地局ＳＴからの電波を送信／受信するための通信用のアンテナ１１、アンテナ１１での電波の送受信を制御する無線部１２、全体動作制御や字幕表示制御を行うための制御部１３、各種データを記憶させておくための記憶部１４、ユーザ操作を受け付けるキー群などの入力部１５、及び音声を入力するマイクロホン１６を備える。

携帯情報端末１は、さらに、デジタルテレビジョン放送受信用のアンテナ１７、アンテナ１７より受信したデジタルテレビジョン放送よりチャネルの放送信号を受信するＴＶ受信部１８ａ、受信した放送信号を復調してＴＳ（トランスポートストリーム）信号を出力する復調部１８ｂ、復調した信号をデコードし、映像、音声、字幕コンテンツに分け制御部１３へと出力するデコード部１８ｃ、字幕コンテンツやメニュー画像などを映像に重畳するために合成する画像合成部１８ｄ、ＡＶコンテンツの映像を表示するための表示部１９、着信等を光で知らせるためのＬＥＤ（Light Emitting Diode）２０、着信等を振動で知らせるためのバイブレータ２１、及び音声を出力するスピーカ２２を備える。

制御部１３は、例えばＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）によって構成することができる。ＲＯＭには後述の字幕表示制御部１３ａにおける自動制御部１３ｂや強制制御部１３ｃとして、またユーザ設定部の一部として、ＣＰＵを機能させるためのプログラム（本発明の機能を実現するためのプログラム）を記録しておき、ＣＰＵがそのプログラムをＲＡＭに読み出して実行することで各部の機能を実現することができる。なお、ＲＡＭは後述の内蔵ＲＡＭ１４ａで兼用し、ＲＯＭは後述の内部メモリ１４ｂで兼用することができる。

記憶部１４は、揮発性の内蔵ＲＡＭ１４ａ、不揮発性の内部メモリ１４ｂ、及び不揮発性の外部メモリ１４ｃを有する。外部メモリ１４ｃは、一般的に、携帯情報端末１から取り外し可能な可搬記録媒体で構成される。

携帯情報端末１は、アンテナ１１、無線部１２、入力部１５、マイクロホン１６、表示部１９、ＬＥＤ２０、バイブレータ２１、及びスピーカ２２によって、基地局ＳＴを介して他の携帯情報端末１との通話や情報のやり取りを行うことが可能になっている。

また、携帯情報端末１は、制御部１３、記憶部１４、アンテナ１７、ＴＶ受信部１８ａ、復調部１８ｂ、デコード部１８ｃ、画像合成部１８ｄ、表示部１９、及びスピーカ２２により、デジタルテレビジョン放送の番組を再生することが可能になっている。また、再生に際しては、後述するように字幕コンテンツも重畳することが可能になっている。

そして本発明の主たる特徴として、携帯情報端末１は、画像合成部１８ｄで字幕コンテンツを映像に重畳して表示部１９に表示させる制御を行う字幕表示制御部１３ａと、次に説明する周囲音検出部とを備える。

周囲音検出部は、スピーカ２２で例示した音声出力部で出力された音声を除く、携帯情報端末１の周囲音を検出する。図１では、周囲音検出部として集音するマイクロホン１６及び制御部１３で例示している。なお、マイクロホン１６は、上記周囲音検出部の一部をなすだけでなく、通話用と兼用する例を示しているが、通話用のマイクロホンを別途設けておいてもよい。

周囲音検出部に関する制御部１３の制御としては、マイクロホン１６で集音された信号から周囲音を検出する演算を行う。マイクロホン１６で集音された信号からスピーカ２２で出力された音声を除くためには、実際にスピーカ２２から出力された音声の信号又は出力される音声信号を収集音から削除するようにすればよいが、単に、スピーカ２２で出力される音声の出力音量（ボリュームレベル）に応じてマイク収集音の音圧レベル（騒音レベルとも呼ぶ）から、その出力音量分として決められた音圧レベルだけ下げるように演算してもよい。なお、騒音レベルとしては、マイクロホン１６で集音された信号の音圧レベルそのものを採用してもよいが、その信号に対して規定のバンドパスフィルタを等した結果の音圧レベルを用いてもよい。

周囲音検出部が、スピーカ２２で出力された音声を除外した音を周囲音として検出する例を挙げて説明しているが、スピーカ２２で出力された音声を含んだ周囲音として検出するように構成することもできる。すなわち、スピーカ２２から音声が出力されていることを特に考慮せず単純にマイクロホン１６で集音した音（ここにはスピーカ２２からの音声も含まれることになる）を検出するだけにするように、上記周囲音検出部を構成することもできる。

そして、本発明における字幕表示制御部１３ａは、周囲音が閾値を超えている間、字幕コンテンツを表示させる自動制御部１３ｂを有する。なお、図１における強制制御部１３ｃについては後述するが必須ではない。また、周囲音の閾値処理は、例えば音圧レベル［ｄＢ］で行えばよく、その場合、上記閾値も音圧レベルで表現される。無論、音圧レベルの代わりに音量レベルを用いて比較してもよいし、音の大きさを示す他の指標を用いて比較してもよい。

この自動制御部１３ｂは、上記閾値を超えた場合に、超えた時点より所定時間前又は所定数のセグメント前の過去の字幕コンテンツから表示を開始し、現在の音声（映像）に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させる。ここで言うセグメントとは、字幕の表示処理単位分のデータを指し、会話であれば一般的に一文や一節若しくはそれを複数回に分けたものが該当する。また、上記閾値を超えた時点より所定数のセグメント前の過去の字幕コンテンツから表示を開始するとは、超えた時点から例えば１〜５セグメント前まで戻って字幕表示することを指す。

このように、自動制御部１３ｂは、騒音によって音声情報の欠落した情報部分を含む過去の字幕コンテンツから現在の字幕コンテンツまでを、通常速度よりも早い表示速度（例えば、１.５倍速、２倍速、３倍速など）で表示制御する。また、閾値を超えて字幕表示を開始してから通常速度に戻るまで、速度を徐々に戻していくなど、速度を変えることを許容してもよい。ここで、騒音により注意がそがれたりしてもＡＶコンテンツの話しのつながりが分かる程度前に戻ればよいため、上記所定時間前とは、例えば１〜３０秒前などが挙げられる。

また、上述のように、自動制御部１３ｂでは過去の字幕コンテンツを表示させる。従って、ＡＶコンテンツが放送中や配信中やダウンロード中のコンテンツであって、且つ別途そのＡＶコンテンツに対する録画処理を実行中でない場合には、過去の字幕コンテンツを表示させるために、字幕コンテンツを一時的に事前に蓄積しておき、そこから読み出す必要がある。そのため、携帯情報端末１は、字幕コンテンツを蓄積する字幕蓄積部を備えるように構成しておけばよい。この字幕蓄積部は、内蔵ＲＡＭ１４ａで例示しており、少なくとも過去、上記所定時間前までの字幕コンテンツを保持しておき、それより以前の字幕コンテンツについては順次破棄していけばよい。このように、内蔵ＲＡＭ１４ａに保持した字幕コンテンツは制御部１３にて不要と判断されたときに消去し、保存用領域はバッファとして繰り返し使用すればよい。

一方、記憶部１４の内部メモリ１４ｂや外部メモリ１４ｃなどに予め記憶しているＡＶコンテンツの再生時には、このような蓄積はわざわざ行わなくても必要になったときにこれらのメモリから読み出すことができる。無論、字幕コンテンツが不要となった場合にも、次回のＡＶコンテンツの視聴時や巻き戻しなどで視聴する際に必要となるため、内部メモリ１４ｂや外部メモリ１４ｃなどからの字幕コンテンツの消去は行わない。

次に、上述の携帯情報端末１でデジタルテレビジョンコンテンツ視聴中に突発的な騒音が発生した場合のシステム動作例について、図２を参照しながら説明する。図２は、図１の携帯情報端末における字幕表示制御の一例を説明するためのフロー図である。

まず、ＡＶコンテンツの再生中には、制御部１３が、マイクロホン１６を使用して、視聴環境（携帯情報端末１の周りの環境）の変化に伴って周囲の音圧レベルを検出するようにしておく（ステップＳ１）。そして、制御部１３は、検出した音圧レベルと予め設定されている閾値との差分を算出することで、閾値と比較する（ステップＳ２）。比較の結果、音圧レベルが閾値以上でなかった場合（ステップＳ３でＮＯの場合）には字幕表示制御は行わず処理を終了する。終了後はステップＳ１から処理を継続しておけばよい。

一方、ステップＳ３でＹＥＳの場合、自動制御部１３ｂが、字幕機能をＯＮにする（ステップＳ４）。字幕機能をＯＮにすると、画像合成部１８ｄを使用して表示部１９に字幕を表示することになるが、自動制御部１３ｂは次のような制御により字幕コンテンツを表示させる。

つまり、内蔵ＲＡＭ１４ａにバッファリングしている字幕コンテンツのデータを用いて、上記閾値を超えたときの字幕表示を含む過去の字幕データを表示部１９に表示させ、且つ、通常の表示速度より速い表示速度（例えば２倍速）で表示させる（ステップＳ５）。

次いで、自動制御部１３ｂは、表示に使用している字幕コンテンツのデータが、現在の表示している映像、音声に対応する字幕コンテンツのデータであるかをタイムスタンプなどに従ってチェックする（ステップＳ６）。つまり、ステップＳ６では、カレントの映像表示に追いついたか否かを判定している。ステップＳ６でＮＯの場合、つまり現在の字幕でない場合には、引き続きステップＳ５にて通常表示速度より速い表示速度で表示を続ける。字幕の表示速度を通常速度より上げているため、いずれ、現在の音声に対応する字幕に追いつくことになるが、現在の字幕に追いついた場合（ステップＳ６でＹＥＳの場合）には、自動制御部１３ｂは通常の表示速度で字幕表示させる制御を行う（ステップＳ７）。

次に、ステップＳ１〜Ｓ３と同様に、マイクロホン１６にて取得した周囲の音圧レベルが閾値以上か否か、つまり未だに閾値以上のままか否かを判定する（ステップＳ８〜Ｓ１０）。ステップＳ１０でＹＥＳの場合、未だに騒音レベルが高いため、ステップＳ７に戻り、引き続き通常速度での字幕表示制御を行う。一方、ステップＳ１０でＮＯとなった場合、自動制御部１３ｂは、字幕機能をＯＦＦにして表示部１９に表示されていた字幕データを非表示とし（ステップＳ１１）、処理を終了する。

このように、携帯情報端末１は、デジタルテレビジョンコンテンツ視聴時は字幕コンテンツを一時的に保持しておき、搭載されているマイクロホン１６等の周囲の音圧レベルを検知する機能を用いて視聴時の外部音をモニタリングし、外音が予め規定していた音圧レベルを超えた瞬発的な騒音が発生した時には連動で字幕表示を動作させる。その際、表示する字幕は、外部の音圧レベルが規定していたレベルを超えた時点から所定時間前又は所定数のセグメント前のデータから用いる。さらに、通常速度ではなく通常よりも早い表示速度（スピード）で字幕表示を行い、現在の字幕コンテンツに追いつくまでは、通常より早い表示速度で字幕表示を続け、字幕表示が追いつき且つ検出された周囲の音圧レベルが元に戻った際に字幕機能を元に戻す。なお、録画コンテンツの再生時には予め映像データと一緒に保存されている字幕コンテンツのデータを使用し、デジタルテレビジョンコンテンツ視聴時同様、瞬発的な騒音が発生した時に所定時間前又は所定数のセグメント前の字幕から表示を行い、同様に音声情報を逃すことなく連続視聴を可能とすればよい。

従って、本発明に係る携帯情報端末１によれば、視聴環境変化で周囲騒音に伴ってユーザにとっての音声情報の欠落が発生した場合でも、視聴の停止、巻き戻しすることなく、保持した過去の字幕情報を用いて通常より早いスピードで表示して補っているため、情報欠落なく連続した視聴を続けることができる。つまり、本発明によれば、周囲の視聴環境が悪く騒音時にも、わずらわしい操作を必要としないため、操作なしに容易に、音声情報を見逃すことなく入手し視聴することができる利点がある。さらに音量操作や巻き戻し手順等のユーザ操作が不要になることで、録画コンテンツであれば停止することなく連続再生ができ、さらに録画コンテンツの倍速再生時などの、付加機能の本来の目的を最大限に高めることができ、利便性向上も寄与できる。また、上記所定時間や所定数を経験値やアンケート結果などに基づき適切に決定しておくことで、多少の重複はあったとしても、音声情報を欠落なく連続してユーザに視聴させることができる。

なお、一般的にテレビ装置におけるリモコン等に設けられた字幕表示キーをユーザが操作することで、既にＡＶコンテンツの再生時に字幕表示がなされていた場合には、本発明の自動制御部１３ｂでの制御は不要であり周囲音の検出処理自体を行う必要もない。但し、後述する強制制御部１３ｃでの制御は、字幕表示キーにより字幕表示中であっても、実行可能としてもよいし、実行不可にしておいてもよい。

次に、図３及び図４を参照しながら、図１の携帯情報端末における字幕表示制御を時系列で説明する。図３は、図１の携帯情報端末における字幕表示制御の一例を説明するための図で、図４は、図１の携帯情報端末における字幕表示制御の閾値処理例を説明するための図である。

図３における各表３１〜３３中の数字［０］〜［４］は、画像（映像）、音声、字幕の各データを同期させるためのタイムスタンプに対応し、同じ数字については同じ時間帯に表示すべきコンテンツを指している。但し、基本的に同じ数字が映像、音声、字幕の各データで時系列で４個続いた例を挙げているが、これは字幕の表示処理単位（上記セグメント）に合わせるために模式的に示したに過ぎず、実際の映像、音声のデータはこのように同じデータが続くものではないし、タイムスタンプも同じものが続くわけではない。

図３（Ａ）及び図３（Ｂ）は通常動作時を表すものであり、本発明の自動制御部１３ｂによる機能が動作しない場合を示している。図３（Ａ）で示す表３１は、上記字幕表示キーの押下により、字幕表示が有効となった場合の表示を表している。字幕表示が有効のため、常に字幕データが有効で且つ映像、音声、字幕データが同期して表示がされている。図３（Ｂ）で示す表３２は、字幕表示無効時の表示を表している。字幕表示無効であるため、図３（Ａ）に比べ常に字幕表示がされていないことが分かる。

図３（Ｃ）で示す表３３は、自動制御部１３ｂによる騒音時の字幕の自動表示機能が動作した場合の表示を表しており、図４とともに以下で詳しく説明する。ここで示す例は、図４に示す騒音のグラフ４０のように、視聴を開始した時間（時刻）Ｔ０から騒音が徐々に増えて、時刻Ｔ２には符号４２で示すように閾値（閾値Δｘ）を超え、時刻Ｔ３には符号４３で示すように閾値Δｘ以下になり、以降は閾値Δｘ以下を保つものとする。

時刻Ｔ０からＴ２までは検出された音圧レベルが閾値以下であるため、図３（Ｃ）に示すように、字幕なしで映像表示を行う（Ｔ０＜ｔ≦Ｔ２）。時刻Ｔ２で騒音が大きくなり閾値を超える（ｔ＝Ｔ２）。時刻Ｔ２で閾値を超えた騒音が発生した時の音声［１］を聞き逃している可能性があるため、音声［１］に対する字幕から字幕表示を開始する。

ここでは、時刻Ｔ２から所定時間（この例では字幕表示処理単位の１セグメントの１／４に相当する時間）前の字幕である字幕［１］から表示を行う例を挙げている。なお、自動制御部１３ｂは、閾値を超えた時点（ｔ＝Ｔ２）より過去の字幕コンテンツから表示を開始するように制御するが、この例でのように結果的に、閾値を超えた時点での字幕と同じ内容の字幕（字幕［１］）が表示されることもある。開始する字幕が決まった後、字幕［１］の表示間隔を通常に比べ狭めて、実際の時間に追いつくまで表示を続ける（ｔ＞Ｔ２）。この例では、表示間隔を３／４倍、つまり表示速度を４／３倍にした例を挙げている。

そして、この例では、時刻Ｔ３において騒音が小さくなり閾値を下回る（ｔ＝Ｔ３）。この時点で、騒音については閾値を下回っているため字幕表示を停止できると思えるが、字幕表示が現在の字幕に追いついていないため、字幕は非表示とせず、引き続き通常より早い速度で字幕表示を行う。字幕表示が追いついたところで、字幕［３］を通常動作で表示することで、映像及び音声と字幕とが同期することをユーザに確認させることができる（Ｔ４＜ｔ≦Ｔ５）。その後、表示が確実に追いつき、騒音についても閾値以下になっているため、字幕表示を停止する（Ｔ５＜ｔ）。なお、追いついた時点まで字幕表示を行ってから、つまり通常表示に戻してから、字幕を停止した例を挙げたが、追いつく状態になった時点（ｔ＝Ｔ４）で字幕を停止するようにしてもよい。

どの程度過去から字幕を表示するかを、所定時間で決めた例を挙げたが、次に、セグメント数で決める例を挙げる。例えば、図３（Ｃ）の表３３における字幕［１］，［１］，［１］，［２］，［２］，［２］，［３］，［３］，［３］，［３］と続く部分に代わり、字幕［０］，［０］，［１］，［１］，［２］，［２］，［３］，［３］，［３］，［３］と続くように、所定数のセグメント前（この例では１セグメント前）の字幕コンテンツから表示を開始し、追いつくまで表示間隔を通常の１／２倍（つまり、２倍速）で表示させてもよい。音声［０］に対する字幕表示から開始することで、時刻Ｔ２で閾値を超えた騒音が発生した時の音声［１］及びその前の音声［０］の情報を知覚することを逃す可能性を排除することができる。

また、上述した所定の表示速度（つまり表示間隔）や上述した所定時間又は所定数はユーザ設定可能にしておいてもよい。設定内容は、例えば内部メモリ１４ｂに格納しておけばよく、自動制御部１３ｂは、設定された内容を読み出して、それに従って字幕の表示を制御すればよい。

このように、携帯情報端末１は、入力部１５等からのユーザ操作により、上記所定の表示速度、及び／又は、上記所定時間又は上記所定数を設定するユーザ設定部をさらに備えるように構成することが好ましい。これにより、字幕コンテンツの表示速度の設定や戻る時間又はセグメント数の設定を行うことが可能になる。例えば、上記所定の表示速度と上記所定時間又は上記所定数とはセットの値の中から選択設定できるようにしてもよい。より具体的な例を挙げると、所定の表示速度が１.５倍速、２倍速、３倍速のそれぞれに対して所定時間が４秒、３秒、２秒とするなど、この自動制御により表示される過去の字幕コンテンツの量が大まかに同じになるセットを選択可能に用意しておいてもよい。ユーザはその中から１つのセット（例えば３倍速且つ２秒前）を選択しておけば、閾値を超えたときにそのセットに従った字幕表示を行わせることができる。

上述した各例では、閾値Δｘが固定された値（規定値）であることを前提として説明したが、閾値Δｘは可変にしてもよい。図４を再度参照しながら、このような例を説明する。

まず、予め内部メモリ１４ｂに、騒音比較の基準となる基準閾値Δｘｒを設定しておく。そして、ＡＶコンテンツの視聴開始時に周囲音をマイクロホン１６で検知し、その音圧レベル（又はスピーカ２２からの音声を差し引いた後の音圧レベル）を、新たな閾値である視聴初期騒音値ｉとして内部メモリ１４ｂ又は内蔵ＲＡＭ１４ａに保持する。視聴開始後、突発的な騒音ｎが発生した場合、制御部１３が、視聴初期騒音値ｉと現在の騒音値ｎを比較し、それらの差分Δｄを割り出す。割り出した差分Δｄが、基準閾値であるΔｘｒ以上である場合は制御部１３にて字幕機能ＯＮとする動作を行う。換言すると、現在の騒音値ｎを閾値Δｘ＝ｉ＋Δｘｒと比較することで閾値処理する。

無論、基準閾値Δｘｒを設けず、単に「視聴初期騒音値ｉ」をそのまま閾値Δｘとして使用してもよく、その場合、図２の処理で言うところのステップＳ１で視聴初期騒音値ｉを保持しておけばよい。

このように、携帯情報端末１の制御部１３は、そのＡＶコンテンツの再生開始時点の周囲音に基づいて、上記閾値を設定することが好ましい。再生開始時点の周囲音の代わりに、再生開始時点から一定時間経過するまでの周囲音（平均の周囲音など）に基づいて、上記閾値を設定してもよい。

再生開始時点の周囲音を参照して自動制御部１３ｂで使用する閾値を設定する理由は、再生開始時には視聴環境が視聴ユーザにとって良好であってそのユーザが視聴できない程度の騒音がないため、そのときの周囲音を参照とすることで、そのユーザが視聴できない程度の騒音を予測しやすくなるためである。ここで、視聴環境が良好であると仮定できる理由としては、ユーザが字幕が不要であると感じ、字幕表示キー押下による字幕表示処理を実行させていないという事実が挙げられる。補足すると、字幕表示キーの押下により字幕表示がなされていた場合には上述した通り自動制御部１３ｂは機能させる必要がないため、自動制御部１３ｂが動作しているということは字幕表示キー押下による字幕表示処理が実行されていないことを示している。

また、入力部１５を用いてユーザが音量を操作した場合についても同様に、操作したタイミングで周囲の騒音をマイクロホン１６で検知し、検知した音圧レベルを例えば上述の視聴初期騒音値ｉとして記憶部１４の保持している値を更新するようにしてもよい。

このように、携帯情報端末１の制御部１３は、スピーカ２２で出力される音声の出力音量（出力音圧）の設定変更操作の時点の周囲音（又はそこから一定期間経過するまでの周囲音）に基づいて、上記閾値を変更するようにしてもよい。

閾値を固定値としない例によれば、ユーザが視聴開始した時点や音量変更したときにはユーザの最適な環境が更新されたタイミングであるため、この時に周囲の視聴環境として更新することでよりタイムリーな周囲環境との連動を行うことが可能となる。

上述した各例では、字幕表示の色やフォントについては特に指定していない。従って、どの字幕についても同色で表示してもよいし、制作者側が発言者毎に異ならせるなどして字幕コンテンツ中で指定した指定色のままで、字幕表示するようにすればよい。

一方で、本発明では、その応用例として、過去の字幕コンテンツと現在の（映像・音声に時間的に合致した）字幕コンテンツとで、文字の表現方法を異ならせるようにすることが好ましい。図５を参照しながら、このような例を説明する。図５は、図１の携帯情報端末における字幕表示制御の他の例を説明するための図である。なお、図５における時刻ｔは図４の時刻に対応している。

まず、字幕なし表示の期間（Ｔ０＜ｔ≦Ｔ２）で表示部１９には映像のみからなる画面５１が表示されているとする。騒音発生時刻Ｔ２で表示部１９での字幕表示が始まる。字幕倍速表示の期間（Ｔ２＜ｔ≦Ｔ４）は過去の字幕のデータが表示部１９に表示されている期間であるため、画面５２で例示するように、その旨を表す色（ここではＡ色）を使用して字幕表示を行う。その後、現在の字幕に追いつき、通常の字幕表示を行うが、その期間（Ｔ４＜ｔ≦Ｔ５）では過去ではなく現在の字幕を表示部１９に表示している期間であるため、画面５３で例示するように、その旨を表す色（ここではＢ色）を使用して字幕表示を行う。最後に、字幕が通常に追いついた際は、制御部１３にて字幕なしとし、画面５４で例示するように表示部１９では字幕なし表示となる（Ｔ５＜ｔ）。

このように、自動制御部１３ｂは、過去の字幕コンテンツを表示させる際に、現在の字幕コンテンツとは、色、フォント、サイズのいずれか１又は複数が異なる文字で表示させることが好ましい。これにより、視聴者は字幕コンテンツが、現在のものであるのか過去のものであるのかを識別することができる。

また、他の応用例として、図１で図示したように、字幕表示制御部１３ａは強制制御部１３ｃを有することが好ましい。この強制制御部１３ｃは、入力部１５の割り当てられたキー（上記字幕表示キーとは異なるキー）等による所定のユーザ操作を継続している間、上記閾値を超えなくても強制的に、所定時間前又は所定数のセグメント前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、表示部１９に表示させる。このような変速表示は操作継続中のみ行うため、上記所定のユーザ操作が終了した時点で元の状態に戻す。

例えば、入力部１５から上記所定のユーザ操作がなされた場合、制御部１３にてそのユーザ操作を検出し、強制制御部１３ｃに伝える。強制制御部１３ｃは、操作のタイミングでの字幕のデータを含む過去の字幕のデータより、画像合成部１８ｄを使用して表示部１９に字幕表示を始める。上記所定のユーザ操作を受け付けている間だけ現在の字幕のデータの表示に向けて、通常速度より早い表示間隔（例えば倍速）で字幕表示を続け、現在の字幕に追いついた場合は通常速度で字幕表示を行う。

上記所定のユーザ操作が受けられなくなったこと（つまり、上記キーを離したこと）を制御部１３が検出したときに、強制制御部１３ｃが表示部１９に出力していた字幕表示を停止する。これにより、上記キー押下中のみ字幕表示がなされ、現在の視聴中の映像・音声の再生を停止するなどの阻害なく、音声情報にて聞き逃した情報を容易にユーザ判断でも取得することが可能となる。

また、代わりの制御として、強制制御部１３ｃは、入力部１５の割り当てられたキー等による１回の所定のユーザ操作により、上記閾値を超えなくても強制的に、所定時間前又は所定数のセグメント前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、表示部１９に表示させるように構成してもよい。この代替例での変速表示は、１回の所定のユーザ操作により、現在の音声に対応する字幕コンテンツを表示できた時点で終了する。

なお、各例における強制制御部１３ｃと自動制御部１３ｂとについて、所定時間や所定数は同じ値を用いてもよいし、異なる値を用いてもよい。また、自動制御部１３ｂにおける所定時間又は所定数と同様に、強制制御部１３ｃにおける所定時間又は所定数もユーザ設定可能にしておくことが好ましい。

以上、本発明に係るコンテンツ再生装置について説明したが、処理の流れを説明したように、本発明は、このコンテンツ再生装置におけるコンテンツ再生方法としての形態も採り得る。このコンテンツ再生方法は、検出ステップ及び自動制御ステップを有する。

検出ステップとは、周囲音検出部が、音声出力部で出力された音声を除く若しくはその音声を含む、コンテンツ再生装置の周囲音を検出するステップである。自動制御ステップとは、自動制御部が、検出ステップで検出された周囲音が閾値を超えている間、字幕コンテンツを表示部に表示させるステップである。そして、自動制御ステップは、上記閾値を超えた場合に、超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させる。その他の応用例については、コンテンツ再生装置について説明した通りであり、その説明を省略する。

また、このコンテンツ再生方法は、ＰＣやテレビ装置等の各機器において、上述したプログラムとして組み込むことで、実現することができる。つまり、本発明は、このコンテンツ再生装置に設けられた制御用のコンピュータに組み込むための字幕表示制御用のプログラムとしての形態も採り得る。このプログラムは、図１で制御部１３で例示したような制御用のコンピュータに、周囲音検出部で検出された周囲音が閾値を超えている間、字幕コンテンツを表示部に表示させる自動制御ステップを実行させるためのプログラムである。自動制御ステップについては上述した通りであり、またその他の応用例についてはコンテンツ再生装置について説明した通りであり、その説明を省略する。また、このプログラムは各種の可搬記録媒体に記録して、若しくは放送波又はネットワークを介するなどして流通させることができる。

ＳＴ…基地局、１…携帯情報端末、１１…アンテナ、１２…無線部、１３…制御部、１３ａ…字幕表示制御部、１３ｂ…自動制御部、１３ｃ…強制制御部、１４…記憶部、１４ａ…内蔵ＲＡＭ、１４ｂ…内部メモリ、１４ｃ…外部メモリ、１５…入力部、１６…マイクロホン、１７…アンテナ、１８ａ…ＴＶ受信部、１８ｂ…復調部、１８ｃ…デコード部、１８ｄ…画像合成部、１９…表示部、２０…ＬＥＤ、２１…バイブレータ、２２…スピーカ。

Claims (9)

1. 字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部と、前記字幕コンテンツを前記映像に重畳して前記表示部に表示させる制御を行う字幕表示制御部とを備えたコンテンツ再生装置であって、
   前記音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する周囲音検出部をさらに備え、
   前記字幕表示制御部は、前記周囲音検出部で検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御部を有し、
   該自動制御部は、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴とするコンテンツ再生装置。
2. 前記ＡＶコンテンツの再生開始時点の周囲音、又は該再生開始時点から一定時間経過するまでの周囲音に基づいて、前記閾値を設定することを特徴とする請求項１に記載のコンテンツ再生装置。
3. 前記音声出力部で出力される音声の出力音量の設定変更操作の時点の周囲音、又は該設定変更操作の時点から一定期間経過するまでの周囲音に基づいて、前記閾値を変更することを特徴とする請求項２に記載のコンテンツ再生装置。
4. 前記自動制御部は、過去の字幕コンテンツを表示させる際に、現在の字幕コンテンツとは、色、フォント、サイズのいずれか１又は複数が異なる文字で表示させることを特徴とする請求項１〜３のいずれか１項に記載のコンテンツ再生装置。
5. ユーザ操作により、前記所定の表示速度、及び／又は、前記所定時間又は前記所定数を設定するユーザ設定部をさらに備えたことを特徴とする請求項１〜４のいずれか１項に記載のコンテンツ再生装置。
6. 前記字幕表示制御部は、所定のユーザ操作を継続している間、前記閾値を超えなくても強制的に、所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、前記表示部に表示させる強制制御部をさらに有することを特徴とする請求項１〜５のいずれか１項に記載のコンテンツ再生装置。
7. 前記字幕表示制御部は、１回の所定のユーザ操作により、前記閾値を超えなくても強制的に、所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツを、現在の音声に対応する字幕コンテンツを表示できるまで、前記表示部に表示させる強制制御部をさらに有することを特徴とする請求項１〜５のいずれか１項に記載のコンテンツ再生装置。
8. 字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部とを備えたコンテンツ再生装置におけるコンテンツ再生方法であって、
   周囲音検出部が、前記音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する検出ステップと、
   自動制御部が、前記検出ステップで検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御ステップとを有し、
   前記自動制御ステップは、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴とするコンテンツ再生方法。
9. 字幕コンテンツを含むＡＶコンテンツの映像を表示する表示部と、該ＡＶコンテンツの音声を出力する音声出力部と、該音声出力部で出力された音声を除く若しくは該音声を含む、前記コンテンツ再生装置の周囲音を検出する周囲音検出部と、制御用のコンピュータとを備えたコンテンツ再生装置において、該コンピュータに組み込むための字幕表示制御用のプログラムであって、
   該プログラムは、前記コンピュータに、前記周囲音検出部で検出された周囲音が閾値を超えている間、前記字幕コンテンツを前記表示部に表示させる自動制御ステップを実行させるためのプログラムであり、
   前記自動制御ステップは、前記閾値を超えた場合に、前記閾値を超えた時点より所定時間前又は所定数の字幕表示処理単位分前の過去の字幕コンテンツから表示を開始し、現在の音声に対応する字幕コンテンツを表示できるまで、通常の表示速度より速い所定の表示速度で字幕コンテンツを表示させることを特徴とするプログラム。

Images