JP4000844B2 - コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム - Google Patents
コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム Download PDFInfo
- Publication number
- JP4000844B2 JP4000844B2 JP2001376701A JP2001376701A JP4000844B2 JP 4000844 B2 JP4000844 B2 JP 4000844B2 JP 2001376701 A JP2001376701 A JP 2001376701A JP 2001376701 A JP2001376701 A JP 2001376701A JP 4000844 B2 JP4000844 B2 JP 4000844B2
- Authority
- JP
- Japan
- Prior art keywords
- video content
- character information
- character
- display terminal
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010295 mobile communication Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 32
- 238000000034 method Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
- H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、伝送路を介して映像コンテンツを配信サーバから利用者の表示端末に配信するシステムに関し、特に、携帯通信端末等の表示部の狭い表示端末に対し配信を行なうコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムに関する。
【０００２】
【従来の技術】
図１３は、従来の映像配信システムの構成を示すブロック図であり、映像を配信する映像配信サーバ６０から、伝送路３０を介して映像コンテンツを配信し、利用者の映像表示端末７０が映像コンテンツを受信して提示する。
【０００３】
また、特開２０００−３２４４１６号公報では、テレビ受像機においてその受信したテレビ放送からテロップ情報を抽出し、これをリモコン端末等の静止画表示端末に送信して表示することで、文字情報を高画質にみせる技術が提案されている。
【０００４】
テロップ情報は、ニュース番組のテロップ、映画の字幕などのテロップ情報など映像視聴時にストーリーや内容の理解に重要な情報が含まれていることが多く、これを高画質の読み易い画像により利用者に提示することは効果的である。
【０００５】
また、上記従来技術には含まれないが、テロップ情報だけでなく、ＣＭの商品に書かれた商品名、ドラマの背景の看板や標識の文字など一般のシーンに存在するテロップ以外の文字情報を抽出することも有用である。
【０００６】
上記の特開２０００−３２４４１６号公報の従来技術の対象は一般のテレビ放送であるが、最近ではインターネットの高速化、特に無線通信の高速化により、家庭のＰＣ、あるいは外出先の携帯電話において、映画広告、音楽プロモーションビデオなど、蓄積された映像クリップを見ることができるようになってきている。また、Ｗｅｂカメラなどと称して、観光地や道路に設置したカメラの映像をインターネットで配信するといった、ライブ映像の配信も行われている。
【０００７】
このような映像をそのまま配信するためには非常に広帯域な通信路が必要であるが、画像の圧縮符号化技術により、情報量を削減できる。例えば、６４ｋｂｐｓ程度の帯域のインターネットでも、圧縮した映像を配信してそれを受けた端末で復号することにより、映像の閲覧ができる。
【０００８】
しかし、６４ｋｂｐｓ程度の低ビットレートで映像を送信するためには、映像の解像度を落としたり、映像の品質を落としたりして映像の符号化を行ない、携帯端末や家庭のＰＣに送信している。このように解像度を落としたり、画質を落とすと、映像中に含まれる文字情報が不明瞭になり、非常に読みにくくなる。
【０００９】
先に述べたように文字情報は映像視聴に重要な情報が含まれるが、文字情報が読みにくくなると映像視聴に支障をきたすこともありうる。
【００１０】
【発明が解決しようとする課題】
上述したように従来の技術では、以下に述べるような問題点があった。
【００１１】
従来では、低ビットレートで映像コンテンツを配信する時に、テロップ情報をはじめとした文字情報を抽出して高画質に符号化して配信し、それを利用者の端末に表示させる技術が存在しなかった。例えば、特開２０００−３２４４１６号公報の従来技術では、受信した一般のテレビ放送からテロップを抽出するものの、携帯通信端末等が再生する低ビットレートで配信される映像コンテンツに対しては、既に文字が不明瞭な状態で配信されるためテロップ抽出を行なうことができなかった。
【００１２】
本発明の目的は、上記従来技術の欠点を解決し、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することのできるコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムを提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するため本発明のコンテンツ配信システムは、配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に対し配信し、前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示し、前記配信サーバは、検出した前記文字が表示される領域を前記画像より高解像度で符号化することより、前記映像コンテンツの文字情報として生成することを特徴とする。
【００１４】
請求項２の本発明のコンテンツ配信システムは、前記配信サーバが、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付け、指定された前記領域により生成した前記文字情報を前記表示端末に対し配信することを特徴とする。
【００１５】
請求項３の本発明のコンテンツ配信システムは、前記配信サーバが、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信することを特徴とする。
【００１６】
請求項４の本発明のコンテンツ配信システムは、前記表示端末が、外部の放送局から受信する前記映像コンテンツの文字情報を、前記配信サーバから受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示することを特徴とする。
【００１７】
請求項５の本発明のコンテンツ配信システムは、前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、検出した前記領域、文字の特徴を示す文字補助情報を同時に含み、 前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示することを特徴とする。
【００１８】
請求項６の本発明のコンテンツ配信システムは、前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像から検出された前記領域の、前記画像中の位置の情報を含むことを特徴とする。
【００１９】
請求項７の本発明のコンテンツ配信システムは、前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像に表示される文字のレイアウト構造の情報を含むことを特徴とする。
【００２０】
請求項８の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段を備えることを特徴とする。
【００２１】
請求項９の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段と、前記表示端末に対し配信する前記映像コンテンツの画像のサイズを指定されたサイズに縮小する手段と、を備え前記文字情報として生成した前記画像を、画像のサイズを縮小した前記映像コンテンツよりも高い画質により、縮小した前記映像コンテンツと共に、前記表示端末に対し配信することを特徴とする。
【００２２】
請求項９の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段と、前記表示端末に対し配信する前記映像コンテンツの画像のサイズを指定されたサイズに縮小する手段と、を備え前記文字情報として生成した前記画像を、画像のサイズを縮小した前記映像コンテンツよりも高い画質により、縮小した前記映像コンテンツと共に、前記表示端末に対し配信することを特徴とする。
【００２３】
請求項１０の本発明の配信サーバは、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付ける手段を備え、指定された前記領域において生成した前記文字情報を前記表示端末に対し配信することを特徴とする。
【００２４】
請求項１１の本発明の配信サーバは、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信する手段を備えることを特徴とする。
【００２５】
請求項１２の本発明の配信サーバは、前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、前記領域、文字の特徴を識別する手段を備え、識別した前記領域、文字の特徴の情報を文字補助情報として、前記映像コンテンツの文字情報に含めて前記表示端末に対し配信することを特徴とする。
【００２６】
請求項１３の本発明の配信サーバは、前記映像コンテンツ及び前記映像コンテンツの文字情報を記録して備える手段と、前記表示端末からの要求に応じて、要求された前記映像コンテンツ及び前記映像コンテンツの文字情報を前記表示端末に配信する手段を備えることを特徴とする。
【００２７】
請求項１４の本発明の表示端末は、コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された前記画像に表示される前記文字を明瞭に表示する文字情報と当該映像コンテンツとを同時に受信する手段と、受信した前記文字情報と前記映像コンテンツとを共に提示する手段を備え、前記映像コンテンツの文字情報が、前記映像コンテンツの画像中の文字が表示される領域を前記画像より高解像度で符号化された画像であることを特徴とする。
【００２８】
請求項１５の本発明の表示端末は、前記配信サーバから、文字が表示される領域が前記映像コンテンツの画像から複数検出される旨の通知を受け付ける手段と、複数検出された各前記領域の中から、利用者が選択した前記領域を前記配信サーバに通知する手段を備え、選択した前記領域に表示される文字を確認するために用いる文字情報を、前記配信サーバから受信することを特徴とする。
【００２９】
請求項１６の本発明の表示端末は、前記配信サーバから多重化して配信される、前記映像コンテンツの文字情報と当該映像コンテンツとを受信する手段を備えることを特徴とする。
【００３０】
請求項１７の本発明の表示端末は、前記配信サーバから、外部の放送局から受信する前記映像コンテンツの前記文字情報を受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示する手段を備えることを特徴とする。
【００３１】
請求項１８の本発明の表示端末は、前記映像コンテンツの文字情報が、前記映像コンテンツから検出された前記領域、文字の特徴を示す文字補助情報を含み、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示する手段を備えることを特徴とする。
【００３２】
請求項１９の本発明の表示端末は、前記文字補助情報が、前記映像コンテンツの画像中の文字が表示される領域の、前記画像中の位置の情報を含み、前記映像コンテンツを、前記文字補助情報に示される前記文字が表示される領域を消去して提示する手段を備えることを特徴とする。
【００３３】
請求項２０の本発明の表示端末は、前記配信サーバに対して、前記文字情報の送信の可否を指示する手段を備えることを特徴とする。
【００３４】
請求項２１の本発明の表示端末は、前記映像コンテンツの文字情報と、前記映像コンテンツとを表示画面中にそれぞれに別のウィンドウにより同時に表示する手段を備えることを特徴とする。
【００３５】
請求項２２の本発明の表示端末は、表示画面中の前記映像コンテンツを表示するエリア内に、前記映像コンテンツの文字情報を同時に表示する手段を備えることを特徴とする。
【００３６】
請求項２３の本発明の表示端末は、携帯通信端末であることを特徴とする。
【００３７】
請求項２４の本発明のプログラムは、コンピュータを制御することにより、表示端末に対しコンテンツを配信するコンテンツ配信プログラムにおいて、コンピュータに、映像コンテンツの画像から文字が表示される領域を検出する機能と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する機能と、生成した前記文字情報を、前記映像コンテンツと共に前記表示端末に配信する機能と、を実現させることを特徴とする。
【００３８】
請求項２５の本発明のプログラムは、コンピュータを制御することにより、配信サーバから配信されるコンテンツを提示するコンテンツ配信プログラムにおいて、コンピュータに、コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された文字情報を、前記映像コンテンツと共に受信する機能と、受信した前記文字情報を、受信した前記映像コンテンツと共に提示する機能と、を実現させることを特徴とする。
【００５２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５３】
図１は、本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図であり、本実施の形態の配信サーバ１０及び表示端末２０の構成も示している。
【００５４】
図１を参照すると、本実施の形態の配信サーバ１０は、プログラム制御されるＣＰＵ等で実現され、映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５を備えている。本実施の形態の表示端末２０は、プログラム制御されるＣＰＵ等で実現され、映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６を備えている。
【００５５】
配信サーバ１０が対象とする映像コンテンツは、テレビ放送等のライブコンテンツでもよいし、映画の予告映像など既に符号化されて蓄積された映像コンテンツでもよい。
【００５６】
配信サーバ１０と表示端末２０を結ぶ伝送路３０として、特に制限はないが、ここでは携帯電話やＰＨＳなどの一般無線回線、ＩＳＤＮなどの一般電話回線での利用を想定し、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度である場合を例に説明する。
【００５７】
図２は、本実施の形態の配信サーバ１０の動作を説明するためのフローチャートであり、図３は、本実施の形態の表示端末２０の動作を説明するためのフローチャートである。
【００５８】
本実施の形態の配信サーバ１０は、映像入力部１１に映像コンテンツが入力され（ステップ２０１）、文字抽出部１３により映像コンテンツ中に文字が表示されている領域（文字領域）を検出し、その文字を確認するために用いる文字情報を生成する（ステップ２０２）。そして、映像コンテンツを映像符号化部１２で符号化し（ステップ２０３）、映像送信部１４が表示端末２０へ符号化した映像コンテンツを送信し、同時に文字送信部１５が表示端末２０へ文字情報を送信する（ステップ２０４）。
【００５９】
表示端末２０は、配信サーバ１０から送信された映像情報（映像コンテンツ）を映像受信部２１により受信し、文字情報を文字受信部２４により受信する（ステップ３０１）。そして、映像復号部２２でその映像コンテンツを復号し、文字復号部２５でその文字情報を復号する（ステップ３０２）。そして、映像表示部２３で映像コンテンツを表示し、文字表示部２６で文字情報を表示して、これらを利用者に提示する（ステップ３０３）。これにより、表示端末２０の利用者は、映像情報及び文字情報を見ることができる。
【００６０】
本実施の形態では、配信サーバ１０から表示端末２０へ映像コンテンツ及び文字情報を送信するための伝送路として、共通の伝送路３０を用いているが、特に共通の伝送路３０とする方式に限定する必要はない。例えば、映像コンテンツと文字情報を同じ携帯電話のパケット交換を利用して送信する方式以外にも、文字情報のみを携帯電話のパケット交換、映像コンテンツは携帯電話の回線交換を利用して送信することも可能である。
【００６１】
ここで、映像コンテンツと文字情報とを異なる伝送路で配信する場合には、映像コンテンツはテレビ電話のような端末で視聴するが、文字情報はインターネットで受信するといった利用形態等も実施することができる。
【００６２】
また、映像コンテンツと文字情報とを共通の伝送路３０で配信する場合は、本発明の第２の実施の形態に示すように、映像コンテンツと文字情報とを多重化し配信する方式を採用することができる。
【００６３】
図４は、本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態では、配信サーバ１０ａにおいて、第１の実施の形態の映像送信部１４と文字送信部１５の替わりに多重化部１６と送信部１７を備え、表示端末２０ａにおいて、第１の実施の形態の映像受信部２１と文字受信部２４の変わりに受信部２７と多重化分離部２８を備えている。
【００６４】
図５は、本実施の形態の配信サーバ１０ａの動作を説明するためのフローチャートであり、図６は、本実施の形態の表示端末２０ａの動作を説明するためのフローチャートである。
【００６５】
図５、図６を参照すると本実施の形態の動作の第１の実施の形態との違いは、配信サーバ１０ａは、映像符号化部１２で符号化した映像コンテンツ及び、文字抽出部１３で抽出した文字情報を多重化部１６で多重化し（ステップ４０４）、送信部１７で表示端末２０ａでその多重化したコンテンツを送信する（ステップ４０５）点が異なる。表示端末２０ａは、受信部２７で受信した多重化されたコンテンツを（ステップ５０１）、多重化分離部２８で映像コンテンツと文字情報とに分離し（ステップ５０２）、その分離した映像コンテンツと文字情報のそれぞれを復号し表示する（ステップ５０３、５０４）点が異なる。
【００６６】
多重化を行なう方法としては、ＩＴＵ−Ｔによって定められたテレビ電話を行なうための標準規格であるＨ．３２４／Ｍなどを用いて、映像や音声の情報とテキスト情報を多重化することが可能である。
【００６７】
また、ここではライブ映像や蓄積映像を読み出した映像コンテンツを映像入力部１１に入力して配信する方式であるが、映像符号化部１２や文字抽出部１３で処理した結果を蓄積しておき、利用者からの要求があった時に蓄積済みの映像コンテンツを読み出す方式も、同様に実施することができる。
【００６８】
次に、図７を用いて、配信サーバ１０ａが映像コンテンツから生成した文字情報とその映像コンテンツとを配信し、表示端末２０ａで表示する方法について説明する。なおここでの説明は、第２の実施の形態のみではなく、第１の実施の形態においても同様である。
【００６９】
図７では、利用者がニュース番組を視聴している場面を示しており、図７の（１）のオリジナル画像には、ニュース番組はアナウンサーの映像とそれにニュースのヘッドラインを示すテロップが重畳されている。
【００７０】
ここでは文字情報として、テロップ情報を対象にして説明をするが、テロップではない映像シーン中の看板の文字など一般の文字、データ放送や文字放送などで映像に多重化されてきた文字なども同様に対象とすることができる。
【００７１】
図７の表示画面２０−３ａには、従来のようにそのまま映像を符号化して送信した場合の、表示端末２０ａにおける表示の一例を示している。
【００７２】
ここで伝送路３０は、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度の低ビットレートの伝送路３０であり、このような低ビットレートの伝送路３０を用いて符号化した映像を送信するためには、以下の（１）（２）のような符号化方法を用いる必要がある。
（１）入力映像の解像度を低くして、符号化する
（２）符号化に必要なビットレートを下げ、画質を悪くする
【００７３】
通常、テレビのニュース映像のテロップはテレビの解像度（例えば、７２０×４８０）で視聴することを前提としているため、携帯電話での映像配信によく用いられるＱＣＩＦ（１７６×１４４）やＣＩＦ（３５２×２８８）といった解像度まで落としてしまうと文字が小さくなったり、潰れてしまい、非常に読みにくくなる。
【００７４】
また、画質を悪くすると、通常コントラストが低くなり、文字が不明瞭になる。例えばＩＳＯ標準規格のＭＰＥＧでは、映像をブロックに分割しブロック単位で符号化を行なっているため、画質を悪くすると、各ブロックの境目が目立ち、更にブロックの中のコントラストも低くなる。このため、テロップ文字のようにコントラストが明瞭であることの必要な部分においても、そのコントラストが低くなることでその文字を読むことが困難になる。
【００７５】
図７では、携帯電話で映像を視聴する利用イメージを示しているが、これは表示画面の狭い携帯電話のみに発生する問題ではなく、低ビットレートの伝送路３０を利用して映像配信を行なう時には表示端末２０ａがどのようなものでも起こりうる問題である。
【００７６】
この問題は、低ビットレートで符号化を行なう時に、人物のような自然の映像と人工的な文字情報を同時に扱うために生じる問題と考えることができる。そこで本発明の第１、第２の実施の形態においては、映像コンテンツをそのまま送信するのではなく、図７の（２）に示されるように、配信サーバ１０、１０ａにおいて映像コンテンツの画像から文字の表示される文字領域を検出し、その表示される文字を確認するために用いる情報（文字情報）を生成し、この文字情報を映像コンテンツと共に表示端末２０、２０ａに配信する。
【００７７】
つまり、映像コンテンツは、表示画面２０−３ａの従来の場合と同様にしてオリジナル画像のまま送信するが、本実施の形態（及び第１の実施の形態）では、文字領域の文字を確認するために用いる情報（文字情報）を、映像コンテンツと別の方式で符号化などを行ない、送信する。
【００７８】
例えば、抽出した文字領域の映像に対して文字認識を行ない、表示されている文字のテキストデータを取得し、各文字をアスキーコードのような数値情報（文字コード）により示して送信することができる。表示画面２０−３ｂは、このように分離して送信した場合における表示端末２０ａの表示の一例である。
【００７９】
テキストデータ（文字コード）で送信することで通信量は少なくなり、また、表示端末２０ａでは任意の大きさで表示できるので、大きく表示して読みやすくすること等ができる。
【００８０】
この文字認識の処理は、現在販売されているＯＣＲソフトウェア等に用いられている技術や、その他従来の技術を用いて実施することができる。
【００８１】
また、上記のように文字認識技術を用いる場合には、文字認識の自動処理において文字の認識を間違えることが多くあるので、文字情報として、文字認識により得たテキストデータではなく文字の表示されている文字領域の画像を送信する方式も有効である。
【００８２】
この場合、全体の画像は低解像度であるが、抽出した文字領域の部分だけ高解像度で符号化して送信することで、図７の表示画面２０−３ｃに示されるように読みやすく表示することができる。図７の表示画面２０−３ｃでは、高解像度の文字領域の映像を全体の映像コンテンツの下に表示している。
【００８３】
また、通常テロップ情報は人が読むことができるように数秒間は同じテロップが流れていることが多いため、これを利用して、テロップ情報が変化した時だけ新たに文字情報を送信する等の制御を行なうことが可能である。高解像度で符号化した画像をそのまま送信すると、伝送路３０の容量を圧迫することなるが、このようにしてその送信頻度を下げて文字領域の映像を伝送することにより、その帯域を小さくすることができる。
【００８４】
また、抽出した文字領域のカラー画像をそのまま送信するのではなく、その画像を二値化して文字は黒、背景は白とする等による二値の画像に減色した上で符号化して送信することにより、更に伝送量を下げることができる。
【００８５】
このように、文字領域を高解像度で符号化するためには、動画像の符号化方式であるＭＰＥＧ等を用いることができる。また更に、静止画の符号化方式であるＪＰＥＧやＪＰＥＧ２０００を用いたり、二値画像に対してはＪＢＩＧなどの符号化方式を用いることもできる。
【００８６】
本実施の形態の文字抽出部１３は、文字領域の抽出を行なうが、その文字領域抽出方法としては従来から実施されている技術を用いることができる。
【００８７】
例えば、テロップ情報は、以下の（１）〜（３）に示されるような特徴があるので、このような特徴を利用して抽出を行なうことができる。
（１）白い文字を使うことが多い
（２）動きが少ない
（３）文字は単独で現れずに複数の文字がまとまっている
【００８８】
また、文字抽出部１３は、文字領域の抽出や文字領域の文字認識を行なうだけでなく、文字領域の映像中の位置の抽出や文字領域の文書レイアウト構造を解析することも可能であり、文字抽出部１３が文字領域の位置やレイアウト構造等を抽出し、文字送信部１５で送信することができる。
【００８９】
このような文字領域の映像コンテンツ中の位置や文字領域のレイアウト構造を、文字補助情報と呼ぶことにする。また、文字情報には、以上説明した文字領域の画像（映像）や文字認識により取得したテキストデータ等に加えて、文字補助情報を含むこととする。
【００９０】
以上はテロップ情報や映像シーン中の文字情報の抽出に関する説明であるが、データ放送等の文字が映像に多重化されている場合においてはこのような処理は必要ではなく、文字抽出部１３が、データ放送等において多重化されている文字情報を分離してテキストデータを抽出する方式も可能である。
【００９１】
図７では文字情報と映像情報を分離して送信することで、利用者が文字情報を明瞭に読むことができることを説明したが、図８を用いて利用者への文字情報の提示方法を示す。
【００９２】
図８の表示画面２０−４ａは、文字情報等を表示することなく、従来と同様にして通常の映像を表示している場合である。この状態では、利用者には映像コンテンツ以外に情報は提示されない。また、従来においても、表示画面２０−４ｂに示されるようにして、表示中の映像のチャンネル番号や番組名など一般的な情報を（文字放送等を利用して）表示させることにより、利用者が何を視聴しているのかを分かるようにする従来技術がある。本実施の形態の表示端末２０ａは、通常は表示画面２０−４ａや表示画面２０−４ｂのような表示を行なっている。
【００９３】
ここで、利用者がテロップなど文字情報が不明瞭だと感じた場合、配信サーバ１０ａからその文字情報を受信して、映像コンテンツとは別に表示する。
【００９４】
また、表示端末２０ａは、配信サーバ１０ａから送信されてくる文字情報を常時受信する方式も可能であるが、ここでは本実施の形態を、帯域の節約のため通常は文字情報を受信せずに、必要な時だけ配信サーバ１０ａに文字情報送信要求を出し文字情報を受信する方式により説明する。
【００９５】
表示端末２０ａは、配信サーバ１０ａに文字情報の要求を出すことで、配信サーバ１０ａから映像中の文字情報の配信を受け付けて、その文字情報を表示する。
【００９６】
文字情報は、文字認識等により得られたテキストデータで送信されてくる場合と、高画質の画像により送信される場合があり、配信サーバ１０ａの能力によって使い分けてもよいが、利用者が文字情報の送信を配信サーバ１０ａに要求を出したように、文字認識した結果と画像のままのどちらが欲しいかを選択できるようにしてもよい。
【００９７】
表示画面２０−４ｃは、受信した文字情報が文字認識されてテキストデータで送信されてきた場合の表示例であり、映像コンテンツに隣り合わせて、その文字情報を表示させている。また、表示画面２０−４ｂのように番組情報等を表示している場合は、その番組情報等と文字情報とを切り替えて表示させることにより、狭い画面でも効率よく利用することができる。
【００９８】
また、表示画面２０−４ｃでは、文字情報が短いため、タイル状に並べて映像情報と文字情報を表示することができているが、文字情報が長い場合は、文字を縦方向、横方向、あるいは両者にスクロールさせて表示させてもよい。
【００９９】
また、表示画面２０−４ｃのようにタイル状に並べるのではなく、映像の上に文字情報の一部が重なるように配置してもよい。更に、配信サーバ１０ａから文字補助情報として文字情報の映像中での位置を受信している場合は、表示画面２０−４ｆに示されるように文字情報を元の映像の位置に重畳して表示することもできる。
【０１００】
次に、配信サーバ１０ａが、映像コンテンツ中に文字が表示される領域を複数個所検出した場合の処理を説明する。
【０１０１】
この場合、配信サーバ１０ａは、検出された映像コンテンツ中の全ての文字情報を表示端末２０ａに配信することも可能であるが、これ以外にも利用者が指定した領域中の文字情報のみを配信する方式も可能である。
【０１０２】
この場合の動作の一実施例を説明する。配信サーバ１０ａは、表示端末２０ａに対し、各領域の文字や文章のレイアウト情報や検出された各領域の位置情報といった文字補助情報を含めて送信する。そして、表示端末２０ａにおいて、その文字補助情報を利用して利用者が文字情報を見たい領域を選択し配信サーバ１０ａに通知する。そして、配信サーバ１０ａは、その表示端末２０ａから通知された利用者が選択した領域から、文字情報を生成して表示端末２０ａに配信する。
【０１０３】
また、文字補助情報がない場合にも、表示端末２０ａにおいて、配信サーバ１０ａに対し文字情報の切り替えを指示して順次切り替え、その各文字情報の内容を参照して選択する方式等が可能である。
【０１０４】
このように、配信サーバ１０ａは、表示端末２０ａに全ての文字情報を配信するのではなく、表示端末２０ａから通知された見たい文字情報や、配信する文字情報の切り替えの指示等の文字情報送信の要求に基づいて、映像コンテンツ中のその要求された文字情報のみを配信することが可能である。
【０１０５】
この場合、配信サーバ１０ａは、映像コンテンツの画像から最初に検出された文字領域の文字情報を最初に表示端末２０ａに配信し、最初に表示端末２０ａで表示させることとしてもよいが、更に好ましくは映像コンテンツ中に表示される位置や文字認識した結果の文字情報の内容を基に、配信する順番を決定することとしてもよい。
【０１０６】
例えば、映像コンテンツの下部の中央に横書きで示される文字は、テロップである可能性が高いためその文字情報を最優先で配信することとし、逆に映像コンテンツの上部の左又は右の隅に狭い範囲で示される文字は、現在時刻の表示である可能性が高くその重要性が低いためこれ以外の他の文字情報を優先して配信する等が考えられる。
【０１０７】
また、配信サーバ１０ａが表示端末２０ａに全ての文字情報を配信し、表示端末２０ａの側で表示する文字情報を選択する方式も可能である。
【０１０８】
また、表示画面２０−４ｄに示すように、配信サーバ１０ａが、その文字認識した文字情報のテキストデータを指定された他の言語に自動翻訳して、その翻訳文を文字情報として表示端末２０ａに配信し表示させることもできる。
【０１０９】
この自動翻訳は、翻訳ソフトウェア等における従来の技術を用いることで、表示画面２０−４ｄに示される日本語から英語の場合や、英語から日本語等の様々な言語間の翻訳が可能である。このように抽出した文字情報を自動翻訳して配信することにより、様々な言語の映像コンテンツを提供するサービスが簡単になる。翻訳文を表示する表示方法は、表示画面２０−４ｃの場合と同様である。
【０１１０】
次に、表示画面２０−４ｅに示すように、配信サーバ１０ａが文字情報をその文字の表示される領域の画像（映像）で配信する場合も、表示画面２０−４ｃと同様にして映像コンテンツとは別のウィンドウにより文字情報を表示することができる。
【０１１１】
また、画面サイズより大きな文字情報の画像が配信された場合には、表示端末２０ａが文字情報の画像を縮小して表示させたり、詳細を見たい場合は拡大して縦方向や横方向などにスクロールさせて表示させること等が可能である。
【０１１２】
また、表示端末２０ａは、文字情報中にレイアウト情報などの文字補助情報が含まれている場合は、これを利用して文字領域の画像を読みやすいように生成しなおして提示することも可能である。
【０１１３】
また、表示画面２０−４ｆに示すように、文字情報を画像で配信する場合においても、文字情報の画像を映像コンテンツとは別の領域ではなく、文字情報を映像と同じ領域に重畳して表示させることができる。特に、元の映像コンテンツの文字領域に重ねるように文字情報を表示することで、文字情報の画像を読みやすく表示することができる。
【０１１４】
配信される文字情報の画像は、通常は元の映像コンテンツよりも高解像度であるため、先の表示画面２０−４ｅの場合と同様に、最初は配信された文字情報の画像を縮小して元の映像コンテンツに重畳させて表示し、必要になれば縮小を解除して（また指定サイズにサイズを変更して）スクロールさせながら表示させること等が可能である。
【０１１５】
表示画面２０−４ｄのように文字情報を文字認識して他言語に翻訳したものを映像コンテンツとは別のウィンドウに表示することもできるが、これを同様にして表示画面２０−４ｇに示すように、映像コンテンツ中に重畳させて表示することもできる。
【０１１６】
これは、外国映画の映像コンテンツの字幕などに応用でき、映画に集中したい場合に、他のウィンドウを見て集中が削がれるということがなくなる。これを実現するために、テキストデータで配信される翻訳文の文字情報をそのまま映像に重畳させてもよいし、その翻訳文のテキストデータから文字領域の大きさにあわせて文字画像を作成して表示させること等が可能である。
【０１１７】
また、配信サーバ１０ａで文字認識した結果をテキストデータにより配信するのではなく、そのテキストデータの文字を表示する文字画像を生成して、これを文字情報として表示端末２０ａに配信することも可能である。この場合、表示端末２０ａは、受信した文字情報の画像を重畳させて表示するのみで鮮明に文字を表示することができる。
【０１１８】
また、特に語学学習用や外国映画等の映像コンテンツの場合には、映像コンテンツに表示させる字幕を消去したいといった要求もある。
【０１１９】
この場合、表示画面２０−４ｈに示されるように、配信された文字補助情報において示される映像コンテンツ中での文字が表示される領域の位置情報に基づいて、表示端末２０ａがその領域を消去して利用者に提供することができる。
【０１２０】
またこの場合、語学の勉強中に答が知りたいなどといった用途の時は、表示端末２０ａは、利用者の操作に応じて、表示画面２０−４ｃ〜２０−４ｇのような手法で文字情報を表示させたり消去したり、切り替えながら利用者に提示することが可能である。
【０１２１】
なお、上記の第１、第２の実施の形態の映像コンテンツ及び文字情報の提示方法の説明においては、表示端末２０、２０ａを携帯電話等の携帯通信端末とする場合を例に説明したが、特に表示端末２０ａを携帯電話に限定する必要はない。本発明のコンテンツ配信システムは、配信先の表示端末２０、２０ａが表示部の面積が狭い場合に特に効果的であるが、同様にしてパソコンやノートパソコン等の端末に対し配信することも可能である。
【０１２２】
以上説明したように、上記第１、第２の実施の形態のコンテンツ配信システムによれば、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することができる。
【０１２３】
次に、本発明の第３の実施の形態を説明する。図９は、本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態は、配信サーバ１０を用いずに表示端末２０ｂだけで文字情報を抽出して表示する行なう形態である。
【０１２４】
図１０は、本実施の形態の表示端末２０ｂの動作を説明するためのフローチャートである。
【０１２５】
本実施の形態の表示端末２０ｂは、テレビ放送などの放送映像を受信する携帯端末であり、映像受信部２１で電波等により外部の放送局４０等から放送中のテレビ番組等の映像コンテンツを受信する（ステップ６０１）。受信した映像コンテンツを映像復号部２２で復号し（ステップ６０２）、文字抽出部２９によりその文字情報を生成して（ステップ６０３）、映像表示部２３で映像コンテンツとその文字情報を表示する（ステップ６０４）。
【０１２６】
表示端末２０ｂは、携帯用を念頭においているので、表示することができる解像度が低く、映像表示部２３では映像コンテンツを縮小して表示する。この時、縮小された映像コンテンツは、テロップ等の文字が不明瞭になったり潰れてしまうことがある。
【０１２７】
一方、映像復号部２２で復号する映像は通常の解像度の映像が復号されるので、通常の解像度の映像を用いて、文字抽出部２９にて文字領域を抽出し、文字表示部２６で文字情報を表示することで、利用者に映像内容をわかりやすく提示する。また、文字抽出部２９は、文字領域を抽出するだけでなく、文字認識も行ない表示される文字のテキストデータを取得することも可能である。この場合、その取得したテキストデータを文字表示部２６により表示する。
【０１２８】
本実施の形態の表示端末２０ｂの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１２９】
以上説明したように本実施の形態によれば、表示端末２０ｂが文字抽出を行なうための十分な処理能力を備える場合には、配信サーバを必要とせずに、表示端末２０ｂ自身により、テレビ放送などの映像コンテンツから文字情報を抽出して、抽出した文字情報を高解像度に表示することができる。これにより、第１、第２の実施の形態の表示端末２０、２０ａと同様にして、携帯端末などの小画面の表示端末２０ｂにおいても利用者に映像コンテンツの内容をわかりやすく提示することができる。
【０１３０】
次に、本発明の第４の実施の形態を説明する。図１１は、本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【０１３１】
第３の実施の形態では映像を表示端末２０ｂで直接受信し、文字領域抽出も表示端末２０ｂで行なう方式であったが、一般に携帯型の機器は処理能力が低いため、文字領域抽出が困難な場合もありうる。
【０１３２】
図１２は、本実施の形態の配信サーバ１０ｂの動作を説明するためのフローチャートである。
【０１３３】
そこで本実施の形態では、配信サーバ１０ｃにおいて表示端末２０ｃが外部の放送局４０から受信している番組と同じ番組の映像コンテンツを映像入力部１１で受信し（ステップ７０１）、文字抽出部１３でその文字情報を抽出して（ステップ７０２）、文字送信部１５でその文字情報を表示端末２０ｃに送信する（ステップ７０３）。表示端末２０ｃでは、第１、第２の実施の形態と同様にして、配信サーバ１０ｃから配信される文字情報を文字受信部２４で受信し、文字復号部２５で必要な復号処理を行い、文字表示部２６で文字情報を表示する。
【０１３４】
一方、映像コンテンツは、第３の実施の形態と同様に配信サーバ１０ｃ以外の放送局４０等から、映像受信部２１で受信し、映像復号部２２で必要な復号処理を行い、映像表示部２３でその映像コンテンツを表示する。
【０１３５】
本実施の形態の表示端末２０ｃの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１３６】
以上説明したように、本実施の形態によれば、第３の実施の形態の効果に加えて、文字領域抽出の処理が困難な表示端末２０ｃでも文字情報を表示することができる。また、配信サーバ１０が文字情報のみを配信し、表示端末２０ｃが映像コンテンツを他の放送局４０等から受信する方式により、上記第１、第２の実施の形態のコンテンツ配信システムと同様の効果を実現することができる。
【０１３７】
また、通常データ量が多い映像情報を配信サーバ１０ｃから受信せず、直接電波等を利用して映像を受信することで、データ通信に要する費用などを抑えることができ、第１や第２の実施の形態よりも効率よく文字情報の配信ができる。
【０１３８】
なお、上記各実施の形態では、表示端末２０、２０ａ、２０ｂ、２０ｃでは映像コンテンツとその文字情報とを同時に表示する方式であったが、文字情報のみを表示して映像コンテンツは表示しないという形態も可能である。これにより、より少ない通信量により映像コンテンツの文字情報を表示することができる。
【０１３９】
なお、上記各実施の形態のコンテンツ配信システムは、配信サーバ１０、１０ａ、１０ｃにおける映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５、多重化部１６、送信部１７の機能や、表示端末２０、２０ａ、２０ｂ、２０ｃにおける映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６、受信部２７、多重化分離部２８、文字抽出部２９の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムであるコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃは、磁気ディスク、半導体メモリその他の記録媒体に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１４０】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１４１】
【発明の効果】
以上説明したように本発明によれば、低ビットレートで配信される映像コンテンツにおいても、配信サーバで映像コンテンツ中から文字情報を抽出し、それを映像コンテンツとは別にテキストデータや高画質な符号化方法を用いて符号化した画像により配信することにより、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【０１４２】
このため、表示端末には文字抽出を行なうための処理能力を必要とせず、更に携帯通信端末等の表示画面の狭い表示端末においても、映像コンテンツの中の文字を明瞭に表示することができ、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図２】 本発明の第１の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図３】 本発明の第１の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図４】 本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図５】 本発明の第２の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図６】 本発明の第２の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図７】 本発明の第２の実施の形態の文字領域分抽出の説明図である。
【図８】 本発明の第２の実施の形態の表示端末における映像表示方式の説明図である。
【図９】 本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１０】 本発明の第３の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図１１】 本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１２】 本発明の第４の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図１３】 従来の映像コンテンツ配信システムの構成を示すブロック図である。
【符号の説明】
１０、１０ａ、１０ｃ 配信サーバ
１１ 映像入力部
１２ 映像符号化部
１３ 文字抽出部
１４ 映像送信部
１５ 文字送信部
１６ 多重化部
１７ 送信部
２０、２０ａ、２０ｂ、２０ｃ 表示端末
２１ 映像受信部
２２ 映像復号部
２３ 映像表示部
２４ 文字受信部
２５ 文字復号部
２６ 文字表示部
２７ 受信部
２８ 多重化分離部
２９ 文字抽出部
３０ 伝送路
６０ 映像配信サーバ
６１ 映像入力部
６２ 映像符号化部
６４ 映像送信部
７０ 映像表示端末
７１ 映像受信部
７２ 映像復号部
７３ 映像表示部
９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃ 配信プログラム
【発明の属する技術分野】
本発明は、伝送路を介して映像コンテンツを配信サーバから利用者の表示端末に配信するシステムに関し、特に、携帯通信端末等の表示部の狭い表示端末に対し配信を行なうコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムに関する。
【０００２】
【従来の技術】
図１３は、従来の映像配信システムの構成を示すブロック図であり、映像を配信する映像配信サーバ６０から、伝送路３０を介して映像コンテンツを配信し、利用者の映像表示端末７０が映像コンテンツを受信して提示する。
【０００３】
また、特開２０００−３２４４１６号公報では、テレビ受像機においてその受信したテレビ放送からテロップ情報を抽出し、これをリモコン端末等の静止画表示端末に送信して表示することで、文字情報を高画質にみせる技術が提案されている。
【０００４】
テロップ情報は、ニュース番組のテロップ、映画の字幕などのテロップ情報など映像視聴時にストーリーや内容の理解に重要な情報が含まれていることが多く、これを高画質の読み易い画像により利用者に提示することは効果的である。
【０００５】
また、上記従来技術には含まれないが、テロップ情報だけでなく、ＣＭの商品に書かれた商品名、ドラマの背景の看板や標識の文字など一般のシーンに存在するテロップ以外の文字情報を抽出することも有用である。
【０００６】
上記の特開２０００−３２４４１６号公報の従来技術の対象は一般のテレビ放送であるが、最近ではインターネットの高速化、特に無線通信の高速化により、家庭のＰＣ、あるいは外出先の携帯電話において、映画広告、音楽プロモーションビデオなど、蓄積された映像クリップを見ることができるようになってきている。また、Ｗｅｂカメラなどと称して、観光地や道路に設置したカメラの映像をインターネットで配信するといった、ライブ映像の配信も行われている。
【０００７】
このような映像をそのまま配信するためには非常に広帯域な通信路が必要であるが、画像の圧縮符号化技術により、情報量を削減できる。例えば、６４ｋｂｐｓ程度の帯域のインターネットでも、圧縮した映像を配信してそれを受けた端末で復号することにより、映像の閲覧ができる。
【０００８】
しかし、６４ｋｂｐｓ程度の低ビットレートで映像を送信するためには、映像の解像度を落としたり、映像の品質を落としたりして映像の符号化を行ない、携帯端末や家庭のＰＣに送信している。このように解像度を落としたり、画質を落とすと、映像中に含まれる文字情報が不明瞭になり、非常に読みにくくなる。
【０００９】
先に述べたように文字情報は映像視聴に重要な情報が含まれるが、文字情報が読みにくくなると映像視聴に支障をきたすこともありうる。
【００１０】
【発明が解決しようとする課題】
上述したように従来の技術では、以下に述べるような問題点があった。
【００１１】
従来では、低ビットレートで映像コンテンツを配信する時に、テロップ情報をはじめとした文字情報を抽出して高画質に符号化して配信し、それを利用者の端末に表示させる技術が存在しなかった。例えば、特開２０００−３２４４１６号公報の従来技術では、受信した一般のテレビ放送からテロップを抽出するものの、携帯通信端末等が再生する低ビットレートで配信される映像コンテンツに対しては、既に文字が不明瞭な状態で配信されるためテロップ抽出を行なうことができなかった。
【００１２】
本発明の目的は、上記従来技術の欠点を解決し、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することのできるコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムを提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するため本発明のコンテンツ配信システムは、配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に対し配信し、前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示し、前記配信サーバは、検出した前記文字が表示される領域を前記画像より高解像度で符号化することより、前記映像コンテンツの文字情報として生成することを特徴とする。
【００１４】
請求項２の本発明のコンテンツ配信システムは、前記配信サーバが、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付け、指定された前記領域により生成した前記文字情報を前記表示端末に対し配信することを特徴とする。
【００１５】
請求項３の本発明のコンテンツ配信システムは、前記配信サーバが、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信することを特徴とする。
【００１６】
請求項４の本発明のコンテンツ配信システムは、前記表示端末が、外部の放送局から受信する前記映像コンテンツの文字情報を、前記配信サーバから受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示することを特徴とする。
【００１７】
請求項５の本発明のコンテンツ配信システムは、前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、検出した前記領域、文字の特徴を示す文字補助情報を同時に含み、 前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示することを特徴とする。
【００１８】
請求項６の本発明のコンテンツ配信システムは、前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像から検出された前記領域の、前記画像中の位置の情報を含むことを特徴とする。
【００１９】
請求項７の本発明のコンテンツ配信システムは、前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像に表示される文字のレイアウト構造の情報を含むことを特徴とする。
【００２０】
請求項８の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段を備えることを特徴とする。
【００２１】
請求項９の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段と、前記表示端末に対し配信する前記映像コンテンツの画像のサイズを指定されたサイズに縮小する手段と、を備え前記文字情報として生成した前記画像を、画像のサイズを縮小した前記映像コンテンツよりも高い画質により、縮小した前記映像コンテンツと共に、前記表示端末に対し配信することを特徴とする。
【００２２】
請求項９の本発明の配信サーバは、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段と、前記表示端末に対し配信する前記映像コンテンツの画像のサイズを指定されたサイズに縮小する手段と、を備え前記文字情報として生成した前記画像を、画像のサイズを縮小した前記映像コンテンツよりも高い画質により、縮小した前記映像コンテンツと共に、前記表示端末に対し配信することを特徴とする。
【００２３】
請求項１０の本発明の配信サーバは、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付ける手段を備え、指定された前記領域において生成した前記文字情報を前記表示端末に対し配信することを特徴とする。
【００２４】
請求項１１の本発明の配信サーバは、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信する手段を備えることを特徴とする。
【００２５】
請求項１２の本発明の配信サーバは、前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、前記領域、文字の特徴を識別する手段を備え、識別した前記領域、文字の特徴の情報を文字補助情報として、前記映像コンテンツの文字情報に含めて前記表示端末に対し配信することを特徴とする。
【００２６】
請求項１３の本発明の配信サーバは、前記映像コンテンツ及び前記映像コンテンツの文字情報を記録して備える手段と、前記表示端末からの要求に応じて、要求された前記映像コンテンツ及び前記映像コンテンツの文字情報を前記表示端末に配信する手段を備えることを特徴とする。
【００２７】
請求項１４の本発明の表示端末は、コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された前記画像に表示される前記文字を明瞭に表示する文字情報と当該映像コンテンツとを同時に受信する手段と、受信した前記文字情報と前記映像コンテンツとを共に提示する手段を備え、前記映像コンテンツの文字情報が、前記映像コンテンツの画像中の文字が表示される領域を前記画像より高解像度で符号化された画像であることを特徴とする。
【００２８】
請求項１５の本発明の表示端末は、前記配信サーバから、文字が表示される領域が前記映像コンテンツの画像から複数検出される旨の通知を受け付ける手段と、複数検出された各前記領域の中から、利用者が選択した前記領域を前記配信サーバに通知する手段を備え、選択した前記領域に表示される文字を確認するために用いる文字情報を、前記配信サーバから受信することを特徴とする。
【００２９】
請求項１６の本発明の表示端末は、前記配信サーバから多重化して配信される、前記映像コンテンツの文字情報と当該映像コンテンツとを受信する手段を備えることを特徴とする。
【００３０】
請求項１７の本発明の表示端末は、前記配信サーバから、外部の放送局から受信する前記映像コンテンツの前記文字情報を受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示する手段を備えることを特徴とする。
【００３１】
請求項１８の本発明の表示端末は、前記映像コンテンツの文字情報が、前記映像コンテンツから検出された前記領域、文字の特徴を示す文字補助情報を含み、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示する手段を備えることを特徴とする。
【００３２】
請求項１９の本発明の表示端末は、前記文字補助情報が、前記映像コンテンツの画像中の文字が表示される領域の、前記画像中の位置の情報を含み、前記映像コンテンツを、前記文字補助情報に示される前記文字が表示される領域を消去して提示する手段を備えることを特徴とする。
【００３３】
請求項２０の本発明の表示端末は、前記配信サーバに対して、前記文字情報の送信の可否を指示する手段を備えることを特徴とする。
【００３４】
請求項２１の本発明の表示端末は、前記映像コンテンツの文字情報と、前記映像コンテンツとを表示画面中にそれぞれに別のウィンドウにより同時に表示する手段を備えることを特徴とする。
【００３５】
請求項２２の本発明の表示端末は、表示画面中の前記映像コンテンツを表示するエリア内に、前記映像コンテンツの文字情報を同時に表示する手段を備えることを特徴とする。
【００３６】
請求項２３の本発明の表示端末は、携帯通信端末であることを特徴とする。
【００３７】
請求項２４の本発明のプログラムは、コンピュータを制御することにより、表示端末に対しコンテンツを配信するコンテンツ配信プログラムにおいて、コンピュータに、映像コンテンツの画像から文字が表示される領域を検出する機能と、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する機能と、生成した前記文字情報を、前記映像コンテンツと共に前記表示端末に配信する機能と、を実現させることを特徴とする。
【００３８】
請求項２５の本発明のプログラムは、コンピュータを制御することにより、配信サーバから配信されるコンテンツを提示するコンテンツ配信プログラムにおいて、コンピュータに、コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された文字情報を、前記映像コンテンツと共に受信する機能と、受信した前記文字情報を、受信した前記映像コンテンツと共に提示する機能と、を実現させることを特徴とする。
【００５２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５３】
図１は、本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図であり、本実施の形態の配信サーバ１０及び表示端末２０の構成も示している。
【００５４】
図１を参照すると、本実施の形態の配信サーバ１０は、プログラム制御されるＣＰＵ等で実現され、映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５を備えている。本実施の形態の表示端末２０は、プログラム制御されるＣＰＵ等で実現され、映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６を備えている。
【００５５】
配信サーバ１０が対象とする映像コンテンツは、テレビ放送等のライブコンテンツでもよいし、映画の予告映像など既に符号化されて蓄積された映像コンテンツでもよい。
【００５６】
配信サーバ１０と表示端末２０を結ぶ伝送路３０として、特に制限はないが、ここでは携帯電話やＰＨＳなどの一般無線回線、ＩＳＤＮなどの一般電話回線での利用を想定し、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度である場合を例に説明する。
【００５７】
図２は、本実施の形態の配信サーバ１０の動作を説明するためのフローチャートであり、図３は、本実施の形態の表示端末２０の動作を説明するためのフローチャートである。
【００５８】
本実施の形態の配信サーバ１０は、映像入力部１１に映像コンテンツが入力され（ステップ２０１）、文字抽出部１３により映像コンテンツ中に文字が表示されている領域（文字領域）を検出し、その文字を確認するために用いる文字情報を生成する（ステップ２０２）。そして、映像コンテンツを映像符号化部１２で符号化し（ステップ２０３）、映像送信部１４が表示端末２０へ符号化した映像コンテンツを送信し、同時に文字送信部１５が表示端末２０へ文字情報を送信する（ステップ２０４）。
【００５９】
表示端末２０は、配信サーバ１０から送信された映像情報（映像コンテンツ）を映像受信部２１により受信し、文字情報を文字受信部２４により受信する（ステップ３０１）。そして、映像復号部２２でその映像コンテンツを復号し、文字復号部２５でその文字情報を復号する（ステップ３０２）。そして、映像表示部２３で映像コンテンツを表示し、文字表示部２６で文字情報を表示して、これらを利用者に提示する（ステップ３０３）。これにより、表示端末２０の利用者は、映像情報及び文字情報を見ることができる。
【００６０】
本実施の形態では、配信サーバ１０から表示端末２０へ映像コンテンツ及び文字情報を送信するための伝送路として、共通の伝送路３０を用いているが、特に共通の伝送路３０とする方式に限定する必要はない。例えば、映像コンテンツと文字情報を同じ携帯電話のパケット交換を利用して送信する方式以外にも、文字情報のみを携帯電話のパケット交換、映像コンテンツは携帯電話の回線交換を利用して送信することも可能である。
【００６１】
ここで、映像コンテンツと文字情報とを異なる伝送路で配信する場合には、映像コンテンツはテレビ電話のような端末で視聴するが、文字情報はインターネットで受信するといった利用形態等も実施することができる。
【００６２】
また、映像コンテンツと文字情報とを共通の伝送路３０で配信する場合は、本発明の第２の実施の形態に示すように、映像コンテンツと文字情報とを多重化し配信する方式を採用することができる。
【００６３】
図４は、本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態では、配信サーバ１０ａにおいて、第１の実施の形態の映像送信部１４と文字送信部１５の替わりに多重化部１６と送信部１７を備え、表示端末２０ａにおいて、第１の実施の形態の映像受信部２１と文字受信部２４の変わりに受信部２７と多重化分離部２８を備えている。
【００６４】
図５は、本実施の形態の配信サーバ１０ａの動作を説明するためのフローチャートであり、図６は、本実施の形態の表示端末２０ａの動作を説明するためのフローチャートである。
【００６５】
図５、図６を参照すると本実施の形態の動作の第１の実施の形態との違いは、配信サーバ１０ａは、映像符号化部１２で符号化した映像コンテンツ及び、文字抽出部１３で抽出した文字情報を多重化部１６で多重化し（ステップ４０４）、送信部１７で表示端末２０ａでその多重化したコンテンツを送信する（ステップ４０５）点が異なる。表示端末２０ａは、受信部２７で受信した多重化されたコンテンツを（ステップ５０１）、多重化分離部２８で映像コンテンツと文字情報とに分離し（ステップ５０２）、その分離した映像コンテンツと文字情報のそれぞれを復号し表示する（ステップ５０３、５０４）点が異なる。
【００６６】
多重化を行なう方法としては、ＩＴＵ−Ｔによって定められたテレビ電話を行なうための標準規格であるＨ．３２４／Ｍなどを用いて、映像や音声の情報とテキスト情報を多重化することが可能である。
【００６７】
また、ここではライブ映像や蓄積映像を読み出した映像コンテンツを映像入力部１１に入力して配信する方式であるが、映像符号化部１２や文字抽出部１３で処理した結果を蓄積しておき、利用者からの要求があった時に蓄積済みの映像コンテンツを読み出す方式も、同様に実施することができる。
【００６８】
次に、図７を用いて、配信サーバ１０ａが映像コンテンツから生成した文字情報とその映像コンテンツとを配信し、表示端末２０ａで表示する方法について説明する。なおここでの説明は、第２の実施の形態のみではなく、第１の実施の形態においても同様である。
【００６９】
図７では、利用者がニュース番組を視聴している場面を示しており、図７の（１）のオリジナル画像には、ニュース番組はアナウンサーの映像とそれにニュースのヘッドラインを示すテロップが重畳されている。
【００７０】
ここでは文字情報として、テロップ情報を対象にして説明をするが、テロップではない映像シーン中の看板の文字など一般の文字、データ放送や文字放送などで映像に多重化されてきた文字なども同様に対象とすることができる。
【００７１】
図７の表示画面２０−３ａには、従来のようにそのまま映像を符号化して送信した場合の、表示端末２０ａにおける表示の一例を示している。
【００７２】
ここで伝送路３０は、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度の低ビットレートの伝送路３０であり、このような低ビットレートの伝送路３０を用いて符号化した映像を送信するためには、以下の（１）（２）のような符号化方法を用いる必要がある。
（１）入力映像の解像度を低くして、符号化する
（２）符号化に必要なビットレートを下げ、画質を悪くする
【００７３】
通常、テレビのニュース映像のテロップはテレビの解像度（例えば、７２０×４８０）で視聴することを前提としているため、携帯電話での映像配信によく用いられるＱＣＩＦ（１７６×１４４）やＣＩＦ（３５２×２８８）といった解像度まで落としてしまうと文字が小さくなったり、潰れてしまい、非常に読みにくくなる。
【００７４】
また、画質を悪くすると、通常コントラストが低くなり、文字が不明瞭になる。例えばＩＳＯ標準規格のＭＰＥＧでは、映像をブロックに分割しブロック単位で符号化を行なっているため、画質を悪くすると、各ブロックの境目が目立ち、更にブロックの中のコントラストも低くなる。このため、テロップ文字のようにコントラストが明瞭であることの必要な部分においても、そのコントラストが低くなることでその文字を読むことが困難になる。
【００７５】
図７では、携帯電話で映像を視聴する利用イメージを示しているが、これは表示画面の狭い携帯電話のみに発生する問題ではなく、低ビットレートの伝送路３０を利用して映像配信を行なう時には表示端末２０ａがどのようなものでも起こりうる問題である。
【００７６】
この問題は、低ビットレートで符号化を行なう時に、人物のような自然の映像と人工的な文字情報を同時に扱うために生じる問題と考えることができる。そこで本発明の第１、第２の実施の形態においては、映像コンテンツをそのまま送信するのではなく、図７の（２）に示されるように、配信サーバ１０、１０ａにおいて映像コンテンツの画像から文字の表示される文字領域を検出し、その表示される文字を確認するために用いる情報（文字情報）を生成し、この文字情報を映像コンテンツと共に表示端末２０、２０ａに配信する。
【００７７】
つまり、映像コンテンツは、表示画面２０−３ａの従来の場合と同様にしてオリジナル画像のまま送信するが、本実施の形態（及び第１の実施の形態）では、文字領域の文字を確認するために用いる情報（文字情報）を、映像コンテンツと別の方式で符号化などを行ない、送信する。
【００７８】
例えば、抽出した文字領域の映像に対して文字認識を行ない、表示されている文字のテキストデータを取得し、各文字をアスキーコードのような数値情報（文字コード）により示して送信することができる。表示画面２０−３ｂは、このように分離して送信した場合における表示端末２０ａの表示の一例である。
【００７９】
テキストデータ（文字コード）で送信することで通信量は少なくなり、また、表示端末２０ａでは任意の大きさで表示できるので、大きく表示して読みやすくすること等ができる。
【００８０】
この文字認識の処理は、現在販売されているＯＣＲソフトウェア等に用いられている技術や、その他従来の技術を用いて実施することができる。
【００８１】
また、上記のように文字認識技術を用いる場合には、文字認識の自動処理において文字の認識を間違えることが多くあるので、文字情報として、文字認識により得たテキストデータではなく文字の表示されている文字領域の画像を送信する方式も有効である。
【００８２】
この場合、全体の画像は低解像度であるが、抽出した文字領域の部分だけ高解像度で符号化して送信することで、図７の表示画面２０−３ｃに示されるように読みやすく表示することができる。図７の表示画面２０−３ｃでは、高解像度の文字領域の映像を全体の映像コンテンツの下に表示している。
【００８３】
また、通常テロップ情報は人が読むことができるように数秒間は同じテロップが流れていることが多いため、これを利用して、テロップ情報が変化した時だけ新たに文字情報を送信する等の制御を行なうことが可能である。高解像度で符号化した画像をそのまま送信すると、伝送路３０の容量を圧迫することなるが、このようにしてその送信頻度を下げて文字領域の映像を伝送することにより、その帯域を小さくすることができる。
【００８４】
また、抽出した文字領域のカラー画像をそのまま送信するのではなく、その画像を二値化して文字は黒、背景は白とする等による二値の画像に減色した上で符号化して送信することにより、更に伝送量を下げることができる。
【００８５】
このように、文字領域を高解像度で符号化するためには、動画像の符号化方式であるＭＰＥＧ等を用いることができる。また更に、静止画の符号化方式であるＪＰＥＧやＪＰＥＧ２０００を用いたり、二値画像に対してはＪＢＩＧなどの符号化方式を用いることもできる。
【００８６】
本実施の形態の文字抽出部１３は、文字領域の抽出を行なうが、その文字領域抽出方法としては従来から実施されている技術を用いることができる。
【００８７】
例えば、テロップ情報は、以下の（１）〜（３）に示されるような特徴があるので、このような特徴を利用して抽出を行なうことができる。
（１）白い文字を使うことが多い
（２）動きが少ない
（３）文字は単独で現れずに複数の文字がまとまっている
【００８８】
また、文字抽出部１３は、文字領域の抽出や文字領域の文字認識を行なうだけでなく、文字領域の映像中の位置の抽出や文字領域の文書レイアウト構造を解析することも可能であり、文字抽出部１３が文字領域の位置やレイアウト構造等を抽出し、文字送信部１５で送信することができる。
【００８９】
このような文字領域の映像コンテンツ中の位置や文字領域のレイアウト構造を、文字補助情報と呼ぶことにする。また、文字情報には、以上説明した文字領域の画像（映像）や文字認識により取得したテキストデータ等に加えて、文字補助情報を含むこととする。
【００９０】
以上はテロップ情報や映像シーン中の文字情報の抽出に関する説明であるが、データ放送等の文字が映像に多重化されている場合においてはこのような処理は必要ではなく、文字抽出部１３が、データ放送等において多重化されている文字情報を分離してテキストデータを抽出する方式も可能である。
【００９１】
図７では文字情報と映像情報を分離して送信することで、利用者が文字情報を明瞭に読むことができることを説明したが、図８を用いて利用者への文字情報の提示方法を示す。
【００９２】
図８の表示画面２０−４ａは、文字情報等を表示することなく、従来と同様にして通常の映像を表示している場合である。この状態では、利用者には映像コンテンツ以外に情報は提示されない。また、従来においても、表示画面２０−４ｂに示されるようにして、表示中の映像のチャンネル番号や番組名など一般的な情報を（文字放送等を利用して）表示させることにより、利用者が何を視聴しているのかを分かるようにする従来技術がある。本実施の形態の表示端末２０ａは、通常は表示画面２０−４ａや表示画面２０−４ｂのような表示を行なっている。
【００９３】
ここで、利用者がテロップなど文字情報が不明瞭だと感じた場合、配信サーバ１０ａからその文字情報を受信して、映像コンテンツとは別に表示する。
【００９４】
また、表示端末２０ａは、配信サーバ１０ａから送信されてくる文字情報を常時受信する方式も可能であるが、ここでは本実施の形態を、帯域の節約のため通常は文字情報を受信せずに、必要な時だけ配信サーバ１０ａに文字情報送信要求を出し文字情報を受信する方式により説明する。
【００９５】
表示端末２０ａは、配信サーバ１０ａに文字情報の要求を出すことで、配信サーバ１０ａから映像中の文字情報の配信を受け付けて、その文字情報を表示する。
【００９６】
文字情報は、文字認識等により得られたテキストデータで送信されてくる場合と、高画質の画像により送信される場合があり、配信サーバ１０ａの能力によって使い分けてもよいが、利用者が文字情報の送信を配信サーバ１０ａに要求を出したように、文字認識した結果と画像のままのどちらが欲しいかを選択できるようにしてもよい。
【００９７】
表示画面２０−４ｃは、受信した文字情報が文字認識されてテキストデータで送信されてきた場合の表示例であり、映像コンテンツに隣り合わせて、その文字情報を表示させている。また、表示画面２０−４ｂのように番組情報等を表示している場合は、その番組情報等と文字情報とを切り替えて表示させることにより、狭い画面でも効率よく利用することができる。
【００９８】
また、表示画面２０−４ｃでは、文字情報が短いため、タイル状に並べて映像情報と文字情報を表示することができているが、文字情報が長い場合は、文字を縦方向、横方向、あるいは両者にスクロールさせて表示させてもよい。
【００９９】
また、表示画面２０−４ｃのようにタイル状に並べるのではなく、映像の上に文字情報の一部が重なるように配置してもよい。更に、配信サーバ１０ａから文字補助情報として文字情報の映像中での位置を受信している場合は、表示画面２０−４ｆに示されるように文字情報を元の映像の位置に重畳して表示することもできる。
【０１００】
次に、配信サーバ１０ａが、映像コンテンツ中に文字が表示される領域を複数個所検出した場合の処理を説明する。
【０１０１】
この場合、配信サーバ１０ａは、検出された映像コンテンツ中の全ての文字情報を表示端末２０ａに配信することも可能であるが、これ以外にも利用者が指定した領域中の文字情報のみを配信する方式も可能である。
【０１０２】
この場合の動作の一実施例を説明する。配信サーバ１０ａは、表示端末２０ａに対し、各領域の文字や文章のレイアウト情報や検出された各領域の位置情報といった文字補助情報を含めて送信する。そして、表示端末２０ａにおいて、その文字補助情報を利用して利用者が文字情報を見たい領域を選択し配信サーバ１０ａに通知する。そして、配信サーバ１０ａは、その表示端末２０ａから通知された利用者が選択した領域から、文字情報を生成して表示端末２０ａに配信する。
【０１０３】
また、文字補助情報がない場合にも、表示端末２０ａにおいて、配信サーバ１０ａに対し文字情報の切り替えを指示して順次切り替え、その各文字情報の内容を参照して選択する方式等が可能である。
【０１０４】
このように、配信サーバ１０ａは、表示端末２０ａに全ての文字情報を配信するのではなく、表示端末２０ａから通知された見たい文字情報や、配信する文字情報の切り替えの指示等の文字情報送信の要求に基づいて、映像コンテンツ中のその要求された文字情報のみを配信することが可能である。
【０１０５】
この場合、配信サーバ１０ａは、映像コンテンツの画像から最初に検出された文字領域の文字情報を最初に表示端末２０ａに配信し、最初に表示端末２０ａで表示させることとしてもよいが、更に好ましくは映像コンテンツ中に表示される位置や文字認識した結果の文字情報の内容を基に、配信する順番を決定することとしてもよい。
【０１０６】
例えば、映像コンテンツの下部の中央に横書きで示される文字は、テロップである可能性が高いためその文字情報を最優先で配信することとし、逆に映像コンテンツの上部の左又は右の隅に狭い範囲で示される文字は、現在時刻の表示である可能性が高くその重要性が低いためこれ以外の他の文字情報を優先して配信する等が考えられる。
【０１０７】
また、配信サーバ１０ａが表示端末２０ａに全ての文字情報を配信し、表示端末２０ａの側で表示する文字情報を選択する方式も可能である。
【０１０８】
また、表示画面２０−４ｄに示すように、配信サーバ１０ａが、その文字認識した文字情報のテキストデータを指定された他の言語に自動翻訳して、その翻訳文を文字情報として表示端末２０ａに配信し表示させることもできる。
【０１０９】
この自動翻訳は、翻訳ソフトウェア等における従来の技術を用いることで、表示画面２０−４ｄに示される日本語から英語の場合や、英語から日本語等の様々な言語間の翻訳が可能である。このように抽出した文字情報を自動翻訳して配信することにより、様々な言語の映像コンテンツを提供するサービスが簡単になる。翻訳文を表示する表示方法は、表示画面２０−４ｃの場合と同様である。
【０１１０】
次に、表示画面２０−４ｅに示すように、配信サーバ１０ａが文字情報をその文字の表示される領域の画像（映像）で配信する場合も、表示画面２０−４ｃと同様にして映像コンテンツとは別のウィンドウにより文字情報を表示することができる。
【０１１１】
また、画面サイズより大きな文字情報の画像が配信された場合には、表示端末２０ａが文字情報の画像を縮小して表示させたり、詳細を見たい場合は拡大して縦方向や横方向などにスクロールさせて表示させること等が可能である。
【０１１２】
また、表示端末２０ａは、文字情報中にレイアウト情報などの文字補助情報が含まれている場合は、これを利用して文字領域の画像を読みやすいように生成しなおして提示することも可能である。
【０１１３】
また、表示画面２０−４ｆに示すように、文字情報を画像で配信する場合においても、文字情報の画像を映像コンテンツとは別の領域ではなく、文字情報を映像と同じ領域に重畳して表示させることができる。特に、元の映像コンテンツの文字領域に重ねるように文字情報を表示することで、文字情報の画像を読みやすく表示することができる。
【０１１４】
配信される文字情報の画像は、通常は元の映像コンテンツよりも高解像度であるため、先の表示画面２０−４ｅの場合と同様に、最初は配信された文字情報の画像を縮小して元の映像コンテンツに重畳させて表示し、必要になれば縮小を解除して（また指定サイズにサイズを変更して）スクロールさせながら表示させること等が可能である。
【０１１５】
表示画面２０−４ｄのように文字情報を文字認識して他言語に翻訳したものを映像コンテンツとは別のウィンドウに表示することもできるが、これを同様にして表示画面２０−４ｇに示すように、映像コンテンツ中に重畳させて表示することもできる。
【０１１６】
これは、外国映画の映像コンテンツの字幕などに応用でき、映画に集中したい場合に、他のウィンドウを見て集中が削がれるということがなくなる。これを実現するために、テキストデータで配信される翻訳文の文字情報をそのまま映像に重畳させてもよいし、その翻訳文のテキストデータから文字領域の大きさにあわせて文字画像を作成して表示させること等が可能である。
【０１１７】
また、配信サーバ１０ａで文字認識した結果をテキストデータにより配信するのではなく、そのテキストデータの文字を表示する文字画像を生成して、これを文字情報として表示端末２０ａに配信することも可能である。この場合、表示端末２０ａは、受信した文字情報の画像を重畳させて表示するのみで鮮明に文字を表示することができる。
【０１１８】
また、特に語学学習用や外国映画等の映像コンテンツの場合には、映像コンテンツに表示させる字幕を消去したいといった要求もある。
【０１１９】
この場合、表示画面２０−４ｈに示されるように、配信された文字補助情報において示される映像コンテンツ中での文字が表示される領域の位置情報に基づいて、表示端末２０ａがその領域を消去して利用者に提供することができる。
【０１２０】
またこの場合、語学の勉強中に答が知りたいなどといった用途の時は、表示端末２０ａは、利用者の操作に応じて、表示画面２０−４ｃ〜２０−４ｇのような手法で文字情報を表示させたり消去したり、切り替えながら利用者に提示することが可能である。
【０１２１】
なお、上記の第１、第２の実施の形態の映像コンテンツ及び文字情報の提示方法の説明においては、表示端末２０、２０ａを携帯電話等の携帯通信端末とする場合を例に説明したが、特に表示端末２０ａを携帯電話に限定する必要はない。本発明のコンテンツ配信システムは、配信先の表示端末２０、２０ａが表示部の面積が狭い場合に特に効果的であるが、同様にしてパソコンやノートパソコン等の端末に対し配信することも可能である。
【０１２２】
以上説明したように、上記第１、第２の実施の形態のコンテンツ配信システムによれば、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することができる。
【０１２３】
次に、本発明の第３の実施の形態を説明する。図９は、本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態は、配信サーバ１０を用いずに表示端末２０ｂだけで文字情報を抽出して表示する行なう形態である。
【０１２４】
図１０は、本実施の形態の表示端末２０ｂの動作を説明するためのフローチャートである。
【０１２５】
本実施の形態の表示端末２０ｂは、テレビ放送などの放送映像を受信する携帯端末であり、映像受信部２１で電波等により外部の放送局４０等から放送中のテレビ番組等の映像コンテンツを受信する（ステップ６０１）。受信した映像コンテンツを映像復号部２２で復号し（ステップ６０２）、文字抽出部２９によりその文字情報を生成して（ステップ６０３）、映像表示部２３で映像コンテンツとその文字情報を表示する（ステップ６０４）。
【０１２６】
表示端末２０ｂは、携帯用を念頭においているので、表示することができる解像度が低く、映像表示部２３では映像コンテンツを縮小して表示する。この時、縮小された映像コンテンツは、テロップ等の文字が不明瞭になったり潰れてしまうことがある。
【０１２７】
一方、映像復号部２２で復号する映像は通常の解像度の映像が復号されるので、通常の解像度の映像を用いて、文字抽出部２９にて文字領域を抽出し、文字表示部２６で文字情報を表示することで、利用者に映像内容をわかりやすく提示する。また、文字抽出部２９は、文字領域を抽出するだけでなく、文字認識も行ない表示される文字のテキストデータを取得することも可能である。この場合、その取得したテキストデータを文字表示部２６により表示する。
【０１２８】
本実施の形態の表示端末２０ｂの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１２９】
以上説明したように本実施の形態によれば、表示端末２０ｂが文字抽出を行なうための十分な処理能力を備える場合には、配信サーバを必要とせずに、表示端末２０ｂ自身により、テレビ放送などの映像コンテンツから文字情報を抽出して、抽出した文字情報を高解像度に表示することができる。これにより、第１、第２の実施の形態の表示端末２０、２０ａと同様にして、携帯端末などの小画面の表示端末２０ｂにおいても利用者に映像コンテンツの内容をわかりやすく提示することができる。
【０１３０】
次に、本発明の第４の実施の形態を説明する。図１１は、本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【０１３１】
第３の実施の形態では映像を表示端末２０ｂで直接受信し、文字領域抽出も表示端末２０ｂで行なう方式であったが、一般に携帯型の機器は処理能力が低いため、文字領域抽出が困難な場合もありうる。
【０１３２】
図１２は、本実施の形態の配信サーバ１０ｂの動作を説明するためのフローチャートである。
【０１３３】
そこで本実施の形態では、配信サーバ１０ｃにおいて表示端末２０ｃが外部の放送局４０から受信している番組と同じ番組の映像コンテンツを映像入力部１１で受信し（ステップ７０１）、文字抽出部１３でその文字情報を抽出して（ステップ７０２）、文字送信部１５でその文字情報を表示端末２０ｃに送信する（ステップ７０３）。表示端末２０ｃでは、第１、第２の実施の形態と同様にして、配信サーバ１０ｃから配信される文字情報を文字受信部２４で受信し、文字復号部２５で必要な復号処理を行い、文字表示部２６で文字情報を表示する。
【０１３４】
一方、映像コンテンツは、第３の実施の形態と同様に配信サーバ１０ｃ以外の放送局４０等から、映像受信部２１で受信し、映像復号部２２で必要な復号処理を行い、映像表示部２３でその映像コンテンツを表示する。
【０１３５】
本実施の形態の表示端末２０ｃの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１３６】
以上説明したように、本実施の形態によれば、第３の実施の形態の効果に加えて、文字領域抽出の処理が困難な表示端末２０ｃでも文字情報を表示することができる。また、配信サーバ１０が文字情報のみを配信し、表示端末２０ｃが映像コンテンツを他の放送局４０等から受信する方式により、上記第１、第２の実施の形態のコンテンツ配信システムと同様の効果を実現することができる。
【０１３７】
また、通常データ量が多い映像情報を配信サーバ１０ｃから受信せず、直接電波等を利用して映像を受信することで、データ通信に要する費用などを抑えることができ、第１や第２の実施の形態よりも効率よく文字情報の配信ができる。
【０１３８】
なお、上記各実施の形態では、表示端末２０、２０ａ、２０ｂ、２０ｃでは映像コンテンツとその文字情報とを同時に表示する方式であったが、文字情報のみを表示して映像コンテンツは表示しないという形態も可能である。これにより、より少ない通信量により映像コンテンツの文字情報を表示することができる。
【０１３９】
なお、上記各実施の形態のコンテンツ配信システムは、配信サーバ１０、１０ａ、１０ｃにおける映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５、多重化部１６、送信部１７の機能や、表示端末２０、２０ａ、２０ｂ、２０ｃにおける映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６、受信部２７、多重化分離部２８、文字抽出部２９の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムであるコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃは、磁気ディスク、半導体メモリその他の記録媒体に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１４０】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１４１】
【発明の効果】
以上説明したように本発明によれば、低ビットレートで配信される映像コンテンツにおいても、配信サーバで映像コンテンツ中から文字情報を抽出し、それを映像コンテンツとは別にテキストデータや高画質な符号化方法を用いて符号化した画像により配信することにより、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【０１４２】
このため、表示端末には文字抽出を行なうための処理能力を必要とせず、更に携帯通信端末等の表示画面の狭い表示端末においても、映像コンテンツの中の文字を明瞭に表示することができ、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図２】 本発明の第１の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図３】 本発明の第１の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図４】 本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図５】 本発明の第２の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図６】 本発明の第２の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図７】 本発明の第２の実施の形態の文字領域分抽出の説明図である。
【図８】 本発明の第２の実施の形態の表示端末における映像表示方式の説明図である。
【図９】 本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１０】 本発明の第３の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図１１】 本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１２】 本発明の第４の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図１３】 従来の映像コンテンツ配信システムの構成を示すブロック図である。
【符号の説明】
１０、１０ａ、１０ｃ 配信サーバ
１１ 映像入力部
１２ 映像符号化部
１３ 文字抽出部
１４ 映像送信部
１５ 文字送信部
１６ 多重化部
１７ 送信部
２０、２０ａ、２０ｂ、２０ｃ 表示端末
２１ 映像受信部
２２ 映像復号部
２３ 映像表示部
２４ 文字受信部
２５ 文字復号部
２６ 文字表示部
２７ 受信部
２８ 多重化分離部
２９ 文字抽出部
３０ 伝送路
６０ 映像配信サーバ
６１ 映像入力部
６２ 映像符号化部
６４ 映像送信部
７０ 映像表示端末
７１ 映像受信部
７２ 映像復号部
７３ 映像表示部
９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃ 配信プログラム
Claims (25)
- 配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、
前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に対し配信し、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示し、
前記配信サーバは、検出した前記文字が表示される領域を前記画像より高解像度で符号化することより、前記映像コンテンツの文字情報として生成することを特徴とするコンテンツ配信システム。 - 前記配信サーバが、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付け、指定された前記領域により生成した前記文字情報を前記表示端末に対し配信することを特徴とする請求項１に記載のコンテンツ配信システム。
- 前記配信サーバが、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信することを特徴とする請求項１又は請求項２に記載のコンテンツ配信システム。
- 前記表示端末が、外部の放送局から受信する前記映像コンテンツの文字情報を、前記配信サーバから受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示することを特徴とする請求項１から請求項３のいずれか１つに記載のコンテンツ配信システム。
- 前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、検出した前記領域、文字の特徴を示す文字補助情報を同時に含み、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示することを特徴とする請求項１から請求項４のいずれか１つに記載のコンテンツ配信システム。 - 前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像から検出された前記領域の、前記画像中の位置の情報を含むことを特徴とする請求項５に記載のコンテンツ配信システム。
- 前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像に表示される文字のレイアウト構造の情報を含むことを特徴とする請求項５又は請求項６に記載のコンテンツ配信システム。
- 表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段を備
えることを特徴とする配信サーバ。 - 表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段と、
前記表示端末に対し配信する前記映像コンテンツの画像のサイズを指定されたサイズに縮小する手段と、
を備え
前記文字情報として生成した前記画像を、画像のサイズを縮小した前記映像コンテンツよりも高い画質により、縮小した前記映像コンテンツと共に、前記表示端末に対し配信することを特徴とする配信サーバ。 - 文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付ける手段を備え、
指定された前記領域において生成した前記文字情報を前記表示端末に対し配信することを特徴とする請求項８又は９に記載の配信サーバ。 - 前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信する手段を備えることを特徴とする請求項８から請求項１０のいずれか一つに記載の配信サーバ。
- 前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、前記領域、文字の特徴を識別する手段を備え、
識別した前記領域、文字の特徴の情報を文字補助情報として、前記映像コンテンツの文字情報に含めて前記表示端末に対し配信することを特徴とする請求項８から請求項１２のいずれか１つに記載の配信サーバ。 - 前記映像コンテンツ及び前記映像コンテンツの文字情報を記録して備える手段と、
前記表示端末からの要求に応じて、要求された前記映像コンテンツ及び前記映像コンテンツの文字情報を前記表示端末に配信する手段を備えることを特徴とする請求項８から請求項１２のいずれか１つに記載の配信サーバ。 - コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された前記画像に表示される前記文字を明瞭に表示する文字情報と当該映像コンテンツとを同時に受信する手段と、
受信した前記文字情報と前記映像コンテンツとを共に提示する手段を備え、
前記映像コンテンツの文字情報が、前記映像コンテンツの画像中の文字が表示される領域を前記画像より高解像度で符号化された画像であることを特徴とする
ることを特徴とする表示端末。 - 前記配信サーバから、文字が表示される領域が前記映像コンテンツの画像から複数検出される旨の通知を受け付ける手段と、
複数検出された各前記領域の中から、利用者が選択した前記領域を前記配信サーバに通知する手段を備え、
選択した前記領域に表示される文字を確認するために用いる文字情報を、前記配信サーバから受信することを特徴とする請求項１４に記載の表示端末。 - 前記配信サーバから多重化して配信される、前記映像コンテンツの文字情報と当該映像コンテンツとを受信する手段を備えることを特徴とする請求項１３から請求項１５のいずれか一つに記載の表示端末。
- 前記配信サーバから、外部の放送局から受信する前記映像コンテンツの前記文字情報を受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示する手段を備えることを特徴とする請求項１３から請求項１６のいずれか１つに記載の表示端末。
- 前記映像コンテンツの文字情報が、前記映像コンテンツから検出された前記領域、文字の特徴を示す文字補助情報を含み、
前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示する手段を備えることを特徴とする請求項１３から請求項１７のいずれか１つに記載の表示端末。 - 前記文字補助情報が、前記映像コンテンツの画像中の文字が表示される領域の、前記画像中の位置の情報を含み、
前記映像コンテンツを、前記文字補助情報に示される前記文字が表示される領域を消去して提示する手段を備えることを特徴とする請求項１８に記載の表示端末。 - 前記配信サーバに対して、前記文字情報の送信の可否を指示する手段を備えることを特徴とする請求項１３から請求項１９のいずれか１つに記載の表示端末。
- 前記映像コンテンツの文字情報と、前記映像コンテンツとを表示画面中にそれぞれに別のウィンドウにより同時に表示する手段を備えることを特徴とする請求項１３から請求項２０のいずれか１つに記載の表示端末。
- 表示画面中の前記映像コンテンツを表示するエリア内に、前記映像コンテンツの文字情報を同時に表示する手段を備えることを特徴とする請求項１３から請求項２０のいずれか１つに記載の表示端末。
- 携帯通信端末であることを特徴とする請求項１３から請求項２０のいずれか１つに記載の表示端末。
- コンピュータを制御することにより、表示端末に対しコンテンツを配信するコンテンツ配信プログラムにおいて、
コンピュータに、
映像コンテンツの画像から文字が表示される領域を検出する機能と、
検出した前記領域から映像コンテンツとは別に前記領域に表示される前記文字を表示する文字情報を、検出した前記領域を前記画像より高解像度で符号化することにより、生成する機能と、
生成した前記文字情報を、前記映像コンテンツと共に前記表示端末に配信する機能と、
を実現させることを特徴とするコンテンツ配信プログラム。 - コンピュータを制御することにより、配信サーバから配信されるコンテンツを提示するコンテンツ配信プログラムにおいて、
コンピュータに、
コンテンツを配信する請求項８から請求項１４のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された文字情報を、前記映像コンテンツと共に受信する機能と、
受信した前記文字情報を、受信した前記映像コンテンツと共に提示する機能と、
を実現させることを特徴とするコンテンツ配信プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376701A JP4000844B2 (ja) | 2001-12-11 | 2001-12-11 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
| GB0228777A GB2384936B (en) | 2001-12-11 | 2002-12-10 | Content distribution system and related server and display terminal |
| US10/315,184 US8161518B2 (en) | 2001-12-11 | 2002-12-10 | Contents distribution system and distribution server and display terminal of contents distribution system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376701A JP4000844B2 (ja) | 2001-12-11 | 2001-12-11 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007158882A Division JP4655065B2 (ja) | 2007-06-15 | 2007-06-15 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179888A JP2003179888A (ja) | 2003-06-27 |
| JP4000844B2 true JP4000844B2 (ja) | 2007-10-31 |
Family
ID=19184840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001376701A Expired - Fee Related JP4000844B2 (ja) | 2001-12-11 | 2001-12-11 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8161518B2 (ja) |
| JP (1) | JP4000844B2 (ja) |
| GB (1) | GB2384936B (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1445954A1 (en) * | 2003-02-10 | 2004-08-11 | Thomson Licensing S.A. | Method to transmit and receive font information in streaming systems |
| US7034776B1 (en) | 2003-04-08 | 2006-04-25 | Microsoft Corporation | Video division detection methods and systems |
| DE10325382A1 (de) * | 2003-05-30 | 2004-12-23 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Visualisieren von medizinischen Patientendaten auf einer medizinischen Anzeigeeinheit |
| EP1494456A1 (en) * | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt GmbH | Method for run-length encoding of a bitmap data stream |
| KR100750424B1 (ko) | 2004-03-03 | 2007-08-21 | 닛본 덴끼 가부시끼가이샤 | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 |
| JP4111926B2 (ja) | 2004-03-09 | 2008-07-02 | 株式会社リコー | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
| KR100652703B1 (ko) * | 2004-12-08 | 2006-12-01 | 엘지전자 주식회사 | 휴대단말기의 동영상 검색장치 및 방법 |
| US20060136379A1 (en) * | 2004-12-17 | 2006-06-22 | Eastman Kodak Company | Image content sharing device and method |
| KR100746074B1 (ko) * | 2004-12-20 | 2007-08-06 | 엘지전자 주식회사 | 디지털 방송 수신기에서 텍스트 콘텐츠 변환 저장장치와방법 |
| JP2006197420A (ja) * | 2005-01-17 | 2006-07-27 | Sanyo Electric Co Ltd | 放送受信装置 |
| JPWO2006104071A1 (ja) * | 2005-03-29 | 2008-09-04 | 日本電気株式会社 | 携帯端末 |
| JP4861636B2 (ja) | 2005-04-19 | 2012-01-25 | パナソニック株式会社 | 画像処理装置及び画像処理プログラム |
| JP5007681B2 (ja) * | 2008-02-14 | 2012-08-22 | ソニー株式会社 | 放送システム |
| JP5332329B2 (ja) * | 2008-06-11 | 2013-11-06 | 富士通株式会社 | 特定領域を等倍出力する機能を持ったダウンデコード装置 |
| JP4636474B2 (ja) | 2008-11-17 | 2011-02-23 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 映像変換装置、映像再生装置、映像変換再生システム及びプログラム |
| JP2011066670A (ja) * | 2009-09-17 | 2011-03-31 | Brother Industries Ltd | 画像通信システムおよび送信端末 |
| US11991405B2 (en) * | 2009-12-18 | 2024-05-21 | Crossbar Media Group, Inc | Systems and methods for automated extraction of closed captions in real time or near real-time and tagging of streaming data for advertisements |
| JP5376685B2 (ja) * | 2011-07-13 | 2013-12-25 | Ｎｅｃビッグローブ株式会社 | コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム |
| JP5708419B2 (ja) * | 2011-09-29 | 2015-04-30 | フリュー株式会社 | 画像表示システム、学習システム、画像表示方法、および制御プログラム |
| US9125255B2 (en) | 2012-05-03 | 2015-09-01 | Abl Ip Holding Llc | Networked architecture for system of lighting devices having sensors, for intelligent applications |
| JP5630845B2 (ja) * | 2013-03-05 | 2014-11-26 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 端末装置及びプログラム |
| WO2014162211A2 (en) * | 2013-03-15 | 2014-10-09 | Translate Abroad, Inc. | Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices |
| US9069509B2 (en) * | 2013-03-20 | 2015-06-30 | Hewlett-Packard Development Company, L.P. | System and method for printing relevant content via a cloud print service |
| KR20150050848A (ko) * | 2013-11-01 | 2015-05-11 | 삼성전자주식회사 | 파일을 재생하는 방법 및 장치 |
| JP6468105B2 (ja) * | 2015-07-16 | 2019-02-13 | 富士ゼロックス株式会社 | 通信システム、サーバ装置、クライアント装置及びプログラム |
| JP6631319B2 (ja) * | 2016-02-29 | 2020-01-15 | 日本電気株式会社 | データ処理装置、画面共有システム、データ処理方法及びプログラム |
| JP6412893B2 (ja) * | 2016-03-18 | 2018-10-24 | ソフトバンク株式会社 | 動画配信システム、動画送信装置、通信端末、及びプログラム |
| JP6700957B2 (ja) * | 2016-05-10 | 2020-05-27 | 日本放送協会 | 字幕データ生成装置、およびプログラム |
| KR102435737B1 (ko) | 2017-03-08 | 2022-08-23 | 소니그룹주식회사 | 화상 처리 장치 및 화상 처리 방법 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5361309A (en) * | 1989-09-07 | 1994-11-01 | Canon Kabushiki Kaisha | Character recognition apparatus and method with low-resolution storage for character extraction |
| JPH03290774A (ja) | 1990-04-06 | 1991-12-20 | Fuji Facom Corp | 文書画像の文章領域抽出装置 |
| US5805153A (en) * | 1995-11-28 | 1998-09-08 | Sun Microsystems, Inc. | Method and system for resizing the subtitles of a video |
| JPH09247632A (ja) * | 1996-03-04 | 1997-09-19 | Sony Corp | 抽出装置および抽出方法 |
| US6188429B1 (en) * | 1997-09-19 | 2001-02-13 | Netergy Networks, Inc | Video TTY device and method for videocommunication |
| JPH11284838A (ja) * | 1998-03-31 | 1999-10-15 | Fuji Photo Film Co Ltd | 画像編集方法および装置並びに画像合成方法および装置 |
| JP3753357B2 (ja) * | 1999-01-19 | 2006-03-08 | 株式会社リコー | 文字抽出方法および記録媒体 |
| JP2000324416A (ja) | 1999-05-06 | 2000-11-24 | Nippon Telegr & Teleph Corp <Ntt> | テレビ用静止画表示方法、装置、および制御プログラムを記録した記録媒体 |
| WO2002008948A2 (en) * | 2000-07-24 | 2002-01-31 | Vivcom, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
| US6903779B2 (en) * | 2001-05-16 | 2005-06-07 | Yahoo! Inc. | Method and system for displaying related components of a media stream that has been transmitted over a computer network |
-
2001
- 2001-12-11 JP JP2001376701A patent/JP4000844B2/ja not_active Expired - Fee Related
-
2002
- 2002-12-10 GB GB0228777A patent/GB2384936B/en not_active Expired - Fee Related
- 2002-12-10 US US10/315,184 patent/US8161518B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8161518B2 (en) | 2012-04-17 |
| US20030110515A1 (en) | 2003-06-12 |
| GB2384936A (en) | 2003-08-06 |
| GB2384936B (en) | 2006-05-31 |
| GB0228777D0 (en) | 2003-01-15 |
| JP2003179888A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4000844B2 (ja) | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム | |
| US7360230B1 (en) | Overlay management | |
| KR100943128B1 (ko) | Ｍｐｅｇ-4 원격 통신 장치 | |
| JP4428860B2 (ja) | インタラクティブ・テレビジョン・アプリケーションにおいて符号化ｍｐｅｇスチール写真をスクロールするための符号化システムおよび方法 | |
| EP1079610B1 (en) | Moving-picture processing method, and apparatus therefor | |
| EP2479982A1 (en) | Closed captioning language translation | |
| US20040214541A1 (en) | Apparatus and method for transmitting a television signal received in a mobile communication terminal | |
| US6661448B2 (en) | Method and system for providing and transmitting alternative video data during interruptions in video transmissions | |
| WO2000007372A1 (en) | Overlay management | |
| US20080150964A1 (en) | Method and apparatus for displaying content | |
| JP2002521928A (ja) | ビデオシーケンスを対話型プログラムガイドと結合するための方法および装置 | |
| US11812100B2 (en) | Apparatus, systems and methods for accessing information based on an image presented on a display | |
| JP4655065B2 (ja) | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム | |
| CN102088631A (zh) | 数字电视节目直播和点播方法及相关装置和系统 | |
| US6665318B1 (en) | Stream decoder | |
| KR100767673B1 (ko) | 슬라이드 쇼 구현기능을 갖는 디지털방송용 단말기 및 이를이용한 슬라이드 쇼 구현 방법 | |
| US20080039135A1 (en) | Broadcast communication system for mobile phone | |
| KR100926911B1 (ko) | 디지털 방송에서 광고를 제공하는 방법 및 시스템 | |
| KR20070076781A (ko) | 셋톱박스를 이용한 데이터 통신방법 및 장치 | |
| KR20040046537A (ko) | Ｖｏｄ 서비스에서의 유해 정보 차단 방법 | |
| KR20050017436A (ko) | 부재중 메시지 저장 기능을 갖는 ｐｖｒ 장치 및 그 방법 | |
| JP2002540657A (ja) | テレビジョン信号へのホット・スポットのコード化 | |
| KR100735253B1 (ko) | 디지털 방송 수신 단말기의 디지털 방송 화면 캡쳐 방법 | |
| JP2005091571A (ja) | 表示制御装置、及び表示システム | |
| JPH11205708A (ja) | ディジタル放送受信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070327 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070806 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4000844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |