[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5617270B2 - 動画再生装置、動画処理方法、および動画処理プログラム - Google Patents

動画再生装置、動画処理方法、および動画処理プログラム Download PDF

Info

Publication number
JP5617270B2
JP5617270B2 JP2010031569A JP2010031569A JP5617270B2 JP 5617270 B2 JP5617270 B2 JP 5617270B2 JP 2010031569 A JP2010031569 A JP 2010031569A JP 2010031569 A JP2010031569 A JP 2010031569A JP 5617270 B2 JP5617270 B2 JP 5617270B2
Authority
JP
Japan
Prior art keywords
moving image
data
image data
color
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010031569A
Other languages
English (en)
Other versions
JP2011171833A (ja
Inventor
敏郎 大櫃
敏郎 大櫃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010031569A priority Critical patent/JP5617270B2/ja
Priority to US13/004,605 priority patent/US8811804B2/en
Publication of JP2011171833A publication Critical patent/JP2011171833A/ja
Application granted granted Critical
Publication of JP5617270B2 publication Critical patent/JP5617270B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本件は、動画データを取得し取得した動画データに基づいて動画を出力する動画再生装置および動画再生方法、並びに演算処理装置を動画再生装置として動作させる動画再生プログラムに関する。
近年、パーソナルコンピュータ(以下、「PC」と略記する)の低価格指向が強まり、PCの価格を抑えるためにそのPCに使用される部品も価格が抑えられ、それに応じてPCの性能も抑えられている。例えば、低価格帯のノート型パーソナルコンピュータ(以下、「ノートPC」と略記する)にあっては、プログラムの実行を担うCPU(Central Processing Unit)は、近年では高速とは言い難い、例えば1.6GHのものが採用される。
ここで、インターネット上にある配信用の高画質の動画コンテンツである、1280×720 4:2:2フォーマット、30フレームの動画コンテンツを再生することを考える。このレベルの動画コンテンツを、例えば2.2GHのCPUで処理する場合、そのCPUの使用率は81%程度であり、システム全体を考慮すると限界に近い。この動画コンテンツを上記のような低スペックのノートPCで再生しようとすると、1.6GHのCPUの場合、CPU使用率が単純計算で111%程度となってしまい、処理が追いつかずコマ落ちで表示されたり、映像が出力されずにフリーズするという不具合が生じる。
この不具合の発生の回避のために、MPEG画像データの逆DCT変換処理の内容を再生処理負荷に応じて一部スキップさせて負荷を抑えることで、コマ落ちの可能性を低減させることが提案されている。しかしながら、この場合、負荷を低減しようとすると画像の分解能が低下し再生画像がボケるという別の不具合が発生するおそれがある。
また、YUV4:2:4、YUV4:2:2、YUV4:2:0など色データのデータ量が異なる複数のフォーマットの画像データを用意しておいてそれら複数フォーマットの画像データの中から、表示用の画像データへの変換対象の画像データを、負荷に応じて1フレームごとに切り替えることが提案されている。この場合、負荷を低減したときに映像の色の分解能が低下するおそれがあるが、映像自体は高分解能のまま再生される。しかしながら、この場合、複数フォーマットの画像データを用意する必要がある。このため、インターネットの通信量の増大や、必要な記憶容量の増大化をもたらすおそれがある。また、インターネットなどで配信される画像データは、そのような複数フォーマットのデータが並列的に用意されている訳ではない。
特開平11−146398号公報 特開2000−181438号公報
本件開示の動画再生装置、動画再生方法、および動画再生プログラムの課題は、インターネットなどで配信される通常のタイプの画像データの再生の負荷を、動画の空間分解能を低下させることなく低減させることにある。
本件開示の動画再生装置は、動画取得部と、動画生成部と、動画出力部とを有する。
動画取得部は、画像の輝度を表わす輝度データと画像の色を表す色データとを有し、暗号化された第1の動画データを取得する。
動画生成部は、第1の動画データの再生に応じて予測されるCPUの使用率と予め定められた閾値との比較結果に応じて、第1の動画データを復号化した第2の動画データ、または、第1の動画データが終了するまでの第1の動画データを復号化した連続する画像のデータのそれぞれについて、第1の動画データの輝度データと同一であり、且つ、第1の動画データの色データのデータ量が削減された第2の動画データのいずれか一方を生成する。
動画出力部は、動画生成部で生成した前記第2の動画データを出力する。
本件は、上記の動画再生装置の思想を動画再生プログラムや動画再生方法として捉えた場合を含む。
本件開示の動画再生装置、動画再生方法、および動画再生プログラムによれば、画像データの再生負荷が動画の空間分解能を低下させることなく低減される。
本件の第1実施形態の動画再生装置の構成図である。 本件の第2実施形態が構築されるノートPCの一例を示す外観斜視図である。 図2に外観を示すノートPCのハードウェア構成の概要を示すブロック図である。 図2,図3に示すノートPC内での動画再生処理の流れを示した図である。 YCbCrデータのデータフォーマットのうちの4:2:2フォーマットを示した図である。 YCbCrデータのデータフォーマットのうちの4:2:0フォーマットを示した図である。 YデータとCb,Crデータのデータ量比率を示した図である。 4:2:2フォーマットにおける、メモリ上のCb,Crデータの例を示した図である。 4:2:0フォーマットにおける、メモリ上のCbCrデータの配置例を示した図である。 再生アプリのフローチャートである。 再生アプリのフローチャートである。 図10,図11に示す再生アプリ起動時に表示画面31(図2参照)上に表示されるメニュー画面の一例を示した図である。 図12に示すメニュー画面上で「映像A」が選択されたときの表示画面例を示す図である。
以下、本件の実施形態を説明する。
図1は、本件の第1実施形態の動画再生装置の構成図である。
この動画再生装置1は、プログラムを実行する演算処理装置と、その演算処理装置内で実行される動画再生プログラムとを有する。この図1は、動画再生プログラムが演算処理装置内で実行されることにより演算処理装置内に実現する機能を表わしている。この動画再生装置1は、動画取得部2と、色データ削減部3と、動画生成部4と、動画出力部5と、画像表示部6とを有する。
動画取得部2は、画像の輝度を表わす輝度データと画像の色を表す色データとを有する第1の動画データを取得する。この動画データの取得は、例えばインターネット等の通信回線を経由して、あるいは、DVD(Digital Video Disk)等の可搬型記憶媒体からのインストールにより行なわれる。
色データ削減部3は、動画取得部2で取得された第1の動画データを構成する色データのデータ量を削減することにより、その第1の動画データを構成する輝度データと同一の輝度データと、データ量が削減された色データとを有する第2の動画データを生成する。
動画生成部4は、色データ削減部3で生成された第2の動画データに基づいて動画表示用の第3の動画データを生成する。
動画出力部5は、動画生成部4で生成された第3の動画データを出力する。
ここで、動画出力部5は、第3の動画データを動画表示部6に向けて出力する。
画像表示部6は、動画出力部5から出力された第3の動画データを受け取ってその第3の動画データに基づく動画を表示する。
ここで色データ削減部3は、第1の動画データを構成する色データのデータ量を、以下の条件を満たすときに削減する。すなわち、この色データ削減部3では、動画取得部2で取得した第1の動画データが動画生成部4での動画生成処理能力を超えるデータフォーマットの動画データであるか否かが判定される。そして、その第1の動画データが動画生成部4での動画データ生成処理能力を超えるデータフォーマットの動画データであったときに、第1の動画データが構成する色データのデータ量を、動画生成部4での動画生成能力に応じたデータ量に削減される。
上記の第1実施形態は、図1に示す動画再生装置1の各部2〜6で順次実行される機能を、順次実行する動画再生方法として捉えることもできる。ここでは、重複説明となるため、この第1実施形態に対応する動画再生方法の図示および説明は省略する。
次に、より具体的な第2実施形態について説明する。
図2は、本件の第2実施形態が構築されるノートPCの一例を示す外観斜視図である。
この図2に示すノートPC10は、本体ユニット20と表示ユニット30とを有する。本体ユニット20は、内部にCPUやハードディスクドライブ(以下、「HDD」と略記する)等を備えるとともに、上面にキーボード21やポインティングデバイスの一種であるタッチパッド22等を備えている。また、表示ユニット30は、蝶番40を介して本体ユニット10に連結されて本体ユニット20に対し開閉自在に構成され、開状態にあるときの前面に表示画面31を備えている。
図3は、図2に外観を示すノートPCのハードウェア構成の概要を示すブロック図である。
ここには、CPU51、メモリ52、不揮発メモリ53、図2にも示すキーボード21、並びに、GPU(Graphic Processing Unit)541および図2にも示す表示画面31を含んで構成された表示部54が示されている。またここには、通信インタフェース55、HDD56、図2にも示すタッチパッド22、並びに、オーディオインタフェース571およびスピーカ572を含んで構成された音声出力部57も示されている。これらの各要素21,22,51〜57は、バス50を介して互いに接続されている。
通信インタフェース55は、インターネットに接続されインターネットを介する通信を行なう。ここでは特にMPEG2に準拠した動画コンテンツを受信する。この動画コンテンツには、輝度データYと色差データCb,Crとからなる画像データ、および音声データが含まれている。HDD56は、大容量記憶装置であって、ここには本件の一実施形態としての動画再生プログラムを含む各種プログラムや、インターネットを経由して入力されてきた動画コンテンツなどが記憶されている。タッチパッド22は、表示部54を構成する表示画面31(図2参照)上のカーソルを移動させて表示画面31上の任意のアイコン等をクリックするポインティングデバイスの一種である。音声出力部57は、音声データを受け取りオーディオインタフェース571でアナログの音声信号に変換してスピーカ572で音声を出力する。
また、CPU51は、プログラムを実行する中央演算処理装置である。本実施形態で用いるノートPCでは、比較的動作速度の遅い、動作速度1.6GHzのCPUが採用されている。メモリ52は、HDD56から読み出されたプログラムがCPU51での実行のために展開されるメモリである。またこのメモリ52は、プログラムがCPU51で実行されたときのデータの一時的な格納場所としても利用される。不揮発メモリ53には、このノートPC10に電力が投入された初期に実行されるプログラムであるBIOS(Basic Input Output System)が記憶されている。また、キーボード21は、オペレータによる各種情報や指示の入力用のツールである。
表示部54は、表示用データを受け取って表示画面31(図2参照)上にそのデータに応じた画像を表示するものである。ここでは特に、動画データを受け取りGPU541で表示用の動画データに変換して表示画面31上に動画を表示する。
ここでは、インターネットを経由してきた、MPEG2フォーマットの動画コンテンツが通信インタフェース55で受信される。通信インタフェース55で動画コンテンツが受信されるとその動画コンテンツはHDD56に一時保管される。その後、その動画コンテンツから再生用の動画データが生成されてその再生用の動画データに基づく動画が表示画面31(図2参照)上に表示される。
また、その動画コンテンツ中の音声データは音声出力部57に送信され、表示画面31上への動画の表示と同期した音声がスピーカ572から出力される。
図4は、図2,図3に示すノートPC10内での動画再生処理の流れを示した図である。
CPU51は、入力動画データを受け取ると、CPU51では先ず復号化処理51aが行なわれる。この入力動画データは、暗号化された形式のデータであり、この復号化処理51aではエントルピー復号化処理と呼ばれる復号化処理により、YCbCrフォーマットの動画データが生成される。この復号化処理51aにより生成されたYCbCrのフォーマットの動画データのうちのYデータは動画の輝度を表わしている。またYCbCrフォーマットの動画データのうちのCbCrデータは、色差データと呼ばれ、動画の色を表わすデータである。このCbCrデータのデータ量が、色差データ削減処理51bにより削減される。ただしCPU51の処理能力が十分高く、入力動画データをそのまま処理可能なときはCbCrデータの削減処理は行なわれない。Yデータと削減されたCbCrデータが図2に示すメモリ52に書き込まれる。すると次に、CPU51では逆量子化・逆DCT処理51cが実行される。逆量子化処理および逆DCT処理自体は,MPEG形式のデータ再生処理として一般的な処理であり、ここでの詳細説明は省略する。
ここで、YCbCrデータのデータフォーマットについて説明する。
図5は、YCbCrデータのデータフォーマットのうちの4:2:2フォーマットを示した図である。
YCbCrのデータの中でもいくつかのデータフォーマットが知られている。そのうちの1つである4:2:2フォーマットの場合、一例として、Yデータについての、8×8の大きさから成るブロック4つに対し、Cbデータは、同じ8×8の大きさのブロック2つ、Crデータも8×8の大きさのブロック2つから構成されている。
この4:2:2フォーマットでは、水平に並んだ画素に1,2,3,4,5,…の番号を付した場合、Yデータは全ての画素について情報を記録し、Cb,Crについては、1,3,5,7,…のように1つ置きの画素について記録する。再生時には、1画素目のデータを1画素目と2画素目との双方に適用するというように、1つ置きにコピーして同じものを使う。こうすることにより、図5に示すように、Cb,Crデータは、Yデータと比べ半分ずつのデータ量で済む。
図6は、YCbCrデータのデータフォーマットのうちの4:2:0フォーマットを示した図である。
4:2:0フォーマットの場合、一例としてYデータについての、8×8の大きさからなるブロック4つに対し、Cbデータ,Crデータともそれぞれ、同じ8×8の大きさのブロック1つずつから構成されている。
この4:2:0フォーマットでは、Cb,Crデータについては、画像の垂直方向について例えば奇数番目はCbデータ、偶数番目Crデータというように交互に記録され、再生時には足りないところにコピーされる。したがって、この4:2:0フォーマットでは、Cbデータ,Crデータは図5に示す4:2:2フォーマットと比べ1/2のデータ量となっている。
図7は、YデータとCb,Crデータのデータ量比率を示した図である。
図7(A)は、4:2:2フォーマットをあらわしている。Yデータ2ブロックに対し、Cbデータ1ブロック、Crデータ1ブロックの比率となっている。
また図7(B)は、4:2:0フォーマットをあらわしている。Yデータ4ブロックに対し、Cbデータ1ブロック、Crデータ1ブロックとなっている。
データフォーマットとしての一般的な定義は見当たらないが、図7(A),(B)のデータフォーマットの考え方を拡張すると、図7(C)のように、Yデータ8ブロックに対しCbデータ1ブロック、Crデータ1ブロックとし、再生時に足りないところをコピーして同じCbCrデータを使う、ということが考えられる。ここでは、この図7(C)のデータフォーマットを、4:1:0フォーマットと称する。
ここで、図4を参照して説明したとおり、CPU51では復号化処理51aが行なわれ、その復号処理51b後のYCbCrデータが、CPU51の性能に応じてそのまま、あるいは色差データ削減処理51bを経由した後、メモリ52(図2参照)に書き込まれる。そして、CPU51では、メモリ52に書き込まれたデータについて逆量子化・逆DCT処理51cが実行される。
図8は、4:2:2フォーマットにおける、メモリ上のCb,Crデータの例を示した図である。
4:2:2フォーマットの動画データが入力された場合において,CPU51の性能が十分に高く、この4:2:2フォーマットの動画データを十分高速に処理することができるときは、この4:2:2フォーマットのままメモリ52上に書き込まれる。この場合、動画の1フレームを、図8の(A)のようにSMB(Section Macro Block)ラインに分けたとき、CbCrデータは、一例として図8(B)に示すようにメモリ52上に空きなく書き込まれる。
逆量子化・逆DCT処理51c(図4参照)は、この図8(B)のように空きなく書き込まれたCbCrデータに対し行なわれる。尚、Yデータについても同様に逆量子化・逆DCT処理51cが実行されるが、Yデータについては、4:2:2フォーマット、4:2:0フォーマット、および4:1:0フォーマットのいずれにおいても同じなので、ここではYデータについては省略している。
図9は、4:2:0フォーマットにおける、メモリ上のCbCrデータの配置例を示した図である。
4:2:2フォーマットの動画データが入力された場合において,CPU51の性能によってはそのフォーマットの動画データをそのまま処理するには能力不足の場合がある。この場合は、色差データ削減処理51b(図4参照)が行なわれる。ここで、このCPU51が、4:2:0フォーマットの動画データであれば十分高速に処理できる性能であったとき、色差データ削減処理51bにより、4:2:2フォーマットの動画データから4:2:0フォーマットの動画データが生成される。その生成された4:2:0フォーマットの動画データがメモリ52に書き込まれ、CPU51では、その書き込まれたデータについて逆量子化・逆DCT処理51cが行なわれる。
図8の場合と同様に動画1フレームを図9(A)のように複数のSMBラインに分けたとき、CbCrデータは図9(B)に示すように、メモリ上に、図8(B)の場合と比べ半分だけ埋まるように書き込まれる。残りの半分はデータなしの空きの状態のままとなる。したがって、逆量子化・逆DCT処理51cは、データが書き込まれた分だけ実行され、図8の場合(4:2:2フォーマットの場合)と比べ色差データCbCrについての処理量が半分で済むことになる。
CPU51の性能からして4:2:0フォーマットの動画データであっても能力不足のときは、色差データ削減処理51bでは図7(C)に示す4:1:0フォーマットの動画データに変換される。この場合、図示は省略するが、メモリ52上のCbCrデータのデータ量はさらに小さくなり、図8と比べ‘データなし’のブロックが更に増え、したがって逆量子化・逆DCT処理51cの処理量がさらに下げられる。
CPU51での逆量子化・逆DCT処理51cにより生成された動画データは、GPU541(図4参照)に送られ、GPU541にて、動き補償・予測処理541bおよびデブロッキング処理541bが行なわれ、それにより得られた表示用の動画データが出力バッファ541cに書き出される。この出力バッファ541cに書き出された動画データが映像出力となり表示画面31上に動画が表示される。動き補償・予測処理541aおよびデブロッキング処理541bのいずれも、MPEGでの一般的なデータ処理であり、ここでの詳細説明は省略する。
図10および図11は、再生アプリのフローチャートである。
また、図12は、図10,図11に示す再生アプリ起動時に表示画面31(図2参照)上に表示されるメニュー画面の一例を示した図である。さらに、図13は、図12に示すメニュー画面上で「映像A」が選択されたときの表示画面例を示す図である。
図10,図11に示す再生アプリが起動されると、インターネット上からダウンロードされてHDD56に格納されている動画コンテンツ一覧を表わす、例えば図12に示すようなメニュー画面が表示される。このメニュー画面上で例えば「映像A」が選択されると図13に示す画面が表示される。この図13に示す画面上で「再生する」が選択されると映像Aの再生が開始される。一方、この図13に示す画面上で[メインメニューへ」が選択されると、図12に示すメニュー画面に戻る。
図10,図11に示す再生アプリのフローチャートに沿って説明する。
再生アプリが起動されると、先ず、この動画再生を担うノートPC(ここでは、図2,図3に示すノートPC10の不揮発メモリ53(図3参照)に記憶されているBIOS情報等の機器情報から、そのノートPC10のCPU51の、動作速度等の性能が検知される(ステップS01)。
次いで、その検知されたCPU性能が、今回再生するとして選択された映像(ここの例では映像A;4:2:2フォーマット)を十分に高速に再生することができるか否かが判定される。具体的には、その再生処理が占めるCPUの使用率が予測され、その予測された使用率が閾値以下のとき、その再生処理を十分に高速に行なうことができると判定される。ここでは、今回選択された映像をそのまま十分高速に再生することができると判定された場合について先ず説明する。十分高速な再生処理が可能なときはステップS11に進む。
ステップS11では、動画再生処理が中断されたり終了したか否かが判定される。処理の中断/終了は、今回の動画が最終まで再生された場合、あるいはユーザにより中断が指示された場合等に発生する。処理の中断/終了が発生したときは、この再生アプリが終了する。処理中断/終了の発生がないときは動画コンテンツをHDD56から読み出してメモリ52に入力し(ステップS12)、動画再生処理が実行される(ステップS13〜S19)。前述した通り、この動画再生処理(ステップS13〜S19)のうち、ステップS13〜S16はCPU51で行なわれる処理であり、ステップS17〜S19はGPU541で行なわれる処理である。
ステップS13では、エントロピー復号化処理により暗号化された動画データからYCbCrデータが生成される。ここでは、そのYCbCrデータは、その色差データ削減処理を行なわなくても高速処理可能な場面を取り扱っている。したがってエントロピー復号化処理(ステップS13)により生成されたYCbCrデータがそのままメモリ52(図3参照)にメモリマッピングされる(ステップS15;図8参照)。次いで、メモリ上にマッピングされたデータについて逆量子化・逆DCT処理が実行される(ステップS16)。この逆量子化・逆DCT処理実施後の動画データは、今度はGPU541(図4参照)に送られる。このGPU541では、動き補償・予測処理(ステップS17)、およびデブロッキング処理(ステップS18)が実行され、表示用の動画データが再生されて出力バッファに書き込まれる(ステップS19)。そして、この出力バッファに書き込まれた動画データに基づく動画が図2に示す表示画面31上に表示される。
次に、今回再生するとして選択された映像(ここの例では映像A,4:2:2フォーマット)のままでは、CPU51の処理能力が追い付かず、4:2:0フォーマットに変換すれば、CPU51の処理能力が足りる場合について説明する。
この場合、図10のステップS02を経由して、図11のステップS20に進む。
ここでは、色差データのデータ量を削減するために、1つのプログラム部品である色差データ削減エンジンがHDD56からメモリ52上に読み込まれる。ステップS20に続く各ステップS21〜S29のうち、ステップS24を除く各ステップS21〜S23、S25〜S29は、図10に示す各ステップS11〜S13,S15〜S19とそれぞれ同一の処理であり、重複説明は省略する。図11では、図10と比べ、ステップS24の色差データ削減処理が追加されている。この色差データ削減処理(ステップS24)は、ステップS20でメモリ52上に読み込まれたプログラム部品である色差データ削減エンジンにより実行される。色差データ削減処理の内容については図8,図9等を参照して説明済であり、ここでの重複説明は省略する。
色差データのデータ量が削減されると、動画の色の分解能が若干低下するものの画像の分解能は元の動画データのままであり、低スペックのCPUを持ったノートPC10(図2参照)等の動画再生装置での再生が可能となる。
尚、ここでは、再生された表示用の動画データに基づく動画を表示画面31上に表示する場合を例にして説明したが、この表示用の動画データを再生した装置自体で表示する必要はない。例えば、表示用の動画データをDVDやブルーレイディスク等の可搬型記録媒体に記録して、あるいは、そのまま外部に出力して、他の画像表示装置で表示してもよい。
また、ここでは、YCbCrフォーマットのデータを例に挙げて説明したが、これに代わり、YUVフォーマットのデータであっても本件を適用することができる。さらには、輝度データと色データとを有する動画データであれば本件を適用することができる。
10 PC
20 本体ユニット
21 キーボード
22 タッチパッド
30 表示ユニット
31 表示画面
51 CPU
51a 復号化処理
51b 色差データ削減処理
51c 逆量子化・逆DCT処理
52 メモリ
53 不揮発メモリ
54 表示部
55 通信インタフェース
56 HDD
57 音声出力部
541 GPU
541a 動き補償・予測処理
541b デブロッキング処理
541c 出力バッファ
571 オーディオインタフェース
572 スピーカ

Claims (3)

  1. 画像の輝度を表わす輝度データと画像の色を表す色データとを有し、暗号化された第1の動画データを取得する動画取得部と、
    前記第1の動画データの再生に応じて予測されるCPUの使用率と予め定められた閾値との比較結果に応じて、前記第1の動画データを復号化した第2の動画データ、または、前記第1の動画データが終了するまでの前記第1の動画データを復号化した連続する画像のデータのそれぞれについて、前記第1の動画データの輝度データと同一であり、且つ、該第1の動画データの色データのデータ量が削減された第2の動画データのいずれか一方を生成する動画生成部と、
    前記動画生成部が生成した前記第2の動画データを出力する動画出力部と
    を有することを特徴とする動画再生装置。
  2. コンピュータにより実行させる動画処理方法であって、
    画像の輝度を表わす輝度データと画像の色を表す色データとを有し、暗号化された第1の動画データを取得するステップと、
    前記第1の動画データの再生に応じて予測されるCPUの使用率と予め定められた閾値との比較結果に応じて、前記第1の動画データを復号化した第2の動画データ、または、前記第1の動画データが終了するまでの前記第1の動画データを復号化した連続する画像のデータのそれぞれについて、前記第1の動画データの輝度データと同一であり、且つ、該第1の動画データの色データのデータ量が削減された第2の動画データのいずれか一方を生成するステップと、
    生成した前記第2の動画データを出力するステップと
    を含むこと特徴とする動画処理方法。
  3. コンピュータに、
    画像の輝度を表わす輝度データと画像の色を表す色データとを有し、暗号化された第1の動画データを取得するステップと、
    前記第1の動画データの再生に応じて予測されるCPUの使用率と予め定められた閾値との比較結果に応じて、前記第1の動画データを復号化した第2の動画データ、または、前記第1の動画データが終了するまでの前記第1の動画データを復号化した連続する画像のデータのそれぞれについて、前記第1の動画データの輝度データと同一であり、且つ、該第1の動画データの色データのデータ量が削減された第2の動画データのいずれか一方を生成するステップと、
    生成した前記第2の動画データを出力するステップと
    を実行させることを特徴とする動画処理プログラム。
JP2010031569A 2010-02-16 2010-02-16 動画再生装置、動画処理方法、および動画処理プログラム Expired - Fee Related JP5617270B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010031569A JP5617270B2 (ja) 2010-02-16 2010-02-16 動画再生装置、動画処理方法、および動画処理プログラム
US13/004,605 US8811804B2 (en) 2010-02-16 2011-01-11 Methods and systems for reducing moving image data volume while maintaining luminance data of the moving image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010031569A JP5617270B2 (ja) 2010-02-16 2010-02-16 動画再生装置、動画処理方法、および動画処理プログラム

Publications (2)

Publication Number Publication Date
JP2011171833A JP2011171833A (ja) 2011-09-01
JP5617270B2 true JP5617270B2 (ja) 2014-11-05

Family

ID=44369707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010031569A Expired - Fee Related JP5617270B2 (ja) 2010-02-16 2010-02-16 動画再生装置、動画処理方法、および動画処理プログラム

Country Status (2)

Country Link
US (1) US8811804B2 (ja)
JP (1) JP5617270B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3989530A1 (en) * 2020-10-23 2022-04-27 Axis AB Generating substitute image frames based on camera motion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796385A (en) * 1997-01-28 1998-08-18 Integrated Device Technology, Inc. Luminance controlled color resolution reduction
JP3377401B2 (ja) * 1997-05-02 2003-02-17 松下電器産業株式会社 再生同期装置
JPH11146398A (ja) 1997-11-04 1999-05-28 Matsushita Electric Ind Co Ltd マルチメディア情報処理装置
JP3267256B2 (ja) * 1998-12-11 2002-03-18 日本電気株式会社 画像表示処理装置
JP2002165114A (ja) * 2000-09-12 2002-06-07 Matsushita Electric Ind Co Ltd 映像送出装置、映像送出方法および記録媒体、並びに、映像送出プログラム

Also Published As

Publication number Publication date
US20110200296A1 (en) 2011-08-18
US8811804B2 (en) 2014-08-19
JP2011171833A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
JP4902644B2 (ja) データ処理装置、データ処理方法、データ処理プログラム、およびそのデータ処理プログラムを記録した記録媒体、並びに集積回路
JP2008072336A (ja) 復号装置および復号方法
JP4564565B2 (ja) 再生装置および再生装置の制御方法
JP2016059015A (ja) 画像出力装置
JP5333593B2 (ja) 動画再生装置、動画再生プログラム、および動画再生方法
JP4413977B2 (ja) 情報処理装置及び映像再生方法
JP2008299610A (ja) マルチプロセッサ
JP4504443B2 (ja) 再生装置および再生装置の制御方法
JP5800287B2 (ja) 電子機器、動画再生装置、動画デコード方法、及びプログラム
JP2010206273A (ja) 情報処理装置
JP5617270B2 (ja) 動画再生装置、動画処理方法、および動画処理プログラム
JP5598540B2 (ja) 動画出力装置、動画出力方法、および動画出力プログラム
JP2011229065A5 (ja)
JP5139399B2 (ja) 再生装置および再生装置の制御方法
JP2005027288A (ja) 録画装置、集積回路、プログラム。
JP4960321B2 (ja) 再生装置および再生装置の制御方法
JP5148655B2 (ja) 情報処理装置および情報処理装置の制御方法
JP5355176B2 (ja) 動画保存装置及びその制御方法
JP4633715B2 (ja) 情報記録装置及び方法、情報再生装置及び方法、並びにコンピュータプログラム
JP2007027857A (ja) マルチメディアデータ記録装置および方法
JP5275402B2 (ja) 情報処理装置、映像再生方法及び映像再生プログラム
JP2006129300A (ja) コンテンツデータの特殊再生方法およびコンテンツデータの再生装置
JP2011004275A (ja) 映像処理装置、映像処理方法、及びデータ構造
JP2008193169A (ja) 画像記録再生装置
JP2007049653A (ja) 動画像編集装置及び方法、並びにプログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140901

R150 Certificate of patent or registration of utility model

Ref document number: 5617270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees