JP2010183305A - 信号処理装置及び信号処理方法 - Google Patents
信号処理装置及び信号処理方法 Download PDFInfo
- Publication number
- JP2010183305A JP2010183305A JP2009024376A JP2009024376A JP2010183305A JP 2010183305 A JP2010183305 A JP 2010183305A JP 2009024376 A JP2009024376 A JP 2009024376A JP 2009024376 A JP2009024376 A JP 2009024376A JP 2010183305 A JP2010183305 A JP 2010183305A
- Authority
- JP
- Japan
- Prior art keywords
- sub
- blocks
- recording
- video
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】画像データをバッファするためのメモリの容量や帯域幅を抑えつつも、画像処理速度の向上を図ることが可能な信号処理装置を提供すること。
【解決手段】入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割部と、信号分割部が分割した入力画像信号をサブブロック単位で記録する第1記録部と、信号分割部で分割される水平方向のサブブロックの数と等しい数を有し、第1記録部に格納された入力画像信号をサブブロック単位で符号化して符号化ストリームを出力する符号化部と、符号化ストリームをサブブロック単位で記録する第2記録部と、第2記録部に記録された符号化ストリームを、入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換部と、を含む、信号処理装置が提供される。
【選択図】図1
【解決手段】入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割部と、信号分割部が分割した入力画像信号をサブブロック単位で記録する第1記録部と、信号分割部で分割される水平方向のサブブロックの数と等しい数を有し、第1記録部に格納された入力画像信号をサブブロック単位で符号化して符号化ストリームを出力する符号化部と、符号化ストリームをサブブロック単位で記録する第2記録部と、第2記録部に記録された符号化ストリームを、入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換部と、を含む、信号処理装置が提供される。
【選択図】図1
Description
本発明は、信号処理装置及び信号処理方法に関する。
近年、ディスプレイの大型化、高精細化が進んでいる。従って、その様なディスプレイに表示させる映像のエンコード処理やデコード処理に対する処理能力の向上要求も高まってきている(例えば、特許文献1〜4参照)。例えば、MPEG(Moving Picture Experts Group)デコーダの処理能力を向上させるためには、デコード処理を実行するデコード処理部の演算能力の向上とともに、復号画面データを格納する外部メモリとの間のバンド幅(転送量)を向上させる必要がある。また、MPEGエンコーダの処理能力を向上させるためには、エンコード処理を実行するエンコード処理部の演算能力の向上とともに、復号画面データを格納する外部メモリとの間のバンド幅向上を向上させる必要がある。
特に、MPEG4 Studio Profileのようにフレーム内符号化を行うブロック符号で、さらに4K映像信号のように画像サイズの大きい映像信号に対してエンコード処理やデコード処理を行う場合には、コーデック処理を高速に行わなければならない。図12および図13は、画像サイズの大きい映像信号に対してエンコード処理やデコード処理を行う、従来の信号処理装置の構成について示す説明図である。
図12および図13に示した、従来の信号処理装置10の詳細については詳述するが、ここで簡単に説明する。従来の信号処理装置10では画像データを一旦フレームメモリ12に蓄え、蓄えた画像データをフレーム単位で複数のローカルエンコーダ13a〜13dに分配する。ローカルエンコーダ13a〜13dでエンコードされた画像データはストリームメモリ15に蓄えられ、フレームの順番を整理して記録メディア16に記録される。これにより、1つのローカルエンコーダは4フレームに一度の割合でエンコード処理を実行すればよいので、処理速度を抑えることができる。
映像の再生時には、記録メディア16から読み出した画像データをストリームメモリ15に蓄え、蓄えた画像データをフレーム単位で複数のローカルデコーダ17a〜17dに分配する。ローカルデコーダ17a〜17dでデコードされた画像データはフレームメモリ15に蓄えられ、フレームの順番を整理してベースバンド信号として出力される。
しかし、従来の手法では、映像データの記録時には、圧縮前の画像データをフレーム単位で一時的に蓄えるために大容量で広帯域のフレームメモリ12が必要となるという問題があった。また、映像データの記録時には、圧縮後の画像データをフレーム単位で一時的に蓄えるために大容量で広帯域のストリームメモリ15が必要となるという問題もあった。さらに、映像データの再生時には、伸張前のデータを一時的に蓄えるために大容量で広帯域のストリームメモリ15が必要となる問題があった。さらに、映像データの再生時には、伸張後のデータを圧縮前のデータを一時的に蓄えるために大容量で広帯域のフレームメモリ12が必要となったりするという問題があった。
特に、フレームメモリ12には、入力と出力を同時に行うためにもベースバンド信号の2倍程度の帯域が必要となる。ベースバンド信号が19〜20ギガバイト/秒程度の帯域であれば、フレームメモリ12はおよそ40ギガバイト/秒もの帯域が必要となる。このような広帯域のメモリを搭載すると、装置内部の回路規模の増大、消費電力の増加、コスト増等の問題が生じてしまう。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データをバッファするためのメモリの容量や帯域幅を抑えつつも、画像処理速度の向上を図ることが可能な、新規かつ改良された信号処理装置及び信号処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割部と、前記信号分割部が分割した前記入力画像信号を前記サブブロック単位で記録する第1記録部と、前記信号分割部で分割される水平方向の前記サブブロックの数と等しい数を有し、前記第1記録部に格納された前記入力画像信号を前記サブブロック単位で符号化して符号化ストリームを出力する符号化部と、前記符号化ストリームをサブブロック単位で記録する第2記録部と、前記第2記録部に記録された前記符号化ストリームを、前記入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換部と、を含む、信号処理装置が提供される。
かかる構成によれば、信号分割部は、入力画像信号を1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割し、第1記録部は、信号分割部が分割した入力画像信号をサブブロック単位で記録する。また、符号化部は、第1記録部に記録された入力画像信号をサブブロック単位で符号化して符号化ストリームを出力する。ここで、符号化部の数は、信号分割部で分割される水平方向のサブブロックの数と等しい数を有する。そして、第2記録部は符号化ストリームをサブブロック単位で記録し、ストリーム変換部は第2記録部に記録された符号化ストリームを入力画像信号の入力順と一致するように整列して、映像ストリームを出力する。その結果、入力画像信号を複数のサブブロックに分割し、記録部へサブブロック単位での画像データの読み書きを実行することで、画像データをバッファするためのメモリの容量や帯域幅を抑えつつも、画像処理速度の向上を図ることができる。
前記信号分割部は、入力画像信号をサブブロックに分割する際に、水平方向の領域を識別するための識別子を付加するようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、映像ストリームを、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された複数のサブブロックに相当するように分割する信号分割部と、前記信号分割部が分割した前記映像ストリームを前記サブブロック単位で記録する第1記録部と、前記信号分割部で分割される水平方向の前記サブブロックの数と等しい数を有し、前記第1記録部に記録された前記映像ストリームを、前記サブブロック単位で復号して復号データを出力する復号部と、前記復号データを前記サブブロック単位で記録する第2記録部と、前記第2記録部に記録された前記復号データを、前記映像ストリームの順序と一致するように整列して画像信号を出力する画像信号変換部と、を含む、信号処理装置が提供される。
かかる構成によれば、信号分割部は、映像ストリームを1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された複数のサブブロックに相当するように分割し、第1記録部は信号分割部が分割した前記映像ストリームを前記サブブロック単位で一時的に格納する。また、復号部は、第1記録部に格納された映像ストリームをサブブロック単位で復号して出力する。ここで、復号部の数は信号分割部で分割される水平方向の前記サブブロックの数と等しい数を有する。そして、第2記録部は復号部の出力をサブブロック単位で一時的に格納し、画像信号変換部は第2記録部に格納された複数の復号部の出力を、映像ストリームの順序と一致するように整列して画像信号を出力する。その結果、映像ストリームを複数のサブブロックに分割し、記録部へサブブロック単位での映像ストリームの読み書きを実行することで、画像データをバッファするためのメモリの容量や帯域幅を抑えつつも、画像処理速度の向上を図ることができる。
前記信号分割部は、映像ストリームをサブブロックに分割する際に、水平方向の領域を識別するための識別子を付加するようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割ステップと、前記信号分割ステップで分割された前記入力画像信号を前記サブブロック単位で記録する第1の記録ステップと、前記第1の記録ステップで記録された前記入力画像信号を、水平方向の前記サブブロックの数と等しい数を有する符号化手段によって前記サブブロック単位で符号化して符号化ストリームを出力する符号化ステップと、前記符号化ステップで出力される符号化ストリームを記録する第2の記録ステップと、前記第2の記録ステップで記録された前記符号化ストリームを、前記入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換ステップと、を含む、信号処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、映像ストリームを、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された複数のサブブロックに相当するように分割する信号分割ステップと、前記信号分割ステップで分割された前記映像ストリームを前記サブブロック単位で記録する第1の記録ステップと、前記第1の記録ステップで記録された前記映像ストリームを、水平方向の前記サブブロックの数と等しい数を有する復号手段によって前記サブブロック単位で復号して復号データを出力する復号ステップと、前記復号ステップで出力される復号データを前記サブブロック単位で記録する第2の記録ステップと、前記第2の記録ステップで記録された前記復号データを、前記映像ストリームの順序と一致するように整列して画像信号を出力する画像信号変換ステップと、を含む、信号処理方法が提供される。
以上説明したように本発明によれば、画像データをバッファするためのメモリの容量や帯域幅を抑えつつも、画像処理速度の向上を図ることが可能な、新規かつ改良された信号処理装置及び信号処理方法を提供することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
<1.従来の信号処理装置の構成の一例>
<2.本発明の一実施形態>
[2−1.本発明の一実施形態にかかる映像記録再生装置の構成]
[2−2.本発明の一実施形態にかかるビデオエンコーダの構成]
[2−3.本発明の一実施形態にかかるビデオデコーダの構成]
[2−4.本発明の一実施形態にかかる映像データのエンコード処理]
[2−5.本発明の一実施形態にかかる映像データのデコード処理]
[2−6.まとめ]
<3.変形例>
[3−1.本発明の一実施形態の第1の変形例]
[3−2.本発明の一実施形態の第2の変形例]
<1.従来の信号処理装置の構成の一例>
<2.本発明の一実施形態>
[2−1.本発明の一実施形態にかかる映像記録再生装置の構成]
[2−2.本発明の一実施形態にかかるビデオエンコーダの構成]
[2−3.本発明の一実施形態にかかるビデオデコーダの構成]
[2−4.本発明の一実施形態にかかる映像データのエンコード処理]
[2−5.本発明の一実施形態にかかる映像データのデコード処理]
[2−6.まとめ]
<3.変形例>
[3−1.本発明の一実施形態の第1の変形例]
[3−2.本発明の一実施形態の第2の変形例]
<1.従来の信号処理装置の構成の一例>
まず、本発明の実施の形態について説明する前に、従来の信号処理装置の構成について説明する。図12および図13は、従来の信号処理装置10の構成について示す説明図である。図12は、ベースバンド信号の記録時に着目した信号処理装置10の構成を示しており、図13は、ベースバンド信号の再生時に着目した信号処理装置10の構成を示している。
まず、本発明の実施の形態について説明する前に、従来の信号処理装置の構成について説明する。図12および図13は、従来の信号処理装置10の構成について示す説明図である。図12は、ベースバンド信号の記録時に着目した信号処理装置10の構成を示しており、図13は、ベースバンド信号の再生時に着目した信号処理装置10の構成を示している。
図12および図13に示したように、従来の信号処理装置10は、ベースバンドコンバータ11と、フレームメモリ12と、ローカルエンコーダ13a〜13dと、ストリームコンバータ14と、ストリームメモリ15と、記録媒体16と、ローカルデコーダ17a〜17dと、を含んで構成される。
ベースバンドコンバータ11は、信号処理装置10に入力されるベースバンドの映像データをフレームメモリ12に一時的に記憶させるものである。またベースバンドコンバータ11は、フレームメモリ12に記憶させたベースバンドの映像データをフレーム単位でローカルエンコーダ13a〜13dに振り分けて出力するものでる。フレームメモリ12は、ベースバンドコンバータ11の制御により、信号処理装置10に入力されるベースバンドの画像データが一時的に格納されるものである。
ローカルエンコーダ13a〜13dは、MPEG等の所定の符号化方式で画像データをエンコードするものである。図12に示した構成では、ベースバンドコンバータ11は、フレームメモリ12に蓄えた画像データを、フレーム単位でローカルエンコーダ13a〜13dに分配する。従って、ローカルエンコーダ13a〜13dは4フレームに一度の割合で画像データをエンコードして、エンコード後の画像データをそれぞれストリームコンバータ14に出力することになる。
ストリームコンバータ14は、ローカルエンコーダ13a〜13dでエンコード処理された画像データを受け取り、受け取った画像データをストリームメモリ15に一時的に記憶させるものである。そして、ストリームコンバータ14は、ストリームメモリ15に記憶させた画像データを実際のフレームの順番に並び替えて、映像ストリームとして記録媒体16に出力するものである。ストリームメモリ15は、ストリームコンバータ14の制御により、ローカルエンコーダ13a〜13dでエンコード処理された画像データが一時的に格納されるものである。記録媒体16は、ストリームコンバータ14で実際のフレームの順番に整列されて出力される映像ストリームを記録するものである。
ローカルデコーダ17a〜17dは、ローカルエンコーダ13a〜13dでエンコードされた画像データをデコードするものである。図13に示した構成では、記録媒体16に記録された映像データを再生する場合には、記録媒体16に記録された映像データをストリームコンバータ14で読み出し、ストリームメモリ15に一時的に格納する。そして、ストリームコンバータ14は、ストリームメモリ15に蓄えた映像データを、フレーム単位でローカルデコーダ17a〜17dに分配する。従って、ローカルデコーダ17a〜17dは、4フレームに一度の割合で画像データをデコードして、デコード後の画像データをそれぞれベースバンドコンバータ11に出力することになる。ベースバンドコンバータ11は、ローカルデコーダ17a〜17dでデコード処理された画像データを受け取り、受け取った画像データを一時的にフレームメモリ12に記憶させる。そしてベースバンドコンバータ11は、フレームメモリ12に記憶させた画像データを実際のフレームの順番に並び替えて、ベースバンドの映像データとして出力する。
図14は、従来の信号処理装置10で映像データをエンコードして記録する場合を概念的に示す説明図であり、図15は、従来の信号処理装置10で映像データをデコードして再生する場合を概念的に示す説明図である。図14に示したように、従来の信号処理装置10で映像データをエンコードして記録する場合には、映像データを1フレームずつ分けてローカルエンコーダ13a〜13dに与える。そして信号処理装置10は、映像データが与えられたローカルエンコーダ13a〜13dでエンコード処理を行った後に、実際のフレーム順に並び替えて記録する。そして図15に示したように、従来の信号処理装置10で映像データをデコードして再生する場合には、映像データを1フレームずつ分けてローカルデコーダ17a〜17dに与える。そして信号処理装置10は、映像データが与えられたローカルデコーダ17a〜17dでデコード処理を行った後に、実際のフレーム順に並び替えて再生する。
このように、従来の信号処理装置10では、エンコーダおよびデコーダを複数備え、複数のエンコーダおよびデコーダに処理を分散させることで、エンコード処理およびデコード処理の高速化を図っていた。
しかし、上述したように、従来の信号処理装置10では、映像データの記録時には、圧縮前のデータをフレーム単位で一時的に蓄えるために大容量で広帯域のフレームメモリ12が必要となる問題があった。さらに従来の信号処理装置10では、圧縮後のデータをフレーム単位で一時的に蓄えるために大容量で広帯域のストリームメモリ15が必要となるという問題があった。さらに、映像データの再生時には、伸張前のデータをフレーム単位で一時的に蓄えるために大容量で広帯域のストリームメモリ15が必要となる問題があった。さらに、従来の信号処理装置10では、伸張後のデータを圧縮前のデータをフレーム単位で一時的に蓄えるために大容量で広帯域のフレームメモリ12が必要となったりするという問題があった。特に、フレームメモリ12には、入力と出力を同時に行うためにもベースバンド信号の2倍程度の帯域が必要となる。ベースバンド信号が19〜20ギガバイト/秒程度の帯域であれば、フレームメモリ12はおよそ40ギガバイト/秒もの帯域が必要となる。このような広帯域のメモリを搭載すると、装置内部の回路規模の増大、消費電力の増加、コスト増等の問題が生じてしまう。
<2.本発明の一実施形態>
そこで、本実施形態では、エンコーダおよびデコーダを複数備え、映像データの1つのフレームを複数のブロックに分割し、所定の規則に従ってそれぞれのブロックをエンコーダおよびデコーダに振り分けてエンコード処理およびデコード処理を実行する。映像データの1つのフレームを複数のブロックに分割することで、広帯域のメモリを用いることなく、エンコード処理およびデコード処理を高速化することができる。
そこで、本実施形態では、エンコーダおよびデコーダを複数備え、映像データの1つのフレームを複数のブロックに分割し、所定の規則に従ってそれぞれのブロックをエンコーダおよびデコーダに振り分けてエンコード処理およびデコード処理を実行する。映像データの1つのフレームを複数のブロックに分割することで、広帯域のメモリを用いることなく、エンコード処理およびデコード処理を高速化することができる。
[2−1.本発明の一実施形態にかかる映像記録再生装置の構成]
最初に、本発明の一実施形態にかかる映像記録再生装置の構成について説明する。図1は、本発明の一実施形態にかかる映像記録再生装置100の構成について示す説明図である。以下、図1を用いて本発明の一実施形態にかかる映像記録再生装置100の構成について説明する。
最初に、本発明の一実施形態にかかる映像記録再生装置の構成について説明する。図1は、本発明の一実施形態にかかる映像記録再生装置100の構成について示す説明図である。以下、図1を用いて本発明の一実施形態にかかる映像記録再生装置100の構成について説明する。
図1に示した映像記録再生装置100は、本発明の信号処理装置の一例であり、映像記録再生装置100に入力される映像信号をエンコードして映像ストリームとして記録し、また記録した映像ストリームをデコードして再生するものである。図1に示したように、本発明の一実施形態にかかる映像記録再生装置100は、ビデオエンコーダ110と、ビデオデコーダ120と、記録媒体130と、を含んで構成される。
ビデオエンコーダ110は、映像記録再生装置100に入力されるベースバンドの映像信号をエンコードするものである。ビデオエンコーダ110でエンコードされた映像信号は映像ストリームとして記録媒体130に記録される。ビデオエンコーダ110の構成については後に詳述する。
ビデオデコーダ120は、記録媒体130に記録された映像ストリームをデコードするものである。ビデオデコーダ120でデコードされた映像ストリームはベースバンドの映像信号として映像記録再生装置100から出力され、映像記録再生装置100に接続された映像表示装置(図示せず)に表示される。ビデオデコーダ120の構成については後に詳述する。
記録媒体130は、ビデオエンコーダ110でエンコードされた映像信号を記録するものである。記録媒体130は、例えばHDD(Hard Disk Drive)、CD−ROM、DVD−ROMその他の光ディスク、またはフラッシュメモリ、フラッシュSSD(Solid State Drive)その他の半導体メモリであってもよい。
図2は、本発明の一実施形態にかかる映像記録再生装置100に入力される映像信号がビデオエンコーダ110でエンコードされる様子を概念的に示す説明図である。本発明の一実施形態にかかる映像記録再生装置100に入力される映像信号は、16ピクセル×16ピクセルを1つの単位としたマクロブロックが最小の処理単位としてエンコードされる。例えば、図2に示すように1つのフレームが水平方向の画素数が1920、垂直方向の画素数が1088である画像からなる映像信号をエンコードする際には、1つのフレームを水平方向に120個、垂直方向に68個のマクロブロックに分割する。そして、ビデオエンコーダ110は、分割されたマクロブロック単位で映像信号をエンコードする。ビデオエンコーダ110は、エンコードしたデータを画面の左から右へ、上から下へ並ぶように整列させて記録媒体130に記録する。
以上、図1を用いて本発明の一実施形態にかかる映像記録再生装置100の構成について説明した。次に、本発明の一実施形態にかかるビデオエンコーダ110の構成について説明する。
[2−2.本発明の一実施形態にかかるビデオエンコーダの構成]
図3は、本発明の一実施形態にかかるビデオエンコーダ110の構成について示す説明図である。以下、図3を用いて本発明の一実施形態にかかるビデオエンコーダ110の構成について説明する。
図3は、本発明の一実施形態にかかるビデオエンコーダ110の構成について示す説明図である。以下、図3を用いて本発明の一実施形態にかかるビデオエンコーダ110の構成について説明する。
図3に示したように、本発明の一実施形態にかかるビデオエンコーダ110は、ベースバンドコンバータ111と、ラインメモリ112と、ローカルエンコーダ113a〜113dと、ストリームコンバータ114と、ストリームメモリ115と、を含んで構成される。
ベースバンドコンバータ111は、映像記録再生装置100に入力されるベースバンドの映像データの1のフレームを、マクロブロックの1ライン(16ピクセル)ずつ所定のブロック(以下、かかるブロックを「サブブロック」とも称する)に分割する。そしてベースバンドコンバータ111は、サブブロックに分割した映像データを、サブブロック単位でラインメモリ112に一時的に記憶させる。またベースバンドコンバータ111は、ラインメモリ112に記憶させたベースバンドの映像データを、上記サブブロック単位で、マクロブロックの1ラインずつローカルエンコーダ113a〜113dに振り分けて出力するものである。ラインメモリ112は、ベースバンドコンバータ111の制御により、映像記録再生装置100に入力され、ベースバンドコンバータ111でサブブロックに分割されたベースバンドの画像データが一時的に格納されるものである。
1つのフレームは様々な形状のサブブロックに分割することが可能であるが、以下の説明では、水平方向に等しく4つに分割する場合について説明する。例えば、図2に示したように水平方向の画素数が1920であるフレームは、水平方向の画素数が480ピクセル(マクロブロック30個分)であるサブブロックに分割してラインメモリ112に記憶させる。
ローカルエンコーダ113a〜113dは、MPEG等の所定の符号化方式で画像データをエンコードするものである。図3に示した構成では、ベースバンドコンバータ111は、ラインメモリ112に蓄えた画像データを、サブブロック単位でローカルエンコーダ113a〜113dに分配する。従って、ローカルエンコーダ113a〜113dはサブブロックに分割された画像データをエンコードして、エンコード後の画像データをそれぞれストリームコンバータ114に出力することになる。
ローカルエンコーダの数は、ベースバンドコンバータ111でのサブブロックへの分割パターン、分割数に応じて決まる。本実施形態では、水平方向に等しく4つに分割しているので、ローカルエンコーダも4つ設けている。そして、1つのローカルエンコーダは、ベースバンドコンバータ111から横480ピクセル(マクロブロック30個分)、縦16ピクセル(マクロブロック1個分)のサブブロックに分割された画像データを受け取る。ローカルエンコーダ113a〜113dは、ベースバンドコンバータ111から伝送された画像データに対するエンコード処理を実行する。
ストリームコンバータ114は、ローカルエンコーダ113a〜113dでエンコード処理された画像データを受け取り、受け取った画像データをストリームメモリ115に一時的に記憶させるものである。そして、ストリームコンバータ114は、ストリームメモリ115に記憶させた画像データをマクロブロックの順番に並び替えて、映像ストリームとして記録媒体130に出力するものである。ストリームメモリ115は、ストリームコンバータ114の制御により、ローカルエンコーダ113a〜113dでエンコード処理された画像データが一時的に格納されるものである。
図4A〜図4Cは、本発明の一実施形態にかかるビデオエンコーダ110による画像データのエンコード処理の様子を概念的に示す説明図である。
まず、図4Aに示したように、ベースバンドコンバータ111では、画像データを水平方向に4つに分割し、分割した画像データをサブブロック単位で、画面の上側からローカルエンコーダ113a〜113dに順次振り分ける。例えば、ベースバンドコンバータ111は、一番左のサブブロックから順にローカルエンコーダ113a、113b、113c、113dに振り分けている。ローカルエンコーダ113aには、サブブロック151a、151b、・・・、151g、・・・が振り分けられている。同様に、ローカルエンコーダ113bには、サブブロック152a、152b、・・・、152g、・・・が振り分けられ、ローカルエンコーダ113cには、サブブロック153a、153b、・・・、153g、・・・が振り分けられ、ローカルエンコーダ113dには、サブブロック154a、154b、・・・、154g、・・・が振り分けられる。
サブブロック単位で画像データが振り分けられたローカルエンコーダ113a〜113dは、それぞれ振り分けられた画像データをエンコードして、ストリームコンバータ114に出力する。図4Bに示したように、ローカルエンコーダ113aに割り振られたサブブロック151a、151b、・・・、151g、・・・は、ローカルエンコーダ113aでエンコードされて、それぞれエンコード後の画像データ161a、161b、・・・、161g、・・・となる。同様に、ローカルエンコーダ113bに割り振られたサブブロック152a、152b、・・・、152g、・・・は、ローカルエンコーダ113aでエンコードされて、それぞれエンコード後の画像データ162a、162b、・・・、162g、・・・となり、ローカルエンコーダ113cに割り振られたサブブロック153a、153b、・・・、153g、・・・は、ローカルエンコーダ113aでエンコードされて、それぞれエンコード後の画像データ163a、163b、・・・、163g、・・・となり、ローカルエンコーダ113dに割り振られたサブブロック154a、154b、・・・、154g、・・・は、ローカルエンコーダ113aでエンコードされて、それぞれエンコード後の画像データ164a、164b、・・・、164g、・・・となる。
ストリームコンバータ114では、ローカルエンコーダ113a〜113から送られてきたエンコード後の画像データを、一度ストリームメモリ115にバッファしておく。そして、図4Cに示したように、ストリームコンバータ114は、ストリームメモリ115にバッファした画像データをマクロブロックの順番に並び替えて画像データを復元し、映像ストリームとして出力する。ストリームコンバータ114から出力される映像ストリームは記録媒体130に記録されることで、映像記録再生装置100に入力される映像データを記録媒体130に記録することができる。
以上、本発明の一実施形態にかかるビデオエンコーダ110の構成について説明した。次に、本発明の一実施形態にかかるビデオデコーダ120の構成について説明する。
[2−3.本発明の一実施形態にかかるビデオデコーダの構成]
図5は、本発明の一実施形態にかかるビデオデコーダ120の構成について示す説明図である。以下、図5を用いて本発明の一実施形態にかかるビデオデコーダ120の構成について説明する。
図5は、本発明の一実施形態にかかるビデオデコーダ120の構成について示す説明図である。以下、図5を用いて本発明の一実施形態にかかるビデオデコーダ120の構成について説明する。
図5に示したように、本発明の一実施形態にかかるビデオデコーダ120は、ベースバンドコンバータ111と、ラインメモリ112と、ローカルデコーダ123a〜123dと、ストリームコンバータ114と、ストリームメモリ115と、を含んで構成される。
ローカルデコーダ123a〜123dは、ローカルエンコーダ113a〜113dでエンコードされた画像データをデコードするものである。図5に示した構成では、記録媒体130に記録された映像データを再生する場合には、記録媒体130に記録された映像データをストリームコンバータ114で読み出し、サブブロック単位に分割してストリームメモリ115に一時的に格納する。そして、ストリームコンバータ114は、ストリームメモリ115に蓄えた映像データを、サブブロック単位でローカルデコーダ123a〜123dに分配する。ベースバンドコンバータ111は、ローカルデコーダ123a〜123dでデコード処理された画像データを受け取り、受け取った画像データを一時的にラインメモリ112に記憶させる。そしてベースバンドコンバータ111は、ラインメモリ112に記憶させた画像データを実際のフレームの順番に並び替えて、ベースバンドの映像データとして出力する。
図6は、本発明の一実施形態にかかるビデオデコーダ120によるデータのデコード処理の様子を概念的に示す説明図である。
記録媒体130に記録された映像データをビデオデコーダ120でデコードする際には、まずストリームコンバータ114が映像ストリームを記録媒体130から取得する。ストリームコンバータ114が取得した映像ストリームをローカルデコーダ123a〜123dでデコードするために、映像ストリームを上述したサブブロックに相当するブロックに分割してストリームメモリ115にバッファする。
サブブロックに相当するブロックに分割された映像ストリームがストリームメモリ115にバッファされると、ストリームコンバータ114はバッファされたデータを読み出し、ローカルデコーダ123a〜123dに順次振り分ける。例えば、ストリームコンバータ114は、先頭のサブブロックから順にローカルデコーダ123a、123b、123c、123dに繰り返し振り分けている。サブブロック単位でデータが振り分けられたローカルデコーダ123a〜123dは、それぞれ振り分けられたデータをデコードして、デコードされた画像データをベースバンドコンバータ111に出力する。
ベースバンドコンバータ111では、ローカルデコーダ123a〜123から送られてきた、デコードされた画像データを、一度ラインメモリ112にバッファしておく。そしてベースバンドコンバータ111は、ラインメモリ112にバッファした画像データをマクロブロックの順番に並び替えて画像データを復元し、ベースバンドの映像データとして出力する。
なお、本実施形態においては、ビデオエンコーダ110とビデオデコーダ120とで、ベースバンドコンバータ111、ラインメモリ112、ストリームコンバータ114、およびストリームメモリ115を共用しているが、本発明はかかる例に限定されない。
以上、本発明の一実施形態にかかるビデオデコーダ120の構成について説明した。次に、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明する。
[2−4.本発明の一実施形態にかかる映像データのエンコード処理]
図7は、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明する流れ図である。以下、図7を用いて本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明する。
図7は、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明する流れ図である。以下、図7を用いて本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明する。
外部から映像記録再生装置100に映像信号が伝送されてくると、ビデオエンコーダ110でエンコード処理を実行する。ビデオエンコーダ110でエンコード処理をする際には、ベースバンドコンバータ111で、1つのフレームを幅が等しい複数のサブブロックに分割する(ステップS101)。ベースバンドコンバータ111で複数のサブブロックに分割すると、各サブブロックのヘッダ領域に、実際のマクロブロックの順番と一致するように、映像データの順番を識別するための識別子を付加する(ステップS102)。識別子は、例えば、一番左の列のサブブロックから0、1、2,3、・・・の順に、各サブブロックのヘッダ領域に付加してもよい。
上記ステップS101において、ベースバンドコンバータ111で1つのフレームを幅が等しい複数のサブブロックに分割すると、分割したサブブロック単位でラインメモリ112に一時的に画像データをバッファする(ステップS103)。そして、ベースバンドコンバータ111はラインメモリ112にサブブロック単位でバッファした画像データをサブブロック単位で読み出して、ローカルエンコーダ113a〜113dに振り分けて出力する(ステップS104)。例えば、ベースバンドコンバータ111は、一番左のサブブロックから順にローカルエンコーダ113a、113b、113c、113dに振り分けるようにしてもよい。
ローカルエンコーダ113a〜113dは、ベースバンドコンバータ111から伝送された画像データを順次エンコードする(ステップS105)。ローカルエンコーダ113a〜113dでエンコードされた画像データはストリームコンバータ114に伝送される。ストリームコンバータ114では、エンコード後の画像データをストリームメモリ115にバッファする(ステップS106)。
エンコード後の画像データをストリームメモリ115にバッファすると、ストリームコンバータ114はバッファした画像データを、実際のマクロブロックの順番と一致するように本来の順番に整列して、記録媒体130に出力する(ステップS107)。このステップS107におけるストリームコンバータ114での整列処理は、例えば上記ステップS102で各サブブロックのヘッダ領域に付加した識別子を確認することによって実行されるようにしてもよい。
以上、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのエンコード処理について説明した。次に、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明する。
[2−5.本発明の一実施形態にかかる映像データのデコード処理]
図8は、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明する流れ図である。以下、図8を用いて本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明する。
図8は、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明する流れ図である。以下、図8を用いて本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明する。
ビデオデコーダ120は、記録媒体130に記録された映像データを読み出してデコードし、ベースバンドの映像データを出力する。ビデオデコーダ120で映像データをデコードする際には、ストリームコンバータ114で記録媒体130に記録された映像データを読み出し、1つ分のマクロブロックの高さを有し、幅が等しい複数のサブブロックに相当するブロックに分割する(ステップS111)。なお、ストリームコンバータ114で複数のサブブロックに分割する際には、各サブブロックのヘッダ領域に、実際のマクロブロックの順番と一致するように、映像データの順番を識別するための識別子を付加してもよい。ストリームコンバータ114は、例えば、一番左の列のサブブロックから0、1、2,3、・・・の順に、各ブロックのヘッダ領域に識別子を付加してもよい。
上記ステップS111で、幅が等しい複数のサブブロックに相当するブロックに記録媒体130に記録された映像データが分割されると、ストリームコンバータ114は分割したサブブロック単位でストリームメモリ115に一時的に画像データをバッファする(ステップS112)。分割したサブブロック単位でストリームメモリ115に一時的に画像データをバッファすると、ストリームコンバータ114はストリームメモリ115にバッファした画像データをサブブロック単位で読み出す。ストリームコンバータ114が読み出した画像データは、サブブロック単位にローカルデコーダ123a〜123dにそれぞれ振り分けて出力する(ステップS113)。
ローカルデコーダ123a〜123dは、ストリームコンバータ114から出力された、サブブロック単位の画像データに対するデコード処理を実行する(ステップS114)。ローカルデコーダ123a〜123dは、サブブロック単位の画像データに対するデコード処理を実行すると、デコード後の画像データをベースバンドコンバータ111に伝送する。ベースバンドコンバータ111は、ローカルデコーダ123a〜123dでデコードされた画像データをサブブロック単位でラインメモリ112に一時的にバッファする(ステップS115)。
デコード後の画像データをラインメモリ112に一時的にバッファすると、ベースバンドコンバータ111はバッファした画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えて整列させ、ベースバンドの映像データとして出力する(ステップS116)。このステップS116におけるベースバンドコンバータ111での整列処理は、例えば各ブロックのヘッダ領域に付加した識別子を確認することによって実行されるようにしてもよく、画像データのエンコード時に識別子が付加されていれば、その付加された識別子を確認することによって実行されるようにしてもよい。
以上、本発明の一実施形態にかかる映像記録再生装置100を用いた映像データのデコード処理について説明した。なお、本発明の一実施形態にかかる映像記録再生装置100においては、複数のローカルエンコーダ間でビット割り当ての情報交換を行い、圧縮効率を向上させるようにしてもよい。
[2−6.まとめ]
以上説明したように本発明の一実施形態によれば、映像記録再生装置100に入力されるベースバンドの映像データをエンコードして記録媒体に記録する場合には、まず映像記録再生装置100に入力されるベースバンドの映像信号を、幅が等しい複数のサブブロックに分割し、分割したサブブロック単位で画像データを一時的にバッファする。そして、バッファした画像データをサブブロック単位で複数のローカルエンコーダに振り分けて、各ローカルエンコーダでサブブロックに分割された画像データを順次エンコードする。各ローカルエンコーダは、エンコード後の画像データをストリームコンバータに伝送し、ストリームコンバータでは、各ローカルエンコーダから伝送されたエンコード後の画像データをストリームメモリに一時的にバッファする。そして、ストリームコンバータは、ストリームメモリに一時的にバッファしたエンコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えて映像ストリームとし、記録媒体に記録する。
以上説明したように本発明の一実施形態によれば、映像記録再生装置100に入力されるベースバンドの映像データをエンコードして記録媒体に記録する場合には、まず映像記録再生装置100に入力されるベースバンドの映像信号を、幅が等しい複数のサブブロックに分割し、分割したサブブロック単位で画像データを一時的にバッファする。そして、バッファした画像データをサブブロック単位で複数のローカルエンコーダに振り分けて、各ローカルエンコーダでサブブロックに分割された画像データを順次エンコードする。各ローカルエンコーダは、エンコード後の画像データをストリームコンバータに伝送し、ストリームコンバータでは、各ローカルエンコーダから伝送されたエンコード後の画像データをストリームメモリに一時的にバッファする。そして、ストリームコンバータは、ストリームメモリに一時的にバッファしたエンコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えて映像ストリームとし、記録媒体に記録する。
また、記録媒体に記録された映像ストリームを再生する場合には、まず記録媒体に映像ストリームとして記録されている画像データをストリームコンバータで読み出して、幅が等しい複数のサブブロックに相当するブロックに分割する。ストリームコンバータは、分割した画像データを一時的にバッファする。そして、バッファした画像データをサブブロックに相当するブロックの単位で複数のローカルデコーダに振り分けて、各ローカルデコーダでサブブロックに相当するブロックに分割された画像データを順次デコードする。各ローカルデコーダでデコードされた画像データはベースバンドコンバータに伝送され、ベースバンドコンバータではデコード後の画像データを一時的にラインメモリにバッファする。そして、ベースバンドコンバータはラインメモリにバッファしたデコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えてベースバンドの映像データとして出力する。
このように、ベースバンドの画像データを複数のサブブロックに分割し、エンコード処理及びデコード処理を実行することで、従来と比較して、画像データのバッファに用いるラインメモリやストリームメモリの容量及び帯域幅を削減することができる。そして、フレーム単位で画像データを一時的に格納するために大容量や広帯域が要求されるフレームメモリを用いずに、複数のエンコーダやデコーダに振り分けてエンコード処理およびデコード処理を高速化することができる。また、大容量で広帯域が要求されるフレームメモリが不要となることで、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)内部で処理が可能となり、結果として、低消費電力、低コスト、実装容易性、システムディレイ短縮に寄与することができる。
<3.変形例>
[3−1.本発明の一実施形態の第1の変形例]
次に、本発明の一実施形態の第1の変形例について説明する。第1の変形例では、1画面分の画像データを、縦方向の画素数が1つのマクロブロックに相当する複数のブロック(スライス)に分割し、スライス単位で複数のエンコーダやデコーダに振り分ける場合について説明する。図9は、本発明の一実施形態の第1の変形例における画像データの分割の概要について示す説明図である。
[3−1.本発明の一実施形態の第1の変形例]
次に、本発明の一実施形態の第1の変形例について説明する。第1の変形例では、1画面分の画像データを、縦方向の画素数が1つのマクロブロックに相当する複数のブロック(スライス)に分割し、スライス単位で複数のエンコーダやデコーダに振り分ける場合について説明する。図9は、本発明の一実施形態の第1の変形例における画像データの分割の概要について示す説明図である。
図9に示したように、本発明の一実施形態の第1の変形例では、1画面分の画像データを複数のスライスに分割する。そして、画面の上から順に複数のローカルエンコーダに分割した画像データを振り分けていく。例えば、図3に示した本発明の一実施形態にかかるビデオエンコーダ110を用いた場合では、ベースバンドコンバータ111は、上から4n+1番目(nは0以上の整数)のスライスをローカルエンコーダ113aに、4n+2番目のスライスをローカルエンコーダ113bに、4n+3番目のスライスをローカルエンコーダ113cに、4n+4番目のスライスをローカルエンコーダ113dに、それぞれ振り分ける。すなわち、ローカルエンコーダ113aには1、5、9、・・・番目のスライスが割り振られ、同様にローカルエンコーダ113bには2、6、10、・・・番目のスライスが、ローカルエンコーダ113cには3、7、11、・・・番目のスライスが、ローカルエンコーダ113dには4、8、12、・・・番目のスライスが、それぞれ割り振られることになる。
各ローカルエンコーダでは、ベースバンドコンバータ111から振り分けられたスライス単位の画像データをエンコードして、ストリームコンバータ114に伝送する。ストリームコンバータ114では、各ローカルエンコーダから伝送されたデコード後の画像データを一時的にストリームメモリ115にバッファする。そして、ストリームコンバータ114は、ストリームメモリ115に一時的にバッファしたエンコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えて映像ストリームとし、記録媒体130に記録する。
記録媒体130に記録された映像ストリームをデコードする場合には、まず記録媒体130に映像ストリームとして記録されている画像データをストリームコンバータ114で読み出して、スライスに相当するブロックに分割する。ストリームコンバータ114は、分割した画像データを一時的にストリームメモリ115にバッファし、バッファした画像データをスライス単位で複数のローカルデコーダ123a〜123bに振り分ける。
各ローカルデコーダでは、ストリームコンバータ114から振り分けられたスライス単位の画像データをデコードして、ベースバンドコンバータ111に伝送する。ベースバンドコンバータ111では、ローカルデコーダ123a〜123bでデコードされたスライス単位の画像データを受け取り、ラインメモリ112に一時的にバッファする。そして、そして、ベースバンドコンバータ111はラインメモリ112にバッファしたデコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えてベースバンドの映像データとして出力する。
このように、ベースバンドの画像データをスライス単位に分割し、エンコード処理及びデコード処理を実行することで、従来と比較して、画像データのバッファに用いるラインメモリやストリームメモリの帯域幅を抑えることができる。そして、広帯域が要求されるフレームメモリを用いずに複数のエンコーダやデコーダに振り分けてエンコード処理およびデコード処理を高速化することができる。
[3−2.本発明の一実施形態の第2の変形例]
以上、本発明の一実施形態の第1の変形例について説明した。次に、本発明の一実施形態の第2の変形例について説明する。本発明の一実施形態の第2の変形例では、画面を複数の領域に分割し、分割後の各領域をさらに複数のブロックに分割する場合について説明する。
以上、本発明の一実施形態の第1の変形例について説明した。次に、本発明の一実施形態の第2の変形例について説明する。本発明の一実施形態の第2の変形例では、画面を複数の領域に分割し、分割後の各領域をさらに複数のブロックに分割する場合について説明する。
図10は、本発明の一実施形態の第2の変形例にかかるビデオエンコーダ110’の構成について示す説明図である。以下、図10を用いて本発明の一実施形態の第2の変形例にかかるビデオエンコーダ110’の構成について説明する。
図10に示したビデオエンコーダ110’は、予め4つの領域に分割されたベースバンドの入力映像データを、それぞれローカルエンコーダ113a〜113dに伝送する。ベースバンドの入力映像データが伝送されたローカルエンコーダ113a〜113dは入力された映像データを順次エンコードして、エンコード後の画像データをストリームコンバータ114に伝送する。ストリームコンバータ114は、エンコード後の画像データを一時的にストリームメモリ115にバッファする。そしてストリームコンバータ114は、ストリームメモリ115にバッファしたエンコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えて映像ストリームとし、記録媒体130に記録する。
図11は、本発明の一実施形態の第2の変形例にかかるビデオエンコーダ110’で、ベースバンドの映像データをエンコードする際の概要について示す説明図である。本変形例では、ビデオエンコーダ110’に入力されるベースバンドの映像データを4つの領域に予め分割する。そして、分割した映像データをさらに垂直方向に複数のブロックに分割してローカルエンコーダ113a〜113dに伝送し、ローカルエンコーダ113a〜113dでは分割後のブロック単位でエンコードを実行する。
本実施例において、記録媒体130に記録された映像ストリームをデコードする場合には、まず記録媒体130に映像ストリームとして記録されている画像データをストリームコンバータ114で読み出す。ストリームコンバータ114は、読み出した画像データをエンコード単位のブロックに相当するブロックに分割する。ストリームコンバータ114は、分割した画像データを一時的にストリームメモリ115にバッファし、バッファした画像データをスライス単位で複数のローカルデコーダ123a〜123bに振り分ける。
各ローカルデコーダでは、ストリームコンバータ114から振り分けられた画像データをデコードして出力する。デコード後の画像データはベースバンドコンバータ111に伝送される。ベースバンドコンバータ111では、ローカルデコーダ123a〜123bでデコードされたスライス単位の画像データを受け取り、ラインメモリ112に一時的にバッファする。そして、そして、ベースバンドコンバータ111はラインメモリ112にバッファしたデコード後の画像データを、実際のマクロブロックの順番と一致するように本来の順番に並び替えてベースバンドの映像データとして出力する。
このようにベースバンドの画像データを複数の領域に分割し、さらに各領域において垂直方向に複数のブロックに分割してエンコード処理及びデコード処理を実行することで、従来と比較して画像データのバッファに用いるメモリの帯域幅を抑えることができる。そして、広帯域が要求されるフレームメモリを用いずに複数のエンコーダやデコーダに振り分けてエンコード処理およびデコード処理を高速化することができる。
なお、上述した本発明の一実施形態にかかる映像記録再生装置100による映像データのエンコード処理及びデコード処理は、ハードウェアによって行われるようにしても良く、映像記録再生装置100の内部にコンピュータプログラムを格納し、かかるコンピュータプログラムをCPU(Central Processeing Unit)その他の演算装置で読み出して順次実行することによって行ってもよい。かかるコンピュータプログラムは、フラッシュメモリその他の不揮発性の記録媒体に格納されていても良く、CD−ROM、DVD−ROMその他の記録メディアに格納されていても良い。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
本発明は、信号処理装置及び信号処理方法に適用可能であり、特に映像信号のエンコード及びデコードを行う信号処理装置及び信号処理方法に適用可能である。
100 映像記録再生装置
110 ビデオエンコーダ
111 ベースバンドコンバータ
112 ラインメモリ
113a、113b、113c、113d ローカルエンコーダ
114 ストリームコンバータ
115 ストリームメモリ
120 ビデオデコーダ
123a、123b、123c、123d ローカルデコーダ
130 記録媒体
110 ビデオエンコーダ
111 ベースバンドコンバータ
112 ラインメモリ
113a、113b、113c、113d ローカルエンコーダ
114 ストリームコンバータ
115 ストリームメモリ
120 ビデオデコーダ
123a、123b、123c、123d ローカルデコーダ
130 記録媒体
Claims (6)
- 入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割部と、
前記信号分割部が分割した前記入力画像信号を前記サブブロック単位で記録する第1記録部と、
前記信号分割部で分割される水平方向の前記サブブロックの数と等しい数を有し、前記第1記録部に格納された前記入力画像信号を前記サブブロック単位で符号化して符号化ストリームを出力する符号化部と、
前記符号化ストリームを前記サブブロック単位で記録する第2記録部と、
前記第2記録部に記録された前記符号化ストリームを、前記入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換部と、
を含む、信号処理装置。 - 前記信号分割部は、入力画像信号をサブブロックに分割する際に、水平方向の領域を識別するための識別子を付加する、請求項1に記載の信号処理装置。
- 映像ストリームを、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された複数のサブブロックに相当するように分割する信号分割部と、
前記信号分割部が分割した前記映像ストリームを前記サブブロック単位で記録する第1記録部と、
前記信号分割部で分割される水平方向の前記サブブロックの数と等しい数を有し、前記第1記録部に記録された前記映像ストリームを、前記サブブロック単位で復号して復号データを出力する復号部と、
前記復号データを前記サブブロック単位で記録する第2記録部と、
前記第2記録部に記録された前記復号データを、前記映像ストリームの順序と一致するように整列して画像信号を出力する画像信号変換部と、
を含む、信号処理装置。 - 前記信号分割部は、映像ストリームをサブブロックに分割する際に、水平方向の領域を識別するための識別子を付加する、請求項3に記載の信号処理装置。
- 入力画像信号を、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された、複数のサブブロックに分割する信号分割ステップと、
前記信号分割ステップで分割された前記入力画像信号を前記サブブロック単位で記録する第1の記録ステップと、
前記第1の記録ステップで記録された前記入力画像信号を、水平方向の前記サブブロックの数と等しい数を有する符号化手段によって前記サブブロック単位で符号化して符号化ストリームを出力する符号化ステップと、
前記符号化ステップで出力される符号化ストリームを前記サブブロック単位で記録する第2の記録ステップと、
前記第2の記録ステップで記録された前記符号化ストリームを、前記入力画像信号の入力順と一致するように整列して映像ストリームを出力するストリーム変換ステップと、
を含む、信号処理方法。 - 映像ストリームを、1画面当たり垂直方向には少なくとも1つのマクロブロックと等しい高さを有して水平方向には複数に分割された複数のサブブロックに相当するように分割する信号分割ステップと、
前記信号分割ステップで分割された前記映像ストリームを前記サブブロック単位で記録する第1の記録ステップと、
前記第1の記録ステップで記録された前記映像ストリームを、水平方向の前記サブブロックの数と等しい数を有する復号手段によって前記サブブロック単位で復号して復号データを出力する復号ステップと、
前記復号ステップで出力される復号データを前記サブブロック単位で記録する第2の記録ステップと、
前記第2の記録ステップで記録された前記復号データを、前記映像ストリームの順序と一致するように整列して画像信号を出力する画像信号変換ステップと、
を含む、信号処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024376A JP2010183305A (ja) | 2009-02-05 | 2009-02-05 | 信号処理装置及び信号処理方法 |
US12/695,201 US8340506B2 (en) | 2009-02-05 | 2010-01-28 | System and method for signal processing |
CN201010107216A CN101854543A (zh) | 2009-02-05 | 2010-01-29 | 用于信号处理的系统和方法 |
EP20100152037 EP2216994A3 (en) | 2009-02-05 | 2010-01-29 | System and method for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024376A JP2010183305A (ja) | 2009-02-05 | 2009-02-05 | 信号処理装置及び信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010183305A true JP2010183305A (ja) | 2010-08-19 |
Family
ID=42126621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009024376A Pending JP2010183305A (ja) | 2009-02-05 | 2009-02-05 | 信号処理装置及び信号処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8340506B2 (ja) |
EP (1) | EP2216994A3 (ja) |
JP (1) | JP2010183305A (ja) |
CN (1) | CN101854543A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014510440A (ja) * | 2011-01-26 | 2014-04-24 | クゥアルコム・インコーポレイテッド | ビデオコーディングにおけるサブスライス |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857763B (zh) * | 2011-06-30 | 2016-02-17 | 华为技术有限公司 | 一种基于帧内预测的解码方法和解码装置 |
US9124895B2 (en) | 2011-11-04 | 2015-09-01 | Qualcomm Incorporated | Video coding with network abstraction layer units that include multiple encoded picture partitions |
US9077998B2 (en) | 2011-11-04 | 2015-07-07 | Qualcomm Incorporated | Padding of segments in coded slice NAL units |
US20140204107A1 (en) * | 2013-01-22 | 2014-07-24 | Vixs Systems, Inc. | Video processor with frame buffer compression and methods for use therewith |
US9277218B2 (en) | 2013-01-22 | 2016-03-01 | Vixs Systems, Inc. | Video processor with lossy and lossless frame buffer compression and methods for use therewith |
EP2757794A1 (en) * | 2013-01-22 | 2014-07-23 | ViXS Systems Inc. | Video processor with frame buffer compression and methods for use therewith |
US8879858B1 (en) | 2013-10-01 | 2014-11-04 | Gopro, Inc. | Multi-channel bit packing engine |
CN107241601B (zh) * | 2016-03-29 | 2020-06-05 | 展讯通信(上海)有限公司 | 图像数据传输方法、装置及终端 |
CN109729405B (zh) * | 2018-11-27 | 2021-11-16 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07115649A (ja) * | 1993-10-15 | 1995-05-02 | Mitsubishi Electric Corp | 映像信号符号化復号化装置 |
JPH07298263A (ja) * | 1994-04-21 | 1995-11-10 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法および符号化装置および復号化方法および復号化装置 |
JP2004193941A (ja) * | 2002-12-11 | 2004-07-08 | Nippon Telegr & Teleph Corp <Ntt> | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2283876B (en) * | 1993-11-09 | 1998-06-24 | Matsushita Electric Ind Co Ltd | Encoding and decoding code sequences and frames |
JP3168922B2 (ja) * | 1996-08-27 | 2001-05-21 | 日本ビクター株式会社 | デジタル画像情報の記録再生装置 |
JPH10234043A (ja) | 1997-02-20 | 1998-09-02 | Toshiba Corp | 動画像符号化/復号化装置 |
JP2002502159A (ja) | 1998-01-26 | 2002-01-22 | ティアナン・コミュニケーションズ・インコーポレーテッド | 高性能テレビジョン信号の符号化および復号化の方法と装置 |
JP3677415B2 (ja) | 1999-07-22 | 2005-08-03 | 松下電器産業株式会社 | 大電流用回路基板およびその製造方法 |
JP2001346201A (ja) | 2000-03-27 | 2001-12-14 | Sony Corp | 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置 |
FR2854754B1 (fr) | 2003-05-06 | 2005-12-16 | Procede et dispositif de codage ou decodage d'image avec parallelisation du traitement sur une pluralite de processeurs, programme d'ordinateur et signal de synchronisation correspondants | |
JP2004356857A (ja) | 2003-05-28 | 2004-12-16 | Victor Co Of Japan Ltd | 画像データ符号化装置 |
US20060209950A1 (en) | 2005-03-16 | 2006-09-21 | Broadcom Advanced Compression Group, Llc | Method and system for distributing video encoder processing |
JP4735475B2 (ja) | 2006-08-28 | 2011-07-27 | 富士通株式会社 | 動画像処理方法及び動画像処理装置 |
US8649615B2 (en) * | 2007-06-18 | 2014-02-11 | Canon Kabushiki Kaisha | Moving picture compression coding apparatus |
JP2009024376A (ja) | 2007-07-19 | 2009-02-05 | Takamura Sogyo Kk | ゴム製耐衝撃用残存型枠 |
-
2009
- 2009-02-05 JP JP2009024376A patent/JP2010183305A/ja active Pending
-
2010
- 2010-01-28 US US12/695,201 patent/US8340506B2/en not_active Expired - Fee Related
- 2010-01-29 EP EP20100152037 patent/EP2216994A3/en not_active Withdrawn
- 2010-01-29 CN CN201010107216A patent/CN101854543A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07115649A (ja) * | 1993-10-15 | 1995-05-02 | Mitsubishi Electric Corp | 映像信号符号化復号化装置 |
JPH07298263A (ja) * | 1994-04-21 | 1995-11-10 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法および符号化装置および復号化方法および復号化装置 |
JP2004193941A (ja) * | 2002-12-11 | 2004-07-08 | Nippon Telegr & Teleph Corp <Ntt> | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014510440A (ja) * | 2011-01-26 | 2014-04-24 | クゥアルコム・インコーポレイテッド | ビデオコーディングにおけるサブスライス |
US9215473B2 (en) | 2011-01-26 | 2015-12-15 | Qualcomm Incorporated | Sub-slices in video coding |
Also Published As
Publication number | Publication date |
---|---|
EP2216994A3 (en) | 2011-01-05 |
US8340506B2 (en) | 2012-12-25 |
EP2216994A2 (en) | 2010-08-11 |
US20100195986A1 (en) | 2010-08-05 |
CN101854543A (zh) | 2010-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010183305A (ja) | 信号処理装置及び信号処理方法 | |
JP5042568B2 (ja) | Mpegデコーダ及びmpegエンコーダ | |
JP2013219727A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
US9451251B2 (en) | Sub picture parallel transcoding | |
JP2004242271A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置 | |
JP5395307B2 (ja) | 動画像復号化装置および動画像復号化方法 | |
US20170289553A1 (en) | Encoding device and encoding method | |
JP2014011726A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
US10659775B2 (en) | Video decoding device and video decoding method | |
JP2010226672A (ja) | 画像分割装置、分割画像符号化装置及びプログラム | |
TW202327365A (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法 | |
JP6013547B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP4476065B2 (ja) | 画像処理システム | |
TWI805926B (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法 | |
JP2008187694A (ja) | 画像符号化装置およびその方法 | |
WO2013114826A1 (ja) | 画像復号装置 | |
JP2012253420A (ja) | 可変長符号復号装置、復号システムおよび可変長符号復号方法 | |
TWI809279B (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法 | |
JP2012160985A (ja) | 情報処理装置及び情報処理プログラム | |
JP3464660B2 (ja) | 画像符号化方法および画像符号化装置並びに画像復号化方法および画像復号化装置 | |
JP2004312095A (ja) | 圧縮符号化装置及び方法、記録装置及び方法 | |
JP2012191397A (ja) | 動画像復号化装置および動画像復号化方法 | |
JP2006340238A (ja) | 符号化装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2004242275A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化装置、及び動画像復号装置 | |
JP2006311589A (ja) | 動画像復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110315 |