JP2007020123A - Apparatus and method for detecting motion - Google Patents
Apparatus and method for detecting motion Download PDFInfo
- Publication number
- JP2007020123A JP2007020123A JP2005202275A JP2005202275A JP2007020123A JP 2007020123 A JP2007020123 A JP 2007020123A JP 2005202275 A JP2005202275 A JP 2005202275A JP 2005202275 A JP2005202275 A JP 2005202275A JP 2007020123 A JP2007020123 A JP 2007020123A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- encoding
- target image
- encoding target
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、符号化対象ピクチャに属する符号化対象画像領域の画素データと参照ピクチャに属する参照対象画像領域の画素データとに対してブロックマッチング演算を行い、ピクチャ間の動きを検出する動き検出装置に関する。 The present invention relates to a motion detection apparatus that detects a motion between pictures by performing a block matching operation on pixel data of an encoding target image region belonging to an encoding target picture and pixel data of a reference target image region belonging to a reference picture. About.
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきている。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、これらの情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。 In recent years, the multimedia era has come to handle voice, images, and other pixel values in an integrated manner, and traditional information media, that is, means for transmitting information such as newspapers, magazines, televisions, radios, and telephones to people are multimedia. It has come to be taken up as a target of. In general, multimedia refers to not only characters but also figures, sounds, especially images, etc. that are associated with each other at the same time. To make these information media multimedia, the information is converted into digital form. It is a necessary condition to express.
ところが、各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合は、1文字当たりの情報量が1〜2バイトであるのに対し、音声の場合は、1秒当たり64Kbit(電話品質)が必要となる。さらに、動画については、1秒当たり100Mbit(現行テレビ受信品質)以上の情報量が必要となる。このように、これらの情報メディアに対して、その膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網(ISDN:Integrated Services Digital Network)によってすでに実用化されている。しかし、テレビ・カメラの映像をそのままISDNで送ることは不可能である。 However, when the information amount of each information medium is estimated as a digital information amount, the amount of information per character is 1 to 2 bytes in the case of characters, while 64 Kbit per second in the case of speech. (Phone quality) is required. Furthermore, for a moving image, an information amount of 100 Mbit per second (current television reception quality) or more is required. As described above, it is not realistic to handle such an enormous amount of information as it is in digital format. For example, a video phone has already been put into practical use by an integrated services digital network (ISDN) having a transmission rate of 64 Kbit / s to 1.5 Mbit / s. However, it is impossible to send the video of the TV camera as it is with ISDN.
そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ITU−T(国際電気通信連合 電気通信標準化部門)で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG−1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。 Therefore, information compression technology is required. For example, in the case of a videophone, H.264 recommended by ITU-T (International Telecommunication Union Telecommunication Standardization Sector). 261 and H.264. H.263 standard video compression technology is used. In addition, according to the information compression technology of the MPEG-1 standard, it is possible to put image information together with audio information on a normal music CD (compact disc).
ここで、MPEG(Moving Picture Experts Group)とは、ISO/IEC(国際標準化機構 国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、MPEG−1は、動画像信号を1.5Mbpsまで、つまり、テレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG−1規格では対象とする品質を中程度の品質、具体的には、主として約1.5Mbpsの伝送速度で実現できる程度の品質としている。これに対して、さらなる高画質化の要求をみたすべく規格化されたMPEG−2では、動画像信号を2〜15MbpsでTV放送品質を実現する。さらに、現状では、MPEG−1、MPEG−2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11) によって、MPEG−1、MPEG−2を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG−4が規格化されている。MPEG−4では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。 Here, MPEG (Moving Picture Experts Group) is an international standard for video signal compression standardized by ISO / IEC (International Electrotechnical Commission). This is a standard for compressing information of a television signal up to 5 Mbps, that is, about 1/100. In the MPEG-1 standard, the target quality is a medium quality, specifically, a quality that can be realized mainly at a transmission rate of about 1.5 Mbps. On the other hand, MPEG-2, which is standardized to meet the demand for higher image quality, realizes TV broadcast quality at 2 to 15 Mbps for moving image signals. Furthermore, at present, the work group (ISO / IEC JTC1 / SC29 / WG11) that has been standardizing with MPEG-1 and MPEG-2 achieves a compression ratio that exceeds MPEG-1 and MPEG-2, and further, unit by object. MPEG-4 has been standardized, which enables encoding, decoding, and operation and realizing new functions necessary in the multimedia era. In MPEG-4, it was originally aimed at standardizing a low bit rate encoding method, but now it has been extended to a more general encoding including a high bit rate including interlaced images.
さらに、2003年に、ISO/IECとITU−Tが共同でより高圧縮率の画像符号化方式として、MPEG−4 AVCおよびITU H.264 が標準化されている(例えば、非特許文献1参照。)。H.264規格は、現在HD(High Definition)画像などに適したHigh Profile対応の改正規格案を策定中である。H.264規格のアプリケーションとしては、MPEG−2やMPEG−4と同様にディジタル放送、DVDプレーヤ/レコーダ、ハードディスクプレーヤ/レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。 Further, in 2003, MPEG-4 AVC and ITU H.264 were jointly developed by ISO / IEC and ITU-T as image compression systems with higher compression rates. H.264 is standardized (for example, see Non-Patent Document 1). H. The H.264 standard is currently drafting an amended standard draft compatible with High Profile suitable for HD (High Definition) images and the like. H. Applications of the H.264 standard are expected to spread to digital broadcasting, DVD players / recorders, hard disk players / recorders, camcorders, videophones, and the like, similar to MPEG-2 and MPEG-4.
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。 In general, in encoding of moving images, the amount of information is compressed by reducing redundancy in the time direction and the spatial direction. Therefore, in inter-screen predictive coding for the purpose of reducing temporal redundancy, motion detection and prediction image creation are performed in block units with reference to the front or rear picture, and the obtained prediction image and code are obtained. Encoding is performed on the difference value from the current picture. Here, a picture is a term representing a single screen, which means a frame in a progressive image and a frame or field in an interlaced image. Here, an interlaced image is an image in which one frame is composed of two fields having different times. In interlaced image encoding and decoding processing, one frame may be processed as a frame, processed as two fields, or processed as a frame structure or a field structure for each block in the frame. it can.
参照画像を持たず画面内予測符号化を行うものをIピクチャと呼ぶ。また、1枚の参照画像のみを参照し画面間予測符号化を行うものをPピクチャと呼ぶ。また、同時に2枚の参照画像を参照して画面間予測符号化を行うことのできるものをBピクチャと呼ぶ。Bピクチャは表示時間が前方もしくは後方から任意の組み合わせとして2枚のピクチャを参照することが可能である。参照画像(参照ピクチャ)は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第1参照ピクチャ、後に記述される方を第2参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。なお、PピクチャとBピクチャにおいては、その中の符号化単位ブロックが画面内予測符号化を行なうものと画面間予測符号化を行なうものとを選択することができる。 A picture that does not have a reference picture and performs intra prediction coding is called an I picture. A picture that performs inter-frame predictive coding with reference to only one reference picture is called a P picture. A picture that can be subjected to inter-picture prediction coding with reference to two reference pictures at the same time is called a B picture. The B picture can refer to two pictures as an arbitrary combination of display times from the front or the rear. A reference picture (reference picture) can be specified for each macroblock that is a basic unit of encoding. The reference picture described earlier in the encoded bitstream is the first reference picture, The one described is distinguished as the second reference picture. However, as a condition for encoding these pictures, the picture to be referenced needs to be already encoded. In addition, in the P picture and the B picture, it is possible to select the coding unit block in which the intra-frame prediction coding is performed or the inter-frame prediction coding is performed.
Pピクチャ又はBピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量(以下、これを動きベクトルと呼ぶ)を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。 Motion compensation inter-picture prediction coding is used for coding a P picture or a B picture. The motion compensation inter-picture prediction encoding is an encoding method in which motion compensation is applied to inter-picture prediction encoding. Motion compensation is not simply predicting from the pixel value of the reference frame, but detecting the amount of motion of each part in the picture (hereinafter referred to as a motion vector) and performing prediction in consideration of the amount of motion. This improves the prediction accuracy and reduces the amount of data. For example, the amount of data is reduced by detecting the motion vector of the encoding target picture and encoding the prediction residual between the prediction value shifted by the motion vector and the encoding target picture. In the case of this method, since motion vector information is required at the time of decoding, the motion vector is also encoded and recorded or transmitted.
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。 The motion vector is detected in units of macroblocks. Specifically, the macroblock on the encoding target picture side is fixed, the macroblock on the reference picture side is moved within the search range, and is most similar to the reference block. The motion vector is detected by finding the position of the reference block.
図9は、従来の画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置10は、入力メモリ11、マルチフレームメモリ12、動き検出部13、動き補償部14、動きベクトル予測・DifMV算出部15、動きベクトルメモリ16、周波数変換・量子化部17、逆周波数変換・逆量子化部18、再生成部19、および符号化処理部20などを備える。
FIG. 9 is a block diagram showing a configuration of a conventional inter-picture prediction encoding apparatus. As shown in the figure, the inter-picture
動き検出部13は、マルチフレームメモリ12から出力される動き検出参照画素31と、入力メモリ11に蓄積されている原画像画素32とを比較し、動きベクトル33と参照フレーム番号34とを出力する。参照フレーム番号34は、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルMVは、動きベクトルメモリ16に一時的に記憶されたのち近傍動きベクトル35として出力され、動きベクトル予測・DifMV算出部15にて予測動きベクトルを予測するために参照される近傍動きベクトルとして使用される。動きベクトル予測・DifMV算出部15では動きベクトル33から予測動きベクトルを減算し、その差を動きベクトル予測差分36として出力する。
The
一方、マルチフレームメモリ12は、参照フレーム番号34および動きベクトル33で示される画素を動き補償参照画素37として出力する。動き補償部14は、小数画素精度の参照画素を生成して入力メモリ11からの原画像32との画面予測誤差38を出力する。
On the other hand, the
画面予測誤差38は、周波数変換・量子化部17で周波数変換および量子化処理され、量子化後の係数39は、符号化処理部20へ出力されると同時に、逆周波数変換・逆量子化部18で逆量子化処理および逆周波数変換される。周波数変換・量子化部17から出力された量子化後係数39と動きベクトル予測差分36、参照フレーム番号34は、符号化処理部20で可変長符号化し、符号化信号42を出力する。また、逆周波数変換・逆量子化部18から出力された符号画面予測誤差40は、再生成部19において、画面予測誤差38と加算され、符号画素41としてマルチフレームメモリ12に記憶される。ただし、マルチフレームメモリ12の容量を有効に利用するため、マルチフレームメモリ12に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ12に記憶する必要が無い画面の復号画面41はマルチフレームメモリ12に記憶されない。
The
ところで、図9で示される画面間予測符号化装置を実装するための構成は、一例として、例えば、特許文献1などに示されている。この特許文献1において示されているように、画面間予測符号化装置10をLSIなどで実装する場合には、図9に示されているマルチフレームメモリ12は、LSI外に接続する外部フレームメモリと動き検出部13でブロックマッチング探索時に直接アクセスするLSI内部のローカルメモリとに分割されて実装される。また、入力メモリ11も外部入力メモリとLSI内部の符号化対象ブロックローカルメモリとに分割されて実装される。
By the way, the structure for mounting the inter-screen prediction encoding apparatus shown in FIG. 9 is shown as an example in Patent Document 1, for example. As shown in Patent Document 1, when the inter-picture
図10は、上記画面間予測符号化装置とフレームメモリの接続構成を説明するための図である。同図において、図9と同一符号は同一の機能を持つものとし、その説明を省略する。外部フレームメモリ51は、LSI外に実現するフレームメモリである。参照用ローカルメモリ52は、LSI内部のローカルメモリであり、動き検出器13でのブロックマッチング探索時および、動き補償器14での動き補償予測画素生成時に直接アクセスされる。また、外部入力メモリ53は、LSI外に実現するフレームメモリであり、入力画像が格納される。符号化対象ブロックローカルメモリ54は、LSI内部のローカルメモリであり、動き検出器13、動き補償器14でブロックマッチング時、画面予測誤差生成時に直接アクセスされる。なお、動き検出装置50は、画面間予測符号化装置10のLSIに実装する部分を表している。
FIG. 10 is a diagram for explaining a connection configuration between the inter-picture prediction encoding apparatus and the frame memory. In the figure, the same reference numerals as those in FIG. 9 have the same functions, and the description thereof is omitted. The
図10において動き検出を行う場合は、まず、探索対象となる画像領域が外部フレームメモリ51から外部バス61を介して参照用ローカルメモリ52に転送される。また、符号化対象の原画像が外部入力メモリ53から外部バス62を介して符号化対象ブロックローカルメモリ54に転送される。次に、参照用ローカルメモリ52と符号化対象ブロックローカルメモリ54とから内部バス63、64を介してそれぞれデータが読み出され、動き検出器13によって動き検出が行われる。また、動き補償を行なう場合は、外部フレームメモリ51から動き検出で決定された位置の画像領域が外部バス61を介して参照用ローカルメモリ52に転送され、これを用いて動き補償器14では動き補償予測画素を生成し、符号化対象ブロックローカルメモリ54からの原画像との画面予測誤差を生成する。このような構成をとることによって、LSIの内部メモリの容量を削減している。
When motion detection is performed in FIG. 10, first, an image area to be searched is transferred from the
図11は、参照用ローカルメモリ52のデータ構成を示す一例である。図11(a)は、MPEG−2のSD(Standard Definition)サイズ画像、図11(b)は、H.264のSDサイズ画像、図11(c)は、MPEG−2のHDサイズ画像、および図11(d)は、H.264のHDサイズ画像を想定した場合における参照用ローカルメモリの状態をそれぞれ表している。
FIG. 11 shows an example of the data structure of the reference
また、図12は、1画面あたりで転送する参照画素の状態を示す模式図である。同図において、1MB(Macro Block)単位(=16画素×16画素)で動き検出処理を行う場合、1MB行分の動き検出を行うためには、(探索範囲の縦の長さ)×(1画面の横幅)分のメモリ転送が必要となることを表しており、1画面分の動き検出を行う時には、さらに1画面の縦のMB数をかける分のメモリ転送量が必要であることを示している。 FIG. 12 is a schematic diagram showing the state of reference pixels transferred per screen. In the figure, when motion detection processing is performed in units of 1 MB (Macro Block) (= 16 pixels × 16 pixels), in order to perform motion detection for 1 MB rows, (vertical length of search range) × (1 This means that memory transfer for the horizontal width of the screen is required. When motion detection for one screen is performed, the memory transfer amount for multiplying the number of vertical MBs on one screen is required. ing.
例えば、図11(a)に示されるように、一般的に、外部フレームメモリ51から参照用ローカルメモリ52への転送処理と、参照用ローカルメモリ52と動き検出器13を用いて行う動き検出処理とは、並列動作をさせるようにし、全体的な動作速度の向上を図るため、斜線部で示される更新領域も必要となる。つまり、MPEG−2などのSDサイズ画像(720画素×480画素、45MB×30MB)で、縦横−16から+16の探索範囲とした場合は、(16+16×2)×720×30=1,036,800の画素が1画面あたりの動き検出で転送されることになる。
For example, as shown in FIG. 11A, generally, transfer processing from the
図11(b)に示されるように、H.264のSDサイズ画像を想定した参照用ローカルメモリの管理状態では、H.264では小数画素精度の動き補償には6タップのフィルタを用いるため、従来のMPEG−2などより周辺画素が多く必要となる。つまり、MPEG−2などでは小数精度画素位置を囲む4つの整数画素から小数精度画素を作る。しかし、6タップフィルタの場合は、36の整数画素から小数精度画素を作るため、同じ領域で探索を行う場合でも、MPEG−2と比べ、上2行、下2行、左2列、右2列の画素が必要となる。従って、H.264などのSDサイズ画像で、縦横−16から+16の探索範囲とした場合、(16+16×2+4)×720×30=1,123,200の画素が1画面あたりの動き検出で転送されることになる。 As shown in FIG. In the management state of the reference local memory assuming an H.264 SD size image, H.264 is used. In H.264, since a 6-tap filter is used for motion compensation with decimal pixel accuracy, more peripheral pixels are required than in conventional MPEG-2. That is, in MPEG-2 or the like, a decimal precision pixel is created from four integer pixels surrounding a decimal precision pixel position. However, in the case of a 6-tap filter, decimal precision pixels are created from 36 integer pixels, so even when searching in the same region, compared to MPEG-2, the top 2 rows, the bottom 2 rows, the left 2 columns, the right 2 A column of pixels is required. Therefore, H.I. In an SD size image such as H.264, when the search range is −16 to +16 in the vertical and horizontal directions, (16 + 16 × 2 + 4) × 720 × 30 = 1, 123,200 pixels are transferred by motion detection per screen. Become.
また、図11(c)に示されるように、MPEG−2のHDサイズ画像を想定した参照用ローカルメモリの管理状態では、HDサイズの画像はSDサイズの画像に対して約6倍の画素数を持つため、ここでは簡単のため上下、左右それぞれ2.5倍の参照領域を探索するものとしている。従って、縦横の探索範囲は−40〜+39の画素となり、同様に、(16+40×2)×1,920×68=12,533,760の画素が1画面あたりの動き検出で転送されることになる。 Further, as shown in FIG. 11C, in the management state of the reference local memory assuming an MPEG-2 HD size image, the HD size image has about six times the number of pixels as the SD size image. Therefore, for the sake of simplicity, the reference area is searched 2.5 times in the vertical and horizontal directions. Accordingly, the vertical and horizontal search range is −40 to +39 pixels, and similarly, (16 + 40 × 2) × 1,920 × 68 = 12,533,760 pixels are transferred by motion detection per screen. Become.
さらに、図11(d)に示されるように、H.264のHDサイズ画像を想定した参照用ローカルメモリの管理状態では、同様に、(16+40×2+4)×1,920×68=13,056,000の画素が1画面あたりの動き検出で転送されることになる。結果、MPEG−2のSDサイズとは桁違いに多い転送量となり、電力消費量も大きくなってしまう。 Further, as shown in FIG. Similarly, in the management state of the reference local memory assuming an H.264 HD size image, (16 + 40 × 2 + 4) × 1,920 × 68 = 13,056,000 pixels are transferred by motion detection per screen. It will be. As a result, the transfer amount is an order of magnitude larger than the SD size of MPEG-2, and the power consumption is also increased.
すなわち、HDサイズ(1920画素×1088画素、120MB×68MB)の画像を扱う場合、特にH.264による符号化を行う場合には、1画面あたりの画素転送量が大幅に増加してしまい、図10に示される外部バス61の転送能力を超えてしまう可能性がある。
That is, when an HD size image (1920 pixels × 1088 pixels, 120 MB × 68 MB) is to be handled, the In the case of encoding with H.264, the pixel transfer amount per screen greatly increases, which may exceed the transfer capability of the
これに対して、複数の符号化ブロックで動きベクトルの探索領域を共用することにより外部のフレームメモリから内部参照用ローカルメモリへのデータ転送を削減する技術が提案されている(例えば、特許文献2参照。)。
しかしながら、前記従来の技術において、HD画像サイズなど大きいサイズの画像を画面間予測符号化する場合や、H.264等による画面間予測符号化を行なう場合、複数や広範囲の参照領域を動き検出することで圧縮率向上が得られるが、参照する画素を外部メモリから内部ロジックへ転送する際のメモリ転送量が莫大なものとなり、バス転送能力に課題が生じる。 However, in the conventional technique, when an image having a large size such as an HD image size is subjected to inter-frame predictive encoding, When performing inter-picture predictive encoding using H.264 or the like, the compression rate can be improved by detecting motions in a plurality of or a wide range of reference areas. However, the amount of memory transfer when transferring a reference pixel from an external memory to an internal logic is small. It becomes enormous and a problem arises in the bus transfer capability.
これに対して、例えば、特許文献2で示される技術では、符号化対象となっているピクチャの単位で見ればローカルメモリへのデータ転送量を削減することが可能となる。しかし、これはあくまでピクチャ単位でのデータ転送量の削減であり、言い換えれば、複数の符号化対象ピクチャでみれば、さらなるデータ転送量を削減することができる余地がある。
On the other hand, for example, in the technique disclosed in
そこで、本発明は、かかる問題に鑑みてなされたものであり、画像符号化処理における複数の符号化対象ピクチャでみたローカルメモリへのデータ転送量を削減する動き検出装置、動き検出方法を提供することを目的とする。 Therefore, the present invention has been made in view of such a problem, and provides a motion detection device and a motion detection method that reduce the amount of data transferred to a local memory as seen by a plurality of pictures to be encoded in an image encoding process. For the purpose.
前記目的を達成するために、本発明に係わる動き検出装置は、(a)フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、(b)第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、(c)前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、(d)前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、(e)前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段とを備えることとする。 In order to achieve the above object, a motion detection apparatus according to the present invention detects (a) a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory. (B) first storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture, and (c) the first code Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the encoding target picture, and (d) a reference target image region belonging to the reference picture Third storage means for storing pixel data; (e) pixel data of the reference target image region; pixel data of the first encoding target image region; and pixels of the second encoding target image region Each of the data And block matching and further comprising a motion detection means for detecting a motion between pictures respect.
これによって、参照対象画像領域の画素データをフレームメモリから第3の記憶手段へ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することが可能となる。 As a result, the pixel data of the reference target image area is transferred from the frame memory to the third storage means, but motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced. The data transfer amount of the pixel data in the image area can be reduced, and the power consumption can also be reduced.
なお、本発明は、動き検出装置として実現されるだけではなく、動き検出装置を制御する動き検出方法、動き検出装置に実装される動き検出集積回路などとしても実現されるとしてもよい。また、動き検出装置を備える画面間予測符号化装置としても実現されるとしてもよい。 Note that the present invention may be realized not only as a motion detection device, but also as a motion detection method for controlling the motion detection device, a motion detection integrated circuit mounted on the motion detection device, and the like. Moreover, it is good also as an inter-screen prediction encoding apparatus provided with a motion detection apparatus.
以上、本発明に係わる動き検出装置によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。 As described above, according to the motion detection apparatus of the present invention, the pixel data of the reference target image region is transferred from the external frame memory to the internal local memory for the encoding target image region to be encoded using inter-screen prediction. However, since motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced, the data transfer amount of pixel data in the reference target image area can be reduced, and power consumption can be reduced. Can be reduced.
また、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。 In addition, in the generation of prediction errors for a plurality of encoding target image areas, it is not necessary to transfer pixel data of the reference target image area from the external frame memory to the internal local memory, and the transfer amount of the pixel data of the reference target image area is reduced. Can be reduced. Furthermore, in the subsequent processing in the encoding means, it is possible to generate a bit stream that is encoded in the same order as in the conventional encoding technique without affecting the decoding processing.
また、本発明に係る動き検出方法によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。 Further, according to the motion detection method of the present invention, for the encoding target image region to be encoded using inter-frame prediction, the pixel data of the reference target image region is transferred from the external frame memory to the internal local memory. However, since motion detection is performed for a plurality of encoding target image areas to which the same reference target image area is referenced, the data transfer amount of pixel data in the reference target image area can be reduced, and power consumption can be reduced. Can be reduced.
また、本発明に係る動き検出集積回路によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。 Further, according to the motion detection integrated circuit of the present invention, the pixel data of the reference target image area is transferred from the external frame memory to the internal local area for the encoding target image area to be encoded using inter-frame prediction. Although motion detection is performed on a plurality of encoding target image areas that are transferred to the memory but refer to the same reference target image area, the amount of pixel data transferred in the reference target image area can be reduced, and power consumption can be reduced. Can also be reduced.
(実施の形態1)
以下、本発明に係わる実施の形態1について、図面を参照しながら説明する。
(Embodiment 1)
Embodiment 1 of the present invention will be described below with reference to the drawings.
本実施の形態1における動き検出装置は、(a)フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、(b)第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1のローカルメモリと、(c)第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2のローカルメモリと、(d)参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3のローカルメモリと、(e)参照対象画像領域の画素データと、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出器とを備えることを特徴とする。 The motion detection apparatus according to the first embodiment is (a) a motion detection apparatus that detects a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory. (B) a first local memory in which pixel data of a first encoding target image region belonging to the first encoding target picture is stored, and (c) a first encoding target picture different from the first encoding target picture. A second local memory in which pixel data of the second encoding target image region belonging to the second encoding target picture is stored; and (d) a third pixel memory in which the pixel data of the reference target image region belonging to the reference picture is stored. Local memory, (e) the pixel data of the reference target image area, the pixel data of the first encoding target image area, and the pixel data of the second encoding target image area, respectively. Characterized in that it comprises a motion detector for detecting motion between pictures and quenching.
さらに、これ以外にも、本実施の形態における動き検出装置は、以下(1)〜(3)に示される特徴を有する。 In addition, the motion detection device according to the present embodiment has the following characteristics (1) to (3).
(1)動き検出器は、参照対象画像領域の画素データに対して、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする。 (1) The motion detector performs the sequential processing and the parallel processing on the pixel data of the first encoding target image region and the pixel data of the second encoding target image region with respect to the pixel data of the reference target image region. Block match with either.
(2)第1のローカルメモリは、第1の符号化対象画像領域が所定の画像領域のN(Nは自然数。)倍であることを特徴とする。 (2) The first local memory is characterized in that the first encoding target image area is N (N is a natural number) times a predetermined image area.
(3)第3のローカルメモリは、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのM(Mは自然数。)組単位で、参照対象画像領域の画素データが更新されることを特徴とする。 (3) The third local memory stores the reference target image area in units of M (M is a natural number) of pixel data of the first encoding target image area and pixel data of the second encoding target image area. The pixel data is updated.
以上の点を踏まえて、本実施の形態1における動き検出装置について説明する。なお、ここでは、一例として、動き検出装置に、予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数、逆周波数変換、復元画像などの一連の符号化機能および復号化機能を追加した画面間予測符号化装置について説明する。また、画面間予測符号化装置は、従来の画面間予測符号化装置10(図10参照。)と比べ、符号化対象の原画像をLSI内部に蓄積する符号化対象ブロックローカルメモリ54、動き検出器13、動き補償器14、および動きベクトルメモリ16が異なるのみであり、その他の構成については同様である。従って、異なる構成についてのみ説明し、その他の構成については説明を省略する。
Based on the above points, the motion detection apparatus according to the first embodiment will be described. Here, as an example, a series of encoding and decoding functions such as prediction error image generation, frequency conversion, quantization, inverse quantization, inverse frequency, inverse frequency conversion, and restored image are added to the motion detection device. The inter-picture prediction encoding apparatus will be described. In addition, the inter-picture prediction encoding apparatus is compared with the conventional inter-picture prediction encoding apparatus 10 (see FIG. 10), the encoding target block
図1は、本発明に係わる実施の形態1における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置100は、画面間予測符号化装置10と比べて(図10参照。)、符号化対象ブロックローカルメモリ54、動き検出器13、動き補償器14、動きベクトルメモリ16の代わりに、符号化対象ブロックローカルメモリ111、112、動き検出器113、動き補償器114、動きベクトルメモリ115を備える点が異なる。
FIG. 1 is a block diagram showing a configuration of an inter-picture prediction encoding apparatus in Embodiment 1 according to the present invention. As shown in the figure, the inter-picture
ここで、外部入力メモリ53、外部フレームメモリ51は、LSI実装部分110の外部のフレームメモリであり、符号化対象ピクチャが蓄積されている。符号化対象ブロックローカルメモリ111、112、参照用ローカルメモリ52は、LSI実装部分50の内部のローカルメモリであり、動き検出器113でブロックマッチング探索時と、動き補償器114で動き補償予測処理時に直接アクセスされる。そして、画面間予測符号化装置100のうち、参照符号110で示される部分がLSIに実装される。
Here, the
そして、画面間予測符号化装置100では、動き検出器113において、第1の符号化対象画像領域の画素データ、第2の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第1の符号化対象ピクチャおよび第2の符号化対象ピクチャのそれぞれに対する動き検出を行う。
In the inter-screen
動き検出を行う場合は、参照対象画像領域の画素データが外部フレームメモリ51から外部バス61を介して参照用ローカルメモリ52に転送される。また、第1の符号化対象画像領域の画素データが外部入力メモリ53から外部バス62を介して符号化対象ブロックローカルメモリ111に転送される。第2の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ112に転送される。
When motion detection is performed, the pixel data of the reference target image area is transferred from the
このとき、図2に示されるように、参照対象画像領域とは、参照領域151で示されるように、ピクチャ120に属するある時点での参照対象の領域であり、第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データが符号化されるときに共通に参照される領域である。また、第1の符号化対象画像領域とは、マクロブロック141で示されるように、ピクチャ121に属するある時点での符号化対象の16x16画素ブロック領域である。第2の符号化対象画像領域とは、マクロブロック142で示されるように、ピクチャ121に属するある時点での符号化対象の16x16画素ブロック領域である。
At this time, as shown in FIG. 2, the reference target image area is a reference target area at a certain time belonging to the
すなわち、第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ111に格納される。第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ112に格納される。第1の符号化対象画像領域の画素データおよび第2の符号化対象画像領域の画素データのそれぞれが符号化されるときに共通に参照される参照ピクチャに属する参照対象画像領域の画素データが参照用ローカルメモリ52に格納される。
That is, the pixel data of the first encoding target image area belonging to the first encoding target picture is stored in the encoding target block
なお、ピクチャ120〜123は、表示時刻tの順に図示されている。ピクチャ120、123は、符号化済みのピクチャであり、ピクチャ121、122の差分符号化時に参照されるピクチャである。また、ピクチャ121、122は、未だ符号化されていない符号化対象のピクチャであり、ピクチャ121、ピクチャ122も、ピクチャ120を参照ピクチャとして画面間差分符号化が行われる(処理131、132)。
Note that the
次に、参照用ローカルメモリ52から内部バス63を介して参照対象画像領域の画素データが読み出される。また、符号化対象ブロックローカルメモリ111から内部バス116を介して第1の符号化対象画像領域の画素データが読み出される。符号化対象ブロックローカルメモリ112から内部バス117を介して第2の符号化対象画像領域の画素データが読み出される。これらの画素データを用いて動き検出器113によって動き検出が行われ、結果得られた動きベクトル情報が動きベクトルメモリ115に蓄積される。
Next, the pixel data of the reference target image area is read from the reference
さらに、画面間予測符号化装置100では、動き補償器114において、動き検出器113で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ111に格納されている第1の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ112に格納されている第2の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置10では、動き補償を行うときに参照される画像領域の画素データも外部フレームメモリ51から参照用ローカルメモリ52へ転送される。すなわち、本実施の形態1における画面間予測符号化装置100では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。
Further, in the inter-picture
なお、第1の符号化対象画像領域は、一般的な画像符号化処理で用いられるマクロブロックの単位に限定するものではなく、例えば、マクロブロックを複数個含む単位であってもよい。また、第2の符号化対象画像領域についても同様である。また、第1の符号化対象画像領域および第2の符号化対象画像領域は、符号化されるときに同一の符号化済みピクチャの参照領域が参照される領域であれば、同一の符号化対象ピクチャに属する領域であってもよい。また、第1の符号化対象画像領域の画素データが符号化されるときに、参照対象画像領域の全部が参照される必要はなく、その一部だけでも参照されるとしてもよい。第2の符号化対象画像領域の画素データが符号化されるときについても同様である。さらに、図1に示されるように、符号化対象ブロックローカルメモリ111、112、参照用ローカルメモリ52などを個別の機能ブロックとする代わりに、これらのうち、複数または全部が1つのメモリ上の別領域として実現されていてもよい。
Note that the first encoding target image region is not limited to a unit of macroblocks used in general image encoding processing, and may be a unit including a plurality of macroblocks, for example. The same applies to the second encoding target image region. In addition, if the first encoding target image region and the second encoding target image region are regions in which the reference region of the same encoded picture is referred to when encoding, the same encoding target It may be an area belonging to a picture. Further, when the pixel data of the first encoding target image area is encoded, it is not necessary to refer to the entire reference target image area, and only a part thereof may be referred to. The same applies when the pixel data of the second encoding target image area is encoded. Further, as shown in FIG. 1, instead of making the encoding target block
さらに、PピクチャやBピクチャといった画面間予測を行なうピクチャにおける画面内予測ブロックの符号化処理について、符号化対象ブロックローカルメモリ111、112に個別に蓄積されている符号化対象画像領域の画素データを用いて画面内予測処理、およびそれ以降の一連の符号化処理を、並列、または逐次に処理するとしてもよい。また、並列に処理する場合は、画面間予測符号化の一部である動き検出処理と、画面内予測符号化の一部である画面内予測処理とを並列に行い、両処理が参照する符号化対象ブロックローカルメモリ111、112を交互に参照するとしてもよい。
Further, regarding the encoding process of the intra prediction block in the picture that performs inter prediction such as P picture and B picture, the pixel data of the encoding target image area individually stored in the encoding target block
また、第1の符号化対象画像領域、第2の符号化対象画像領域、および参照対象画像領域の各領域の画素データを用いて動き検出器113で動き検出を行うが、動き検出を行って得られたそれぞれの動きベクトルが動きベクトルメモリ115に格納されれば、第1の符号化対象画像領域および第2の符号化対象画像領域に対する動き検出を並列で処理してもいいし、1つ目の符号化対象画像領域に対する動き検出が完了した後に、2つ目の符号化対象画像領域に対する動き検出を行うとしてもよい。
In addition, the
次に、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112の更新方法について説明する。ここでは、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112をそれぞれ符号化対象のマクロブロック(16x16画素)単位で更新する場合を例に説明する。なお、図3(a)、図3(b)、図3(c)に示されるように、順に複数の符号化対象ピクチャの符号化対象画像領域(マクロブロック)が右に遷移しており、それに伴い参照ピクチャの参照対象画像領域(参照領域)が遷移している。
Next, a method for updating the reference
まず、図3(a)に示されるように、第1の符号化対象画像領域(マクロブロック131a)と第2の符号化対象画像領域(マクロブロック131b)は、同じ参照ピクチャ内の同じ参照対象画像領域(参照領域151a)を参照範囲とし動き検出処理を行う。このとき、参照領域151aの画素データが参照用ローカルメモリ52に転送されている。また、マクロブロック141aの画素データが符号化対象ブロックローカルメモリ111に転送されており、マクロブロック141bの画素データが符号化対象ブロックローカルメモリ112に転送されている。
First, as shown in FIG. 3A, the first encoding target image region (macroblock 131a) and the second encoding target image region (macroblock 131b) are the same reference target in the same reference picture. Motion detection processing is performed using the image area (
次に、図3(b)に示されるように、符号化対象画像領域(マクロブロック141a、142a)が右に1つ移動する時点で、参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112が更新される。このとき、次の参照対象画像領域(参照領域151b)の画素データが参照用ローカルメモリ52に転送される。次の第1の符号化対象画像領域(マクロブロック141b)の画素データが符号化対象ブロックローカルメモリ111に上書きされ、次の第2の符号化対象画像領域(マクロブロック142b)の画素データが符号化対象ブロックローカルメモリ112に上書きされる。さらに、図3(c)に示されるように、次(右隣)のマクロブロックにおいても同様に参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112が更新される。
Next, as shown in FIG. 3B, when the encoding target image area (macroblocks 141a and 142a) moves to the right by one, the reference
ここで、従来の画面間予測符号化装置10によれば、第1の符号化対象画像領域(マクロブロック141a)および第2の符号化対象画像領域(マクロブロック142a)に対する動き検出を行なう場合は、それぞれの符号化対象画像領域に対してデータ転送が発生し、参照対象画像領域(参照領域151a)の画素データが、外部フレームメモリ51から参照用ローカルメモリ52へ転送される。しかし、実施の形態1における画面間予測符号化装置100によれば、図3を用いて説明した更新方法によって、第1の符号化対象画像領域(マクロブロック141a)および第2の符号化対象画像領域(マクロブロック142a)に対する動き検出を行う直前に、1度、参照対象画像領域(参照領域151a)の画素データが外部フレームメモリ51から参照用ローカルメモリ52へ転送されればよいため、データ転送量を1/2に削減でき、消費電力を削減することができる。
Here, according to the conventional inter-picture
また、図3を用いて説明した更新方法とは異なる更新方法について説明する。なお、図4(a)、図4(b)に示されるように、参照ピクチャ161a、161bは、符号化対象画像領域(マクロブロック)の水平位置が互いに1マクロブロック分上下にずれており、マクロブロックライン(符号化対象マクロブロックの水平位置)が更新される時点で参照用ローカルメモリ52が更新されるとする。
An update method different from the update method described with reference to FIG. 3 will be described. As shown in FIGS. 4 (a) and 4 (b), in the
図4(a)に示されるように、図3を用いて説明した更新方法と同様に、第1の符号化対象ピクチャに属するマクロブロックライン(同一水平位置のマクロブロックx1〜x7)に対して、符号化対象画像領域(マクロブロック)が右に遷移する時点で、その都度、符号化対象画像領域(マクロブロック)の画素データが符号化対象ブロックローカルメモリ111へ転送される。同様に、第2の符号化対象ピクチャに属するマクロブロックライン(同一水平位置のマクロブロックy1〜y7)に対して、マクロブロックが右に遷移する時点で、その都度、マクロブロックの画素データが符号化対象ブロックローカルメモリ112へ転送される。しかし、マクロブロックラインが更新されるまで、参照領域161aの画素データが転送されず、参照用ローカルメモリ52が更新されない。
As shown in FIG. 4A, in the same way as the updating method described with reference to FIG. 3, for the macroblock lines (macroblocks x1 to x7 at the same horizontal position) belonging to the first encoding target picture. Each time the encoding target image region (macroblock) shifts to the right, the pixel data of the encoding target image region (macroblock) is transferred to the encoding target block
次に、図4(b)に示されるように、符号化対象のマクロブロック水平位置が1マクロブロック分遷移した時点で、参照ピクチャ内の参照対象画像領域が参照領域161aから参照領域161bに移動するため、参照用ローカルメモリ52は、参照領域161aの画素データから参照領域161bの画素データに更新される。
Next, as shown in FIG. 4B, the reference target image area in the reference picture moves from the
なお、図4を用いて説明した参照用ローカルメモリ52、符号化対象ブロックローカルメモリ111、112の更新方法では、マクロブロック毎に符号化対象ブロックローカルメモリ111、112の更新を行なっているが、複数のマクロブロックの単位で更新を行うとしてもよい。また、マクロブロックの水平位置が更新された時点、すなわち、1マクロブロックライン毎に参照用ローカルメモリ52の更新を行うとしたが、複数のマクロブロックライン毎に更新するとしてもよい。例えば、H.264規格では、MBAFF(Macroblock−Adaptive Frame−Field Coding)の符号化ツールが規格化されている。
In the updating method of the reference
MBAFFでは、縦に2つのマクロブロックをペア(マクロブロックペア)として符号化処理を行う。この場合において、異なるマクロブロックペアに対して参照される同一の参照領域の画素データが、一度に、参照用ローカルメモリ52に転送され、マクロブロックペアが遷移するタイミングで参照用ローカルメモリ52が更新されるとしてもよい。なお、参照用ローカルメモリ52に1マクロブロックライン分の符号化対象画像領域(マクロブロック)に対して参照される参照領域の画素データが蓄積されている。しかし、この場合は、図3を用いて説明した場合と比べれば、参照用ローカルメモリの容量が多く必要になる。そこで、外部フレームメモリ51と参照用ローカルメモリ52との間のLSI内部に中間バッファとなる一時キャッシュメモリを設け、図4を用いて説明した場合における参照領域の全域を一旦この一時キャッシュメモリに蓄積し、符号化対象ブロックに対して参照される領域の画素データが一時キャッシュから参照用ローカルメモリ52に転送されるとしてもよい。
In MBAFF, encoding processing is performed with two macroblocks as a pair (macroblock pair) vertically. In this case, the pixel data of the same reference area referred to for different macroblock pairs is transferred to the reference
また、図4を用いて説明した参照用ローカルメモリ52の更新方法を用いれば、図3を用いて説明した場合と同様に、2つの符号化対象ピクチャ分の動き検出処理を行う場合において、外部フレームメモリ51から参照用ローカルメモリ52への画素データ転送量を、1/2に削減することができる。
If the update method of the reference
なお、画面間予測符号化装置100は、2つの符号化対象画像領域(符号化対象ブロックローカルメモリ111、112)で説明したが、これに限定するものではなく、複数であれば、その数の分だけ、従来の画面間予測符号化装置10(図10参照。)に比べて、参照対象画像領域の画素データが重複して転送されることを抑止して、外部フレームメモリ51から参照用ローカルメモリ52へのデータ転送量の削減が可能となる。
In addition, although the inter-screen
なお、動き検出以降の予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数変換、復元画像生成などの一連の符号化・復号化処理は、動きベクトルメモリ115に蓄積されている動きベクトルの情報を用いて、従来の復号化装置で復号化可能な、すなわち従来技術と同様の符号化方法および順序で符号化する。これにより、本実施の形態1における画面間予測符号化装置100を用いた場合でも、従来の画面間予測符号化装置10で得られるビットストリームと同一のものを得ることができる。
Note that a series of encoding / decoding processes such as prediction error image generation, frequency conversion, quantization, inverse quantization, inverse frequency conversion, and restoration image generation after motion detection are stored in the
(実施の形態2)
次に、本発明に係わる実施の形態2について、図面を参照しながら説明する。
(Embodiment 2)
Next, a second embodiment according to the present invention will be described with reference to the drawings.
本実施の形態2における画面間予測符号化装置では、動き補償処理における予測画素生成時に参照される画像領域の画素データと、量子化後の係数や動きベクトル差分などを符号化する処理において、可変長符号化のある時点での情報を蓄積するビット情報メモリを持つ。 In the inter-frame predictive coding apparatus according to the second embodiment, in the process of coding the pixel data of the image area referred to when the predicted pixel is generated in the motion compensation process, the coefficient after the quantization, the motion vector difference, and the like are variable. It has a bit information memory for storing information at a certain point of long encoding.
また、動き検出器は、複数の演算資源によって並列に動作するとしてもよい。
図5は、本発明に係わる実施の形態2における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置200は、実施の形態1における画面間予測符号化装置100(図1参照。)の構成とほぼ同様である。画面間予測符号化装置100と比べて、、符号化前段処理器211、ビット情報メモリ212、および符号化後段処理器213を備える点が異なる。また、実施の形態1における画面間予測符号化装置100(図1参照。)のように、動き検出において得られた動きベクトルを以降の符号化処理のために動きベクトルメモリ115に蓄積する代わりに、従来の画面間予測符号化装置10(図10参照。)のように、周辺情報として参照するためだけのものを動きベクトルメモリ16に蓄積する。それ以外については、図1において同一の参照符号で示されるものと同様の機能をもつため、その説明を省略する。
The motion detector may operate in parallel with a plurality of computing resources.
FIG. 5 is a block diagram showing the configuration of the inter-screen predictive coding apparatus according to
なお、画面間予測符号化装置200でも、実施の形態1における画面間予測符号化装置100のように、動き検出器113において、第1の符号化対象画像領域の画素データ、第2の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第1の符号化対象ピクチャおよび第2の符号化対象ピクチャのそれぞれに対する動き検出を行う。さらに、動き補償器114において、動き検出器113で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ111に蓄積されている第1の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ112に蓄積されている第2の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置10では、動き補償を行うときに参照される画像領域の画素データが外部フレームメモリ51から参照用ローカルメモリ52へ転送される。
In the inter-picture
すなわち、本実施の形態2における画面間予測符号化装置200では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。
そして、従来の画面間予測符号化装置10と同様、動きベクトル予測・DifMV算出器15において、動きベクトル予測差分を得る処理を行い、さらに、周波数変換・量子化器17、逆周波数変換・逆量子化器18、再生成器19での各処理を行なうととともに、符号化前段処理器211において、符号化処理の前段処理を行なう。なお、再生成器19で再生成された画素は以降の符号化対象ブロックの参照画素とするため、外部フレームメモリ51に蓄積されることは従来技術と同様である。
That is, in the inter-frame
Then, similarly to the conventional inter-picture
例えば、H.264符号化規格のContext−based Adaptive Binary Arithmetic Coding(CABAC: 適応型算術符号化)では、符号化前段処理器211は、2値化処理(Binarization process)の機能を有し、符号化後段処理器213は、算術符号化処理(Arithmetic encoding process)の機能を有することとする。
For example, H.M. In the context-based adaptive binary arithmetic coding (CABAC) of the H.264 coding standard, the
次に、マクロブロック単位で前記符号化の一連処理を行った符号化前段処理器211後のビット情報はビット情報メモリ212に蓄積される。このとき、動き検出器113において処理する符号化対象ブロックは実施の形態1で示すような複数のマクロブロックであるが、動き検出後の処理は逐次的に行なわれ、ビット情報メモリ212には、それぞれのマクロブロックのビット情報が符号化後段処理213への入力順序に従った構造で格納される。
Next, the bit information after the
ビット情報メモリ212に蓄積された符号化前段処理後のビット情報は、符号化対象の1ピクチャの符号化処理が完了した後、従来と同様の符号化信号42として外部に出力される。または、符号化後段処理において、H.264規格に則った符号化順序で算術符号化処理が行なえるだけのビット情報が蓄積された時点で、符号化後段処理器213に入力され、算術符号化した後、従来と同様の符号化信号42として外部に出力される。
The bit information after the pre-encoding process stored in the
なお、ここでは、動き検出処理後の一連の符号化処理を逐次的に行なうとしたが、こうすれば、動き検出器以外の一連の符号化処理器を従来と同様にすることができ、回路の増加がなく実現できる。しかし、複数の動き検出を並列に行なう場合など、その後の一連の符号化処理も並列に行なうとしてもよい。この場合、各処理器の演算器を増加させれば処理速度の向上が可能となる。 Although a series of encoding processes after the motion detection process are sequentially performed here, a series of encoding processors other than the motion detector can be made similar to the conventional one by using this. This can be realized without an increase in. However, when a plurality of motion detections are performed in parallel, a series of subsequent encoding processes may be performed in parallel. In this case, if the number of arithmetic units of each processor is increased, the processing speed can be improved.
また、図5において、ビット情報メモリ212は、動き検出装置210の内部ローカルメモリとして図示されているが、これを外部フレームメモリ5151と同様に、動き検出装置210に接続する外部メモリとした構成にしてもよい。
In FIG. 5, the
本実施の形態2によれば、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、動き検出後の動きベクトルを蓄積することもなく、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。 According to the second embodiment, it is not necessary to transfer the pixel data of the reference target image area from the external frame memory to the internal local memory in the prediction error generation for the plurality of encoding target image areas, and the reference target image area The amount of transfer of pixel data can be reduced. Furthermore, the motion vector after motion detection is not accumulated, and the bit stream encoded in the same order as in the conventional encoding technique is generated in the subsequent process in the encoding means without affecting the decoding process. It becomes possible.
(実施の形態3)
次に、本発明に係わる実施の形態3について、図面を参集しながら説明する。
(Embodiment 3)
Next, a third embodiment according to the present invention will be described with reference to the drawings.
本実施の形態3における画面間予測符号化装置では、複数の符号化対象ピクチャが複数の参照ピクチャを参照する。このとき、第1の符号化対象画像領域の画素データに対して復号化処理を施して生成した復号画素データを局所復号画素データとした場合において、動き検出器は、第2の符号化対象画像領域に対する動き検出を行うときに、局所復号画素データ、および局所復号画素データの周辺の復号画素データも参照して動き検出を行う。すなわち、ある符号化対象ピクチャに属するマクロブロックが、一方の符号化対象ブロックが属する符号化済みの領域を参照領域とする。 In the inter-frame prediction encoding apparatus in the third embodiment, a plurality of encoding target pictures refer to a plurality of reference pictures. At this time, when the decoded pixel data generated by performing the decoding process on the pixel data of the first encoding target image area is used as the local decoding pixel data, the motion detector performs the second encoding target image. When performing motion detection on a region, motion detection is performed with reference to local decoded pixel data and decoded pixel data around the local decoded pixel data. In other words, a macro block belonging to a certain coding target picture uses a coded region to which one coding target block belongs as a reference region.
図6は、本発明に係わる実施の形態3における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置300は、実施の形態2における画面間予測符号化装置200(図5参照。)の構成とほぼ同様である。画面間予測符号化装置200と比べて、再生成器311からの出力である再生成画素が参照用ローカルメモリ312へ入力される点のみが異なる。
FIG. 6 is a block diagram showing the configuration of the inter-picture prediction encoding apparatus in
これによって、図7に示されるように、参照用ローカルメモリ312には、参照領域351、参照領域352、および参照領域353の画素データが格納され、符号化対象ブロックローカルメモリ111、112には、マクロブロック343、344の画素データが格納される。このとき、再生成器311は、再生成画素を外部フレームメモリ51に出力するだけでなく、参照用ローカルメモリ312にも出力する。これは、符号化対象ブロック343の再生成画像(ローカルデコード画像)をマクロブロック344の後続の符号化対象マクロブロック345が参照領域として使用するためである。
As a result, as shown in FIG. 7, the reference
なお、ピクチャ320〜323は、表示順かつ符号化順に並んでいる。ピクチャ320は、符号化済みのピクチャであり、ピクチャ321およびピクチャ322から参照されるピクチャである。また、ピクチャ321は、ピクチャ322から参照されるピクチャである。そして、実施の形態2で説明したように、複数の符号化対象マクロブロックを動き検出器113でブロックマッチングするときに、同じ参照領域、または同じ参照領域の一部が使用される。例えば、符号化対象のマクロブロック343が動き検出で参照する領域を、ピクチャ320の参照領域351および参照領域352、またはそれらの一部とする。また、符号化対象のマクロブロック344が動き検出で参照する領域を、ピクチャ320の参照領域351およびピクチャ321の参照領域353、またはそれらの一部とする。
Note that the
なお、ピクチャ321がピクチャ320を参照するピクチャ、すなわち、画面間予測ピクチャ(PピクチャまたはBピクチャ)とする代わりに、例えば、ピクチャ321が画面内予測符号化するピクチャ(Iピクチャ)であるとしても、同様の構成をとることができる。この場合においては、ピクチャ322に属する符号化対象のマクロブロックが、ピクチャ321の符号化済み領域を参照する。
Note that instead of the
なお、ここでは、再生成器312から参照用ローカルメモリ312と外部フレームメモリ51とへ再生成画素を出力する例について説明した。しかし、再生成画素を記憶する必要がない場合、すなわち、後続の符号化対象のマクロブロックから参照されない場合は、従来技術と同様に、外部フレームメモリ51への出力を行なわない。また、図7に示されるように、同時期に二つの符号化対象のマクロブロックに対して動き検出を行う場合において、一方の符号化対象ブロックが、他方の符号化対象ブロックが属するピクチャの既に符号化済みの領域を参照領域とする場合、すなわち、符号化対象ブロックの再生成画像が、その処理後一定処理以内に動き検出対象として参照される場合以外は、参照用ローカルメモリ312への出力を行なわなくてもよい。ここでの一定処理以内とは、参照用ローカルメモリ312の容量に依存し、この容量が多ければこの処理区間は多くすることができる。これは、その後参照される領域を一旦外部フレームメモリへ出力し、その後、参照用ローカルメモリ312へ転送する必要がなくなるため、外部からのLSI内部へのデータ転送量を削減することができ、消費電力削減に効果がある。
Here, the example in which the regenerated pixels are output from the
また、実施の形態3で図7を用いて説明した内容において、参照用ローカルメモリ312に蓄積された参照対象画像領域の画素データは、実施の形態1の図3、図4の例のように、後続の符号化において参照領域とされない領域は順次上書きされ更新される。これによって、内部ローカルメモリの容量を一定量に制限することができる。
Further, in the content described with reference to FIG. 7 in the third embodiment, the pixel data of the reference target image area accumulated in the reference
以上のように本実施の形態3のような実施例をとれば、同じ参照領域もしくはその一部を参照領域として動き検出する複数の符号化対象ブロックに対して、参照領域の外部フレームメモリから参照用ローカルメモリへのデータ転送量を抑制し(実施の形態2と同様の特徴)、かつ前記複数の符号化対象ブロックの一方が属する符号化対象ピクチャの符号化済み領域を他方の符号化対象ブロックが参照領域とすることができると共に、さらなるデータ転送量の抑制が可能となる。 As described above, if the example as in the third embodiment is taken, a plurality of blocks to be encoded whose motion is detected using the same reference region or a part of the reference region as a reference region is referred from the external frame memory of the reference region. The amount of data transferred to the local memory (same characteristics as in the second embodiment), and the encoded region of the encoding target picture to which one of the plurality of encoding target blocks belongs is set as the other encoding target block Can be used as a reference area, and the data transfer amount can be further reduced.
(実施の形態4)
次に、本発明に係わる実施の形態4について、図面を参照しながら説明する。
(Embodiment 4)
Next, a fourth embodiment according to the present invention will be described with reference to the drawings.
本実施の形態4では、実施の形態1〜3で示された画面間予測符号化装置の応用例について説明する。図8は、H.264レコーダを実現するAV処理部のブロック図である。同図に示されるように、AV処理部400は、ディジタル圧縮された音声及び画像を再生するDVDレコーダやハードディスクレコーダなどのAV処理部を示している。
In the fourth embodiment, an application example of the inter-screen prediction encoding apparatus shown in the first to third embodiments will be described. FIG. 2 is a block diagram of an AV processing unit that realizes an H.264 recorder. FIG. As shown in the figure, an
ストリームデータ401は、音声と画像のストリームデータを、画像信号402は、画像データを、音声信号403は音声データをそれぞれ表している。バス410は、ストリームデータ、音声・画像を復号したデータなどを転送する。ストリーム入出力部411は、バス410に接続し、ストリームデータ401を入出力する。画像符号化復号化部412は、バス410に接続し、画像の符号化及び復号化を行う。
The
音声符号化復号化部413は、バス410に接続し、音声の符号化及び復号化を行う。メモリ414は、ストリームデータ、符号化データ、復号化データなどが格納され、外部フレームメモリ51(図1参照。)の領域を含むものである。メモリ入出力部415は、バス410に接続され、メモリ414のデータ信号の入出力インターフェースである。
The speech coding /
画像処理部416は、バス410に接続し、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部417は、画像処理部416で処理した画像データ信号、または画像処理部416で処理をせずに通過だけさせた画像データ信号を外部に画像信号402として出力する。また、外部からの画像信号402を取り込む。
The
音声処理部418は、バス410に接続し、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部419は、音声処理部418で処理した音声データ信号、または音声処理部418で処理をせずに通過だけさせた音声データ信号を外部に音声信号403として出力する。また、外部からの音声信号403を取り込む。そして、AV制御部420は、AV処理部400の全体機能の制御を行う。
The
ここで、図8を用いて符号化動作のみを説明する。最初に、画像信号402が画像入出力部417に入力され、音声信号403が音声入出力部419に入力される。
Here, only the encoding operation will be described with reference to FIG. First, the
これに伴い、AV制御部420は、画像処理部416を制御して、画像入出力部417に入力された画像信号402を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原画像データとして、メモリ入出力部415を介してメモリ414に格納させる。次に、画像符号化復号化部412を制御して、メモリ414からメモリ入出力部415を介して画像符号化復号化部412に、原画像データと参照画像データを転送させ、逆に、画像符号化復号化部412からメモリ414に、画像符号化復号化部412で符号化された画像ストリームデータと局所復元データを転送させる。
Along with this, the
なお、画像符号化復号化部412は、画面間予測符号化装置100(図1参照。)のほぼ全体に相当し、画像ストリームは、信号42に相当し、さらに、メモリ414は、外部フレームメモリ51の領域が含まれる。
The image encoding /
一方、AV制御部420は、音声処理部418を制御して、音声入出力部419に入力された音声信号403を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原音声データとして、メモリ入出力部415を介してメモリ414に格納させる。次に、再びメモリ入出力部415を介してメモリ414から原音声データを取り出させて符号化させ、再度、音声ストリームデータとしてメモリ414に格納させる。
On the other hand, the
そして、AV制御部420は、画像ストリームデータと音声ストリームデータ、及びその他のストリーム情報を一つのストリームデータとして処理し、ストリーム入出力部411を介してストリームデータ401を出力し、光ディスクやハードディスクなどの蓄積メディアに書き込む処理を行う。
Then, the
なお、実施の形態において1ピクチャについての動作を示したが、1ピクチャを複数の領域に分割し、分割した領域を1ピクチャとして処理することによって、複数の画面間予測符号化装置をLSI内に実装し並列処理を行う、またはLSIを複数実装して並列処理を行うなどの方法で実現してもよい。 Although the operation for one picture has been described in the embodiment, a plurality of inter-screen predictive coding apparatuses are installed in an LSI by dividing one picture into a plurality of areas and processing the divided areas as one picture. You may implement | achieve by the method of mounting and performing parallel processing, or mounting multiple LSIs and performing parallel processing.
なお、ブロック図(図1や図5など)の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。例えばメモリ以外の機能ブロックが1チップ化されていてもよい。しかし、外部フレームメモリ51(図1参照。)やメモリ414(図8参照。)は、大量のデータを保持する必要があるため、LSIに外付けする大容量のDRAMなどで実装するのが一般的である。ただし、技術の向上により1パッケージ化や1チップ化されることも有り得る。 Note that each functional block in the block diagrams (FIG. 1 and FIG. 5) is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, the functional blocks other than the memory may be integrated into one chip. However, since the external frame memory 51 (see FIG. 1) and the memory 414 (see FIG. 8) need to store a large amount of data, it is generally mounted with a large capacity DRAM externally attached to the LSI. Is. However, it may be made into one package or one chip due to the improvement of technology.
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明の画面間予測符号化装置は、参照用ローカルメモリの実装増加量を抑えつつ、動き補償予測に用いる参照画素の転送量を大幅に削減できるので、例えばH.264規格を用いた大きい画像サイズを扱うDVDレコーダやハードディスクレコーダやカムコーダ等を実現するために有効である。 The inter-screen predictive coding apparatus according to the present invention can significantly reduce the transfer amount of reference pixels used for motion compensation prediction while suppressing the increase in mounting of the reference local memory. This is effective for realizing a DVD recorder, a hard disk recorder, a camcorder, etc. that handle a large image size using the H.264 standard.
10,100,200,300 画面間予測符号化装置
11 入力メモリ
12 マルチフレームメモリ
13 動き検出部
14 動き補償部
15 動きベクトル予測・DifMV算出部
16,115 動きベクトルメモリ
17 周波数変換・量子化部
18 逆周波数変換・逆量子化部
19 再生成部
20 符号化処理部
50,110,210,310 LSI実装部分
51 外部フレームメモリ
52 参照用ローカルメモリ
53 外部入力メモリ
54,111,112 符号化対象ブロックローカルメモリ
61,62 外部バス
63,64 内部バス
113 動き検出器
114 動き補償器
116,117 内部バス
211 符号化前段処理器
212 ビット情報メモリ
213 符号化後段処理器
311 再生成器
312 参照用ローカルメモリ
10, 100, 200, 300 Inter-screen
Claims (10)
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出装置。 A motion detection device that detects a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
First storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture;
Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the first encoding target picture;
Third storage means for storing pixel data of a reference target image region belonging to the reference picture;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. And a motion detecting means.
前記参照対象画像領域の画素データに対して、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする
ことを特徴とする請求項1に記載の動き検出装置。 The motion detection means includes
Block matching of the pixel data of the first encoding target image region and the pixel data of the second encoding target image region with either sequential processing or parallel processing with respect to the pixel data of the reference target image region The motion detection device according to claim 1, wherein:
前記第1の符号化対象画像領域が前記所定の画像領域のN(Nは自然数。)倍である
ことを特徴とする請求項1に記載の動き検出装置。 The first storage means is
The motion detection apparatus according to claim 1, wherein the first encoding target image area is N (N is a natural number) times the predetermined image area.
前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのM(Mは自然数。)組単位で、前記参照対象画像領域の画素データが更新される
ことを特徴とする請求項1に記載の動き検出装置。 The third storage means is
The pixel data of the reference target image region is updated in units of M (M is a natural number) of pixel data of the first encoding target image region and pixel data of the second encoding target image region. The motion detection device according to claim 1.
ことを特徴とする請求項1に記載の動き検出装置。 The motion detection apparatus according to claim 1, wherein the motion detection unit operates in parallel with a plurality of computing resources.
前記動き検出手段は、
前記第2の符号化対象画像領域に対する動き検出を行うときに、前記局所復号画素データ、および前記局所復号画素データの周辺の復号画素データも参照して動き検出を行う
ことを特徴とする請求項1に記載の動き検出装置。 In the case where the decoded pixel data generated by performing the decoding process on the pixel data of the first encoding target image region is the locally decoded pixel data,
The motion detection means includes
The motion detection is performed with reference to the local decoded pixel data and decoded pixel data around the local decoded pixel data when performing motion detection on the second encoding target image region. 2. The motion detection device according to 1.
前記動き検出装置で検出して得られた結果を用いて復号化した画素データに基づいて、動画像の画素データを符号化する符号化手段と
を備えることを特徴とする画面間予測符号化装置。 The motion detection device according to any one of claims 1 to 6,
An inter-picture prediction encoding apparatus, comprising: encoding means for encoding pixel data of a moving picture based on pixel data decoded using a result obtained by detection by the motion detection apparatus; .
前記符号化手段による符号化の前半処理後のビット情報を前記所定の画像領域単位で蓄積するビット情報メモリを備え、
前記符号化手段は、後半処理では前記ビット情報を用いて符号化を行なう
ことを特徴とする請求項7に記載の画面間予測符号化装置。 The inter-screen predictive encoding device further includes:
A bit information memory for storing bit information after the first half of encoding by the encoding means in units of the predetermined image area;
The inter-picture prediction encoding apparatus according to claim 7, wherein the encoding means performs encoding using the bit information in the second half process.
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データを第1の記憶手段に蓄積する第1の蓄積ステップと、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データを第2の記憶手段に蓄積する第2の蓄積ステップと、
前記参照ピクチャに属する参照対象画像領域の画素データを第3の記憶手段に蓄積する第3の蓄積ステップと、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出ステップと
を含むことを特徴とする動き検出方法。 A motion detection method for detecting a motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
A first accumulation step of accumulating pixel data of a first encoding target image region belonging to the first encoding target picture in a first storage unit;
A second accumulation step of accumulating pixel data of a second encoding target image area belonging to a second encoding target picture different from the first encoding target picture in a second storage unit;
A third accumulation step of accumulating pixel data of a reference target image area belonging to the reference picture in a third storage unit;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. A motion detection method comprising: a motion detection step.
第1の符号化対象ピクチャに属する第1の符号化対象画像領域の画素データが蓄積される第1の記憶手段と、
前記第1の符号化対象ピクチャとは異なる第2の符号化対象ピクチャに属する第2の符号化対象画像領域の画素データが蓄積される第2の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第3の記憶手段と、
前記参照対象画像領域の画素データと、前記第1の符号化対象画像領域の画素データおよび前記第2の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出集積回路。 A motion detection integrated circuit that detects motion between pictures in units of a predetermined image area using an encoded reference picture stored in a frame memory,
First storage means for storing pixel data of a first encoding target image region belonging to the first encoding target picture;
Second storage means for storing pixel data of a second encoding target image region belonging to a second encoding target picture different from the first encoding target picture;
Third storage means for storing pixel data of a reference target image region belonging to the reference picture;
Block matching is performed on pixel data in the reference target image area, pixel data in the first encoding target image area, and pixel data in the second encoding target image area to detect motion between pictures. A motion detection integrated circuit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202275A JP2007020123A (en) | 2005-07-11 | 2005-07-11 | Apparatus and method for detecting motion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202275A JP2007020123A (en) | 2005-07-11 | 2005-07-11 | Apparatus and method for detecting motion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007020123A true JP2007020123A (en) | 2007-01-25 |
Family
ID=37756833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005202275A Pending JP2007020123A (en) | 2005-07-11 | 2005-07-11 | Apparatus and method for detecting motion |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007020123A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008136178A1 (en) * | 2007-04-26 | 2008-11-13 | Panasonic Corporation | Motion detection apparatus, motion detection method, and motion detection program |
JP2009111797A (en) * | 2007-10-31 | 2009-05-21 | Hitachi Ltd | Encoder, and recording device |
-
2005
- 2005-07-11 JP JP2005202275A patent/JP2007020123A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008136178A1 (en) * | 2007-04-26 | 2008-11-13 | Panasonic Corporation | Motion detection apparatus, motion detection method, and motion detection program |
JP2009111797A (en) * | 2007-10-31 | 2009-05-21 | Hitachi Ltd | Encoder, and recording device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2409005C2 (en) | Method of scalable coding and decoding of video signal | |
US9961346B2 (en) | Video encoder and method of operating the same | |
US20100086053A1 (en) | Motion estimation device, motion estimation method, and motion estimation program | |
US20070030899A1 (en) | Motion estimation apparatus | |
JP3855522B2 (en) | Video converter | |
WO2009130886A1 (en) | Moving image coding device, imaging device and moving image coding method | |
US20070133689A1 (en) | Low-cost motion estimation apparatus and method thereof | |
US20080089418A1 (en) | Image encoding apparatus and memory access method | |
JP2008500760A (en) | Method and apparatus for encoding digital video data | |
JP2008011117A (en) | Method of determining reference picture during interlaced encoding of image encoding | |
JP5496047B2 (en) | Image reproduction method, image reproduction apparatus, image reproduction program, imaging system, and reproduction system | |
JP2007104231A (en) | Transcoder, recording apparatus, transcode method | |
JP2012085001A5 (en) | ||
KR101147744B1 (en) | Method and Apparatus of video transcoding and PVR of using the same | |
JP4742018B2 (en) | Image coding apparatus and image coding method | |
JP2007228560A (en) | Moving picture coding method and moving picture coding device | |
KR101880325B1 (en) | Video image encoding device | |
CN115486075A (en) | Video coding and decoding method and device | |
JP2008244993A (en) | Apparatus and method for transcoding | |
US20080063081A1 (en) | Apparatus, method and program for encoding and/or decoding moving picture | |
JP2003230148A (en) | Image data coding unit | |
CN112399180B (en) | Video decoding method, device and storage medium | |
JP2007020123A (en) | Apparatus and method for detecting motion | |
WO2010021153A1 (en) | Motion detection device | |
JP2008289105A (en) | Image processing device and imaging apparatus equipped therewith |