JP2004208280A - Encoding apparatus and encoding method - Google Patents
Encoding apparatus and encoding method Download PDFInfo
- Publication number
- JP2004208280A JP2004208280A JP2003384484A JP2003384484A JP2004208280A JP 2004208280 A JP2004208280 A JP 2004208280A JP 2003384484 A JP2003384484 A JP 2003384484A JP 2003384484 A JP2003384484 A JP 2003384484A JP 2004208280 A JP2004208280 A JP 2004208280A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- processing
- parameters
- encoding
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、ひとつの画像データから複数の圧縮動画像データを生成して出力する符号化装置および符号化方法に関する。 The present invention relates to an encoding device and an encoding method for generating and outputting a plurality of compressed moving image data from one image data.
従来、動画像符号化装置は、フレーム間の誤差を符号化して高い圧縮効率を実現していた。このフレーム間の誤差を動きベクトル、動きベクトルの検出を動き予測という。動きベクトルを予測する方法は多数あり、一般的には、ブロックマッチング方法が用いられる。一つの画像データから複数のフォーマットの圧縮動画像データを作成する場合、符号化装置は複数のエンコーダを備え、それらのエンコーダを用いて各々の圧縮動画像データを作成する。また、それぞれのフォーマットにあわせた動きベクトルを用いて圧縮処理を行なう必要がある。 Conventionally, a moving image encoding apparatus encodes an error between frames to realize high compression efficiency. The error between the frames is called a motion vector, and the detection of the motion vector is called a motion prediction. There are many methods for predicting a motion vector, and a block matching method is generally used. When creating compressed moving image data in a plurality of formats from one image data, the encoding device includes a plurality of encoders and creates each compressed moving image data using the encoders. Further, it is necessary to perform compression processing using a motion vector adapted to each format.
上記の符号化処理装置のように、エンコーダ毎に動き予測処理をする場合、エンコーダの数が増大してしまう。言い換えれば、必要とする出力圧縮画像データの数が多くなるほど、全エンコーダにおけるエンコード処理が膨大な量になり、全体の処理時間が増大する。また出力圧縮画像データの数が増えるほどエンコーダを増設しなければならず、コストが大きくなる。 When the motion prediction processing is performed for each encoder as in the above-described encoding processing device, the number of encoders increases. In other words, as the number of required output compressed image data increases, the encoding process in all encoders becomes enormous, and the overall processing time increases. Further, as the number of output compressed image data increases, the number of encoders must be increased, and the cost increases.
そのため、特開2002-344972号公報に開示されている技術では、複数の解像度が異なる動画像符号化装置が簡易動きベクトル検出処理部を有する。この簡易動きベクトル検出処理部は、エンコーダとは独立して構成されており、符号化する動画像の解像度よりも低い解像度での簡易動きベクトルを検出する。エンコーダでは、解像度にあわせて拡大した簡易動きベクトルを用いて狭い範囲で動きベクトルを検索し、解像度にあった動きベクトルを検出して符号化を行なう。特開2002-344972号公報に開示されている技術では、最も低い解像度の符号化を行なうエンコーダが簡易動きベクトル検出処理部を内蔵している。この構成では、簡易動きベクトル検出処理部を内蔵しているエンコーダは、検出された簡易動きベクトルをそのまま動きベクトルとして用い、他のエンコーダでは、前者の独立型と同様に、解像度にあった動きベクトルを再度検出する構成としている。 For this reason, in the technique disclosed in Japanese Patent Application Laid-Open No. 2002-344972, a plurality of moving image encoding devices having different resolutions have a simple motion vector detection processing unit. This simple motion vector detection processing unit is configured independently of the encoder, and detects a simple motion vector at a resolution lower than the resolution of the moving image to be encoded. The encoder searches for a motion vector in a narrow range using the simple motion vector enlarged according to the resolution, and detects and encodes the motion vector corresponding to the resolution. In the technique disclosed in Japanese Patent Application Laid-Open No. 2002-344972, an encoder that performs encoding with the lowest resolution has a simple motion vector detection processing unit built-in. In this configuration, the encoder incorporating the simple motion vector detection processing unit uses the detected simple motion vector as the motion vector as it is, and the other encoders use the motion vector matching the resolution as in the former independent type. Is detected again.
しかしながら、特開2002-344972号公報に開示されている技術では、生成する圧縮動画像の異なる解像度にのみ着目している。また、動きベクトルの検索方法に応じた簡易ベクトルを検出する解像度を用いている。従って、その他のパラメータが異なるフォーマットに変換する場合に、最適な高速符号化が実現できない。 However, the technique disclosed in Japanese Patent Application Laid-Open No. 2002-344972 focuses only on different resolutions of a generated compressed moving image. Further, a resolution for detecting a simple vector according to a motion vector search method is used. Therefore, when converting to a format in which other parameters are different, optimal high-speed encoding cannot be realized.
本発明の目的の一つは、複数のフォーマットの符号化データを生成する符号化装置及び符号化方法において、全体の処理時間の短縮を図ることにある。本発明の目的の他の一つは、精度の高い複数のフォーマットの圧縮動画像を作成する場合の処理時間の短縮を図ることにある。 An object of the present invention is to reduce the overall processing time in an encoding device and an encoding method for generating encoded data in a plurality of formats. Another object of the present invention is to reduce the processing time when creating compressed moving images of a plurality of formats with high accuracy.
複数のパラメータを設定し、設定した複数のパラメータから動き予測をするための基本パラメータを生成し、生成された基本パラメータを用いて動き予測処理する。さらに動き予測処理した結果を複数のエンコーダの各々で用いるパラメータに変換し、各エンコーダに出力する。 A plurality of parameters are set, basic parameters for performing motion prediction are generated from the set plurality of parameters, and motion prediction processing is performed using the generated basic parameters. Furthermore, the result of the motion prediction processing is converted into parameters used in each of the plurality of encoders, and output to each encoder.
本発明によれば、全体の処理時間の短縮を図る符号化装置および符号化方法を得ることができる。 ADVANTAGE OF THE INVENTION According to this invention, the encoding apparatus and encoding method which shorten the whole processing time can be obtained.
図に、符号化装置の構成を示すブロック図である。図1の符号化装置は、データ供給装置101、データ格納装置1021〜1023、パラメータ設定器13、符号化器14を有する。以下の説明では、例えば、MPEG2で圧縮された画像データを、フォーマットが異なる複数のMPEG4の圧縮画像データに変換することを前提として説明する。
FIG. 2 is a block diagram showing the configuration of the encoding device. 1 includes a
データ供給装置101は、複数のフォーマットに符号化される画像データの元データを供給する。データ格納装置1021−1023は、複数のフォーマットに符号化された画像データを符号化器14から受信し、格納する。データ供給装置101、データ格納装置1021〜1023は、一つまたは複数の不揮発性記憶装置である。例えば、ハードディスクなどの磁気記録装置で構成されるが、DVD―RAMや、DVD−RなどのDVD記録装置でもよい。さらに、データ供給装置101は、ディジタルビデオカメラなどの撮影装置で実現することもできる。その場合は、元データとして圧縮されないデータを供給することもできる。
The
パラメータ設定器13は、符号化器14が作成する圧縮画像データのフォーマットを指定する情報を入力する装置である。パラメータ設定器13については、後述するが、キーボード、マウスなどの入力装置131と、表示装置132、及びパラメータ設定のためのGUIプログラムで実現することができる。
The parameter setting device 13 is a device for inputting information for specifying the format of the compressed image data created by the
符号化器14は、圧縮画像データ101が入力される入力端子11と、複数の圧縮画像データ1021、1022、1023が出力される複数の出力端子121、122、123を有する。また、符号化器14は、処理装置140、記憶装置141、デコーダ142、動き予測処理装置143、メモリ装置144、複数のエンコーダ145、146、147を有する。符号化装置14は、パーソナルコンピュータなどの情報処理装置がソフトウェアを実行するによって実現される。
The
処理装置140は、符号化器14の各ユニットを制御する。さらに、記憶装置に格納されているデータをもとに処理を行なう。処理装置140は、情報処理装置のCPU、またはエンコーダボードのMPUなどで実現される。
The
記憶装置141は、パラメータ設定器13に接続されていて、パラメータ設定器13から入力されたパラメータを記憶する。記憶装置141は、情報処理装置の主記憶装置で実現することも可能であるが、不揮発性メモリや、ハードディスクで実現することもできる。
The
デコーダ142は、入力端子11に接続し、例えば高圧縮率で圧縮された圧縮画像データ(例えばMPEG−2の画像データ)を復号化処理して非圧縮画像データを生成する。デコーダ142は、圧縮画像データを復号化する際に使用する動きベクトルを、動き予測処理装置143に出力する。動き予測処理装置143は、この動きベクトルを用いて、符号化する場合に必要な動きベクトルを生成する。
The
動き予測処理装置143は、記憶装置141およびデコーダ142と接続する。動き予測処理装置143は、記憶装置141に記憶している複数のパラメータを用いて動き予測をするための基本パラメータを決定する。動き予測処理装置143は、さらに決定した基本パラメータを用いて、デコーダ142からの非圧縮画像データの動き予測処理を行なう。動き予測処理装置142の処理内容については、後述する。
The motion
メモリ装置144は、動き予測処理装置143に接続し、動き予測処理の結果を格納する。動き予測とは、画像上のある点が、予測できる範囲で移動したかどうかを判断する処理である。さらに、エンコーダ145〜147にも接続しており、予測結果を供給する。メモリ装置144は、例えば、情報処理装置の主記憶装置で実現することができる。
The
エンコーダ145〜147は、パラメータ設定器13で指定されたフォーマットでそれぞれ画像データを圧縮する。図1の符号化器14はエンコーダを3つ備える構成としている。エンコーダの数は複数であれば必ずしも3つでなくてもよい。少なくとも二つ以上エンコーダを備えている符号化器が本発明を適用することができる。
The
また、エンコーダ145、146、147は、各々、デコーダ142と記憶装置141とメモリ装置144に接続する。さらに、各エンコーダは、記憶装置141に記憶している複数のパラメータおよびメモリ装置141に格納している動き予測処理の結果を用いて、デコーダ142からの非圧縮画像データを符号化処理して圧縮画像データを生成する。圧縮画像データは、複数の出力端子121、122、123の各々に出力される。
The
図2に、デコーダ142のブロック図を示す。デコーダは、単体のハードウェアとしてデコーダボードによって実現することもできるが、ソフトウェアでの実現も可能である。
FIG. 2 shows a block diagram of the
デコーダ142は、バッファ201、可変長復号器202、逆量子化器203、IDCT器204、動き補償器205、フレームメモリ206を有する。バッファ201は、入力端子11から入力された圧縮画像データを一時保存する。IVLC202は、可変長の圧縮データに対して、可変長復号処理を行いDCT形式の画像データに変換する。IQ203は、逆量子化器で、量子化された符号を逆量子化する。IDCTは、逆離散コサイン係数を用いてデータ列の復元を行なう。動き補償器205は、可変長復号された動き予測ベクトルを用いて動き補償を行なう。フレームメモリ206は、動き補償を行なう対象となるフレームデータを格納しておくものである。
The
デコーダ142での復号処理を図3(1)に示す。まず、バッファ201が入力された圧縮画像データを一時格納する(ステップ301)。IVLC202が可変長復号化処理を実行し(ステップ303)、IQ203が逆量子化処理を実行する(ステップ305)。その後、IDCT器が逆離散コサイン変換処理を実行する(ステップ307)。一方、可変長復号化処理が施された後、動き補償器において、動き予測ベクトルが抽出され、動き補償が行なわれる(ステップ309)。動き補償の結果と、IDCT処理の結果が論理加算され、非圧縮画像データとなる。非圧縮画像データは、その後、エンコーダ145-147に送信される。さらに、動き補償器205は、圧縮データから作成した動きベクトルを動き予測処理装置143に供与する(ステップ311)。
FIG. 3A shows a decoding process in the
図4に、それぞれのエンコーダ145〜147の構成図を示す。エンコーダは、単体のハードウェアとして構成してもよいが、ソフトウェアでの実現も可能である。
FIG. 4 shows a configuration diagram of each of the
図4のエンコーダは、フレームメモリ401、415、DCT器403、量子化器405、VLC器407、バッファ409、逆量子化器411、IDCT器413、動き補償器417を有する。それぞれの機能は、従来のエンコーダの各ユニットと同様であるが、図3のエンコーダは、動き予測器を有しない。図3のエンコーダは、エンコーダ外部の動き予測処理装置143から動きベクトルを取得し、取得した動きベクトルを用いて動き補償等を行なう。
4 includes
図5を用いて、パラメータ設定器13の説明を行なう。パラメータ設定器13において、複数の出力端子121、122、123の各々に出力される複数の圧縮画像データ1021、1022、1023を生成するための複数のパラメータを設定する。複数の圧縮画像データ1021、1022、1023はエンコーダ145、146、147で生成されるが、生成するには、エンコーダ145、146、147ごとに、フレームレートと画像サイズとビットレートを含む複数のパラメータが必要である。これら複数のパラメータをパラメータ設定器13で設定する。
The parameter setting device 13 will be described with reference to FIG. The parameter setting unit 13 sets a plurality of parameters for generating a plurality of
図5に示すのは、表示装置132の画面である。パラメータ設定器13において、図5の設定画面を表示して、オペレータの設定入力を促す。設定画面は、生成する圧縮画像データのフォーマットを設定するフォーマット設定領域1300と、高速圧縮処理での優先度を設定する優先度設定領域1310を有する。なお、説明上、フォーマット設定領域1300は一つしか示していないが、生成したい符号化データの数だけ設定する。
FIG. 5 shows a screen of the
例えば、MPEG4の場合、フォーマットが複数あるため、フォーマット設定領域1300におけるそれぞれのパラメータの選択肢も以下のようになる。画質は、高画質、中画質、租画質の選択肢1301がある。ビットレートの選択肢1303は、5kbpsから38.4Mbpsまでの特定な値が入力できる構成とする。画像サイズには、176画素×120ライン、240画素×176ライン、320画素×240ライン、352画素×240ラインなどの選択肢1305がある。フレームレートの選択肢1307は、例えば、24fps、25fps、29.97fps、50fps、60fps、オペレータによる手入力設定などがある。
For example, in the case of MPEG4, since there are a plurality of formats, options of respective parameters in the
優先度設定領域1310は、エンコーダへ渡すための加工を行なう基準となるパラメータを設定するための領域である。すなわち、動き予測処理装置143が検出する動きベクトル値は一つのみである。この動きベクトル値をそれぞれのエンコーダへ渡す際に、動きベクトルを加工する必要がある。この加工を行なう際に、それぞれのエンコーダが圧縮する画像フォーマットのどのパラメータを基準として選択するかを設定する必要がある。図5の優先度設定領域1310の場合は、画像サイズまたはフレームレートを基準として加工を行なうように設定することができる。
The
なお、設定方法としては、画像のフレームレートが25fpsで、解像度が352画素×240ラインのデータを入力し、画像のサイズのみを変更する場合を検討する。変換が行なわれるフォーマットが、元の画像データと同様の解像度の352画素×240ラインと、176画素×120ラインである場合、一方の動きベクトルを検出してベクトルを縮小または拡大すればよいだけであるので、画像サイズを基準とするほうが有利である。逆に、変更後のフォーマットの画像サイズに関らず、フレームレートが25fpsのものと、50fpsのものである場合、50fpsのものの動きベクトルを検出し、25fps用に2分すればよいので、フレームレートを優先させるほうがよい。 As a setting method, consider a case in which data of a frame rate of 25 fps, a resolution of 352 pixels × 240 lines is input, and only the size of the image is changed. If the format in which the conversion is performed is 352 pixels × 240 lines and 176 pixels × 120 lines having the same resolution as the original image data, it is only necessary to detect one of the motion vectors and reduce or expand the vector. Therefore, it is more advantageous to use the image size as a reference. Conversely, regardless of the image size of the format after the change, when the frame rates are 25 fps and 50 fps, the motion vector of the 50 fps is detected and divided into two for 25 fps. It is better to give priority to the rate.
図5の設定画面を用いて、オペレータが各種パラメータの設定と優先度の設定を行なう。入力は、入力装置133から行なう。例えば、マウスとプルダウンで行なう構成としてもよいし、キーボードからの入力としてもよい。入力されたパラメータや優先度パラメータは、記憶装置141が保持する。
Using the setting screen shown in FIG. 5, the operator sets various parameters and sets priorities. Input is performed from the input device 133. For example, a configuration using a mouse and a pull-down may be used, or an input from a keyboard may be used. The
なお、図5の設定画面と同様の画面を用いて、符号化前の画像データのフォーマットも指定する。すなわち、符号化器14に入力される符号化対象の画像データのフォーマットのパラメータを指定しておく構成とする。入力されたパラメータは、記憶装置141に格納される。
The format of the image data before encoding is also specified using a screen similar to the setting screen of FIG. That is, the configuration is such that the parameter of the format of the image data to be encoded input to the
図6は、動き予測処理装置143の処理を示す図である。動き予測処理装置1143は、記憶装置141が保持している設定パラメータ、設定フレームレート、設定画像サイズ、設定ビットレートを読み込む(ステップ401)。これらの設定パラメータの組は、生成する圧縮画像の数だけ格納されている。読み込んだパラメータの中から、優先度設定判断402で、フレームレート優先か画像サイズ優先かを判断する。パラメータ設定器13で、処理の優先度の設定がされていない場合は、フレームレート優先とする。これは、フォーマット変換において、フレームレートの変更よりも、画像サイズの変更の可能性が高いからである。なお、設定がない場合の優先度の設定も、別途行なえる構成としてもよい。
FIG. 6 is a diagram illustrating processing of the motion
まず、フレームレート優先の場合、最初にフレームレートチェック処理603を実行する。設定フレームレート値の中から、最も大きいものが2つ以上あるかどうかを判断する。最大値に設定されている設定フレームレートが二つ以上ある場合は、その後画像サイズチェック処理604に進む。最大値に設定されている設定フレームレートが一つである場合は、ステップ617に進み、その値をフレームレートの基本パラメータとして、記憶装置641に格納し、画像サイズチェック処理604に戻る。
First, when the frame rate is prioritized, the frame
画像サイズチェック処理604では、設定画像サイズの最も大きいものが同じ値で2つ以上あるかどうかを判断する。複数の設定画像サイズが最大値に設定されている場合は、ビットレートチェック処理605に進む。最大の画像サイズ値となる設定画像サイズが一つしか存在しない場合は、ステップ609に進む。ステップ609では、最大の画像サイズ値を画像サイズの基本パラメータとして、記憶装置141に格納し、ビットレートチェック処理605に進む。
In the image
ビットレートチェック処理604では、設定ビットレートの中で最も大きいものが同じ値で2つ以上あれば、その値をより大きいものを基本パラメータとして決定し、ステップ606に進む。また、最大のビットレート値となる設定ビットレートが一つの場合は、ステップ610に進み、最大値を基本パラメータとして、記憶装置141に格納する。
In the bit
ステップ606では、基本パラメータが設定済みかどうかを判断し、設定済みの場合は、動き予測値加工処理(ステップ619)に進む。未設定の場合は、それぞれのパラメータにおいて、複数存在する最大の設定値を基本パラメータと、記憶装置141に格納する。
In
一方、優先度設定判断602で画像サイズの優先度パラメータを検出した場合は、ステップ611に進む。画像サイズ優先の場合、フレームレート優先の場合に比べ、チェック処理の順序が異なり、まず画像サイズチェック処理611を実行する。 On the other hand, if the priority parameter of the image size is detected in the priority setting determination 602, the process proceeds to step 611. In the case of the image size priority, the order of the check processing is different from the case of the frame rate priority, and the image size check processing 611 is executed first.
画像サイズチェック処理611では、設定された画像サイズのうち、同じ値で最大値となるものが複数存在するかを判断する。複数存在する場合は、フレームレートチェック処理612に進む。最大値となる設定画像サイズが一つの場合は、ステップ615に進む。ステップ615では、その値を基本パラメータとして記憶装置141に格納し、フレームレートチェック処理613に進む。
In the image size check processing 611, it is determined whether or not there are a plurality of set image sizes having the same value and the maximum value. If there are a plurality, the process proceeds to the frame rate check process 612. If there is only one maximum set image size, the process proceeds to step 615. In
フレームレートチェック処理612では、設定されたフレームレートのうち、同じ値で最大値となるものが複数存在するかを判断する。複数存在する場合は、ビットレートチェック処理613に進む。最大値となる設定フレームレートが一つの場合は、ステップ616に進む。ステップ616では、その値をフレームレートの基本パラメータとして記憶装置141に格納し、ビットレートチェック処理613に進む。
In the frame rate check processing 612, it is determined whether or not there are a plurality of set frame rates having the same value and the maximum value. If there are a plurality, the process proceeds to bit
ビットレートチェック処理613では、設定されたビットレートのうち、同じ値で最大値となるものが複数存在するかを判断する。複数存在する場合は、ステップ614に進む。一つのみの場合は、ステップ617に進む。ステップ617では、その値を基本パラメータとして記憶装置141に格納し、ステップ614に進む。
In the bit
ステップ614で基本パラメータの設定を確認する。ステップ614で基本パラメータが設定済みかどうかを判断し、設定済みの場合は、動き予測値加工処理(ステップ619)に進む。未設定の場合は、それぞれのパラメータにおいて、複数存在する最大の設定値を基本パラメータと、記憶装置141に格納する。
At
動き予測値加工処理619では、記憶装置141に格納された各々の基本パラメータを用いて、デコーダ142から読み込んだ動きベクトルを加工する。すなわち、デコーダ142から動き予測処理装置143には、符号化する画像データの動きベクトルが供給されている。画像データ供給総理101から入力された圧縮画像データのフォーマットと、符号化するフォーマットが異なる場合には、もとの動きベクトルを符号化するフォーマットにあわせる加工処理が必要となる。
In the motion
動き予測処理装置の処理結果は、変換後の画像サイズが変換前の画像サイズと同じ場合、特に加工する必要なく流用可能である。画像サイズが異なる場合でも、動き予測結果の拡大/縮小率を考慮することにより、流用可能である。拡大/縮小において、入力となる圧縮画像データ101の画像サイズが、出力となる圧縮画像データ1021〜1023の画像サイズよりも大きい面積の場合、動き予測値も画像サイズ比と同様に縮小処理を施す。また、入力となる圧縮画像データ101の画像サイズが、出力となる圧縮画像データ1021〜1023の画像サイズよりも小さい面積の場合、動き予測値も画像サイズ比と同様に拡大処理を施す。入力となる圧縮画像データ101の画像サイズと、出力となる圧縮画像データ1021〜1023の画像サイズが同じ場合は、動き予測値加工処理608の実行を省略する。
When the image size after conversion is the same as the image size before conversion, the processing result of the motion prediction processing device can be diverted without any particular processing. Even when the image sizes are different, it can be used by considering the enlargement / reduction ratio of the motion prediction result. In the enlargement / reduction, when the image size of the input compressed
フレームレートが変換される場合は、さらに、フレームレート変換にあわせた加工を行なう。すなわち、設定されたフレームレートが元のフレームレートよりも大きい場合は、フレームレートの変換比分の分割を行なう。逆に、設定されたフレームレートが元のフレームレートよりも小さい場合は、フレームレートの変換比で積算し、動きベクトルを長くする。この処理により、一秒あたりのフレーム数の変換にあわせて動きベクトルを変更することができる。 When the frame rate is converted, processing is further performed according to the frame rate conversion. In other words, when the set frame rate is higher than the original frame rate, division by the conversion rate of the frame rate is performed. Conversely, when the set frame rate is lower than the original frame rate, the motion vector is lengthened by accumulating at the frame rate conversion ratio. With this processing, the motion vector can be changed in accordance with the conversion of the number of frames per second.
また、変換時のピクチャパターンは、エンコーダが決定する。フレームレートのみが異なる変換の場合は、変換前のピクチャパターンを踏襲することにより、流用可能な部分が増え、さらに処理時間を短縮可能である。 The picture pattern at the time of conversion is determined by the encoder. In the case of the conversion that differs only in the frame rate, by following the picture pattern before the conversion, the portion that can be used increases, and the processing time can be further reduced.
次に、動きベクトル加工結果書込処理620において、それぞれ変換した動きベクトルを、メモリ装置144に書き込む。メモリ装置144には、それぞれのエンコーダ145〜147にあわせて動きベクトルを格納する領域があり、各エンコーダ145〜147は、格納された動きベクトルを用いて符号化処理を行なう。このように、動きベクトル加工処理619と動きベクトル値加工結果書込み処理620を画像データが終了するまで行う(ステップ621)。
Next, in the motion vector processing
図3(2)は、エンコーダ145、146、147の処理フローチャートを示す図である。各エンコーダの処理は同じであるため、ここでは、エンコーダ145に着目して説明する。エンコーダ145(146、147)は、動き予測処理装置143で、動き予測処理の結果の生成が終了した時点で、デコーダ142からの非圧縮画像データのエンコードすなわち復号化処理を開始する。
FIG. 3B is a diagram illustrating a processing flowchart of the
まず、非圧縮画像データ入力処理300で、デコーダ142からの非圧縮画像データを読み込む。その後動き予測処理結果入力処理302で、メモリ装置144から動き予測処理の結果の情報を読み出す。また変換パラメータ入力処理304で、記憶装置141から、設定した変換パラメータを読み出す。次に、読み込まれた非圧縮画像データと動き予測処理の結果の情報と設定した変換パラメータを入力として、DCT(離散コサイン変換)処理306を実行し、量子化処理308、可変符号化処理310を実行する。このようにして圧縮した圧縮画像データ1021(1022、1023)(例えばMPEG−4画像データ)を生成し出力端子121(122、123)に出力する。
First, in the non-compressed image
図1の符号化器14は多くの構成要素142、143、144、145、146、147で示してあるが、構成要素はハードウェアである必要ではなく、これらの動作をソフトウェアで達成するようにしてもよい。また、変換した動きベクトルは、メモリ装置144に格納する構成としたが、直接動き予測処理装置143から各エンコーダ145〜147に出力する構成としてもよい。その場合は、メモリ装置144は必ずしも必要ではなく、各エンコーダに受信する動きベクトルを一時格納するバッファ領域を持たせる構成とする。
Although the
上記の通り、エンコーダ毎に動き予測を行なわず、エンコーダ145、146、147が使用する動きベクトルを動き予測処理装置が算出する。動き予測処理装置では、利用するひとつの基本パラメータを生成し、生成した基本パラメ−タを用いて動き予測処理を行なう。さらに、算出された動きベクトルを、それぞれのエンコーダが行なう符号処理にあったパラメータに変換する。生成した基本パラメータを生成する場合に、エンコーダでの処理を踏まえて、変換が容易なパラメータを基本パラメータとする。そのために、基本パラメータとして優先させたいパラメータをGUIで指定する。このように、基本パラメータを動き予測の前に指定し、エンコーダ145、146、147はその動き予測処理の結果をそれぞれのフォーマットにあわせた動きベクトルを使用することにより、動き予測処理をエンコーダごとに実施する必要をなくすことができる。さらに、全体の処理時間を短縮することができる。
As described above, the motion prediction processing device calculates the motion vector used by the
また出力圧縮画像データの数が増えるほどエンコーダを増設しなければならないが、その際各エンコーダには動き予測処理を必要としないので、その分内蔵されておらず、エンコーダのコストアップを低減することができる。さらに、動き予測処理ユニットを各エンコーダが有さずに、精密な動き予測と符号化を行なうことができる。 Also, encoders must be added as the number of output compressed image data increases, but at that time, since each encoder does not require motion prediction processing, it is not built-in and the increase in encoder cost is reduced. Can be. Furthermore, precise motion prediction and encoding can be performed without each encoder having a motion prediction processing unit.
上記説明では、入力画像データが圧縮データとして説明を行なった。しかしながら、入力画像データは符号化データでなくてもよい。例えば、デジタルビデオから直接符号化器に非圧縮画像データを出力し、複数のフォーマットで符号化することもある。その場合の符号化器71のブロック図を図7に示す。図7の符号化器は、さらに前述した、変換した動きベクトルを直接エンコーダ145-147に送信する構成とする。
In the above description, the input image data has been described as compressed data. However, the input image data need not be coded data. For example, uncompressed image data may be directly output from a digital video to an encoder and encoded in a plurality of formats. FIG. 7 shows a block diagram of the
図7において、非圧縮画像データを用いて複数のフォーマットに符号化する場合、図1の符号化器14におけるデコーダは不要となる。その代わり、データ供給装置101から受け取った非圧縮画像データを一時保管するためのバッファ701を有する構成とする。さらに、図1の符号化器14では、動きベクトルをデコーダから抽出して流量していた。図7の符号化器71では、動き予測処理装置143が、バッファ701から非圧縮画像データを用いて基準となる動きベクトルを生成する必要がある。
In FIG. 7, when encoding is performed in a plurality of formats using uncompressed image data, the decoder in the
図8に、符号器71における動き予測処理装置143の処理フローを示す。図8において、優先度設定処理801-817の処理は、図6の処理602-618と同様である。図6の処理フローと違う第1の点は、図6における動き予測値読込処理601がない代わりに、動き予測値生成処理818が追加されている点である。これは、図7の符号化器にデコーダがないため、動きベクトルを動き予測処理装置143で生成する必要があるからである。
FIG. 8 shows a processing flow of the motion
従って、図8では、まず、優先度設定処理801-817で設定された各々の基本パラメータを用いて、一つのフォーマットの動きベクトルを設定する。そのフォーマットは、エンコーダ145-147で符号化するフォーマットのいずれか一つと一致する場合もあるが、そうでない場合もある。それは、それぞれのフォーマットに変換するために変換容易なように、基本パラメータを設定するからである。その後、生成された動きベクトルは、動きベクトル加工処理819によって、それぞれのフォーマットに変換される。
Therefore, in FIG. 8, first, a motion vector of one format is set using each basic parameter set in the priority setting processing 801-817. The format may or may not match any one of the formats encoded by the encoders 145-147. This is because the basic parameters are set so that conversion into each format is easy. After that, the generated motion vectors are converted into respective formats by a motion
図8の処理フローと図6との他の相違点は、動きベクトル値加工結果書込処理820の変わりに、動きベクトル値出力処理820がある点である。これは、符号器71がメモリ装置144を持たないため、動きベクトル値を各エンコーダ145-147に出力するためのものである。従って、符号器71が、符号器14と同様にメモリ装置144を有する場合は、図6と同様に、動きベクトル値加工結果書込処理820を行う。
Another difference between the processing flow of FIG. 8 and FIG. 6 is that a motion vector
このように、図7の符号化器71の場合、非圧縮画像データの場合も、算出する動きベクトルのフォーマットを一つ決定する構成によって、複数のフォーマットの圧縮画像データの効率的な生成を可能とすることができる。
As described above, in the case of the
なお、算出するフォーマットを決定する構成において、図1の符号化器では、GUIを用いて優先度を設定する構成としたが、これを自動的に行なう構成とすることも可能である。すなわち、符号器14を実現する情報処理装置において、ソフトウェア処理で優先度設定を行なう構成も可能である。
In the configuration for determining the format to be calculated, in the encoder of FIG. 1, the configuration is such that the priority is set using the GUI, but the configuration may be such that this is automatically performed. That is, in the information processing device that implements the
図9は、優先度設定処理のフローチャートである。この優先度設定処理は、他のパラメータがパラメータ設定器13で設定されたあとに符号化処理を実施する前に行なう構成とする。ただし、パラメータ設定器13において、入力される画像データとエンコーダが生成する圧縮画像データのフォーマットがパラメータ入力により指定された後であればいつでもよく、例えば、動き予測処理装置において、動きベクトルを作成する前に行なう構成としてもよい。 FIG. 9 is a flowchart of the priority setting process. This priority setting process is performed after other parameters are set by the parameter setting device 13 and before the encoding process is performed. However, any time may be used after the format of the input image data and the format of the compressed image data generated by the encoder is specified by the parameter input in the parameter setting unit 13. For example, a motion vector is created in the motion prediction processing device. The configuration may be performed before.
優先度設定処理において、まず、パラメータ設定において、符号化前もしくは符号化後のフォーマットのフレームレートが手入力によって設定されたかどうかを判定する(ステップ901)。これは、MPEG4の場合、フレームレートが所定範囲内であれば自由設定が可能であることによる。手入力の場合は、画像サイズを優先的に処理するものとする(ステップ902)。手入力された場合は、規定のものと異なり、動きベクトルの変更処理が複雑になる場合が多いためである。手入力でない場合は、符号化前もしくは符号化後のフォーマットにおいて、フレームレートのそれぞれの値が、その中の最小値における倍数の関係にあるかいなかを判定する(ステップ903)。倍数には、同一である場合も含まれる。倍数の関係にある場合は、フレームレートを優先的に設定する(ステップ904)。 In the priority setting process, first, it is determined whether or not the frame rate of the format before or after encoding has been manually set in the parameter setting (step 901). This is because, in the case of MPEG4, any setting can be made as long as the frame rate is within a predetermined range. In the case of manual input, the image size is preferentially processed (step 902). This is because, when manually input, unlike the prescribed one, the process of changing the motion vector is often complicated. If it is not a manual input, it is determined whether or not each value of the frame rate in the format before or after encoding is a multiple of the minimum value among them (step 903). The multiple includes the case where they are the same. If there is a multiple, the frame rate is preferentially set (step 904).
各フォーマットにおけるフレームレートのパラメータが倍数の関係にない場合は、符号化前、符号化後の画像サイズが、その中での最小値における倍数の関係にあるかいなかを判定する(ステップ905)。その関係にある場合は、画像サイズを優先的に設定し(ステップ906)、そうでない場合はフレームレートを優先的に設定する(907)。 If the frame rate parameter in each format does not have a multiple relationship, it is determined whether the image size before and after encoding has a multiple relationship with the minimum value among them (step 905). If so, the image size is set preferentially (step 906); otherwise, the frame rate is set preferentially (907).
図9の処理により、不慣れなオペレータが処理する場合にも、優先度の設定を円滑に行なうことが可能となる。なお、図9では、フレームレートが優先的に設定される構成となっている。これは、フレームレートの自由度が少なく、入力される画像のフレームレートから変更される可能性も少ないからである。他方、画像サイズの変更の方がフレームレートの変更に比べて多いケースもある。そのようなケースの場合は、図9においてフレームレートと画像サイズを置き換えて、画像サイズを優先的に設定する構成としてもよい。 According to the processing in FIG. 9, it is possible to smoothly set the priority even when an unskilled operator performs processing. In FIG. 9, the frame rate is set with priority. This is because the degree of freedom of the frame rate is small, and there is little possibility that the frame rate is changed from the frame rate of the input image. On the other hand, there are cases where the change in the image size is larger than the change in the frame rate. In such a case, the frame rate and the image size may be replaced in FIG. 9 and the image size may be preferentially set.
11:入力端子、121,122,123:出力端子、13:パラメータ設定器、14:符号化器、141:記憶装置、142:デコーダ、143:動き予測処理装置、144:メモリ装置、145,146,147:エンコーダ、101,1021,1922,1023:圧縮画像データ。
11: input terminal, 121, 122, 123: output terminal, 13: parameter setting device, 14: encoder, 141: storage device, 142: decoder, 143: motion prediction processing device, 144: memory device, 145, 146 , 147: encoder, 101, 1021, 1922, 1023: compressed image data.
Claims (8)
符号化する画像データを入力する入力端子と、
それぞれ異なるフォーマットの符号化画像データを生成する複数のエンコーダと、
前記エンコーダで生成された複数の符号化画像データを出力する出力端子と、
前記エンコーダで符号化する画像データのフォーマットのそれぞれを複数のパラメータを設定入力する入力装置と、
入力された複数のパラメータから一組の基本パラメータを決定する処理装置と、
前記一組の基本パラメータを用いて動きベクトルを算出し前記動きベクトルを用いて前記複数のエンコーダが使用する動きベクトルを出力する動き予測処理器を有することを特徴とする符号化装置。 An encoding device that generates encoded data of a plurality of formats,
An input terminal for inputting image data to be encoded;
A plurality of encoders for respectively generating encoded image data of different formats,
An output terminal for outputting a plurality of encoded image data generated by the encoder,
An input device for setting and inputting a plurality of parameters for each of the formats of image data to be encoded by the encoder,
A processing device for determining a set of basic parameters from a plurality of input parameters;
An encoding apparatus comprising: a motion prediction processor that calculates a motion vector using the set of basic parameters and outputs a motion vector used by the plurality of encoders using the motion vector.
複数のフォーマットの符号化データを生成する符号化装置前記処理器は、前記動き予測処理器に内蔵されることを特徴とする符号化装置。 An encoding device for generating encoded data of a plurality of formats according to claim 1,
An encoding device for generating encoded data in a plurality of formats, wherein the processor is built in the motion prediction processor.
前記複数のパラメータのうちパラメータの処理優先度を入力するための設定画面を表示する表示装置をさらに有することを特徴とする符号化装置。 An encoding apparatus for generating encoded data in a plurality of formats according to claim 2,
An encoding device, further comprising a display device for displaying a setting screen for inputting a processing priority of a parameter among the plurality of parameters.
前記処理装置は、記複数のパラメータのうちパラメータの処理優先度をさらに決定することを特徴とする符号化装置。 An encoding apparatus for generating encoded data in a plurality of formats according to claim 2,
The encoding device, wherein the processing device further determines a processing priority of the parameter among the plurality of parameters.
前記入力端子から入力される符号化データを復号化するデコーダをさらに有することを特徴とする符号化装置。 An encoding apparatus for generating encoded data in a plurality of formats according to claim 2,
An encoding device further comprising a decoder for decoding encoded data input from the input terminal.
前記複数のパラメータは、画像サイズとフレームレートを含むことを特徴とする符号化装置。 An encoding apparatus for generating encoded data in a plurality of formats according to claim 2,
The encoding device according to claim 1, wherein the plurality of parameters include an image size and a frame rate.
8. The encoding apparatus according to claim 7, wherein the processor determines the image size and the maximum input value of the frame rate as basic parameters.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003384484A JP2004208280A (en) | 2002-12-09 | 2003-11-14 | Encoding apparatus and encoding method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356451 | 2002-12-09 | ||
JP2003384484A JP2004208280A (en) | 2002-12-09 | 2003-11-14 | Encoding apparatus and encoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004208280A true JP2004208280A (en) | 2004-07-22 |
Family
ID=32828501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003384484A Pending JP2004208280A (en) | 2002-12-09 | 2003-11-14 | Encoding apparatus and encoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004208280A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007515677A (en) * | 2003-12-10 | 2007-06-14 | フランス テレコム | Optimized composite coding method |
-
2003
- 2003-11-14 JP JP2003384484A patent/JP2004208280A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007515677A (en) * | 2003-12-10 | 2007-06-14 | フランス テレコム | Optimized composite coding method |
JP4879748B2 (en) * | 2003-12-10 | 2012-02-22 | フランス・テレコム | Optimized composite coding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7224731B2 (en) | Motion estimation/compensation for screen capture video | |
US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
US6934334B2 (en) | Method of transcoding encoded video data and apparatus which transcodes encoded video data | |
US8879627B2 (en) | Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, moving image encoding program, moving image decoding program, and moving image encoding/ decoding system | |
JP4682102B2 (en) | Image coding apparatus and image coding method | |
CN101164336B (en) | Video information recording device and video information recording method | |
US9554145B2 (en) | Re-encoding image sets using frequency-domain differences | |
JP5173990B2 (en) | Encoding method, encoding apparatus, decoding method, and decoder | |
JP2012508485A (en) | Software video transcoder with GPU acceleration | |
US20230308663A1 (en) | Device and method of video decoding with first and second decoding code | |
JPWO2006098226A1 (en) | Encoding device and moving image recording system provided with encoding device | |
JP2009290498A (en) | Image encoder and image encoding method | |
US11849124B2 (en) | Device and method of video encoding with first and second encoding code | |
US8086056B2 (en) | Encoding device and method, decoding device and method, and program | |
JP2023063113A (en) | Encoding device and method, and electronic apparatus | |
JP3846487B2 (en) | Image data compression apparatus, encoder, electronic device, and image data compression method | |
US20040131122A1 (en) | Encoding device and encoding method | |
JP2004208280A (en) | Encoding apparatus and encoding method | |
US8428116B2 (en) | Moving picture encoding device, method, program, and moving picture decoding device, method, and program | |
JP4514666B2 (en) | Video encoding device | |
JP2007067694A (en) | Apparatus and method for encoding image, camera, and portable terminal equipment | |
JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
JP7008425B2 (en) | Image processing device, image processing method, and program | |
KR20020080725A (en) | Video storage device for digital camera and method thereof | |
JP2005123737A (en) | Image coding method and image coding apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050915 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090120 |