JPWO2006033227A1 - 画像符号化装置 - Google Patents
画像符号化装置 Download PDFInfo
- Publication number
- JPWO2006033227A1 JPWO2006033227A1 JP2006536334A JP2006536334A JPWO2006033227A1 JP WO2006033227 A1 JPWO2006033227 A1 JP WO2006033227A1 JP 2006536334 A JP2006536334 A JP 2006536334A JP 2006536334 A JP2006536334 A JP 2006536334A JP WO2006033227 A1 JPWO2006033227 A1 JP WO2006033227A1
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- processing method
- image
- unit
- motion prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 claims abstract description 492
- 238000000034 method Methods 0.000 claims abstract description 332
- 238000012545 processing Methods 0.000 claims abstract description 308
- 230000008569 process Effects 0.000 claims abstract description 290
- 238000004364 calculation method Methods 0.000 claims abstract description 94
- 230000007423 decrease Effects 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000013139 quantization Methods 0.000 claims description 136
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 52
- 230000015654 memory Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
複数の動画を圧縮符号化する画像符号化装置（１００）は、任意の本数の動画入力に対応し、符号化対象の動画の本数を取得する本数取得部（１１０）と、符号化対象の１又は複数の動画を取得する動画取得部（１２０）と、符号化処理の演算量に影響を与える符号化処理の処理方式、例えば参照画像フレーム数上限、動きベクトル探索範囲等に係る処理方式を、本数取得部（１１０）により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定部（１３０）と、動画取得部（１２０）により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化部（１４０）とを備え、符号化部（１４０）は、処理方式特定部（１３０）により特定された処理方式で符号化処理を行う。
Description
本発明は、動画の圧縮符号化技術に関し、特に、複数の動画を圧縮符号化する画像符号化装置に関する。
従来、動画を伝送する際又は記録媒体に記録する際に用いられる圧縮符号化（以下、単に「符号化」という。）の規格として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格、例えばＭＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１８８１８−２）、ＭＰＥＧ４ビジュアル規格（ＩＳＯ／ＩＥＣ１４４９６−２）或いはＭＰＥＧ４ＡＶＣ規格（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＩＳＯ１４４９６−１０）が知られている。そして、これらの規格に従って符号化を行う画像符号化装置が開発されている。
また、複数の動画を並行して符号化してネットワーク伝送する画像符号化装置として、周波数変換器、量子化器、可変長符号化器等の符号化処理手段を複数系統有して、ネットワーク伝送上の要請から、符号化後の各動画の出力ビットレートを制御し総合的なビットレートを一定に保つ画像符号化装置が提案されている（日本国の特許文献１参照）。
この従来の、複数の動画を並行して符号化する画像符号化装置は、入力される動画を、周波数変換器で空間領域から周波数領域に変換し、更に量子化器で量子化係数に応じた量子化を施し、そして可変長符号化器で可変長符号に変換して出力するものであり、入力される第１動画及び第２動画の各複雑度を合計した値に応じて量子化係数を決定して、量子化を行うことで出力ビットレートを制御するものである。
特表平９−５１２４１７号公報
この従来の、複数の動画を並行して符号化する画像符号化装置は、入力される動画を、周波数変換器で空間領域から周波数領域に変換し、更に量子化器で量子化係数に応じた量子化を施し、そして可変長符号化器で可変長符号に変換して出力するものであり、入力される第１動画及び第２動画の各複雑度を合計した値に応じて量子化係数を決定して、量子化を行うことで出力ビットレートを制御するものである。
上述した従来の複数の動画を並行して符号化する画像符号化装置は、入力される動画の本数分の個数の符号化手段を有するため、入力される動画の本数が一定であるような利用形態に適したものである。
ところで、画像符号化装置の利用形態として、入力される動画の本数が一定とは限らないような利用形態もあり得る。例えば、画像符号化装置が、テレビ放送受信機器等に内蔵され、複数チャネルで放送される動画のうち、ユーザが任意に選択した何本かの動画を並行して受信して、各動画について符号化処理を行って光ディスク等の記録媒体に圧縮保存するような、画像符号化装置の利用形態が想定される。
ところで、画像符号化装置の利用形態として、入力される動画の本数が一定とは限らないような利用形態もあり得る。例えば、画像符号化装置が、テレビ放送受信機器等に内蔵され、複数チャネルで放送される動画のうち、ユーザが任意に選択した何本かの動画を並行して受信して、各動画について符号化処理を行って光ディスク等の記録媒体に圧縮保存するような、画像符号化装置の利用形態が想定される。
このように入力される動画の本数が一定とは限らない利用形態に対応するために、上述の従来の画像符号化装置では、入力を許容する動画の最大本数分の個数の符号化手段を予め内蔵しておくことになる。しかしながら、もしユーザがその最大本数より少ない本数の動画を入力した場合には、いくつかの符号化手段は利用されず余分なものとなる。このことは、画像符号化装置を構成する内部回路の効率的利用という観点から、好ましいことではない。
そこで、本発明は、かかる問題に鑑みてなされたものであり、有限数の符号化手段を有効活用して、任意の本数の動画の入力に対応して符号化処理を行う画像符号化装置を提供することを目的とする。
上記課題を解決するために、本発明に係る画像符号化装置は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定手段と、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備え、前記符号化手段は、前記符号化処理の一部として、前記動き予測処理方式特定手段により特定された処理方式で動き予測処理を行う動き予測部を有することを特徴とする。
ここで、演算量は、符号化処理を担う回路については、１本の動画あたりに要する符号化処理の処理量を意味し、演算量が多いということは処理完了までに時間がかかるということを意味する。
また、符号化処理を担う回路がソフトウェアを実行するプロセッサにより符号化処理を実現する場合においては、演算量は、その符号化処理を実現するための演算命令の命令数或いは命令実行時間を意味する。
また、符号化処理を担う回路がソフトウェアを実行するプロセッサにより符号化処理を実現する場合においては、演算量は、その符号化処理を実現するための演算命令の命令数或いは命令実行時間を意味する。
上述の構成によって、本発明に係る画像符号化装置は、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整することにより、符号化手段を有効活用して、任意の本数の動画の入力に対応した符号化処理を行うことができるようになる。
即ち、本発明に係る画像符号化装置は、符号化すべき動画の本数が多い場合に動画１本あたりの動き予測処理に要する演算量を少なくさせるため、例えば１本の動画を符号化するのに要する演算量と、複数本の動画を符号化するのに要する合計の演算量をある程度同等レベルの範囲内に抑え得る。なお、動き予測処理は、実用上は符号化処理において他の処理に比べて高い演算量を要するものであり、動き予測処理の演算量を抑えることは符号化処理の演算量を抑えることに大きく影響する。
即ち、本発明に係る画像符号化装置は、符号化すべき動画の本数が多い場合に動画１本あたりの動き予測処理に要する演算量を少なくさせるため、例えば１本の動画を符号化するのに要する演算量と、複数本の動画を符号化するのに要する合計の演算量をある程度同等レベルの範囲内に抑え得る。なお、動き予測処理は、実用上は符号化処理において他の処理に比べて高い演算量を要するものであり、動き予測処理の演算量を抑えることは符号化処理の演算量を抑えることに大きく影響する。
従って、この画像符号化装置は、演算量の抑制の関係上、圧縮率或いは画質を悪化させる可能性はないとは言えないものの、装置コストを特段増大させることなく、符号化対象の動画の本数が何本であっても、同時に符号化を行うことができ、ある程度同じ時間で全動画の符号化を終えることができる可能性をもつという有用な効果を奏する。なお、画質の悪化を防止する方法としては、符号化処理における量子化処理に係る量子化ステップサイズを小さくする方法等を採用することができる。
また、前記動き予測処理方式特定手段は、各本数値と動き予測処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて動き予測処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記動き予測部に伝達することにより、動き予測処理の処理方式を特定し、前記動き予測部は、前記動き予測処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で動き予測処理を行うこととしてもよい。
これにより、実験等により予め適切に調整されたテーブルを用いて動き予測処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて動き予測処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての動き予測処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像フレーム数の上限値に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて参照画像フレーム数の上限値を小さくするように特定し、前記動き予測部は、動き予測処理過程で、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での参照画像フレーム数の上限値を超えない数の参照画像フレームから動きベクトルの探索を行うこととしてもよい。
なお、動画は複数の画像フレームから構成されており、動き予測処理は、各画像フレーム内を区分した各処理対象ブロックに対して、参照画像フレーム中の類似度の高い参照画像ブロックを探索してその参照画像ブロックの位置を指す動きベクトルを求め、処理対象ブロックと参照画像ブロックとの画像データの差分である差分データを求める処理であり、求められたデータは動き予測処理に後続する符号化処理工程において利用される。
従って、本発明に係る画像符号化装置は、符号化対象の動画の本数が多い場合には、動画それぞれに対する動き予測処理において、参照ブロックの所在する参照画像フレーム数をよる少なく限定することにより、画像フレーム内の各処理対象ブロックと類似度の高い参照ブロックを探索することに要する演算量を削減するので、この結果として画像符号化装置の有限の演算処理能力を有効活用し、任意の本数の動画を同時に符号化することができるようになる。
また、前記動き予測処理方式特定手段は、動き予測処理における動きベクトルの探索範囲に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索範囲が狭くなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、参照画像フレーム中の、前記動き予測処理方式特定手段により特定された処理方式での探索範囲内の中から、当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックの探索範囲を狭くするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像ブロックの各種形状パターンに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて形状パターン数が少なくなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での各種形状パターンを用いて、参照画像フレーム中の参照ブロックを探索して当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像ブロックの各種形状パターンに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて形状パターン数が少なくなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での各種形状パターンを用いて、参照画像フレーム中の参照ブロックを探索して当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックを探索する際に用いる照合用の形状パターン数を少なくするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記動き予測処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、動き予測処理の処理方式の特定を行うこととしてもよい。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記動き予測処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、動き予測処理の処理方式の特定を行うこととしてもよい。
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて動き予測処理の処理方式を新たに特定してその処理方式で動き予測処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記動き予測処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように動き予測処理の処理方式を特定することとしてもよい。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記動き予測処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように動き予測処理の処理方式を特定することとしてもよい。
また、前記決定手段は、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理における動き予測処理の処理方式を、実行を依頼する符号化処理の対象となる動画の本数とともに決定し、前記送信手段は、更に、前記決定手段により決定された動き予測処理の処理方式を示す情報を前記外部装置に送信することとしてもよい。
これらにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
これらにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
また、前記画像符号化装置は、更に、前記本数取得手段により取得された本数に応じて、量子化ステップサイズを、本数が多くなるにつれて量子化ステップサイズが小さくなるように特定する量子化ステップサイズ特定手段を備え、前記符号化手段は、動き予測処理の結果として得られる差分データを、前記量子化ステップサイズ特定手段により特定された量子化ステップサイズで量子化する量子化部を有することとしてもよい。
これにより、符号化対象の動画の本数が多くなるにつれて動画それぞれに対する動き予測処理の演算量を抑制することにより起こり得る画質劣化を、符号化処理における量子化処理に係る量子化ステップサイズを小さくすることによる画質向上により補間し得るようになる。
また、本発明に係る画像符号化装置は、動画を圧縮するために符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定手段と、前記処理方式特定手段により特定された処理方式で、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備えることを特徴とする。
また、本発明に係る画像符号化装置は、動画を圧縮するために符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定手段と、前記処理方式特定手段により特定された処理方式で、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備えることを特徴とする。
この本発明に係る画像符号化装置によれば、並行して符号化すべき動画の本数に応じて、各動画についての符号化処理に要する演算量を調整するので、符号化手段を有効活用して、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、各本数値と符号化処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて符号化処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記符号化手段に伝達することにより、符号化処理の処理方式を特定し、前記符号化手段は、前記処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で符号化処理を行うこととしてもよい。
また、前記処理方式特定手段は、各本数値と符号化処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて符号化処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記符号化手段に伝達することにより、符号化処理の処理方式を特定し、前記符号化手段は、前記処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で符号化処理を行うこととしてもよい。
これにより、実験等により予め適切に調整されたテーブルを用いて符号化処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて符号化処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての符号化処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
また、前記符号化手段は、前記符号化処理の一部として、処理対象の動画中の一部又は全部の画像フレームについて画像フレーム内符号化処理を行うイントラ符号化部を有し、前記処理方式特定手段は、画像フレーム内符号化における予測値を探索する方向に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索する方向の数を小さくするように特定し、前記イントラ符号化部は、画像フレーム内の各処理対象ブロックについて、前記処理方式特定手段により特定された処理方式での予測値を探索する方向のそれぞれに沿って、処理対象ブロックの画像データと最も似ている予測値を探索することとしてもよい。
ここで、画像フレーム内符号化処理は、処理対象ブロックと同じ画像フレーム内の所定方向のブロックに基づいて算出した予測値のうち処理対象ブロックの画像データに最も似ている予測値を探索して探索結果の予測値と処理対象ブロックの画像データとの差である差分データを求めるイントラ符号化処理であり、求められたデータはイントラ符号化処理に後続する符号化処理工程において利用される。
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対するイントラ符号化処理において、予測値を算出するための計算対象範囲が少なくなるので演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、画像フレーム間符号化を用いるか否かに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば画像フレーム間符号化を用い当該本数が所定数以上であれば画像フレーム間符号化を用いないように特定し、前記符号化手段は、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いるという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化及び画像フレーム内符号化を行い、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いないという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化を行わず画像フレーム内符号化を行うこととしてもよい。
また、前記処理方式特定手段は、画像フレーム間符号化を用いるか否かに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば画像フレーム間符号化を用い当該本数が所定数以上であれば画像フレーム間符号化を用いないように特定し、前記符号化手段は、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いるという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化及び画像フレーム内符号化を行い、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いないという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化を行わず画像フレーム内符号化を行うこととしてもよい。
これにより、本数が多い場合に画像フレーム内符号化のみが行われることになるため、演算量が削減でき、任意の本数の動画を同時に符号化することができるようになる。
また、前記符号化手段は、前記符号化処理の一部として可変長符号化処理を行う可変長符号化部を有し、前記処理方式特定手段は、可変長符号化に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば算出符号化を用い当該本数が所定数以上であれば算術符号化を用いないように特定し、前記可変長符号化部は、前記処理方式特定手段により特定された処理方式が算術符号化を用いるという処理方式であれば算術符号化による可変長符号化を行い、前記処理方式特定手段により特定された処理方式が算術符号化を用いないという処理方式であれば、算術符号化を行わず、予め定められた符号語に係る対照テーブルに基づいて可変長符号化を行うこととしてもよい。
また、前記符号化手段は、前記符号化処理の一部として可変長符号化処理を行う可変長符号化部を有し、前記処理方式特定手段は、可変長符号化に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば算出符号化を用い当該本数が所定数以上であれば算術符号化を用いないように特定し、前記可変長符号化部は、前記処理方式特定手段により特定された処理方式が算術符号化を用いるという処理方式であれば算術符号化による可変長符号化を行い、前記処理方式特定手段により特定された処理方式が算術符号化を用いないという処理方式であれば、算術符号化を行わず、予め定められた符号語に係る対照テーブルに基づいて可変長符号化を行うこととしてもよい。
これにより、本数が多い場合に一般に演算量が高いとされる算術符号化を用いないでテーブルに基づき可変長符号化を行うため演算量が削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記処理方式特定手段は、前記本数得手段により動画の本数が取得された度に、符号化処理の処理方式の特定を行うこととしてもよい。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記処理方式特定手段は、前記本数得手段により動画の本数が取得された度に、符号化処理の処理方式の特定を行うこととしてもよい。
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて符号化処理の処理方式を新たに特定してその処理方式で符号化処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように符号化処理の処理方式を特定することとしてもよい。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように符号化処理の処理方式を特定することとしてもよい。
これにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
また、前記画像符号化装置は、更に、要求される画質を示す画質情報を取得する画質情報取得手段を備え、前記処理方式特定手段は、符号化処理の処理方式を、前記本数取得手段により取得された本数及び前記画質情報取得手段により取得された画質情報に応じて特定することとしてもよい。
また、前記画像符号化装置は、更に、要求される画質を示す画質情報を取得する画質情報取得手段を備え、前記処理方式特定手段は、符号化処理の処理方式を、前記本数取得手段により取得された本数及び前記画質情報取得手段により取得された画質情報に応じて特定することとしてもよい。
例えば、要求される画質が高い場合には量子化ステップサイズを小さくして要求に応える等を行うことになるため、要求される画質に応じた符号化が可能になる。
また、前記画像符号化装置は、更に、前記符号化手段と一部の回路を共用して、圧縮された動画を復号する復号手段を備え、前記処理方式特定手段は、更に、復号手段により復号される動画の量に応じて、復号される動画の量が多くなるにつれて演算量が少なくなるように前記符号化処理の処理方式を特定することとしてもよい。
また、前記画像符号化装置は、更に、前記符号化手段と一部の回路を共用して、圧縮された動画を復号する復号手段を備え、前記処理方式特定手段は、更に、復号手段により復号される動画の量に応じて、復号される動画の量が多くなるにつれて演算量が少なくなるように前記符号化処理の処理方式を特定することとしてもよい。
これにより、動画の復号に並行して任意の本数の動画の符号化を行うことができるようになる。
また、本発明に係る画像符号化方法は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含むことを特徴とする。
また、本発明に係る画像符号化方法は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含むことを特徴とする。
また、本発明に係る画像符号化方法は、動画を圧縮するために符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定ステップと、前記処理方式特定ステップにより特定された処理方式で、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含むことを特徴とする。
これらの画像符号化方法によれば、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整するので、任意の本数の動画をある程度一定範囲の演算量の演算処理によって符号化することができるようになる。
１００、２００、３００、４００ 画像符号化装置
１１０ 本数取得部
１２０ 動画取得部
１３０、２３０ 処理方式特定部
１３１ 動き予測処理方式特定部
１３２ イントラ符号化処理方式特定部
１３３、２３３ 量子化ステップサイズ特定部
１３４ 可変長符号化処理方式特定部
１４０ 符号化部
１４１ 動画選択部
１４２ 動き予測部
１４３ イントラ符号化部
１４４ 周波数変換部
１４５ 量子化部
１４６ 可変長符号化部
１４７ 出力部
１５０ 記録媒体
２１１ 画質取得部
３０１、４０２ 処理量管理部
１１０ 本数取得部
１２０ 動画取得部
１３０、２３０ 処理方式特定部
１３１ 動き予測処理方式特定部
１３２ イントラ符号化処理方式特定部
１３３、２３３ 量子化ステップサイズ特定部
１３４ 可変長符号化処理方式特定部
１４０ 符号化部
１４１ 動画選択部
１４２ 動き予測部
１４３ イントラ符号化部
１４４ 周波数変換部
１４５ 量子化部
１４６ 可変長符号化部
１４７ 出力部
１５０ 記録媒体
２１１ 画質取得部
３０１、４０２ 処理量管理部
＜実施形態１＞
以下、本発明の実施形態１に係る画像符号化装置１００について説明する。
＜構成＞
図１は、本発明の実施形態１に係る画像符号化装置１００の構成図である。
画像符号化装置１００は、同図に示すように、本数取得部１１０、動画取得部１２０、処理方式特定部１３０及び符号化部１４０を備える。
以下、本発明の実施形態１に係る画像符号化装置１００について説明する。
＜構成＞
図１は、本発明の実施形態１に係る画像符号化装置１００の構成図である。
画像符号化装置１００は、同図に示すように、本数取得部１１０、動画取得部１２０、処理方式特定部１３０及び符号化部１４０を備える。
なお、同図には、動画について画像符号化装置１００が符号化処理を施して出力したデータを蓄積するための光ディスク等の記録媒体１５０をも示している。また、ここでは、動画は、その再生時に表示される画像内容を表現している画像フレームを含む動画データをも示す用語として用いる。
ここで、本数取得部１１０は、画像符号化装置１００の外部から符号化対象となる動画の本数の入力を受け付けて処理方式特定部１３０に伝達する入力インタフェースである。
ここで、本数取得部１１０は、画像符号化装置１００の外部から符号化対象となる動画の本数の入力を受け付けて処理方式特定部１３０に伝達する入力インタフェースである。
動画取得部１２０は、動画の入力インタフェースであり、動画を構成する所定数の画像フレームを格納可能な容量の第１バッファ、第２バッファ、・・・、第Ｎバッファという複数のバッファメモリを有しており、画像符号化装置１００の外部から符号化対象となる１又は複数の動画の入力を受け付けて各動画を内部の各バッファメモリに格納する機能を担う。なお、動画は、いわゆるストリームデータであるため、動画の総データ量が多い場合には、画像符号化装置１００によりその一部の符号化が行われている間においても動画取得部１２０により、継続的に取得される。
処理方式特定部１３０は、メモリ及びプロセッサにより実現され、機能的構成要素として、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部１３３及び可変長符号化処理方式特定部１３４を有し、本数取得部１１０から伝達された本数に応じて符号化部１４０における符号化処理の処理方式を特定し、その処理方式を示すパラメータを符号化部１４０に伝達する機能を有する。
また、符号化部１４０は、メモリ、符号化処理の各部分を担う各回路群、及び各回路群を制御する制御プロセッサにより実現され、動画選択部１４１、動き予測部１４２、イントラ符号化部１４３、周波数変換部１４４、量子化部１４５、可変長符号化部１４６及び出力部１４７を有し、動画取得部１２０のバッファメモリから動画を読み出して符号化して記録媒体１５０に記録する機能を有する。ここでは、この符号化は、ＭＰＥＧ４ＡＶＣ規格に準拠して行われるものとして説明する。
処理方式特定部１３０の動き予測処理方式特定部１３１は、メモリの一領域である動き予測処理方式テーブルを有し、動き予測処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、動き予測部１４２によりなされる動き予測処理の処理方式を特定する機能を有する。なお、動き予測方式テーブルについては後に詳しく説明する。
イントラ符号化処理方式特定部１３２は、メモリの一領域であるイントラ符号化処理方式テーブルを有し、イントラ符号化処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、イントラ符号化部１４３によりなされるイントラ符号化処理の処理方式を特定する機能を有する。なお、イントラ符号化方式テーブルについては後に詳しく説明する。
イントラ符号化処理方式特定部１３２は、メモリの一領域であるイントラ符号化処理方式テーブルを有し、イントラ符号化処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、イントラ符号化部１４３によりなされるイントラ符号化処理の処理方式を特定する機能を有する。なお、イントラ符号化方式テーブルについては後に詳しく説明する。
量子化ステップサイズ特定部１３３は、本数取得部１１０から伝達される本数に基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算であり、かつ、本数が１の場合には従来の実用的な画像符号化装置と同等程度の量子化ステップサイズとなるように定められた演算である。
可変長符号化処理方式特定部１３４は、本数取得部１１０から伝達される本数に基づいて、可変長符号化の処理方式を特定する機能を有する。
この機能は、具体的には、可変長符号化すべき事象の統計量を想定して予め設けられた事象と符号語との対照テーブルに基づいて符号化を行う方式を用いるか、さらに圧縮率を高めるために符号化を行う際に過去の事象発生確率に基づく算術演算により動的に符号語を決定しつつ符号化を行う算術符号化と呼ばれる方式を用いるかを特定する機能である。
この機能は、具体的には、可変長符号化すべき事象の統計量を想定して予め設けられた事象と符号語との対照テーブルに基づいて符号化を行う方式を用いるか、さらに圧縮率を高めるために符号化を行う際に過去の事象発生確率に基づく算術演算により動的に符号語を決定しつつ符号化を行う算術符号化と呼ばれる方式を用いるかを特定する機能である。
また、符号化部１４０の動画選択部１４１は、処理方式特定部１３０を介して符号化対象の動画の本数を取得し、その本数に応じて動画取得部１２０のその本数分のバッファメモリから所定時間毎に巡回的に動画を読み出して、各動画はデジタル化された画像フレームが連続してなるものとして、各動画を構成する画像フレーム群を動き予測部１４２或いはイントラ符号化部１４３に伝送することで、各動画について時分割で符号化処理を開始させる機能を有する回路である。
この時分割処理は、例えば、動画が２本である場合においては、動画選択部１４１が、画像フレーム毎に交互にバッファメモリから読み出す動画を切り換えて、逐次、いわゆるマクロブロック単位等、所定サイズのブロック単位で、動き予測部１４２或いはイントラ符号化部１４３に伝送することにより実現される。
動き予測部１４２は、各動画についての動画取得部１２０のバッファメモリにアクセス可能であり、動き予測処理方式特定部１３１から、特定された動き予測処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームに対して所定サイズのブロック単位で動き予測処理を実行する機能を有する回路である。
動き予測部１４２は、各動画についての動画取得部１２０のバッファメモリにアクセス可能であり、動き予測処理方式特定部１３１から、特定された動き予測処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームに対して所定サイズのブロック単位で動き予測処理を実行する機能を有する回路である。
動き予測処理は、いわゆる画像フレーム間符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロック（以下、「処理対象ブロック」という。）に類似度の高い他の画像フレーム内のブロック（以下、「参照ブロック」という。）を探索しその参照ブロックの位置を指し示す動きベクトルを算定するとともに、その処理対象ブロックと探索結果の参照ブロックとの画像データの差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。ここで、処理対象ブロックと参照ブロックの画像データの類似度が高いとは、両ブロックの画像データの分布傾向が似ていることであり、両ブロックの画像データが一致する場合に最も類似度は高い。
イントラ符号化部１４３は、イントラ符号化処理方式特定部１３２から、特定されたイントラ符号化処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームについて、その画像フレーム内の所定サイズのブロック単位でイントラ符号化処理を実行する機能を有する回路である。
イントラ符号化処理は、いわゆる画像フレーム内符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロックの画像データと、同じ画像フレーム周辺の予め定められているいくつかの方向のブロックに基づく予測値とが最も似ているものとなる予測値を探索し、その画像データと予測値との差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。
イントラ符号化処理は、いわゆる画像フレーム内符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロックの画像データと、同じ画像フレーム周辺の予め定められているいくつかの方向のブロックに基づく予測値とが最も似ているものとなる予測値を探索し、その画像データと予測値との差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。
周波数変換部１４４は、動き予測部１４２或いはイントラ符号化部１４３から伝達された差分データについて、空間的な冗長度を除くことにより差分データを構成する数値を小さいものに抑えるべく直交変換を施して、直交変換の結果を量子化部１４５に伝達する機能を有する回路である。
量子化部１４５は、周波数変換部１４４により直交変換された後の差分データを取得して、この差分データを構成する数値を更に小さいものに抑えるべく、その各数値を量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで除算した結果を整数値に丸める量子化を施して、量子化の結果を可変長符号化部１４６に伝達する機能を有する回路である。
量子化部１４５は、周波数変換部１４４により直交変換された後の差分データを取得して、この差分データを構成する数値を更に小さいものに抑えるべく、その各数値を量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで除算した結果を整数値に丸める量子化を施して、量子化の結果を可変長符号化部１４６に伝達する機能を有する回路である。
可変長符号化部１４６は、量子化部１４５により量子化を施された結果のデータを取得して、出現頻度が高い情報ほど短い符号で表現することで更にデータ量を圧縮すべく、取得したデータに、可変長符号化処理方式特定部１３４により特定された処理方式で可変長符号化を施して、その結果を出力部１４７に伝達する機能を有する回路である。
出力部１４７は、可変長符号化部１４６から伝達された符号化後のデータを、動画毎に区別して記録媒体１５０に記録する機能を有する回路である。
出力部１４７は、可変長符号化部１４６から伝達された符号化後のデータを、動画毎に区別して記録媒体１５０に記録する機能を有する回路である。
＜データ＞
以下、処理方式特定部１３０において記憶されているテーブルデータについて説明する。
図２は、動き予測処理方式テーブルの構成及び内容例を示す図である。
動き予測処理方式特定部１３１が有する動き予測処理方式テーブルは、同図に示すように、動画本数５１と、参照画像フレーム数上限５２、参照画像ブロック探索範囲５３、探索パターン５４等とを対応付けたテーブルである。なお、動画本数５１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
以下、処理方式特定部１３０において記憶されているテーブルデータについて説明する。
図２は、動き予測処理方式テーブルの構成及び内容例を示す図である。
動き予測処理方式特定部１３１が有する動き予測処理方式テーブルは、同図に示すように、動画本数５１と、参照画像フレーム数上限５２、参照画像ブロック探索範囲５３、探索パターン５４等とを対応付けたテーブルである。なお、動画本数５１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
ここで、参照画像フレーム数上限５２は、動き予測処理において、ある画像フレーム内の処理対象ブロックが参照する画像フレームの数として許容する最大数を示す。
参照画像ブロック探索範囲５３は、ある処理対象ブロックと類似度の高い参照画像ブロックを探索する範囲をもとの処理対象ブロックの位置を基準にどの範囲まで探索するかという探索範囲を示す。
参照画像ブロック探索範囲５３は、ある処理対象ブロックと類似度の高い参照画像ブロックを探索する範囲をもとの処理対象ブロックの位置を基準にどの範囲まで探索するかという探索範囲を示す。
また、探索パターン５４は、処理対象ブロックと参照画像ブロックとのサイズ及び形状を示し、具体的には、幅１６画素×高さ１６画素分のパターン、幅１６画素×高さ８画素のパターン、幅８画素×高さ１６画素のパターン、幅８画素×高さ８画素のパターン、幅８画素×高さ４画素のパターン、幅４画素×高さ８画素のパターン、幅４画素×高さ４画素の７パターンのうち、いずれを用いて参照画像ブロックの探索を行うかを示す。
図２に例示する動き予測処理方式テーブルによれば、動画が１本の場合には、参照画像フレームは２枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組としては７パターン全てを適用可能とした動き予測処理の処理方式が特定できる。また、動画が２本の場合には、参照画像フレームは１枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組として幅１６画素×高さ１６画素のパターンと幅１６画素×高さ８画素のパターンと幅８画素×高さ１６画素のパターンと幅８画素×高さ８画素のパターンとの４パターンを適用可能とした動き予測処理の処理方式が特定できる。
図３は、イントラ符号化処理方式テーブルの構成及び内容例を示す図である。
イントラ符号化処理方式特定部１３２が有するイントラ符号化処理方式テーブルは、同図に示すように、動画本数６１と予測方向６２等とを対応付けたテーブルである。なお、動画本数６１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
ここで、予測方向６２は、イントラ符号化処理において、ある画像フレーム内のブロックについて予測値を求める方向の上限を示す。この方向は、幅４画素×高さ４画素のブロックについて言えば予測モード０から予測モード８の９方向のいずれかとなる。
イントラ符号化処理方式特定部１３２が有するイントラ符号化処理方式テーブルは、同図に示すように、動画本数６１と予測方向６２等とを対応付けたテーブルである。なお、動画本数６１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
ここで、予測方向６２は、イントラ符号化処理において、ある画像フレーム内のブロックについて予測値を求める方向の上限を示す。この方向は、幅４画素×高さ４画素のブロックについて言えば予測モード０から予測モード８の９方向のいずれかとなる。
即ち、予測対象のブロックについてそのブロックを基準として、その上方向のブロックの値を予測値と定める予測モード０、左方向のブロックの値を予測値と定める予測モード１、上方向のブロックの値と左方向のブロックの値との平均値を予測値と定める予測モード２、予測対象のブロックについてその上方向のブロックの値と右上方向のブロックの値とを用いて４５度方向に予測値を定める予測モード３、予測対象のブロックについてその上方向のブロックの値と左方向のブロックの値とを用いて１３５度方向に予測値を定める予測モード４、同様に約１１２度方向に予測値を定める予測モード５、同様に約１５８度方向に予測値を定める予測モード６、約６８度方向に予測値を定める予測モード７、約２０３度方向に予測値を定める予測モード８の中から予測方向６２が選ばれる。
図３に例示するイントラ符号化処理方式テーブルによれば、動画が１本の場合には、予測モード０〜８の９方向を適用可能とし、動画が２本の場合には、予測モード０〜４の５方向を適用可能としたイントラ符号化処理の処理方式が特定できる。
＜動作＞
以下、上述した構成を備える画像符号化装置１００の動作について説明する。
＜動作＞
以下、上述した構成を備える画像符号化装置１００の動作について説明する。
画像符号化装置１００は、入力インタフェースを介して外部から符号化対象の動画とその動画の本数の入力を受け付け、処理方式特定部１３０により、動画の本数に基づき符号化処理の処理方式を特定する処理方式特定処理を実行し、この結果に従って符号化部１４０により、各動画に対する符号化処理を実行する。
図４は、処理方式特定部１３０による処理方式特定処理を示すフローチャートである。以下、同図に即して処理方式特定部１３０の動作を説明する。
図４は、処理方式特定部１３０による処理方式特定処理を示すフローチャートである。以下、同図に即して処理方式特定部１３０の動作を説明する。
処理方式特定部１３０は、まず本数取得部１１０から符号化対象の動画の本数を取得し（ステップＳ１１）、動き予測処理方式特定部１３１により動き予測処理方式テーブルに基づいて、本数に応じて動き予測処理方式を示す各パラメータを特定し（ステップＳ１２）、イントラ符号化処理方式特定部１３２によりイントラ符号化処理方式テーブルに基づいて、本数に応じてイントラ符号化処理方式を示すパラメータを特定する（ステップＳ１３）。
また、処理方式特定部１３０は、量子化ステップサイズ特定部１３３により、本数に応じて所定の演算を行うことにより量子化ステップサイズを算定し（ステップＳ１４）、可変長符号化処理方式特定部１３４により、本数と、例えば２等として予め定められている所定の閾値とを比較して（ステップＳ１５）、本数が閾値未満であれば算術符号化を用いるように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１６）、また、本数が閾値以上であれば算術符号化を用いないように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１７）、本数と、動き予測処理の処理方式を示す各パラメータと、イントラ符号化処理の処理方式を示すパラメータと、量子化ステップサイズと、可変長符号化の処理方式を示すパラメータとを符号化部１４０に伝達して（ステップＳ１８）、処理方式特定処理を終える。
このような処理方式特定処理により、基本的に符号化対象の動画の本数が多ければ多いほど、符号化処理の処理量が小さくなるように処理方式が特定される。
但し、量子化に係る量子化ステップサイズについては、符号化対象の動画の本数が多いほど小さいものとなり、この結果、量子化の処理量は増加する。なお、動き予測処理に比べて量子化処理の処理量、例えばプロセッサに実行させる場合の演算量は、実用範囲において十分に小さいものとなることに鑑み、上述の処理方式特定処理により、本数が増えた場合に動き予測処理の処理量を抑えるので画質が劣化しやすくなる傾向が生じるところ、この場合に劣化した画質を補う意味で、量子化による画質劣化を小さく抑えるべく、量子化ステップサイズを小さくするようにしている。
但し、量子化に係る量子化ステップサイズについては、符号化対象の動画の本数が多いほど小さいものとなり、この結果、量子化の処理量は増加する。なお、動き予測処理に比べて量子化処理の処理量、例えばプロセッサに実行させる場合の演算量は、実用範囲において十分に小さいものとなることに鑑み、上述の処理方式特定処理により、本数が増えた場合に動き予測処理の処理量を抑えるので画質が劣化しやすくなる傾向が生じるところ、この場合に劣化した画質を補う意味で、量子化による画質劣化を小さく抑えるべく、量子化ステップサイズを小さくするようにしている。
図５は、符号化部１４０による符号化処理を示すフローチャートである。以下、同図に即して符号化部１４０の動作を説明する。
まず、符号化部１４０の動画選択部１４１は、処理方式特定部１３０から伝達された本数に従って、その本数分の動画を、動画取得部１２０が外部から逐次取得して一時的に蓄積している各バッファメモリから、画像フレーム毎に動画を切り換えて順次読み出す（ステップＳ２１）。
まず、符号化部１４０の動画選択部１４１は、処理方式特定部１３０から伝達された本数に従って、その本数分の動画を、動画取得部１２０が外部から逐次取得して一時的に蓄積している各バッファメモリから、画像フレーム毎に動画を切り換えて順次読み出す（ステップＳ２１）。
続いて、符号化部１４０は、予め定めた判断基準に従って、動画選択部１４１により読み出された動画の画像フレームがイントラ符号化処理のみの対象とする画像フレームか、動き予測処理の対象とし得る画像フレームかを判定し（ステップＳ２２）、イントラ符号化処理のみの対象とする画像フレームであれば、イントラ符号化処理方式特定部１３２により特定されたパラメータに従った予測方向の範囲内で、画像フレーム中の各ブロックについて最適な予測値を探し出して、そのブロックの画像データと予測値との差分である差分データを求めることによるイントラ符号化処理をイントラ符号化部１４３により行う（ステップＳ２３）。
ステップＳ２２において、イントラ符号化処理のみの対象とする画像フレームでないと判定した場合には、動き予測処理方式特定部１３１により特定されたパラメータに従って、処理対象ブロックについて、パラメータで示された上限枚数以下の参照画像フレームを参照するようにし、パラメータで示された参照画像フレーム内の参照画像ブロックの探索範囲から参照ブロックを探索し、その処理対象ブロックのうち参照ブロックの探索に用いる探索パターンは、パラメータで示された形状及びサイズのものにして、処理対象ブロックとの類似度の高い参照画像ブロックを探索して、その参照画像ブロックの位置を指し示す動きベクトルを求め、その参照画像ブロックと処理対象ブロックとの画像データの差分である差分データを求める動き予測処理を動き予測部１４２により行う（ステップＳ２４）。
なお、参照画像フレーム数上限を示すパラメータが２以上であることにより、参照画像ブロックを複数の画像フレームから参照する場合には、各画像フレームから探索した参照画像ブロックについての画像データの平均値と処理対象ブロックの画像データとの間の差分を差分データとして求める。
また、ステップＳ２３又はステップＳ２４に続いて、符号化部１４０の周波数変換部１４４は、求められた差分データに対して直交変換を施し（ステップＳ２５）、その結果のデータに対して、量子化部１４５は量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで量子化を行う（ステップＳ２６）。
また、ステップＳ２３又はステップＳ２４に続いて、符号化部１４０の周波数変換部１４４は、求められた差分データに対して直交変換を施し（ステップＳ２５）、その結果のデータに対して、量子化部１４５は量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで量子化を行う（ステップＳ２６）。
量子化に続いて、可変長符号化部１４６は、可変長符号化処理方式特定部１３４により特定されたパラメータに従って、算術符号化を用いるか或いは用いないで、量子化後のデータについて可変長符号化を行い（ステップＳ２７）、可変長符号化後のデータを出力部１４７は、動画毎に区別して記録媒体１５０に記録し（ステップＳ２８）、これにより１画像フレームについての符号化処理（ステップＳ２２〜Ｓ２８）が終了する。
動画が複数ある場合には、つまり本数取得部１１０により複数の本数を示すデータが取得された場合には、最初の動画におけるある画像フレームについての符号化処理がなされた後に、別の動画についての符号化処理（ステップＳ２２〜Ｓ２８）が実行され、次々と本数分の動画について符号化処理が実行された後に、また最初の動画から、各動画について次の画像フレームについての符号化処理が開始され、巡回的に符号化処理が行われる。
また、本数取得部１１０により１本を示すデータが取得された場合には、１本の動画について、順次各画像フレームについての符号化処理が行われる。なお、図５に示した符号化処理における各処理（ステップＳ２２〜Ｓ２８）は、ブロック単位でパイプライン処理により実現される。
＜変形例＞
以下、画像符号化装置１００の変形例である画像符号化装置２００について説明する。
＜変形例＞
以下、画像符号化装置１００の変形例である画像符号化装置２００について説明する。
画像符号化装置２００は、画像符号化装置１００に対して、外部から、要求する画質の入力を受け付けて、その要求に対応した画質を保って符号化する機能を追加した装置である。
図６は、画像符号化装置２００の構成図である。
画像符号化装置２００は、同図に示すように、画質取得部２１１、本数取得部１１０、動画取得部１２０、処理方式特定部２３０及び符号化部１４０を備える。なお、画像符号化装置２００の構成要素のうち画像符号化装置１００の構成要素と同一のものについては、図６において図１と同じ符号を付しており、これらについてはここでは詳しい説明を省略する。
図６は、画像符号化装置２００の構成図である。
画像符号化装置２００は、同図に示すように、画質取得部２１１、本数取得部１１０、動画取得部１２０、処理方式特定部２３０及び符号化部１４０を備える。なお、画像符号化装置２００の構成要素のうち画像符号化装置１００の構成要素と同一のものについては、図６において図１と同じ符号を付しており、これらについてはここでは詳しい説明を省略する。
ここで、画質取得部２１１は、ユーザ等により入力された画質を示す画質情報を取得し処理方式特定部２３０に伝達する機能を有する入力インタフェースである。画質情報は、例えば、画質の高さを数の大きさで表現する数値情報である。
また、処理方式特定部２３０は、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部２３３及び可変長符号化処理方式特定部１３４を有する。
また、処理方式特定部２３０は、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部２３３及び可変長符号化処理方式特定部１３４を有する。
この量子化ステップサイズ特定部２３３は、本数取得部１１０から伝達される本数と、画質取得部２１１から伝達される画質情報とに基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように、かつ、画質情報が示す画質が高くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算である。
従って、この画像符号化装置２００によれば、画質取得部２１１により取得された画質情報を反映して量子化ステップサイズが特定され量子化部１４５によりその量子化ステップサイズで量子化が施されることになるため、要求された画質を保っての符号化が行われるようになる。
＜実施形態２＞
以下、本発明の実施形態２に係る画像符号化システムについて説明する。
＜実施形態２＞
以下、本発明の実施形態２に係る画像符号化システムについて説明する。
＜構成＞
図７は、本発明の実施形態２に係る画像符号化システムの構成図である。
この画像符号化システムは、動画に対する符号化処理を複数の画像符号化装置により分散処理するシステムであり、同図に示すように、ネットワーク接続された画像符号化装置３００及び画像符号化装置４００により構成される。なお、これら各画像符号化装置の構成要素のうち実施形態１で示した画像符号化装置１００の構成要素と同一のものについては、図７において図１と同じ符号で示しており、これらについてはここでは詳しい説明を省略する。
図７は、本発明の実施形態２に係る画像符号化システムの構成図である。
この画像符号化システムは、動画に対する符号化処理を複数の画像符号化装置により分散処理するシステムであり、同図に示すように、ネットワーク接続された画像符号化装置３００及び画像符号化装置４００により構成される。なお、これら各画像符号化装置の構成要素のうち実施形態１で示した画像符号化装置１００の構成要素と同一のものについては、図７において図１と同じ符号で示しており、これらについてはここでは詳しい説明を省略する。
画像符号化装置３００は、動画の本数を示す情報と動画とを外部から取得し画像符号化装置４００に一部の動画についての符号化処理を分担させつつ自らも他の動画についての符号化処理を行う装置であり、本数取得部１１０、動画取得部１２０、処理方式特定部１３０、符号化部１４０及び処理量管理部３０１を備える。
また、画像符号化装置４００は、処理方式特定部１３０、符号化部１４０及び処理量管理部４０２を備える。
また、画像符号化装置４００は、処理方式特定部１３０、符号化部１４０及び処理量管理部４０２を備える。
画像符号化装置３００の処理量管理部３０１は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置４００に、処理能力を問い合わせて応答を得てその処理能力と、本数取得部１１０により外部から取得された本数を示す情報と、自装置の処理能力とに基づいて、何本の動画の符号化処理を画像符号化装置４００に依頼するかを決定し、その依頼すると決定した本数を示す情報と、その本数分の動画取得部１２０により外部から取得された動画とを画像符号化装置４００に伝送するとともに、残りの本数分の動画を画像符号化装置３００において符号化するものとして、その残りの本数を画像符号化装置３００内の処理方式特定部１３０に伝達する機能を有する。
画像符号化装置４００の処理量管理部４０２は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置３００から処理能力の問い合わせを受けた場合に、そのメモリを参照して自装置の処理量情報を画像符号化装置３００に伝送する機能と、画像符号化装置３００から本数を示す情報を受信した場合に、その本数を画像符号化装置４００内の処理方式特定部１３０に伝達する機能を有する。
上述した画像符号化装置３００及び画像符号化装置４００において記憶されている処理能力を示す処理量情報は、例えば、１本の動画を符号化する際に用いられる所定の符号化処理の処理方式を一律に適用して符号化を行うとした場合において、同時に何本の動画を符号化できるかという本数で表される。
＜動作＞
以下、上述した構成を備える画像符号化システムの動作について説明する。
＜動作＞
以下、上述した構成を備える画像符号化システムの動作について説明する。
画像符号化装置３００に対して外部から複数本の動画とその本数を示す情報とが入力されると、画像符号化装置３００は、一部の動画の符号化を画像符号化装置４００に依頼して自装置で残りの動画の符号化を行うための依頼処理を実行する。
図８は、画像符号化装置３００により行われる依頼処理を示すフローチャートである。以下、同図に即して画像符号化装置３００の動作とこれに呼応しての画像符号化装置４００の動作について説明する。
図８は、画像符号化装置３００により行われる依頼処理を示すフローチャートである。以下、同図に即して画像符号化装置３００の動作とこれに呼応しての画像符号化装置４００の動作について説明する。
画像符号化装置３００は、ネットワーク接続されている画像符号化装置４００に対して処理能力を問い合わせ、これに呼応して画像符号化装置４００が送信する処理量情報を受信する（ステップＳ３１）。
続いて画像符号化装置３００の処理量管理部３０１は、受信された処理量情報が示す処理能力の値の、自装置の処理量情報が示す処理能力の値に対する比を求め、その比を本数取得部１１０により取得された本数に乗じて得られた値に最も近い整数を、依頼する本数として定め（ステップＳ３２）、依頼する本数を画像符号化装置４００に伝送して符号化を依頼する（ステップＳ３３）。
続いて画像符号化装置３００の処理量管理部３０１は、受信された処理量情報が示す処理能力の値の、自装置の処理量情報が示す処理能力の値に対する比を求め、その比を本数取得部１１０により取得された本数に乗じて得られた値に最も近い整数を、依頼する本数として定め（ステップＳ３２）、依頼する本数を画像符号化装置４００に伝送して符号化を依頼する（ステップＳ３３）。
これにより画像符号化装置４００ではその依頼された本数を受信し、画像符号化装置４００内の処理方式特定部１３０はその依頼された本数に応じて符号化処理の各処理方式を特定する。また、画像符号化装置４００内の符号化部１４０は、その依頼された本数分の動画を画像符号化装置３００から受信して、受信した各動画について時分割で、処理方式特定部１３０により特定された処理方式に従って、符号化処理を実行する。
ステップＳ３３に続いて、画像符号化装置３００の処理量管理部３０１は、本数取得部１１０により取得された本数と依頼した本数との差である本数を画像符号化装置３００内の処理方式特定部１３０に伝達して依頼処理を終了する（ステップＳ３４）、このステップＳ３４の結果、画像符号化装置３００の処理方式特定部１３０によりその差である本数に応じて符号化処理の各処理方式が特定され、その各処理方式に従って画像符号化装置３００の符号化部１４０によりその差である本数分の動画に対しての符号化処理が行われる。
＜補足＞
以上、本発明に係る画像符号化装置について実施形態１、２に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施形態で示した画像符号化装置に限られないことは勿論である。
（１）実施形態１、２で示した画像符号化装置は、記録媒体１５０に符号化後の動画を記録することとしたが、記録媒体１５０は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）等の光ディスクに限られることなく、ハードディスク、メモリカード等であってもよい。また、画像符号化装置の出力部１４７は記録媒体への記録の代わりに、ネットワークに符号化後の各動画を送出することとしてもよい。
（２）実施形態１、２で示した画像符号化装置は、ＭＰＥＧ４ＡＶＣ規格に準拠して符号化を行うものとしたが、例えば、ＭＰＥＧ２ビデオ規格やＭＰＥＧ４ビジュアル規格等に準拠するものであってもよく、本発明の適用範囲が特に特定の規格に限定されることはない。
（３）実施形態１、２で示した画像符号化装置の処理方式特定部は、動き予測処理の処理方式、イントラ符号化処理の処理方式、量子化ステップサイズに係る量子化処理の処理方式及び可変長符号化処理の処理方式のそれぞれを特定するパラメータを特定するものとしたが、これらの他に、例えば、符号化対象の動画の本数が、３等と予め定めた所定数以上であれば動き予測処理を行わずイントラ符号化処理のみを行うように、動き予測処理を実行するか実行しないかを特定することとしてもよく、実施形態１、２において例示しなかった符号化処理の処理方式を符号化対象の動画の本数に応じて変化させるようにしてもよい。
＜補足＞
以上、本発明に係る画像符号化装置について実施形態１、２に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施形態で示した画像符号化装置に限られないことは勿論である。
（１）実施形態１、２で示した画像符号化装置は、記録媒体１５０に符号化後の動画を記録することとしたが、記録媒体１５０は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）等の光ディスクに限られることなく、ハードディスク、メモリカード等であってもよい。また、画像符号化装置の出力部１４７は記録媒体への記録の代わりに、ネットワークに符号化後の各動画を送出することとしてもよい。
（２）実施形態１、２で示した画像符号化装置は、ＭＰＥＧ４ＡＶＣ規格に準拠して符号化を行うものとしたが、例えば、ＭＰＥＧ２ビデオ規格やＭＰＥＧ４ビジュアル規格等に準拠するものであってもよく、本発明の適用範囲が特に特定の規格に限定されることはない。
（３）実施形態１、２で示した画像符号化装置の処理方式特定部は、動き予測処理の処理方式、イントラ符号化処理の処理方式、量子化ステップサイズに係る量子化処理の処理方式及び可変長符号化処理の処理方式のそれぞれを特定するパラメータを特定するものとしたが、これらの他に、例えば、符号化対象の動画の本数が、３等と予め定めた所定数以上であれば動き予測処理を行わずイントラ符号化処理のみを行うように、動き予測処理を実行するか実行しないかを特定することとしてもよく、実施形態１、２において例示しなかった符号化処理の処理方式を符号化対象の動画の本数に応じて変化させるようにしてもよい。
また逆に、動き予測処理の処理方式、イントラ符号化処理の処理方式、可変長符号化処理の処理方式の全てではなく、そのうち一部の処理方式のみを特定するだけとし、符号化対象の動画の本数によってその一部の処理方式に係る符号化処理部分だけが変動するように処理方式特定部及び符号化部を構成することとしてもよい。
（４）実施形態１、２で示した画像符号化装置における処理方式特定部は、動き予測方式テーブル、イントラ符号化処理方式テーブルを有し、これらのテーブルを利用して符号化処理における動き予測処理及びイントラ符号化処理の各処理方式を特定することとしたが、量子化ステップサイズに係る量子化処理の処理方式の特定や可変長符号化処理の処理方式の特定も同様にルックアップテーブルを利用して行ってもよく、また各処理方式を示すパラメータを、所定の演算式に基づいて演算により特定することとしてもよい。
（４）実施形態１、２で示した画像符号化装置における処理方式特定部は、動き予測方式テーブル、イントラ符号化処理方式テーブルを有し、これらのテーブルを利用して符号化処理における動き予測処理及びイントラ符号化処理の各処理方式を特定することとしたが、量子化ステップサイズに係る量子化処理の処理方式の特定や可変長符号化処理の処理方式の特定も同様にルックアップテーブルを利用して行ってもよく、また各処理方式を示すパラメータを、所定の演算式に基づいて演算により特定することとしてもよい。
但し、符号化対象の動画の本数が多くなればなるほど、１つの動画に対する動き予測処理、イントラ符号化処理及び可変長符号化処理の処理量が小さくなる傾向を有するように、処理方式の特定がなされるようにする必要があり、この処理量を小さくすることで画質が劣化するのをある程度抑えるべく量子化ステップサイズについては動画の本数が多くなればなるほど小さくなるように特定される必要がある。
（５）実施形態１の変形例で示した画像符号化装置の量子化ステップサイズ特定部２３３は、要求画質を示す画質情報と本数とに基づいて量子化ステップサイズを特定することとしたが、本数に依存せず画質情報のみに基づいて量子化ステップサイズを特定することとしてもよい。
（６）実施形態１、２で図２〜図４等を用いて示した画像符号化装置における処理方式特定部が本数に応じて処理方式を特定する具体的な内容については、単なる例示であり、符号化部の回路の構成や処理性能等によって変形し得る。
（５）実施形態１の変形例で示した画像符号化装置の量子化ステップサイズ特定部２３３は、要求画質を示す画質情報と本数とに基づいて量子化ステップサイズを特定することとしたが、本数に依存せず画質情報のみに基づいて量子化ステップサイズを特定することとしてもよい。
（６）実施形態１、２で図２〜図４等を用いて示した画像符号化装置における処理方式特定部が本数に応じて処理方式を特定する具体的な内容については、単なる例示であり、符号化部の回路の構成や処理性能等によって変形し得る。
実用的なものとするためには、符号化対象の動画の本数が何本であっても、符号化部の各回路により実行される符号化処理の処理速度がほぼ一定範囲に収まるように処理方式の特定がなされるべく、処理方式特定部内の処理方式特定に用いられるテーブルや演算式が、実験或いは理論的計算に基づいて定められていることが望ましい。
（７）実施形態１、２で示した画像符号化装置における符号化部を構成する各機能部は、ハードウェアのみからなる回路に限らず、ソフトウェアを含んでソフトウェアの実行によってその機能が実現されるものであってもよく、この場合、ソフトウェアを実行するプロセッサは、機能部毎に設けられることとしてもよいし、複数の機能部に相当する機能を１つのプロセッサが実現することとしてもよい。
（７）実施形態１、２で示した画像符号化装置における符号化部を構成する各機能部は、ハードウェアのみからなる回路に限らず、ソフトウェアを含んでソフトウェアの実行によってその機能が実現されるものであってもよく、この場合、ソフトウェアを実行するプロセッサは、機能部毎に設けられることとしてもよいし、複数の機能部に相当する機能を１つのプロセッサが実現することとしてもよい。
また、画像符号化装置は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の一部又は全部として実現されてもよく、複数のＬＳＩ等で実現されてもよく、１又は複数のＬＳＩ等と他の回路とにより実現されてもよい。
（８）実施形態１で示した画像符号化装置の本数取得部１１０が、符号化部１４０により動画についての符号化処理が開始された後であっても随時本数の取得を行うこととし、処理方式特定部１３０は本数に変化があった場合に処理方式を新たに特定して、その結果に従って符号化部１４０が符号化を行うようにしてもよい。
（８）実施形態１で示した画像符号化装置の本数取得部１１０が、符号化部１４０により動画についての符号化処理が開始された後であっても随時本数の取得を行うこととし、処理方式特定部１３０は本数に変化があった場合に処理方式を新たに特定して、その結果に従って符号化部１４０が符号化を行うようにしてもよい。
これにより、入力された動画の本数が変動するような場合にも対応することができるようになる。
（９）実施形態１で示した画像符号化装置を変形して、符号化部１４０のうち復号にも利用可能な回路は復号にも用いることとし、その上で、さらに復号に必要な回路を付加することにより、圧縮された動画を復号する復号機能をもたせることにしてもよい。
（９）実施形態１で示した画像符号化装置を変形して、符号化部１４０のうち復号にも利用可能な回路は復号にも用いることとし、その上で、さらに復号に必要な回路を付加することにより、圧縮された動画を復号する復号機能をもたせることにしてもよい。
この場合には、処理方式特定部１３０を、復号される動画の量が多くなれにつれて動画毎の符号化に係る演算量を少なくするように、処理方式を特定するよう変形するとよい。
（１０）実施形態２で示した画像符号化装置３００を変形して、もとの構成要件に加えて画像符号化装置の処理量管理部４０２に相当する機能部を含めることとしてもよく、この変形した画像符号化装置によれば、自らが画像符号化装置４００に対して符号化処理を依頼することができる上に、他の画像符号化装置３００から符号化処理を依頼された場合に内部の動画取得部を通じて動画を取得して符号化することもできるようになる。
（１１）実施形態２で示した画像符号化システムを変形して、画像符号化装置４００から処理方式特定部１３０を除き、画像符号化装置３００の処理方式特定部１３０は本数取得部により取得された本数に応じて動き予測処理やその他の符号化処理の処理方式を特定することとし、処理量管理部３０１は画像符号化装置４００に依頼する本数を決定した後にその決定した依頼本数と処理方式特定部１３０により特定された処理方式とを画像符号化装置４００に伝達することとし、画像符号化装置４００の符号化部１４０は画像符号化装置３００から受信した処理方式に従って依頼本数分の動画の符号化を行うこととしてもよい。
（１２）画像符号化装置における各処理（図４、図５参照）をプロセッサに実行させるためのプログラムを、記録媒体に記録し又は各種通信路等を介して、流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布されたプログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがそのプログラムを実行することにより実施形態１で示した画像符号化装置の機能が実現されるようになる。
（１０）実施形態２で示した画像符号化装置３００を変形して、もとの構成要件に加えて画像符号化装置の処理量管理部４０２に相当する機能部を含めることとしてもよく、この変形した画像符号化装置によれば、自らが画像符号化装置４００に対して符号化処理を依頼することができる上に、他の画像符号化装置３００から符号化処理を依頼された場合に内部の動画取得部を通じて動画を取得して符号化することもできるようになる。
（１１）実施形態２で示した画像符号化システムを変形して、画像符号化装置４００から処理方式特定部１３０を除き、画像符号化装置３００の処理方式特定部１３０は本数取得部により取得された本数に応じて動き予測処理やその他の符号化処理の処理方式を特定することとし、処理量管理部３０１は画像符号化装置４００に依頼する本数を決定した後にその決定した依頼本数と処理方式特定部１３０により特定された処理方式とを画像符号化装置４００に伝達することとし、画像符号化装置４００の符号化部１４０は画像符号化装置３００から受信した処理方式に従って依頼本数分の動画の符号化を行うこととしてもよい。
（１２）画像符号化装置における各処理（図４、図５参照）をプロセッサに実行させるためのプログラムを、記録媒体に記録し又は各種通信路等を介して、流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布されたプログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがそのプログラムを実行することにより実施形態１で示した画像符号化装置の機能が実現されるようになる。
本発明に係る画像符号化装置は、ハードディスクレコーダ、ＤＶＤレコーダ等に搭載され利用され得る。
【書類名】明細書
【発明の名称】 画像符号化装置
【技術分野】
【０００１】
本発明は、動画の圧縮符号化技術に関し、特に、複数の動画を圧縮符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、動画を伝送する際又は記録媒体に記録する際に用いられる圧縮符号化（以下、単に「符号化」という。）の規格として、ＭＰＥＧ（Moving Picture Experts Group）規格、例えばＭＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１８８１８−２）、ＭＰＥＧ４ビジュアル規格（ＩＳＯ／ＩＥＣ１４４９６−２）或いはＭＰＥＧ４ＡＶＣ規格（Moving Picture Experts Group phase 4 Advanced Video Coding、ＩＳＯ１４４９６−１０）が知られている。そして、これらの規格に従って符号化を行う画像符号化装置が開発されている。
【０００３】
また、複数の動画を並行して符号化してネットワーク伝送する画像符号化装置として、周波数変換器、量子化器、可変長符号化器等の符号化処理手段を複数系統有して、ネットワーク伝送上の要請から、符号化後の各動画の出力ビットレートを制御し総合的なビットレートを一定に保つ画像符号化装置が提案されている（日本国の特許文献１参照）。
この従来の、複数の動画を並行して符号化する画像符号化装置は、入力される動画を、周波数変換器で空間領域から周波数領域に変換し、更に量子化器で量子化係数に応じた量子化を施し、そして可変長符号化器で可変長符号に変換して出力するものであり、入力される第１動画及び第２動画の各複雑度を合計した値に応じて量子化係数を決定して、量子化を行うことで出力ビットレートを制御するものである。
【特許文献１】 特表平９−５１２４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の複数の動画を並行して符号化する画像符号化装置は、入力される動画の本数分の個数の符号化手段を有するため、入力される動画の本数が一定であるような利用形態に適したものである。
ところで、画像符号化装置の利用形態として、入力される動画の本数が一定とは限らないような利用形態もあり得る。例えば、画像符号化装置が、テレビ放送受信機器等に内蔵され、複数チャネルで放送される動画のうち、ユーザが任意に選択した何本かの動画を並行して受信して、各動画について符号化処理を行って光ディスク等の記録媒体に圧縮保存するような、画像符号化装置の利用形態が想定される。
【０００５】
このように入力される動画の本数が一定とは限らない利用形態に対応するために、上述の従来の画像符号化装置では、入力を許容する動画の最大本数分の個数の符号化手段を予め内蔵しておくことになる。しかしながら、もしユーザがその最大本数より少ない本数の動画を入力した場合には、いくつかの符号化手段は利用されず余分なものとなる。このことは、画像符号化装置を構成する内部回路の効率的利用という観点から、好ましいことではない。
【０００６】
そこで、本発明は、かかる問題に鑑みてなされたものであり、有限数の符号化手段を有効活用して、任意の本数の動画の入力に対応して符号化処理を行う画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像符号化装置は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定手段と、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備え、前記符号化手段は、前記符号化処理の一部として、前記動き予測処理方式特定手段により特定された処理方式で動き予測処理を行う動き予測部を有することを特徴とする。
【０００８】
ここで、演算量は、符号化処理を担う回路については、１本の動画あたりに要する符号化処理の処理量を意味し、演算量が多いということは処理完了までに時間がかかるということを意味する。
また、符号化処理を担う回路がソフトウェアを実行するプロセッサにより符号化処理を実現する場合においては、演算量は、その符号化処理を実現するための演算命令の命令数或いは命令実行時間を意味する。
【発明の効果】
【０００９】
上述の構成によって、本発明に係る画像符号化装置は、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整することにより、符号化手段を有効活用して、任意の本数の動画の入力に対応した符号化処理を行うことができるようになる。
即ち、本発明に係る画像符号化装置は、符号化すべき動画の本数が多い場合に動画１本あたりの動き予測処理に要する演算量を少なくさせるため、例えば１本の動画を符号化するのに要する演算量と、複数本の動画を符号化するのに要する合計の演算量をある程度同等レベルの範囲内に抑え得る。なお、動き予測処理は、実用上は符号化処理において他の処理に比べて高い演算量を要するものであり、動き予測処理の演算量を抑えることは符号化処理の演算量を抑えることに大きく影響する。
【００１０】
従って、この画像符号化装置は、演算量の抑制の関係上、圧縮率或いは画質を悪化させる可能性はないとは言えないものの、装置コストを特段増大させることなく、符号化対象の動画の本数が何本であっても、同時に符号化を行うことができ、ある程度同じ時間で全動画の符号化を終えることができる可能性をもつという有用な効果を奏する。なお、画質の悪化を防止する方法としては、符号化処理における量子化処理に係る量子化ステップサイズを小さくする方法等を採用することができる。
【００１１】
また、前記動き予測処理方式特定手段は、各本数値と動き予測処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて動き予測処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記動き予測部に伝達することにより、動き予測処理の処理方式を特定し、前記動き予測部は、前記動き予測処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で動き予測処理を行うこととしてもよい。
【００１２】
これにより、実験等により予め適切に調整されたテーブルを用いて動き予測処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて動き予測処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての動き予測処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
【００１３】
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像フレーム数の上限値に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて参照画像フレーム数の上限値を小さくするように特定し、前記動き予測部は、動き予測処理過程で、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での参照画像フレーム数の上限値を超えない数の参照画像フレームから動きベクトルの探索を行うこととしてもよい。
【００１４】
なお、動画は複数の画像フレームから構成されており、動き予測処理は、各画像フレーム内を区分した各処理対象ブロックに対して、参照画像フレーム中の類似度の高い参照画像ブロックを探索してその参照画像ブロックの位置を指す動きベクトルを求め、処理対象ブロックと参照画像ブロックとの画像データの差分である差分データを求める処理であり、求められたデータは動き予測処理に後続する符号化処理工程において利用される。
【００１５】
従って、本発明に係る画像符号化装置は、符号化対象の動画の本数が多い場合には、動画それぞれに対する動き予測処理において、参照ブロックの所在する参照画像フレーム数をよる少なく限定することにより、画像フレーム内の各処理対象ブロックと類似度の高い参照ブロックを探索することに要する演算量を削減するので、この結果として画像符号化装置の有限の演算処理能力を有効活用し、任意の本数の動画を同時に符号化することができるようになる。
【００１６】
また、前記動き予測処理方式特定手段は、動き予測処理における動きベクトルの探索範囲に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索範囲が狭くなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、参照画像フレーム中の、前記動き予測処理方式特定手段により特定された処理方式での探索範囲内の中から、当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
【００１７】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックの探索範囲を狭くするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像ブロックの各種形状パターンに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて形状パターン数が少なくなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での各種形状パターンを用いて、参照画像フレーム中の参照ブロックを探索して当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
【００１８】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックを探索する際に用いる照合用の形状パターン数を少なくするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記動き予測処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、動き予測処理の処理方式の特定を行うこととしてもよい。
【００１９】
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて動き予測処理の処理方式を新たに特定してその処理方式で動き予測処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記動き予測処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように動き予測処理の処理方式を特定することとしてもよい。
【００２０】
また、前記決定手段は、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理における動き予測処理の処理方式を、実行を依頼する符号化処理の対象となる動画の本数とともに決定し、前記送信手段は、更に、前記決定手段により決定された動き予測処理の処理方式を示す情報を前記外部装置に送信することとしてもよい。
これらにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
【００２１】
また、前記画像符号化装置は、更に、前記本数取得手段により取得された本数に応じて、量子化ステップサイズを、本数が多くなるにつれて量子化ステップサイズが小さくなるように特定する量子化ステップサイズ特定手段を備え、前記符号化手段は、動き予測処理の結果として得られる差分データを、前記量子化ステップサイズ特定手段により特定された量子化ステップサイズで量子化する量子化部を有することとしてもよい。
【００２２】
これにより、符号化対象の動画の本数が多くなるにつれて動画それぞれに対する動き予測処理の演算量を抑制することにより起こり得る画質劣化を、符号化処理における量子化処理に係る量子化ステップサイズを小さくすることによる画質向上により補間し得るようになる。
また、本発明に係る画像符号化装置は、動画を圧縮するために符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定手段と、前記処理方式特定手段により特定された処理方式で、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備えることを特徴とする。
【００２３】
この本発明に係る画像符号化装置によれば、並行して符号化すべき動画の本数に応じて、各動画についての符号化処理に要する演算量を調整するので、符号化手段を有効活用して、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、各本数値と符号化処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて符号化処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記符号化手段に伝達することにより、符号化処理の処理方式を特定し、前記符号化手段は、前記処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で符号化処理を行うこととしてもよい。
【００２４】
これにより、実験等により予め適切に調整されたテーブルを用いて符号化処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて符号化処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての符号化処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
【００２５】
また、前記符号化手段は、前記符号化処理の一部として、処理対象の動画中の一部又は全部の画像フレームについて画像フレーム内符号化処理を行うイントラ符号化部を有し、前記処理方式特定手段は、画像フレーム内符号化における予測値を探索する方向に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索する方向の数を小さくするように特定し、前記イントラ符号化部は、画像フレーム内の各処理対象ブロックについて、前記処理方式特定手段により特定された処理方式での予測値を探索する方向のそれぞれに沿って、処理対象ブロックの画像データと最も似ている予測値を探索することとしてもよい。
【００２６】
ここで、画像フレーム内符号化処理は、処理対象ブロックと同じ画像フレーム内の所定方向のブロックに基づいて算出した予測値のうち処理対象ブロックの画像データに最も似ている予測値を探索して探索結果の予測値と処理対象ブロックの画像データとの差である差分データを求めるイントラ符号化処理であり、求められたデータはイントラ符号化処理に後続する符号化処理工程において利用される。
【００２７】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対するイントラ符号化処理において、予測値を算出するための計算対象範囲が少なくなるので演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、画像フレーム間符号化を用いるか否かに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば画像フレーム間符号化を用い当該本数が所定数以上であれば画像フレーム間符号化を用いないように特定し、前記符号化手段は、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いるという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化及び画像フレーム内符号化を行い、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いないという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化を行わず画像フレーム内符号化を行うこととしてもよい。
【００２８】
これにより、本数が多い場合に画像フレーム内符号化のみが行われることになるため、演算量が削減でき、任意の本数の動画を同時に符号化することができるようになる。
また、前記符号化手段は、前記符号化処理の一部として可変長符号化処理を行う可変長符号化部を有し、前記処理方式特定手段は、可変長符号化に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば算出符号化を用い当該本数が所定数以上であれば算術符号化を用いないように特定し、前記可変長符号化部は、前記処理方式特定手段により特定された処理方式が算術符号化を用いるという処理方式であれば算術符号化による可変長符号化を行い、前記処理方式特定手段により特定された処理方式が算術符号化を用いないという処理方式であれば、算術符号化を行わず、予め定められた符号語に係る対照テーブルに基づいて可変長符号化を行うこととしてもよい。
【００２９】
これにより、本数が多い場合に一般に演算量が高いとされる算術符号化を用いないでテーブルに基づき可変長符号化を行うため演算量が削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、符号化処理の処理方式の特定を行うこととしてもよい。
【００３０】
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて符号化処理の処理方式を新たに特定してその処理方式で符号化処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように符号化処理の処理方式を特定することとしてもよい。
【００３１】
これにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
また、前記画像符号化装置は、更に、要求される画質を示す画質情報を取得する画質情報取得手段を備え、前記処理方式特定手段は、符号化処理の処理方式を、前記本数取得手段により取得された本数及び前記画質情報取得手段により取得された画質情報に応じて特定することとしてもよい。
【００３２】
例えば、要求される画質が高い場合には量子化ステップサイズを小さくして要求に応える等を行うことになるため、要求される画質に応じた符号化が可能になる。
また、前記画像符号化装置は、更に、前記符号化手段と一部の回路を共用して、圧縮された動画を復号する復号手段を備え、前記処理方式特定手段は、更に、復号手段により復号される動画の量に応じて、復号される動画の量が多くなるにつれて演算量が少なくなるように前記符号化処理の処理方式を特定することとしてもよい。
【００３３】
これにより、動画の復号に並行して任意の本数の動画の符号化を行うことができるようになる。
また、本発明に係る画像符号化方法は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含むことを特徴とする。
【００３４】
また、本発明に係る画像符号化方法は、動画を圧縮するために符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定ステップと、前記処理方式特定ステップにより特定された処理方式で、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含むことを特徴とする。
【００３５】
これらの画像符号化方法によれば、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整するので、任意の本数の動画をある程度一定範囲の演算量の演算処理によって符号化することができるようになる。
【発明を実施するための最良の形態】
＜実施形態１＞
以下、本発明の実施形態１に係る画像符号化装置１００について説明する。
【００３６】
＜構成＞
図１は、本発明の実施形態１に係る画像符号化装置１００の構成図である。
画像符号化装置１００は、同図に示すように、本数取得部１１０、動画取得部１２０、処理方式特定部１３０及び符号化部１４０を備える。
なお、同図には、動画について画像符号化装置１００が符号化処理を施して出力したデータを蓄積するための光ディスク等の記録媒体１５０をも示している。また、ここでは、動画は、その再生時に表示される画像内容を表現している画像フレームを含む動画データをも示す用語として用いる。
【００３７】
ここで、本数取得部１１０は、画像符号化装置１００の外部から符号化対象となる動画の本数の入力を受け付けて処理方式特定部１３０に伝達する入力インタフェースである。
動画取得部１２０は、動画の入力インタフェースであり、動画を構成する所定数の画像フレームを格納可能な容量の第１バッファ、第２バッファ、・・・、第Ｎバッファという複数のバッファメモリを有しており、画像符号化装置１００の外部から符号化対象となる１又は複数の動画の入力を受け付けて各動画を内部の各バッファメモリに格納する機能を担う。なお、動画は、いわゆるストリームデータであるため、動画の総データ量が多い場合には、画像符号化装置１００によりその一部の符号化が行われている間においても動画取得部１２０により、継続的に取得される。
【００３８】
処理方式特定部１３０は、メモリ及びプロセッサにより実現され、機能的構成要素として、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部１３３及び可変長符号化処理方式特定部１３４を有し、本数取得部１１０から伝達された本数に応じて符号化部１４０における符号化処理の処理方式を特定し、その処理方式を示すパラメータを符号化部１４０に伝達する機能を有する。
【００３９】
また、符号化部１４０は、メモリ、符号化処理の各部分を担う各回路群、及び各回路群を制御する制御プロセッサにより実現され、動画選択部１４１、動き予測部１４２、イントラ符号化部１４３、周波数変換部１４４、量子化部１４５、可変長符号化部１４６及び出力部１４７を有し、動画取得部１２０のバッファメモリから動画を読み出して符号化して記録媒体１５０に記録する機能を有する。ここでは、この符号化は、ＭＰＥＧ４ＡＶＣ規格に準拠して行われるものとして説明する。
【００４０】
処理方式特定部１３０の動き予測処理方式特定部１３１は、メモリの一領域である動き予測処理方式テーブルを有し、動き予測処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、動き予測部１４２によりなされる動き予測処理の処理方式を特定する機能を有する。なお、動き予測方式テーブルについては後に詳しく説明する。
イントラ符号化処理方式特定部１３２は、メモリの一領域であるイントラ符号化処理方式テーブルを有し、イントラ符号化処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、イントラ符号化部１４３によりなされるイントラ符号化処理の処理方式を特定する機能を有する。なお、イントラ符号化方式テーブルについては後に詳しく説明する。
【００４１】
量子化ステップサイズ特定部１３３は、本数取得部１１０から伝達される本数に基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算であり、かつ、本数が１の場合には従来の実用的な画像符号化装置と同等程度の量子化ステップサイズとなるように定められた演算である。
【００４２】
可変長符号化処理方式特定部１３４は、本数取得部１１０から伝達される本数に基づいて、可変長符号化の処理方式を特定する機能を有する。
この機能は、具体的には、可変長符号化すべき事象の統計量を想定して予め設けられた事象と符号語との対照テーブルに基づいて符号化を行う方式を用いるか、さらに圧縮率を高めるために符号化を行う際に過去の事象発生確率に基づく算術演算により動的に符号語を決定しつつ符号化を行う算術符号化と呼ばれる方式を用いるかを特定する機能である。
【００４３】
また、符号化部１４０の動画選択部１４１は、処理方式特定部１３０を介して符号化対象の動画の本数を取得し、その本数に応じて動画取得部１２０のその本数分のバッファメモリから所定時間毎に巡回的に動画を読み出して、各動画はデジタル化された画像フレームが連続してなるものとして、各動画を構成する画像フレーム群を動き予測部１４２或いはイントラ符号化部１４３に伝送することで、各動画について時分割で符号化処理を開始させる機能を有する回路である。
【００４４】
この時分割処理は、例えば、動画が２本である場合においては、動画選択部１４１が、画像フレーム毎に交互にバッファメモリから読み出す動画を切り換えて、逐次、いわゆるマクロブロック単位等、所定サイズのブロック単位で、動き予測部１４２或いはイントラ符号化部１４３に伝送することにより実現される。
動き予測部１４２は、各動画についての動画取得部１２０のバッファメモリにアクセス可能であり、動き予測処理方式特定部１３１から、特定された動き予測処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームに対して所定サイズのブロック単位で動き予測処理を実行する機能を有する回路である。
【００４５】
動き予測処理は、いわゆる画像フレーム間符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロック（以下、「処理対象ブロック」という。）に類似度の高い他の画像フレーム内のブロック（以下、「参照ブロック」という。）を探索しその参照ブロックの位置を指し示す動きベクトルを算定するとともに、その処理対象ブロックと探索結果の参照ブロックとの画像データの差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。ここで、処理対象ブロックと参照ブロックの画像データの類似度が高いとは、両ブロックの画像データの分布傾向が似ていることであり、両ブロックの画像データが一致する場合に最も類似度は高い。
【００４６】
イントラ符号化部１４３は、イントラ符号化処理方式特定部１３２から、特定されたイントラ符号化処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームについて、その画像フレーム内の所定サイズのブロック単位でイントラ符号化処理を実行する機能を有する回路である。
イントラ符号化処理は、いわゆる画像フレーム内符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロックの画像データと、同じ画像フレーム周辺の予め定められているいくつかの方向のブロックに基づく予測値とが最も似ているものとなる予測値を探索し、その画像データと予測値との差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。
【００４７】
周波数変換部１４４は、動き予測部１４２或いはイントラ符号化部１４３から伝達された差分データについて、空間的な冗長度を除くことにより差分データを構成する数値を小さいものに抑えるべく直交変換を施して、直交変換の結果を量子化部１４５に伝達する機能を有する回路である。
量子化部１４５は、周波数変換部１４４により直交変換された後の差分データを取得して、この差分データを構成する数値を更に小さいものに抑えるべく、その各数値を量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで除算した結果を整数値に丸める量子化を施して、量子化の結果を可変長符号化部１４６に伝達する機能を有する回路である。
【００４８】
可変長符号化部１４６は、量子化部１４５により量子化を施された結果のデータを取得して、出現頻度が高い情報ほど短い符号で表現することで更にデータ量を圧縮すべく、取得したデータに、可変長符号化処理方式特定部１３４により特定された処理方式で可変長符号化を施して、その結果を出力部１４７に伝達する機能を有する回路である。
出力部１４７は、可変長符号化部１４６から伝達された符号化後のデータを、動画毎に区別して記録媒体１５０に記録する機能を有する回路である。
【００４９】
＜データ＞
以下、処理方式特定部１３０において記憶されているテーブルデータについて説明する。
図２は、動き予測処理方式テーブルの構成及び内容例を示す図である。
動き予測処理方式特定部１３１が有する動き予測処理方式テーブルは、同図に示すように、動画本数５１と、参照画像フレーム数上限５２、参照画像ブロック探索範囲５３、探索パターン５４等とを対応付けたテーブルである。なお、動画本数５１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
【００５０】
ここで、参照画像フレーム数上限５２は、動き予測処理において、ある画像フレーム内の処理対象ブロックが参照する画像フレームの数として許容する最大数を示す。
参照画像ブロック探索範囲５３は、ある処理対象ブロックと類似度の高い参照画像ブロックを探索する範囲をもとの処理対象ブロックの位置を基準にどの範囲まで探索するかという探索範囲を示す。
【００５１】
また、探索パターン５４は、処理対象ブロックと参照画像ブロックとのサイズ及び形状を示し、具体的には、幅１６画素×高さ１６画素分のパターン、幅１６画素×高さ８画素のパターン、幅８画素×高さ１６画素のパターン、幅８画素×高さ８画素のパターン、幅８画素×高さ４画素のパターン、幅４画素×高さ８画素のパターン、幅４画素×高さ４画素の７パターンのうち、いずれを用いて参照画像ブロックの探索を行うかを示す。
【００５２】
図２に例示する動き予測処理方式テーブルによれば、動画が１本の場合には、参照画像フレームは２枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組としては７パターン全てを適用可能とした動き予測処理の処理方式が特定できる。また、動画が２本の場合には、参照画像フレームは１枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組として幅１６画素×高さ１６画素のパターンと幅１６画素×高さ８画素のパターンと幅８画素×高さ１６画素のパターンと幅８画素×高さ８画素のパターンとの４パターンを適用可能とした動き予測処理の処理方式が特定できる。
【００５３】
図３は、イントラ符号化処理方式テーブルの構成及び内容例を示す図である。
イントラ符号化処理方式特定部１３２が有するイントラ符号化処理方式テーブルは、同図に示すように、動画本数６１と予測方向６２等とを対応付けたテーブルである。なお、動画本数６１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
ここで、予測方向６２は、イントラ符号化処理において、ある画像フレーム内のブロックについて予測値を求める方向の上限を示す。この方向は、幅４画素×高さ４画素のブロックについて言えば予測モード０から予測モード８の９方向のいずれかとなる。
【００５４】
即ち、予測対象のブロックについてそのブロックを基準として、その上方向のブロックの値を予測値と定める予測モード０、左方向のブロックの値を予測値と定める予測モード１、上方向のブロックの値と左方向のブロックの値との平均値を予測値と定める予測モード２、予測対象のブロックについてその上方向のブロックの値と右上方向のブロックの値とを用いて４５度方向に予測値を定める予測モード３、予測対象のブロックについてその上方向のブロックの値と左方向のブロックの値とを用いて１３５度方向に予測値を定める予測モード４、同様に約１１２度方向に予測値を定める予測モード５、同様に約１５８度方向に予測値を定める予測モード６、約６８度方向に予測値を定める予測モード７、約２０３度方向に予測値を定める予測モード８の中から予測方向６２が選ばれる。
【００５５】
図３に例示するイントラ符号化処理方式テーブルによれば、動画が１本の場合には、予測モード０〜８の９方向を適用可能とし、動画が２本の場合には、予測モード０〜４の５方向を適用可能としたイントラ符号化処理の処理方式が特定できる。
＜動作＞
以下、上述した構成を備える画像符号化装置１００の動作について説明する。
【００５６】
画像符号化装置１００は、入力インタフェースを介して外部から符号化対象の動画とその動画の本数の入力を受け付け、処理方式特定部１３０により、動画の本数に基づき符号化処理の処理方式を特定する処理方式特定処理を実行し、この結果に従って符号化部１４０により、各動画に対する符号化処理を実行する。
図４は、処理方式特定部１３０による処理方式特定処理を示すフローチャートである。以下、同図に即して処理方式特定部１３０の動作を説明する。
【００５７】
処理方式特定部１３０は、まず本数取得部１１０から符号化対象の動画の本数を取得し（ステップＳ１１）、動き予測処理方式特定部１３１により動き予測処理方式テーブルに基づいて、本数に応じて動き予測処理方式を示す各パラメータを特定し（ステップＳ１２）、イントラ符号化処理方式特定部１３２によりイントラ符号化処理方式テーブルに基づいて、本数に応じてイントラ符号化処理方式を示すパラメータを特定する（ステップＳ１３）。
【００５８】
また、処理方式特定部１３０は、量子化ステップサイズ特定部１３３により、本数に応じて所定の演算を行うことにより量子化ステップサイズを算定し（ステップＳ１４）、可変長符号化処理方式特定部１３４により、本数と、例えば２等として予め定められている所定の閾値とを比較して（ステップＳ１５）、本数が閾値未満であれば算術符号化を用いるように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１６）、また、本数が閾値以上であれば算術符号化を用いないように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１７）、本数と、動き予測処理の処理方式を示す各パラメータと、イントラ符号化処理の処理方式を示すパラメータと、量子化ステップサイズと、可変長符号化の処理方式を示すパラメータとを符号化部１４０に伝達して（ステップＳ１８）、処理方式特定処理を終える。
【００５９】
このような処理方式特定処理により、基本的に符号化対象の動画の本数が多ければ多いほど、符号化処理の処理量が小さくなるように処理方式が特定される。
但し、量子化に係る量子化ステップサイズについては、符号化対象の動画の本数が多いほど小さいものとなり、この結果、量子化の処理量は増加する。なお、動き予測処理に比べて量子化処理の処理量、例えばプロセッサに実行させる場合の演算量は、実用範囲において十分に小さいものとなることに鑑み、上述の処理方式特定処理により、本数が増えた場合に動き予測処理の処理量を抑えるので画質が劣化しやすくなる傾向が生じるところ、この場合に劣化した画質を補う意味で、量子化による画質劣化を小さく抑えるべく、量子化ステップサイズを小さくするようにしている。
【００６０】
図５は、符号化部１４０による符号化処理を示すフローチャートである。以下、同図に即して符号化部１４０の動作を説明する。
まず、符号化部１４０の動画選択部１４１は、処理方式特定部１３０から伝達された本数に従って、その本数分の動画を、動画取得部１２０が外部から逐次取得して一時的に蓄積している各バッファメモリから、画像フレーム毎に動画を切り換えて順次読み出す（ステップＳ２１）。
【００６１】
続いて、符号化部１４０は、予め定めた判断基準に従って、動画選択部１４１により読み出された動画の画像フレームがイントラ符号化処理のみの対象とする画像フレームか、動き予測処理の対象とし得る画像フレームかを判定し（ステップＳ２２）、イントラ符号化処理のみの対象とする画像フレームであれば、イントラ符号化処理方式特定部１３２により特定されたパラメータに従った予測方向の範囲内で、画像フレーム中の各ブロックについて最適な予測値を探し出して、そのブロックの画像データと予測値との差分である差分データを求めることによるイントラ符号化処理をイントラ符号化部１４３により行う（ステップＳ２３）。
【００６２】
ステップＳ２２において、イントラ符号化処理のみの対象とする画像フレームでないと判定した場合には、動き予測処理方式特定部１３１により特定されたパラメータに従って、処理対象ブロックについて、パラメータで示された上限枚数以下の参照画像フレームを参照するようにし、パラメータで示された参照画像フレーム内の参照画像ブロックの探索範囲から参照ブロックを探索し、その処理対象ブロックのうち参照ブロックの探索に用いる探索パターンは、パラメータで示された形状及びサイズのものにして、処理対象ブロックとの類似度の高い参照画像ブロックを探索して、その参照画像ブロックの位置を指し示す動きベクトルを求め、その参照画像ブロックと処理対象ブロックとの画像データの差分である差分データを求める動き予測処理を動き予測部１４２により行う（ステップＳ２４）。
【００６３】
なお、参照画像フレーム数上限を示すパラメータが２以上であることにより、参照画像ブロックを複数の画像フレームから参照する場合には、各画像フレームから探索した参照画像ブロックについての画像データの平均値と処理対象ブロックの画像データとの間の差分を差分データとして求める。
また、ステップＳ２３又はステップＳ２４に続いて、符号化部１４０の周波数変換部１４４は、求められた差分データに対して直交変換を施し（ステップＳ２５）、その結果のデータに対して、量子化部１４５は量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで量子化を行う（ステップＳ２６）。
【００６４】
量子化に続いて、可変長符号化部１４６は、可変長符号化処理方式特定部１３４により特定されたパラメータに従って、算術符号化を用いるか或いは用いないで、量子化後のデータについて可変長符号化を行い（ステップＳ２７）、可変長符号化後のデータを出力部１４７は、動画毎に区別して記録媒体１５０に記録し（ステップＳ２８）、これにより１画像フレームについての符号化処理（ステップＳ２２〜Ｓ２８）が終了する。
【００６５】
動画が複数ある場合には、つまり本数取得部１１０により複数の本数を示すデータが取得された場合には、最初の動画におけるある画像フレームについての符号化処理がなされた後に、別の動画についての符号化処理（ステップＳ２２〜Ｓ２８）が実行され、次々と本数分の動画について符号化処理が実行された後に、また最初の動画から、各動画について次の画像フレームについての符号化処理が開始され、巡回的に符号化処理が行われる。
【００６６】
また、本数取得部１１０により１本を示すデータが取得された場合には、１本の動画について、順次各画像フレームについての符号化処理が行われる。なお、図５に示した符号化処理における各処理（ステップＳ２２〜Ｓ２８）は、ブロック単位でパイプライン処理により実現される。
＜変形例＞
以下、画像符号化装置１００の変形例である画像符号化装置２００について説明する。
【００６７】
画像符号化装置２００は、画像符号化装置１００に対して、外部から、要求する画質の入力を受け付けて、その要求に対応した画質を保って符号化する機能を追加した装置である。
図６は、画像符号化装置２００の構成図である。
画像符号化装置２００は、同図に示すように、画質取得部２１１、本数取得部１１０、動画取得部１２０、処理方式特定部２３０及び符号化部１４０を備える。なお、画像符号化装置２００の構成要素のうち画像符号化装置１００の構成要素と同一のものについては、図６において図１と同じ符号を付しており、これらについてはここでは詳しい説明を省略する。
【００６８】
ここで、画質取得部２１１は、ユーザ等により入力された画質を示す画質情報を取得し処理方式特定部２３０に伝達する機能を有する入力インタフェースである。画質情報は、例えば、画質の高さを数の大きさで表現する数値情報である。
また、処理方式特定部２３０は、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部２３３及び可変長符号化処理方式特定部１３４を有する。
【００６９】
この量子化ステップサイズ特定部２３３は、本数取得部１１０から伝達される本数と、画質取得部２１１から伝達される画質情報とに基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように、かつ、画質情報が示す画質が高くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算である。
【００７０】
従って、この画像符号化装置２００によれば、画質取得部２１１により取得された画質情報を反映して量子化ステップサイズが特定され量子化部１４５によりその量子化ステップサイズで量子化が施されることになるため、要求された画質を保っての符号化が行われるようになる。
＜実施形態２＞
以下、本発明の実施形態２に係る画像符号化システムについて説明する。
【００７１】
＜構成＞
図７は、本発明の実施形態２に係る画像符号化システムの構成図である。
この画像符号化システムは、動画に対する符号化処理を複数の画像符号化装置により分散処理するシステムであり、同図に示すように、ネットワーク接続された画像符号化装置３００及び画像符号化装置４００により構成される。なお、これら各画像符号化装置の構成要素のうち実施形態１で示した画像符号化装置１００の構成要素と同一のものについては、図７において図１と同じ符号で示しており、これらについてはここでは詳しい説明を省略する。
【００７２】
画像符号化装置３００は、動画の本数を示す情報と動画とを外部から取得し画像符号化装置４００に一部の動画についての符号化処理を分担させつつ自らも他の動画についての符号化処理を行う装置であり、本数取得部１１０、動画取得部１２０、処理方式特定部１３０、符号化部１４０及び処理量管理部３０１を備える。
また、画像符号化装置４００は、処理方式特定部１３０、符号化部１４０及び処理量管理部４０２を備える。
【００７３】
画像符号化装置３００の処理量管理部３０１は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置４００に、処理能力を問い合わせて応答を得てその処理能力と、本数取得部１１０により外部から取得された本数を示す情報と、自装置の処理能力とに基づいて、何本の動画の符号化処理を画像符号化装置４００に依頼するかを決定し、その依頼すると決定した本数を示す情報と、その本数分の動画取得部１２０により外部から取得された動画とを画像符号化装置４００に伝送するとともに、残りの本数分の動画を画像符号化装置３００において符号化するものとして、その残りの本数を画像符号化装置３００内の処理方式特定部１３０に伝達する機能を有する。
【００７４】
画像符号化装置４００の処理量管理部４０２は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置３００から処理能力の問い合わせを受けた場合に、そのメモリを参照して自装置の処理量情報を画像符号化装置３００に伝送する機能と、画像符号化装置３００から本数を示す情報を受信した場合に、その本数を画像符号化装置４００内の処理方式特定部１３０に伝達する機能を有する。
【００７５】
上述した画像符号化装置３００及び画像符号化装置４００において記憶されている処理能力を示す処理量情報は、例えば、１本の動画を符号化する際に用いられる所定の符号化処理の処理方式を一律に適用して符号化を行うとした場合において、同時に何本の動画を符号化できるかという本数で表される。
＜動作＞
以下、上述した構成を備える画像符号化システムの動作について説明する。
【００７６】
画像符号化装置３００に対して外部から複数本の動画とその本数を示す情報とが入力されると、画像符号化装置３００は、一部の動画の符号化を画像符号化装置４００に依頼して自装置で残りの動画の符号化を行うための依頼処理を実行する。
図８は、画像符号化装置３００により行われる依頼処理を示すフローチャートである。以下、同図に即して画像符号化装置３００の動作とこれに呼応しての画像符号化装置４００の動作について説明する。
【００７７】
画像符号化装置３００は、ネットワーク接続されている画像符号化装置４００に対して処理能力を問い合わせ、これに呼応して画像符号化装置４００が送信する処理量情報を受信する（ステップＳ３１）。
続いて画像符号化装置３００の処理量管理部３０１は、受信された処理量情報が示す処理能力の値の、自装置の処理量情報が示す処理能力の値に対する比を求め、その比を本数取得部１１０により取得された本数に乗じて得られた値に最も近い整数を、依頼する本数として定め（ステップＳ３２）、依頼する本数を画像符号化装置４００に伝送して符号化を依頼する（ステップＳ３３）。
【００７８】
これにより画像符号化装置４００ではその依頼された本数を受信し、画像符号化装置４００内の処理方式特定部１３０はその依頼された本数に応じて符号化処理の各処理方式を特定する。また、画像符号化装置４００内の符号化部１４０は、その依頼された本数分の動画を画像符号化装置３００から受信して、受信した各動画について時分割で、処理方式特定部１３０により特定された処理方式に従って、符号化処理を実行する。
【００７９】
ステップＳ３３に続いて、画像符号化装置３００の処理量管理部３０１は、本数取得部１１０により取得された本数と依頼した本数との差である本数を画像符号化装置３００内の処理方式特定部１３０に伝達して依頼処理を終了する（ステップＳ３４）、このステップＳ３４の結果、画像符号化装置３００の処理方式特定部１３０によりその差である本数に応じて符号化処理の各処理方式が特定され、その各処理方式に従って画像符号化装置３００の符号化部１４０によりその差である本数分の動画に対しての符号化処理が行われる。
＜補足＞
以上、本発明に係る画像符号化装置について実施形態１、２に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施形態で示した画像符号化装置に限られないことは勿論である。
（１）実施形態１、２で示した画像符号化装置は、記録媒体１５０に符号化後の動画を記録することとしたが、記録媒体１５０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（DigitalVersatile Disk）、ＢＤ（Blu-ray Disk）等の光ディスクに限られることなく、ハードディスク、メモリカード等であってもよい。また、画像符号化装置の出力部１４７は記録媒体への記録の代わりに、ネットワークに符号化後の各動画を送出することとしてもよい。
（２）実施形態１、２で示した画像符号化装置は、ＭＰＥＧ４ＡＶＣ規格に準拠して符号化を行うものとしたが、例えば、ＭＰＥＧ２ビデオ規格やＭＰＥＧ４ビジュアル規格等に準拠するものであってもよく、本発明の適用範囲が特に特定の規格に限定されることはない。
（３）実施形態１、２で示した画像符号化装置の処理方式特定部は、動き予測処理の処理方式、イントラ符号化処理の処理方式、量子化ステップサイズに係る量子化処理の処理方式及び可変長符号化処理の処理方式のそれぞれを特定するパラメータを特定するものとしたが、これらの他に、例えば、符号化対象の動画の本数が、３等と予め定めた所定数以上であれば動き予測処理を行わずイントラ符号化処理のみを行うように、動き予測処理を実行するか実行しないかを特定することとしてもよく、実施形態１、２において例示しなかった符号化処理の処理方式を符号化対象の動画の本数に応じて変化させるようにしてもよい。
【００８０】
また逆に、動き予測処理の処理方式、イントラ符号化処理の処理方式、可変長符号化処理の処理方式の全てではなく、そのうち一部の処理方式のみを特定するだけとし、符号化対象の動画の本数によってその一部の処理方式に係る符号化処理部分だけが変動するように処理方式特定部及び符号化部を構成することとしてもよい。
（４）実施形態１、２で示した画像符号化装置における処理方式特定部は、動き予測方式テーブル、イントラ符号化処理方式テーブルを有し、これらのテーブルを利用して符号化処理における動き予測処理及びイントラ符号化処理の各処理方式を特定することとしたが、量子化ステップサイズに係る量子化処理の処理方式の特定や可変長符号化処理の処理方式の特定も同様にルックアップテーブルを利用して行ってもよく、また各処理方式を示すパラメータを、所定の演算式に基づいて演算により特定することとしてもよい。
【００８１】
但し、符号化対象の動画の本数が多くなればなるほど、１つの動画に対する動き予測処理、イントラ符号化処理及び可変長符号化処理の処理量が小さくなる傾向を有するように、処理方式の特定がなされるようにする必要があり、この処理量を小さくすることで画質が劣化するのをある程度抑えるべく量子化ステップサイズについては動画の本数が多くなればなるほど小さくなるように特定される必要がある。
（５）実施形態１の変形例で示した画像符号化装置の量子化ステップサイズ特定部２３３は、要求画質を示す画質情報と本数とに基づいて量子化ステップサイズを特定することとしたが、本数に依存せず画質情報のみに基づいて量子化ステップサイズを特定することとしてもよい。
（６）実施形態１、２で図２〜図４等を用いて示した画像符号化装置における処理方式特定部が本数に応じて処理方式を特定する具体的な内容については、単なる例示であり、符号化部の回路の構成や処理性能等によって変形し得る。
【００８２】
実用的なものとするためには、符号化対象の動画の本数が何本であっても、符号化部の各回路により実行される符号化処理の処理速度がほぼ一定範囲に収まるように処理方式の特定がなされるべく、処理方式特定部内の処理方式特定に用いられるテーブルや演算式が、実験或いは理論的計算に基づいて定められていることが望ましい。
（７）実施形態１、２で示した画像符号化装置における符号化部を構成する各機能部は、ハードウェアのみからなる回路に限らず、ソフトウェアを含んでソフトウェアの実行によってその機能が実現されるものであってもよく、この場合、ソフトウェアを実行するプロセッサは、機能部毎に設けられることとしてもよいし、複数の機能部に相当する機能を１つのプロセッサが実現することとしてもよい。
【００８３】
また、画像符号化装置は、ＬＳＩ（Large Scale Integration）、ＶＬＳＩ（Very Large Scale Integration）等の一部又は全部として実現されてもよく、複数のＬＳＩ等で実現されてもよく、１又は複数のＬＳＩ等と他の回路とにより実現されてもよい。
（８）実施形態１で示した画像符号化装置の本数取得部１１０が、符号化部１４０により動画についての符号化処理が開始された後であっても随時本数の取得を行うこととし、処理方式特定部１３０は本数に変化があった場合に処理方式を新たに特定して、その結果に従って符号化部１４０が符号化を行うようにしてもよい。
【００８４】
これにより、入力された動画の本数が変動するような場合にも対応することができるようになる。
（９）実施形態１で示した画像符号化装置を変形して、符号化部１４０のうち復号にも利用可能な回路は復号にも用いることとし、その上で、さらに復号に必要な回路を付加することにより、圧縮された動画を復号する復号機能をもたせることにしてもよい。
【００８５】
この場合には、処理方式特定部１３０を、復号される動画の量が多くなれにつれて動画毎の符号化に係る演算量を少なくするように、処理方式を特定するよう変形するとよい。
（１０）実施形態２で示した画像符号化装置３００を変形して、もとの構成要件に加えて画像符号化装置の処理量管理部４０２に相当する機能部を含めることとしてもよく、この変形した画像符号化装置によれば、自らが画像符号化装置４００に対して符号化処理を依頼することができる上に、他の画像符号化装置３００から符号化処理を依頼された場合に内部の動画取得部を通じて動画を取得して符号化することもできるようになる。
（１１）実施形態２で示した画像符号化システムを変形して、画像符号化装置４００から処理方式特定部１３０を除き、画像符号化装置３００の処理方式特定部１３０は本数取得部により取得された本数に応じて動き予測処理やその他の符号化処理の処理方式を特定することとし、処理量管理部３０１は画像符号化装置４００に依頼する本数を決定した後にその決定した依頼本数と処理方式特定部１３０により特定された処理方式とを画像符号化装置４００に伝達することとし、画像符号化装置４００の符号化部１４０は画像符号化装置３００から受信した処理方式に従って依頼本数分の動画の符号化を行うこととしてもよい。
（１２）画像符号化装置における各処理（図４、図５参照）をプロセッサに実行させるためのプログラムを、記録媒体に記録し又は各種通信路等を介して、流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布されたプログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがそのプログラムを実行することにより実施形態１で示した画像符号化装置の機能が実現されるようになる。
【産業上の利用可能性】
【００８６】
本発明に係る画像符号化装置は、ハードディスクレコーダ、ＤＶＤレコーダ等に搭載され利用され得る。
【図面の簡単な説明】
【００８７】
【図１】 本発明の実施形態１に係る画像符号化装置１００の構成図である。
【図２】 動き予測処理方式テーブルの構成及び内容例を示す図である。
【図３】 イントラ符号化処理方式テーブルの構成及び内容例を示す図である。
【図４】 処理方式特定部１３０による処理方式特定処理を示すフローチャートである。
【図５】 符号化部１４０による符号化処理を示すフローチャートである。
【図６】 画像符号化装置２００の構成図である。
【図７】 本発明の実施形態２に係る画像符号化システムの構成図である。
【図８】 画像符号化装置３００により行われる依頼処理を示すフローチャートである。
【符号の説明】
【００８８】
１００、２００、３００、４００ 画像符号化装置
１１０ 本数取得部
１２０ 動画取得部
１３０、２３０ 処理方式特定部
１３１ 動き予測処理方式特定部
１３２ イントラ符号化処理方式特定部
１３３、２３３ 量子化ステップサイズ特定部
１３４ 可変長符号化処理方式特定部
１４０ 符号化部
１４１ 動画選択部
１４２ 動き予測部
１４３ イントラ符号化部
１４４ 周波数変換部
１４５ 量子化部
１４６ 可変長符号化部
１４７ 出力部
１５０ 記録媒体
２１１ 画質取得部
３０１、４０２ 処理量管理部
【発明の名称】 画像符号化装置
【技術分野】
【０００１】
本発明は、動画の圧縮符号化技術に関し、特に、複数の動画を圧縮符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、動画を伝送する際又は記録媒体に記録する際に用いられる圧縮符号化（以下、単に「符号化」という。）の規格として、ＭＰＥＧ（Moving Picture Experts Group）規格、例えばＭＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１８８１８−２）、ＭＰＥＧ４ビジュアル規格（ＩＳＯ／ＩＥＣ１４４９６−２）或いはＭＰＥＧ４ＡＶＣ規格（Moving Picture Experts Group phase 4 Advanced Video Coding、ＩＳＯ１４４９６−１０）が知られている。そして、これらの規格に従って符号化を行う画像符号化装置が開発されている。
【０００３】
また、複数の動画を並行して符号化してネットワーク伝送する画像符号化装置として、周波数変換器、量子化器、可変長符号化器等の符号化処理手段を複数系統有して、ネットワーク伝送上の要請から、符号化後の各動画の出力ビットレートを制御し総合的なビットレートを一定に保つ画像符号化装置が提案されている（日本国の特許文献１参照）。
この従来の、複数の動画を並行して符号化する画像符号化装置は、入力される動画を、周波数変換器で空間領域から周波数領域に変換し、更に量子化器で量子化係数に応じた量子化を施し、そして可変長符号化器で可変長符号に変換して出力するものであり、入力される第１動画及び第２動画の各複雑度を合計した値に応じて量子化係数を決定して、量子化を行うことで出力ビットレートを制御するものである。
【特許文献１】 特表平９−５１２４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の複数の動画を並行して符号化する画像符号化装置は、入力される動画の本数分の個数の符号化手段を有するため、入力される動画の本数が一定であるような利用形態に適したものである。
ところで、画像符号化装置の利用形態として、入力される動画の本数が一定とは限らないような利用形態もあり得る。例えば、画像符号化装置が、テレビ放送受信機器等に内蔵され、複数チャネルで放送される動画のうち、ユーザが任意に選択した何本かの動画を並行して受信して、各動画について符号化処理を行って光ディスク等の記録媒体に圧縮保存するような、画像符号化装置の利用形態が想定される。
【０００５】
このように入力される動画の本数が一定とは限らない利用形態に対応するために、上述の従来の画像符号化装置では、入力を許容する動画の最大本数分の個数の符号化手段を予め内蔵しておくことになる。しかしながら、もしユーザがその最大本数より少ない本数の動画を入力した場合には、いくつかの符号化手段は利用されず余分なものとなる。このことは、画像符号化装置を構成する内部回路の効率的利用という観点から、好ましいことではない。
【０００６】
そこで、本発明は、かかる問題に鑑みてなされたものであり、有限数の符号化手段を有効活用して、任意の本数の動画の入力に対応して符号化処理を行う画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像符号化装置は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定手段と、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備え、前記符号化手段は、前記符号化処理の一部として、前記動き予測処理方式特定手段により特定された処理方式で動き予測処理を行う動き予測部を有することを特徴とする。
【０００８】
ここで、演算量は、符号化処理を担う回路については、１本の動画あたりに要する符号化処理の処理量を意味し、演算量が多いということは処理完了までに時間がかかるということを意味する。
また、符号化処理を担う回路がソフトウェアを実行するプロセッサにより符号化処理を実現する場合においては、演算量は、その符号化処理を実現するための演算命令の命令数或いは命令実行時間を意味する。
【発明の効果】
【０００９】
上述の構成によって、本発明に係る画像符号化装置は、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整することにより、符号化手段を有効活用して、任意の本数の動画の入力に対応した符号化処理を行うことができるようになる。
即ち、本発明に係る画像符号化装置は、符号化すべき動画の本数が多い場合に動画１本あたりの動き予測処理に要する演算量を少なくさせるため、例えば１本の動画を符号化するのに要する演算量と、複数本の動画を符号化するのに要する合計の演算量をある程度同等レベルの範囲内に抑え得る。なお、動き予測処理は、実用上は符号化処理において他の処理に比べて高い演算量を要するものであり、動き予測処理の演算量を抑えることは符号化処理の演算量を抑えることに大きく影響する。
【００１０】
従って、この画像符号化装置は、演算量の抑制の関係上、圧縮率或いは画質を悪化させる可能性はないとは言えないものの、装置コストを特段増大させることなく、符号化対象の動画の本数が何本であっても、同時に符号化を行うことができ、ある程度同じ時間で全動画の符号化を終えることができる可能性をもつという有用な効果を奏する。なお、画質の悪化を防止する方法としては、符号化処理における量子化処理に係る量子化ステップサイズを小さくする方法等を採用することができる。
【００１１】
また、前記動き予測処理方式特定手段は、各本数値と動き予測処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて動き予測処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記動き予測部に伝達することにより、動き予測処理の処理方式を特定し、前記動き予測部は、前記動き予測処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で動き予測処理を行うこととしてもよい。
【００１２】
これにより、実験等により予め適切に調整されたテーブルを用いて動き予測処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて動き予測処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての動き予測処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
【００１３】
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像フレーム数の上限値に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて参照画像フレーム数の上限値を小さくするように特定し、前記動き予測部は、動き予測処理過程で、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での参照画像フレーム数の上限値を超えない数の参照画像フレームから動きベクトルの探索を行うこととしてもよい。
【００１４】
なお、動画は複数の画像フレームから構成されており、動き予測処理は、各画像フレーム内を区分した各処理対象ブロックに対して、参照画像フレーム中の類似度の高い参照画像ブロックを探索してその参照画像ブロックの位置を指す動きベクトルを求め、処理対象ブロックと参照画像ブロックとの画像データの差分である差分データを求める処理であり、求められたデータは動き予測処理に後続する符号化処理工程において利用される。
【００１５】
従って、本発明に係る画像符号化装置は、符号化対象の動画の本数が多い場合には、動画それぞれに対する動き予測処理において、参照ブロックの所在する参照画像フレーム数をよる少なく限定することにより、画像フレーム内の各処理対象ブロックと類似度の高い参照ブロックを探索することに要する演算量を削減するので、この結果として画像符号化装置の有限の演算処理能力を有効活用し、任意の本数の動画を同時に符号化することができるようになる。
【００１６】
また、前記動き予測処理方式特定手段は、動き予測処理における動きベクトルの探索範囲に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索範囲が狭くなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、参照画像フレーム中の、前記動き予測処理方式特定手段により特定された処理方式での探索範囲内の中から、当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
【００１７】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックの探索範囲を狭くするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動き予測処理方式特定手段は、動き予測処理における参照画像ブロックの各種形状パターンに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて形状パターン数が少なくなるように特定し、前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での各種形状パターンを用いて、参照画像フレーム中の参照ブロックを探索して当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定することとしてもよい。
【００１８】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対する動き予測処理において、参照ブロックを探索する際に用いる照合用の形状パターン数を少なくするので、参照ブロックの探索に要する演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記動き予測処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、動き予測処理の処理方式の特定を行うこととしてもよい。
【００１９】
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて動き予測処理の処理方式を新たに特定してその処理方式で動き予測処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記動き予測処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように動き予測処理の処理方式を特定することとしてもよい。
【００２０】
また、前記決定手段は、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理における動き予測処理の処理方式を、実行を依頼する符号化処理の対象となる動画の本数とともに決定し、前記送信手段は、更に、前記決定手段により決定された動き予測処理の処理方式を示す情報を前記外部装置に送信することとしてもよい。
これらにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
【００２１】
また、前記画像符号化装置は、更に、前記本数取得手段により取得された本数に応じて、量子化ステップサイズを、本数が多くなるにつれて量子化ステップサイズが小さくなるように特定する量子化ステップサイズ特定手段を備え、前記符号化手段は、動き予測処理の結果として得られる差分データを、前記量子化ステップサイズ特定手段により特定された量子化ステップサイズで量子化する量子化部を有することとしてもよい。
【００２２】
これにより、符号化対象の動画の本数が多くなるにつれて動画それぞれに対する動き予測処理の演算量を抑制することにより起こり得る画質劣化を、符号化処理における量子化処理に係る量子化ステップサイズを小さくすることによる画質向上により補間し得るようになる。
また、本発明に係る画像符号化装置は、動画を圧縮するために符号化処理を行う画像符号化装置であって、符号化対象の動画の本数を取得する本数取得手段と、符号化対象の１又は複数の動画を取得する動画取得手段と、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定手段と、前記処理方式特定手段により特定された処理方式で、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備えることを特徴とする。
【００２３】
この本発明に係る画像符号化装置によれば、並行して符号化すべき動画の本数に応じて、各動画についての符号化処理に要する演算量を調整するので、符号化手段を有効活用して、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、各本数値と符号化処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて符号化処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記符号化手段に伝達することにより、符号化処理の処理方式を特定し、前記符号化手段は、前記処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で符号化処理を行うこととしてもよい。
【００２４】
これにより、実験等により予め適切に調整されたテーブルを用いて符号化処理の処理方式の特定が行えるため、必要に応じて計算処理等を行って処理方式を特定するより高速かつ好適に、符号化すべき動画の本数に応じて符号化処理の処理方式を変動させることが可能になる。なお、符号化対象の動画の本数が何本であっても、各動画についての符号化処理に要する演算量の合計量がほぼ一定範囲に収まるように処理方式の特定がなされるようにテーブルが調整されていれば、符号化対象の動画の本数が２本であっても３本であっても適切に各動画の符号化を並行して行うことができる。
【００２５】
また、前記符号化手段は、前記符号化処理の一部として、処理対象の動画中の一部又は全部の画像フレームについて画像フレーム内符号化処理を行うイントラ符号化部を有し、前記処理方式特定手段は、画像フレーム内符号化における予測値を探索する方向に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索する方向の数を小さくするように特定し、前記イントラ符号化部は、画像フレーム内の各処理対象ブロックについて、前記処理方式特定手段により特定された処理方式での予測値を探索する方向のそれぞれに沿って、処理対象ブロックの画像データと最も似ている予測値を探索することとしてもよい。
【００２６】
ここで、画像フレーム内符号化処理は、処理対象ブロックと同じ画像フレーム内の所定方向のブロックに基づいて算出した予測値のうち処理対象ブロックの画像データに最も似ている予測値を探索して探索結果の予測値と処理対象ブロックの画像データとの差である差分データを求めるイントラ符号化処理であり、求められたデータはイントラ符号化処理に後続する符号化処理工程において利用される。
【００２７】
これにより、符号化対象の動画の本数が多ければ、動画それぞれに対するイントラ符号化処理において、予測値を算出するための計算対象範囲が少なくなるので演算量を削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記処理方式特定手段は、画像フレーム間符号化を用いるか否かに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば画像フレーム間符号化を用い当該本数が所定数以上であれば画像フレーム間符号化を用いないように特定し、前記符号化手段は、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いるという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化及び画像フレーム内符号化を行い、前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いないという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化を行わず画像フレーム内符号化を行うこととしてもよい。
【００２８】
これにより、本数が多い場合に画像フレーム内符号化のみが行われることになるため、演算量が削減でき、任意の本数の動画を同時に符号化することができるようになる。
また、前記符号化手段は、前記符号化処理の一部として可変長符号化処理を行う可変長符号化部を有し、前記処理方式特定手段は、可変長符号化に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば算出符号化を用い当該本数が所定数以上であれば算術符号化を用いないように特定し、前記可変長符号化部は、前記処理方式特定手段により特定された処理方式が算術符号化を用いるという処理方式であれば算術符号化による可変長符号化を行い、前記処理方式特定手段により特定された処理方式が算術符号化を用いないという処理方式であれば、算術符号化を行わず、予め定められた符号語に係る対照テーブルに基づいて可変長符号化を行うこととしてもよい。
【００２９】
これにより、本数が多い場合に一般に演算量が高いとされる算術符号化を用いないでテーブルに基づき可変長符号化を行うため演算量が削減でき、この結果、任意の本数の動画を同時に符号化することができるようになる。
また、前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、前記処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、符号化処理の処理方式の特定を行うこととしてもよい。
【００３０】
これにより、画像符号化装置に入力する動画の本数が変化しても、それに応じて符号化処理の処理方式を新たに特定してその処理方式で符号化処理を行うため、その変化後の本数の動画を適切に符号化することができるようになる。
また、前記動画取得手段は、符号化対象の複数の動画を取得し、前記画像符号化装置は、更に、符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、前記処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように符号化処理の処理方式を特定することとしてもよい。
【００３１】
これにより、複数の装置で、複数の動画の符号化を適切に分散して処理することができるようになる。
また、前記画像符号化装置は、更に、要求される画質を示す画質情報を取得する画質情報取得手段を備え、前記処理方式特定手段は、符号化処理の処理方式を、前記本数取得手段により取得された本数及び前記画質情報取得手段により取得された画質情報に応じて特定することとしてもよい。
【００３２】
例えば、要求される画質が高い場合には量子化ステップサイズを小さくして要求に応える等を行うことになるため、要求される画質に応じた符号化が可能になる。
また、前記画像符号化装置は、更に、前記符号化手段と一部の回路を共用して、圧縮された動画を復号する復号手段を備え、前記処理方式特定手段は、更に、復号手段により復号される動画の量に応じて、復号される動画の量が多くなるにつれて演算量が少なくなるように前記符号化処理の処理方式を特定することとしてもよい。
【００３３】
これにより、動画の復号に並行して任意の本数の動画の符号化を行うことができるようになる。
また、本発明に係る画像符号化方法は、動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含むことを特徴とする。
【００３４】
また、本発明に係る画像符号化方法は、動画を圧縮するために符号化処理を行う画像符号化方法であって、符号化対象の動画の本数を取得する本数取得ステップと、符号化対象の１又は複数の動画を取得する動画取得ステップと、符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定ステップと、前記処理方式特定ステップにより特定された処理方式で、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含むことを特徴とする。
【００３５】
これらの画像符号化方法によれば、並行して符号化すべき動画の本数に応じて、符号化処理に要する演算量を調整するので、任意の本数の動画をある程度一定範囲の演算量の演算処理によって符号化することができるようになる。
【発明を実施するための最良の形態】
＜実施形態１＞
以下、本発明の実施形態１に係る画像符号化装置１００について説明する。
【００３６】
＜構成＞
図１は、本発明の実施形態１に係る画像符号化装置１００の構成図である。
画像符号化装置１００は、同図に示すように、本数取得部１１０、動画取得部１２０、処理方式特定部１３０及び符号化部１４０を備える。
なお、同図には、動画について画像符号化装置１００が符号化処理を施して出力したデータを蓄積するための光ディスク等の記録媒体１５０をも示している。また、ここでは、動画は、その再生時に表示される画像内容を表現している画像フレームを含む動画データをも示す用語として用いる。
【００３７】
ここで、本数取得部１１０は、画像符号化装置１００の外部から符号化対象となる動画の本数の入力を受け付けて処理方式特定部１３０に伝達する入力インタフェースである。
動画取得部１２０は、動画の入力インタフェースであり、動画を構成する所定数の画像フレームを格納可能な容量の第１バッファ、第２バッファ、・・・、第Ｎバッファという複数のバッファメモリを有しており、画像符号化装置１００の外部から符号化対象となる１又は複数の動画の入力を受け付けて各動画を内部の各バッファメモリに格納する機能を担う。なお、動画は、いわゆるストリームデータであるため、動画の総データ量が多い場合には、画像符号化装置１００によりその一部の符号化が行われている間においても動画取得部１２０により、継続的に取得される。
【００３８】
処理方式特定部１３０は、メモリ及びプロセッサにより実現され、機能的構成要素として、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部１３３及び可変長符号化処理方式特定部１３４を有し、本数取得部１１０から伝達された本数に応じて符号化部１４０における符号化処理の処理方式を特定し、その処理方式を示すパラメータを符号化部１４０に伝達する機能を有する。
【００３９】
また、符号化部１４０は、メモリ、符号化処理の各部分を担う各回路群、及び各回路群を制御する制御プロセッサにより実現され、動画選択部１４１、動き予測部１４２、イントラ符号化部１４３、周波数変換部１４４、量子化部１４５、可変長符号化部１４６及び出力部１４７を有し、動画取得部１２０のバッファメモリから動画を読み出して符号化して記録媒体１５０に記録する機能を有する。ここでは、この符号化は、ＭＰＥＧ４ＡＶＣ規格に準拠して行われるものとして説明する。
【００４０】
処理方式特定部１３０の動き予測処理方式特定部１３１は、メモリの一領域である動き予測処理方式テーブルを有し、動き予測処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、動き予測部１４２によりなされる動き予測処理の処理方式を特定する機能を有する。なお、動き予測方式テーブルについては後に詳しく説明する。
イントラ符号化処理方式特定部１３２は、メモリの一領域であるイントラ符号化処理方式テーブルを有し、イントラ符号化処理方式テーブルに基づいて、本数取得部１１０から伝達される本数に応じて、イントラ符号化部１４３によりなされるイントラ符号化処理の処理方式を特定する機能を有する。なお、イントラ符号化方式テーブルについては後に詳しく説明する。
【００４１】
量子化ステップサイズ特定部１３３は、本数取得部１１０から伝達される本数に基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算であり、かつ、本数が１の場合には従来の実用的な画像符号化装置と同等程度の量子化ステップサイズとなるように定められた演算である。
【００４２】
可変長符号化処理方式特定部１３４は、本数取得部１１０から伝達される本数に基づいて、可変長符号化の処理方式を特定する機能を有する。
この機能は、具体的には、可変長符号化すべき事象の統計量を想定して予め設けられた事象と符号語との対照テーブルに基づいて符号化を行う方式を用いるか、さらに圧縮率を高めるために符号化を行う際に過去の事象発生確率に基づく算術演算により動的に符号語を決定しつつ符号化を行う算術符号化と呼ばれる方式を用いるかを特定する機能である。
【００４３】
また、符号化部１４０の動画選択部１４１は、処理方式特定部１３０を介して符号化対象の動画の本数を取得し、その本数に応じて動画取得部１２０のその本数分のバッファメモリから所定時間毎に巡回的に動画を読み出して、各動画はデジタル化された画像フレームが連続してなるものとして、各動画を構成する画像フレーム群を動き予測部１４２或いはイントラ符号化部１４３に伝送することで、各動画について時分割で符号化処理を開始させる機能を有する回路である。
【００４４】
この時分割処理は、例えば、動画が２本である場合においては、動画選択部１４１が、画像フレーム毎に交互にバッファメモリから読み出す動画を切り換えて、逐次、いわゆるマクロブロック単位等、所定サイズのブロック単位で、動き予測部１４２或いはイントラ符号化部１４３に伝送することにより実現される。
動き予測部１４２は、各動画についての動画取得部１２０のバッファメモリにアクセス可能であり、動き予測処理方式特定部１３１から、特定された動き予測処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームに対して所定サイズのブロック単位で動き予測処理を実行する機能を有する回路である。
【００４５】
動き予測処理は、いわゆる画像フレーム間符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロック（以下、「処理対象ブロック」という。）に類似度の高い他の画像フレーム内のブロック（以下、「参照ブロック」という。）を探索しその参照ブロックの位置を指し示す動きベクトルを算定するとともに、その処理対象ブロックと探索結果の参照ブロックとの画像データの差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。ここで、処理対象ブロックと参照ブロックの画像データの類似度が高いとは、両ブロックの画像データの分布傾向が似ていることであり、両ブロックの画像データが一致する場合に最も類似度は高い。
【００４６】
イントラ符号化部１４３は、イントラ符号化処理方式特定部１３２から、特定されたイントラ符号化処理の処理方式を示すパラメータを受け取り、その処理方式に従って、動画選択部１４１により選択された動画の画像フレームについて、その画像フレーム内の所定サイズのブロック単位でイントラ符号化処理を実行する機能を有する回路である。
イントラ符号化処理は、いわゆる画像フレーム内符号化の処理であり、画像フレーム内の各ブロックに対して、そのブロックの画像データと、同じ画像フレーム周辺の予め定められているいくつかの方向のブロックに基づく予測値とが最も似ているものとなる予測値を探索し、その画像データと予測値との差分値である差分データを算出し、差分データを周波数変換部１４４に伝達する処理である。
【００４７】
周波数変換部１４４は、動き予測部１４２或いはイントラ符号化部１４３から伝達された差分データについて、空間的な冗長度を除くことにより差分データを構成する数値を小さいものに抑えるべく直交変換を施して、直交変換の結果を量子化部１４５に伝達する機能を有する回路である。
量子化部１４５は、周波数変換部１４４により直交変換された後の差分データを取得して、この差分データを構成する数値を更に小さいものに抑えるべく、その各数値を量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで除算した結果を整数値に丸める量子化を施して、量子化の結果を可変長符号化部１４６に伝達する機能を有する回路である。
【００４８】
可変長符号化部１４６は、量子化部１４５により量子化を施された結果のデータを取得して、出現頻度が高い情報ほど短い符号で表現することで更にデータ量を圧縮すべく、取得したデータに、可変長符号化処理方式特定部１３４により特定された処理方式で可変長符号化を施して、その結果を出力部１４７に伝達する機能を有する回路である。
出力部１４７は、可変長符号化部１４６から伝達された符号化後のデータを、動画毎に区別して記録媒体１５０に記録する機能を有する回路である。
【００４９】
＜データ＞
以下、処理方式特定部１３０において記憶されているテーブルデータについて説明する。
図２は、動き予測処理方式テーブルの構成及び内容例を示す図である。
動き予測処理方式特定部１３１が有する動き予測処理方式テーブルは、同図に示すように、動画本数５１と、参照画像フレーム数上限５２、参照画像ブロック探索範囲５３、探索パターン５４等とを対応付けたテーブルである。なお、動画本数５１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
【００５０】
ここで、参照画像フレーム数上限５２は、動き予測処理において、ある画像フレーム内の処理対象ブロックが参照する画像フレームの数として許容する最大数を示す。
参照画像ブロック探索範囲５３は、ある処理対象ブロックと類似度の高い参照画像ブロックを探索する範囲をもとの処理対象ブロックの位置を基準にどの範囲まで探索するかという探索範囲を示す。
【００５１】
また、探索パターン５４は、処理対象ブロックと参照画像ブロックとのサイズ及び形状を示し、具体的には、幅１６画素×高さ１６画素分のパターン、幅１６画素×高さ８画素のパターン、幅８画素×高さ１６画素のパターン、幅８画素×高さ８画素のパターン、幅８画素×高さ４画素のパターン、幅４画素×高さ８画素のパターン、幅４画素×高さ４画素の７パターンのうち、いずれを用いて参照画像ブロックの探索を行うかを示す。
【００５２】
図２に例示する動き予測処理方式テーブルによれば、動画が１本の場合には、参照画像フレームは２枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組としては７パターン全てを適用可能とした動き予測処理の処理方式が特定できる。また、動画が２本の場合には、参照画像フレームは１枚を上限とし、参照画像ブロックの探索範囲は処理対象ブロックを基準として−１５画素から＋１５画素の範囲とし、探索パターンのサイズ及び形状の組として幅１６画素×高さ１６画素のパターンと幅１６画素×高さ８画素のパターンと幅８画素×高さ１６画素のパターンと幅８画素×高さ８画素のパターンとの４パターンを適用可能とした動き予測処理の処理方式が特定できる。
【００５３】
図３は、イントラ符号化処理方式テーブルの構成及び内容例を示す図である。
イントラ符号化処理方式特定部１３２が有するイントラ符号化処理方式テーブルは、同図に示すように、動画本数６１と予測方向６２等とを対応付けたテーブルである。なお、動画本数６１は、１本から、予め定められたＮ本、例えば４本、までの値をとる。
ここで、予測方向６２は、イントラ符号化処理において、ある画像フレーム内のブロックについて予測値を求める方向の上限を示す。この方向は、幅４画素×高さ４画素のブロックについて言えば予測モード０から予測モード８の９方向のいずれかとなる。
【００５４】
即ち、予測対象のブロックについてそのブロックを基準として、その上方向のブロックの値を予測値と定める予測モード０、左方向のブロックの値を予測値と定める予測モード１、上方向のブロックの値と左方向のブロックの値との平均値を予測値と定める予測モード２、予測対象のブロックについてその上方向のブロックの値と右上方向のブロックの値とを用いて４５度方向に予測値を定める予測モード３、予測対象のブロックについてその上方向のブロックの値と左方向のブロックの値とを用いて１３５度方向に予測値を定める予測モード４、同様に約１１２度方向に予測値を定める予測モード５、同様に約１５８度方向に予測値を定める予測モード６、約６８度方向に予測値を定める予測モード７、約２０３度方向に予測値を定める予測モード８の中から予測方向６２が選ばれる。
【００５５】
図３に例示するイントラ符号化処理方式テーブルによれば、動画が１本の場合には、予測モード０〜８の９方向を適用可能とし、動画が２本の場合には、予測モード０〜４の５方向を適用可能としたイントラ符号化処理の処理方式が特定できる。
＜動作＞
以下、上述した構成を備える画像符号化装置１００の動作について説明する。
【００５６】
画像符号化装置１００は、入力インタフェースを介して外部から符号化対象の動画とその動画の本数の入力を受け付け、処理方式特定部１３０により、動画の本数に基づき符号化処理の処理方式を特定する処理方式特定処理を実行し、この結果に従って符号化部１４０により、各動画に対する符号化処理を実行する。
図４は、処理方式特定部１３０による処理方式特定処理を示すフローチャートである。以下、同図に即して処理方式特定部１３０の動作を説明する。
【００５７】
処理方式特定部１３０は、まず本数取得部１１０から符号化対象の動画の本数を取得し（ステップＳ１１）、動き予測処理方式特定部１３１により動き予測処理方式テーブルに基づいて、本数に応じて動き予測処理方式を示す各パラメータを特定し（ステップＳ１２）、イントラ符号化処理方式特定部１３２によりイントラ符号化処理方式テーブルに基づいて、本数に応じてイントラ符号化処理方式を示すパラメータを特定する（ステップＳ１３）。
【００５８】
また、処理方式特定部１３０は、量子化ステップサイズ特定部１３３により、本数に応じて所定の演算を行うことにより量子化ステップサイズを算定し（ステップＳ１４）、可変長符号化処理方式特定部１３４により、本数と、例えば２等として予め定められている所定の閾値とを比較して（ステップＳ１５）、本数が閾値未満であれば算術符号化を用いるように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１６）、また、本数が閾値以上であれば算術符号化を用いないように可変長符号化の処理方式を示すパラメータを特定し（ステップＳ１７）、本数と、動き予測処理の処理方式を示す各パラメータと、イントラ符号化処理の処理方式を示すパラメータと、量子化ステップサイズと、可変長符号化の処理方式を示すパラメータとを符号化部１４０に伝達して（ステップＳ１８）、処理方式特定処理を終える。
【００５９】
このような処理方式特定処理により、基本的に符号化対象の動画の本数が多ければ多いほど、符号化処理の処理量が小さくなるように処理方式が特定される。
但し、量子化に係る量子化ステップサイズについては、符号化対象の動画の本数が多いほど小さいものとなり、この結果、量子化の処理量は増加する。なお、動き予測処理に比べて量子化処理の処理量、例えばプロセッサに実行させる場合の演算量は、実用範囲において十分に小さいものとなることに鑑み、上述の処理方式特定処理により、本数が増えた場合に動き予測処理の処理量を抑えるので画質が劣化しやすくなる傾向が生じるところ、この場合に劣化した画質を補う意味で、量子化による画質劣化を小さく抑えるべく、量子化ステップサイズを小さくするようにしている。
【００６０】
図５は、符号化部１４０による符号化処理を示すフローチャートである。以下、同図に即して符号化部１４０の動作を説明する。
まず、符号化部１４０の動画選択部１４１は、処理方式特定部１３０から伝達された本数に従って、その本数分の動画を、動画取得部１２０が外部から逐次取得して一時的に蓄積している各バッファメモリから、画像フレーム毎に動画を切り換えて順次読み出す（ステップＳ２１）。
【００６１】
続いて、符号化部１４０は、予め定めた判断基準に従って、動画選択部１４１により読み出された動画の画像フレームがイントラ符号化処理のみの対象とする画像フレームか、動き予測処理の対象とし得る画像フレームかを判定し（ステップＳ２２）、イントラ符号化処理のみの対象とする画像フレームであれば、イントラ符号化処理方式特定部１３２により特定されたパラメータに従った予測方向の範囲内で、画像フレーム中の各ブロックについて最適な予測値を探し出して、そのブロックの画像データと予測値との差分である差分データを求めることによるイントラ符号化処理をイントラ符号化部１４３により行う（ステップＳ２３）。
【００６２】
ステップＳ２２において、イントラ符号化処理のみの対象とする画像フレームでないと判定した場合には、動き予測処理方式特定部１３１により特定されたパラメータに従って、処理対象ブロックについて、パラメータで示された上限枚数以下の参照画像フレームを参照するようにし、パラメータで示された参照画像フレーム内の参照画像ブロックの探索範囲から参照ブロックを探索し、その処理対象ブロックのうち参照ブロックの探索に用いる探索パターンは、パラメータで示された形状及びサイズのものにして、処理対象ブロックとの類似度の高い参照画像ブロックを探索して、その参照画像ブロックの位置を指し示す動きベクトルを求め、その参照画像ブロックと処理対象ブロックとの画像データの差分である差分データを求める動き予測処理を動き予測部１４２により行う（ステップＳ２４）。
【００６３】
なお、参照画像フレーム数上限を示すパラメータが２以上であることにより、参照画像ブロックを複数の画像フレームから参照する場合には、各画像フレームから探索した参照画像ブロックについての画像データの平均値と処理対象ブロックの画像データとの間の差分を差分データとして求める。
また、ステップＳ２３又はステップＳ２４に続いて、符号化部１４０の周波数変換部１４４は、求められた差分データに対して直交変換を施し（ステップＳ２５）、その結果のデータに対して、量子化部１４５は量子化ステップサイズ特定部１３３により特定された量子化ステップサイズで量子化を行う（ステップＳ２６）。
【００６４】
量子化に続いて、可変長符号化部１４６は、可変長符号化処理方式特定部１３４により特定されたパラメータに従って、算術符号化を用いるか或いは用いないで、量子化後のデータについて可変長符号化を行い（ステップＳ２７）、可変長符号化後のデータを出力部１４７は、動画毎に区別して記録媒体１５０に記録し（ステップＳ２８）、これにより１画像フレームについての符号化処理（ステップＳ２２〜Ｓ２８）が終了する。
【００６５】
動画が複数ある場合には、つまり本数取得部１１０により複数の本数を示すデータが取得された場合には、最初の動画におけるある画像フレームについての符号化処理がなされた後に、別の動画についての符号化処理（ステップＳ２２〜Ｓ２８）が実行され、次々と本数分の動画について符号化処理が実行された後に、また最初の動画から、各動画について次の画像フレームについての符号化処理が開始され、巡回的に符号化処理が行われる。
【００６６】
また、本数取得部１１０により１本を示すデータが取得された場合には、１本の動画について、順次各画像フレームについての符号化処理が行われる。なお、図５に示した符号化処理における各処理（ステップＳ２２〜Ｓ２８）は、ブロック単位でパイプライン処理により実現される。
＜変形例＞
以下、画像符号化装置１００の変形例である画像符号化装置２００について説明する。
【００６７】
画像符号化装置２００は、画像符号化装置１００に対して、外部から、要求する画質の入力を受け付けて、その要求に対応した画質を保って符号化する機能を追加した装置である。
図６は、画像符号化装置２００の構成図である。
画像符号化装置２００は、同図に示すように、画質取得部２１１、本数取得部１１０、動画取得部１２０、処理方式特定部２３０及び符号化部１４０を備える。なお、画像符号化装置２００の構成要素のうち画像符号化装置１００の構成要素と同一のものについては、図６において図１と同じ符号を付しており、これらについてはここでは詳しい説明を省略する。
【００６８】
ここで、画質取得部２１１は、ユーザ等により入力された画質を示す画質情報を取得し処理方式特定部２３０に伝達する機能を有する入力インタフェースである。画質情報は、例えば、画質の高さを数の大きさで表現する数値情報である。
また、処理方式特定部２３０は、動き予測処理方式特定部１３１、イントラ符号化処理方式特定部１３２、量子化ステップサイズ特定部２３３及び可変長符号化処理方式特定部１３４を有する。
【００６９】
この量子化ステップサイズ特定部２３３は、本数取得部１１０から伝達される本数と、画質取得部２１１から伝達される画質情報とに基づいて、所定の演算を行うことにより、量子化部１４５における量子化に用いられる量子化ステップサイズを算出する機能を有する。なお、この所定の演算は、本数が多くなるにつれて量子化ステップサイズが小さくなるように、かつ、画質情報が示す画質が高くなるにつれて量子化ステップサイズが小さくなるように予め定められた演算である。
【００７０】
従って、この画像符号化装置２００によれば、画質取得部２１１により取得された画質情報を反映して量子化ステップサイズが特定され量子化部１４５によりその量子化ステップサイズで量子化が施されることになるため、要求された画質を保っての符号化が行われるようになる。
＜実施形態２＞
以下、本発明の実施形態２に係る画像符号化システムについて説明する。
【００７１】
＜構成＞
図７は、本発明の実施形態２に係る画像符号化システムの構成図である。
この画像符号化システムは、動画に対する符号化処理を複数の画像符号化装置により分散処理するシステムであり、同図に示すように、ネットワーク接続された画像符号化装置３００及び画像符号化装置４００により構成される。なお、これら各画像符号化装置の構成要素のうち実施形態１で示した画像符号化装置１００の構成要素と同一のものについては、図７において図１と同じ符号で示しており、これらについてはここでは詳しい説明を省略する。
【００７２】
画像符号化装置３００は、動画の本数を示す情報と動画とを外部から取得し画像符号化装置４００に一部の動画についての符号化処理を分担させつつ自らも他の動画についての符号化処理を行う装置であり、本数取得部１１０、動画取得部１２０、処理方式特定部１３０、符号化部１４０及び処理量管理部３０１を備える。
また、画像符号化装置４００は、処理方式特定部１３０、符号化部１４０及び処理量管理部４０２を備える。
【００７３】
画像符号化装置３００の処理量管理部３０１は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置４００に、処理能力を問い合わせて応答を得てその処理能力と、本数取得部１１０により外部から取得された本数を示す情報と、自装置の処理能力とに基づいて、何本の動画の符号化処理を画像符号化装置４００に依頼するかを決定し、その依頼すると決定した本数を示す情報と、その本数分の動画取得部１２０により外部から取得された動画とを画像符号化装置４００に伝送するとともに、残りの本数分の動画を画像符号化装置３００において符号化するものとして、その残りの本数を画像符号化装置３００内の処理方式特定部１３０に伝達する機能を有する。
【００７４】
画像符号化装置４００の処理量管理部４０２は、自装置の処理能力を示す処理量情報を予め記憶したメモリを有しており、画像符号化装置３００から処理能力の問い合わせを受けた場合に、そのメモリを参照して自装置の処理量情報を画像符号化装置３００に伝送する機能と、画像符号化装置３００から本数を示す情報を受信した場合に、その本数を画像符号化装置４００内の処理方式特定部１３０に伝達する機能を有する。
【００７５】
上述した画像符号化装置３００及び画像符号化装置４００において記憶されている処理能力を示す処理量情報は、例えば、１本の動画を符号化する際に用いられる所定の符号化処理の処理方式を一律に適用して符号化を行うとした場合において、同時に何本の動画を符号化できるかという本数で表される。
＜動作＞
以下、上述した構成を備える画像符号化システムの動作について説明する。
【００７６】
画像符号化装置３００に対して外部から複数本の動画とその本数を示す情報とが入力されると、画像符号化装置３００は、一部の動画の符号化を画像符号化装置４００に依頼して自装置で残りの動画の符号化を行うための依頼処理を実行する。
図８は、画像符号化装置３００により行われる依頼処理を示すフローチャートである。以下、同図に即して画像符号化装置３００の動作とこれに呼応しての画像符号化装置４００の動作について説明する。
【００７７】
画像符号化装置３００は、ネットワーク接続されている画像符号化装置４００に対して処理能力を問い合わせ、これに呼応して画像符号化装置４００が送信する処理量情報を受信する（ステップＳ３１）。
続いて画像符号化装置３００の処理量管理部３０１は、受信された処理量情報が示す処理能力の値の、自装置の処理量情報が示す処理能力の値に対する比を求め、その比を本数取得部１１０により取得された本数に乗じて得られた値に最も近い整数を、依頼する本数として定め（ステップＳ３２）、依頼する本数を画像符号化装置４００に伝送して符号化を依頼する（ステップＳ３３）。
【００７８】
これにより画像符号化装置４００ではその依頼された本数を受信し、画像符号化装置４００内の処理方式特定部１３０はその依頼された本数に応じて符号化処理の各処理方式を特定する。また、画像符号化装置４００内の符号化部１４０は、その依頼された本数分の動画を画像符号化装置３００から受信して、受信した各動画について時分割で、処理方式特定部１３０により特定された処理方式に従って、符号化処理を実行する。
【００７９】
ステップＳ３３に続いて、画像符号化装置３００の処理量管理部３０１は、本数取得部１１０により取得された本数と依頼した本数との差である本数を画像符号化装置３００内の処理方式特定部１３０に伝達して依頼処理を終了する（ステップＳ３４）、このステップＳ３４の結果、画像符号化装置３００の処理方式特定部１３０によりその差である本数に応じて符号化処理の各処理方式が特定され、その各処理方式に従って画像符号化装置３００の符号化部１４０によりその差である本数分の動画に対しての符号化処理が行われる。
＜補足＞
以上、本発明に係る画像符号化装置について実施形態１、２に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施形態で示した画像符号化装置に限られないことは勿論である。
（１）実施形態１、２で示した画像符号化装置は、記録媒体１５０に符号化後の動画を記録することとしたが、記録媒体１５０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（DigitalVersatile Disk）、ＢＤ（Blu-ray Disk）等の光ディスクに限られることなく、ハードディスク、メモリカード等であってもよい。また、画像符号化装置の出力部１４７は記録媒体への記録の代わりに、ネットワークに符号化後の各動画を送出することとしてもよい。
（２）実施形態１、２で示した画像符号化装置は、ＭＰＥＧ４ＡＶＣ規格に準拠して符号化を行うものとしたが、例えば、ＭＰＥＧ２ビデオ規格やＭＰＥＧ４ビジュアル規格等に準拠するものであってもよく、本発明の適用範囲が特に特定の規格に限定されることはない。
（３）実施形態１、２で示した画像符号化装置の処理方式特定部は、動き予測処理の処理方式、イントラ符号化処理の処理方式、量子化ステップサイズに係る量子化処理の処理方式及び可変長符号化処理の処理方式のそれぞれを特定するパラメータを特定するものとしたが、これらの他に、例えば、符号化対象の動画の本数が、３等と予め定めた所定数以上であれば動き予測処理を行わずイントラ符号化処理のみを行うように、動き予測処理を実行するか実行しないかを特定することとしてもよく、実施形態１、２において例示しなかった符号化処理の処理方式を符号化対象の動画の本数に応じて変化させるようにしてもよい。
【００８０】
また逆に、動き予測処理の処理方式、イントラ符号化処理の処理方式、可変長符号化処理の処理方式の全てではなく、そのうち一部の処理方式のみを特定するだけとし、符号化対象の動画の本数によってその一部の処理方式に係る符号化処理部分だけが変動するように処理方式特定部及び符号化部を構成することとしてもよい。
（４）実施形態１、２で示した画像符号化装置における処理方式特定部は、動き予測方式テーブル、イントラ符号化処理方式テーブルを有し、これらのテーブルを利用して符号化処理における動き予測処理及びイントラ符号化処理の各処理方式を特定することとしたが、量子化ステップサイズに係る量子化処理の処理方式の特定や可変長符号化処理の処理方式の特定も同様にルックアップテーブルを利用して行ってもよく、また各処理方式を示すパラメータを、所定の演算式に基づいて演算により特定することとしてもよい。
【００８１】
但し、符号化対象の動画の本数が多くなればなるほど、１つの動画に対する動き予測処理、イントラ符号化処理及び可変長符号化処理の処理量が小さくなる傾向を有するように、処理方式の特定がなされるようにする必要があり、この処理量を小さくすることで画質が劣化するのをある程度抑えるべく量子化ステップサイズについては動画の本数が多くなればなるほど小さくなるように特定される必要がある。
（５）実施形態１の変形例で示した画像符号化装置の量子化ステップサイズ特定部２３３は、要求画質を示す画質情報と本数とに基づいて量子化ステップサイズを特定することとしたが、本数に依存せず画質情報のみに基づいて量子化ステップサイズを特定することとしてもよい。
（６）実施形態１、２で図２〜図４等を用いて示した画像符号化装置における処理方式特定部が本数に応じて処理方式を特定する具体的な内容については、単なる例示であり、符号化部の回路の構成や処理性能等によって変形し得る。
【００８２】
実用的なものとするためには、符号化対象の動画の本数が何本であっても、符号化部の各回路により実行される符号化処理の処理速度がほぼ一定範囲に収まるように処理方式の特定がなされるべく、処理方式特定部内の処理方式特定に用いられるテーブルや演算式が、実験或いは理論的計算に基づいて定められていることが望ましい。
（７）実施形態１、２で示した画像符号化装置における符号化部を構成する各機能部は、ハードウェアのみからなる回路に限らず、ソフトウェアを含んでソフトウェアの実行によってその機能が実現されるものであってもよく、この場合、ソフトウェアを実行するプロセッサは、機能部毎に設けられることとしてもよいし、複数の機能部に相当する機能を１つのプロセッサが実現することとしてもよい。
【００８３】
また、画像符号化装置は、ＬＳＩ（Large Scale Integration）、ＶＬＳＩ（Very Large Scale Integration）等の一部又は全部として実現されてもよく、複数のＬＳＩ等で実現されてもよく、１又は複数のＬＳＩ等と他の回路とにより実現されてもよい。
（８）実施形態１で示した画像符号化装置の本数取得部１１０が、符号化部１４０により動画についての符号化処理が開始された後であっても随時本数の取得を行うこととし、処理方式特定部１３０は本数に変化があった場合に処理方式を新たに特定して、その結果に従って符号化部１４０が符号化を行うようにしてもよい。
【００８４】
これにより、入力された動画の本数が変動するような場合にも対応することができるようになる。
（９）実施形態１で示した画像符号化装置を変形して、符号化部１４０のうち復号にも利用可能な回路は復号にも用いることとし、その上で、さらに復号に必要な回路を付加することにより、圧縮された動画を復号する復号機能をもたせることにしてもよい。
【００８５】
この場合には、処理方式特定部１３０を、復号される動画の量が多くなれにつれて動画毎の符号化に係る演算量を少なくするように、処理方式を特定するよう変形するとよい。
（１０）実施形態２で示した画像符号化装置３００を変形して、もとの構成要件に加えて画像符号化装置の処理量管理部４０２に相当する機能部を含めることとしてもよく、この変形した画像符号化装置によれば、自らが画像符号化装置４００に対して符号化処理を依頼することができる上に、他の画像符号化装置３００から符号化処理を依頼された場合に内部の動画取得部を通じて動画を取得して符号化することもできるようになる。
（１１）実施形態２で示した画像符号化システムを変形して、画像符号化装置４００から処理方式特定部１３０を除き、画像符号化装置３００の処理方式特定部１３０は本数取得部により取得された本数に応じて動き予測処理やその他の符号化処理の処理方式を特定することとし、処理量管理部３０１は画像符号化装置４００に依頼する本数を決定した後にその決定した依頼本数と処理方式特定部１３０により特定された処理方式とを画像符号化装置４００に伝達することとし、画像符号化装置４００の符号化部１４０は画像符号化装置３００から受信した処理方式に従って依頼本数分の動画の符号化を行うこととしてもよい。
（１２）画像符号化装置における各処理（図４、図５参照）をプロセッサに実行させるためのプログラムを、記録媒体に記録し又は各種通信路等を介して、流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布されたプログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがそのプログラムを実行することにより実施形態１で示した画像符号化装置の機能が実現されるようになる。
【産業上の利用可能性】
【００８６】
本発明に係る画像符号化装置は、ハードディスクレコーダ、ＤＶＤレコーダ等に搭載され利用され得る。
【図面の簡単な説明】
【００８７】
【図１】 本発明の実施形態１に係る画像符号化装置１００の構成図である。
【図２】 動き予測処理方式テーブルの構成及び内容例を示す図である。
【図３】 イントラ符号化処理方式テーブルの構成及び内容例を示す図である。
【図４】 処理方式特定部１３０による処理方式特定処理を示すフローチャートである。
【図５】 符号化部１４０による符号化処理を示すフローチャートである。
【図６】 画像符号化装置２００の構成図である。
【図７】 本発明の実施形態２に係る画像符号化システムの構成図である。
【図８】 画像符号化装置３００により行われる依頼処理を示すフローチャートである。
【符号の説明】
【００８８】
１００、２００、３００、４００ 画像符号化装置
１１０ 本数取得部
１２０ 動画取得部
１３０、２３０ 処理方式特定部
１３１ 動き予測処理方式特定部
１３２ イントラ符号化処理方式特定部
１３３、２３３ 量子化ステップサイズ特定部
１３４ 可変長符号化処理方式特定部
１４０ 符号化部
１４１ 動画選択部
１４２ 動き予測部
１４３ イントラ符号化部
１４４ 周波数変換部
１４５ 量子化部
１４６ 可変長符号化部
１４７ 出力部
１５０ 記録媒体
２１１ 画質取得部
３０１、４０２ 処理量管理部
Claims (22)
- 動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化装置であって、
符号化対象の動画の本数を取得する本数取得手段と、
符号化対象の１又は複数の動画を取得する動画取得手段と、
動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定手段と、
前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備え、
前記符号化手段は、前記符号化処理の一部として、前記動き予測処理方式特定手段により特定された処理方式で動き予測処理を行う動き予測部を有する
ことを特徴とする画像符号化装置。 - 前記動き予測処理方式特定手段は、各本数値と動き予測処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて動き予測処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記動き予測部に伝達することにより、動き予測処理の処理方式を特定し、
前記動き予測部は、前記動き予測処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で動き予測処理を行う
ことを特徴とする請求項１記載の画像符号化装置。 - 前記動き予測処理方式特定手段は、動き予測処理における参照画像フレーム数の上限値に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて参照画像フレーム数の上限値を小さくするように特定し、
前記動き予測部は、動き予測処理過程で、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での参照画像フレーム数の上限値を超えない数の参照画像フレームから動きベクトルの探索を行う
ことを特徴とする請求項１記載の画像符号化装置。 - 前記動き予測処理方式特定手段は、動き予測処理における動きベクトルの探索範囲に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索範囲が狭くなるように特定し、
前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、参照画像フレーム中の、前記動き予測処理方式特定手段により特定された処理方式での探索範囲内の中から、当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定する
ことを特徴とする請求項１記載の画像符号化装置。 - 前記動き予測処理方式特定手段は、動き予測処理における参照画像ブロックの各種形状パターンに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて形状パターン数が少なくなるように特定し、
前記動き予測部は、動き予測処理対象の各画像フレーム内の各処理対象ブロックについて、前記動き予測処理方式特定手段により特定された処理方式での各種形状パターンを用いて、参照画像フレーム中の参照ブロックを探索して当該処理対象ブロックに類似した参照画像ブロックを探索して当該参照画像ブロックを指す動きベクトルを決定する
ことを特徴とする請求項１記載の画像符号化装置。 - 前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、
前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、
前記動き予測処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、動き予測処理の処理方式の特定を行う
ことを特徴とする請求項１記載の画像符号化装置。 - 前記動画取得手段は、符号化対象の複数の動画を取得し、
前記画像符号化装置は、更に、
符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、
前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、
前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、
前記動き予測処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように動き予測処理の処理方式を特定する
ことを特徴とする請求項１記載の画像符号化装置。 - 前記決定手段は、前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理における動き予測処理の処理方式を、実行を依頼する符号化処理の対象となる動画の本数とともに決定し、
前記送信手段は、更に、前記決定手段により決定された動き予測処理の処理方式を示す情報を前記外部装置に送信する
ことを特徴とする請求項７記載の画像符号化装置。 - 前記画像符号化装置は、更に、前記本数取得手段により取得された本数に応じて、量子化ステップサイズを、本数が多くなるにつれて量子化ステップサイズが小さくなるように特定する量子化ステップサイズ特定手段を備え、
前記符号化手段は、動き予測処理の結果として得られる差分データを、前記量子化ステップサイズ特定手段により特定された量子化ステップサイズで量子化する量子化部を有する
ことを特徴とする請求項１記載の画像符号化装置。 - 動画を圧縮するために符号化処理を行う画像符号化装置であって、
符号化対象の動画の本数を取得する本数取得手段と、
符号化対象の１又は複数の動画を取得する動画取得手段と、
符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得手段により取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定手段と、
前記処理方式特定手段により特定された処理方式で、前記動画取得手段により取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化手段とを備える
ことを特徴とする画像符号化装置。 - 前記処理方式特定手段は、各本数値と符号化処理の処理方式を特定するための各パラメータとを、本数が多くなるにつれて符号化処理の演算量が少なくなる関係に対応付けたテーブルを予め記憶している記憶部を有しており、前記本数取得手段により取得された本数に対応する前記テーブル内のパラメータを前記符号化手段に伝達することにより、符号化処理の処理方式を特定し、
前記符号化手段は、前記処理方式特定手段により伝達されたパラメータに基づいて、前記特定された処理方式で符号化処理を行う
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記符号化手段は、前記符号化処理の一部として、処理対象の動画中の一部又は全部の画像フレームについて画像フレーム内符号化処理を行うイントラ符号化部を有し、
前記処理方式特定手段は、画像フレーム内符号化における予測値を探索する方向に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が多くなるにつれて探索する方向の数を小さくするように特定し、
前記イントラ符号化部は、画像フレーム内の各処理対象ブロックについて、前記処理方式特定手段により特定された処理方式での予測値を探索する方向のそれぞれに沿って、処理対象ブロックの画像データと最も似ている予測値を探索する
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記処理方式特定手段は、画像フレーム間符号化を用いるか否かに係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば画像フレーム間符号化を用い当該本数が所定数以上であれば画像フレーム間符号化を用いないように特定し、
前記符号化手段は、
前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いるという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化及び画像フレーム内符号化を行い、
前記処理方式特定手段により特定された処理方式が画像フレーム間符号化を用いないという処理方式であれば、符号化処理対象の動画について画像フレーム間符号化を行わず画像フレーム内符号化を行う
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記符号化手段は、前記符号化処理の一部として可変長符号化処理を行う可変長符号化部を有し、
前記処理方式特定手段は、可変長符号化に係る処理方式を、前記本数取得手段により取得された本数に応じて、当該本数が所定数未満であれば算出符号化を用い当該本数が所定数以上であれば算術符号化を用いないように特定し、
前記可変長符号化部は、
前記処理方式特定手段により特定された処理方式が算術符号化を用いるという処理方式であれば算術符号化による可変長符号化を行い、
前記処理方式特定手段により特定された処理方式が算術符号化を用いないという処理方式であれば、算術符号化を行わず、予め定められた符号語に係る対照テーブルに基づいて可変長符号化を行う
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記動画取得手段は、前記符号化手段による符号化処理中にも新たな動画の取得を行い、
前記本数取得手段は、前記符号化手段により符号化処理中に符号化対象の動画の本数を新たに取得し、
前記処理方式特定手段は、前記本数取得手段により動画の本数が取得された度に、符号化処理の処理方式の特定を行う
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記動画取得手段は、符号化対象の複数の動画を取得し、
前記画像符号化装置は、更に、
符号化処理を実行可能な外部装置から演算処理能力を示す能力情報を受信する受信手段と、
前記能力情報に基づいて、前記外部装置に実行を依頼する符号化処理の対象となる動画の本数を決定する決定手段と、
前記動画取得手段により取得された動画のうち前記決定手段により決定された本数の動画を前記外部装置に送信する送信手段とを備え、
前記処理方式特定手段は、前記本数取得手段により取得された本数と前記決定手段により決定された本数との差に応じて、当該差が大きくなるにつれて演算量が少なくなるように符号化処理の処理方式を特定する
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記画像符号化装置は、更に、要求される画質を示す画質情報を取得する画質情報取得手段を備え、
前記処理方式特定手段は、符号化処理の処理方式を、前記本数取得手段により得された本数及び前記画質情報取得手段により取得された画質情報に応じて特定する
ことを特徴とする請求項１０記載の画像符号化装置。 - 前記画像符号化装置は、更に、前記符号化手段と一部の回路を共用して、圧縮された動画を復号する復号手段を備え、
前記処理方式特定手段は、更に、復号手段により復号される動画の量に応じて、復号される動画の量が多くなるにつれて演算量が少なくなるように前記符号化処理の処理方式を特定する
ことを特徴とする請求項１０記載の画像符号化装置。 - 動画を圧縮するために、動き予測処理を含む符号化処理を行う画像符号化方法であって、
符号化対象の動画の本数を取得する本数取得ステップと、
符号化対象の１又は複数の動画を取得する動画取得ステップと、
動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、
前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、
前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含む
ことを特徴とする画像符号化方法。 - 動画を圧縮するために符号化処理を行う画像符号化方法であって、
符号化対象の動画の本数を取得する本数取得ステップと、
符号化対象の１又は複数の動画を取得する動画取得ステップと、
符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定ステップと、
前記処理方式特定ステップにより特定された処理方式で、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含む
ことを特徴とする画像符号化方法。 - プログラムを実行可能な装置に、動画を圧縮するために符号化制御処理を実行させるための制御プログラムであって、
前記符号化制御処理は、
符号化対象の動画の本数を取得する本数取得ステップと、
符号化対象の１又は複数の動画を取得する動画取得ステップと、
動き予測処理の演算量に影響を与える動き予測処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する動き予測処理方式特定ステップと、
前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含み、
前記符号化ステップは、前記符号化処理の一部として、前記動き予測処理方式特定ステップにより特定された処理方式で動き予測処理を行う動き予測サブステップを含む
ことを特徴とする制御プログラム。 - プログラムを実行可能な装置に、動画を圧縮するために符号化制御処理を実行させるための制御プログラムであって、
前記符号化制御処理は、
符号化対象の動画の本数を取得する本数取得ステップと、
符号化対象の１又は複数の動画を取得する動画取得ステップと、
符号化処理の演算量に影響を与える符号化処理の処理方式を、前記本数取得ステップにより取得された本数に応じて、本数が多くなるにつれて演算量が少なくなるように特定する処理方式特定ステップと、
前記処理方式特定ステップにより特定された処理方式で、前記動画取得ステップにより取得された動画を対象として符号化処理を行い、取得された動画が複数であれば各動画を対象として時分割で符号化処理を行う符号化ステップとを含む
ことを特徴とする制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006536334A JP4746550B2 (ja) | 2004-09-22 | 2005-09-05 | 画像符号化装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004275572 | 2004-09-22 | ||
| JP2004275572 | 2004-09-22 | ||
| JP2006536334A JP4746550B2 (ja) | 2004-09-22 | 2005-09-05 | 画像符号化装置 |
| PCT/JP2005/016211 WO2006033227A1 (ja) | 2004-09-22 | 2005-09-05 | 画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2006033227A1 true JPWO2006033227A1 (ja) | 2008-05-15 |
| JP4746550B2 JP4746550B2 (ja) | 2011-08-10 |
Family
ID=36089990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006536334A Expired - Fee Related JP4746550B2 (ja) | 2004-09-22 | 2005-09-05 | 画像符号化装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8073053B2 (ja) |
| JP (1) | JP4746550B2 (ja) |
| CN (1) | CN101027910A (ja) |
| WO (1) | WO2006033227A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8127233B2 (en) * | 2007-09-24 | 2012-02-28 | Microsoft Corporation | Remote user interface updates using difference and motion encoding |
| US8619877B2 (en) * | 2007-10-11 | 2013-12-31 | Microsoft Corporation | Optimized key frame caching for remote interface rendering |
| JP4892468B2 (ja) * | 2007-12-19 | 2012-03-07 | キヤノン株式会社 | 動画像符号化装置、動画像符号化装置の制御方法及びコンピュータプログラム |
| CN101946514B (zh) * | 2007-12-20 | 2014-06-04 | 高通股份有限公司 | 使用自适应搜索范围的真实运动矢量估计 |
| WO2009085205A1 (en) * | 2007-12-20 | 2009-07-09 | Integrated Device Technology, Inc. | Image interpolation with halo reduction |
| JPWO2011080851A1 (ja) * | 2009-12-28 | 2013-05-09 | パナソニック株式会社 | 画像符号化装置および集積回路 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| WO2012060030A1 (ja) * | 2010-11-02 | 2012-05-10 | パナソニック株式会社 | 動画像符号化方法および動画像符号化装置 |
| KR101253893B1 (ko) | 2010-12-27 | 2013-04-16 | 포스코강판 주식회사 | 내산화성 및 내열성이 우수한 알루미늄 도금강판 |
| GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| GB2491589B (en) | 2011-06-06 | 2015-12-16 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
| US9979960B2 (en) | 2012-10-01 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions |
| US9313568B2 (en) * | 2013-07-23 | 2016-04-12 | Chicago Custom Acoustics, Inc. | Custom earphone with dome in the canal |
| US10368080B2 (en) | 2016-10-21 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective upsampling or refresh of chroma sample values |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0923422A (ja) * | 1995-07-07 | 1997-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化復号化方法 |
| JPH10304360A (ja) * | 1996-10-15 | 1998-11-13 | Matsushita Electric Ind Co Ltd | 映像・音声符号化方法、符号化装置、及び符号化プログラム記録媒体 |
| JP2001103465A (ja) * | 1999-09-29 | 2001-04-13 | Toshiba Corp | 画像圧縮装置 |
| JP2001211425A (ja) * | 2000-01-27 | 2001-08-03 | Hitachi Ltd | 情報処理装置 |
| JP2001346216A (ja) * | 2000-06-06 | 2001-12-14 | Toshiba Corp | 動画像圧縮方法および情報処理装置 |
| JP2002034047A (ja) * | 2000-07-18 | 2002-01-31 | Pioneer Electronic Corp | 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体 |
| JP2003102009A (ja) * | 2001-07-05 | 2003-04-04 | Ilryung Telesys Inc | 多重チャンネル映像信号符号化装置及びその方法 |
| JP2005176001A (ja) * | 2003-12-12 | 2005-06-30 | Renesas Technology Corp | 半導体装置及び画像処理装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2872774B2 (ja) | 1990-08-16 | 1999-03-24 | 日本電信電話株式会社 | 画像復号化方法 |
| JPH04326255A (ja) * | 1991-04-25 | 1992-11-16 | Canon Inc | 画像符号化方法及び装置 |
| JP3133113B2 (ja) * | 1991-10-28 | 2001-02-05 | 株式会社日立製作所 | 圧縮動画データ伸長再生システム |
| JP4388598B2 (ja) | 1995-02-22 | 2009-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
| US6055338A (en) * | 1996-08-22 | 2000-04-25 | Sumitomo Metal Industries Limited | Bi-level adaptive coding using a dual port memory and a context comparator |
| US6353703B1 (en) | 1996-10-15 | 2002-03-05 | Matsushita Electric Industrial Co., Ltd. | Video and audio coding method, coding apparatus, and coding program recording medium |
| JP2000184331A (ja) | 1998-12-15 | 2000-06-30 | Toshiba Corp | 記録条件を設定する光ディスク記録再生装置 |
| US6628838B1 (en) * | 1999-05-13 | 2003-09-30 | Sony Corporation | Picture decoding apparatus, picture decoding method and recording medium for storing the picture decoding method |
| US6577769B1 (en) * | 1999-09-18 | 2003-06-10 | Wildtangent, Inc. | Data compression through adaptive data size reduction |
| US7016547B1 (en) * | 2002-06-28 | 2006-03-21 | Microsoft Corporation | Adaptive entropy encoding/decoding for screen capture content |
| JP3944726B2 (ja) * | 2002-09-25 | 2007-07-18 | ソニー株式会社 | 撮像装置および方法 |
| JP2005130099A (ja) * | 2003-10-22 | 2005-05-19 | Matsushita Electric Ind Co Ltd | 算術復号装置、算術符号化装置、算術符号化・復号装置、携帯端末装置、動画像撮影装置、及び、動画像記録・再生装置 |
-
2005
- 2005-09-05 WO PCT/JP2005/016211 patent/WO2006033227A1/ja not_active Application Discontinuation
- 2005-09-05 JP JP2006536334A patent/JP4746550B2/ja not_active Expired - Fee Related
- 2005-09-05 CN CNA2005800319586A patent/CN101027910A/zh active Pending
- 2005-09-05 US US11/662,783 patent/US8073053B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0923422A (ja) * | 1995-07-07 | 1997-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化復号化方法 |
| JPH10304360A (ja) * | 1996-10-15 | 1998-11-13 | Matsushita Electric Ind Co Ltd | 映像・音声符号化方法、符号化装置、及び符号化プログラム記録媒体 |
| JP2001103465A (ja) * | 1999-09-29 | 2001-04-13 | Toshiba Corp | 画像圧縮装置 |
| JP2001211425A (ja) * | 2000-01-27 | 2001-08-03 | Hitachi Ltd | 情報処理装置 |
| JP2001346216A (ja) * | 2000-06-06 | 2001-12-14 | Toshiba Corp | 動画像圧縮方法および情報処理装置 |
| JP2002034047A (ja) * | 2000-07-18 | 2002-01-31 | Pioneer Electronic Corp | 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体 |
| JP2003102009A (ja) * | 2001-07-05 | 2003-04-04 | Ilryung Telesys Inc | 多重チャンネル映像信号符号化装置及びその方法 |
| JP2005176001A (ja) * | 2003-12-12 | 2005-06-30 | Renesas Technology Corp | 半導体装置及び画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080247461A1 (en) | 2008-10-09 |
| CN101027910A (zh) | 2007-08-29 |
| JP4746550B2 (ja) | 2011-08-10 |
| WO2006033227A1 (ja) | 2006-03-30 |
| US8073053B2 (en) | 2011-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11070802B2 (en) | Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method | |
| US12075083B2 (en) | Image encoding and decoding method with merge flag and motion vectors | |
| US8724704B2 (en) | Apparatus and method for motion estimation and image processing apparatus | |
| RU2720975C2 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
| JP5819347B2 (ja) | スキップマクロブロックコード化 | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP4746550B2 (ja) | 画像符号化装置 | |
| JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
| US8903184B2 (en) | Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program | |
| US20170041606A1 (en) | Video encoding device and video encoding method | |
| JP2008193410A (ja) | 画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
| JP2007524309A (ja) | ビデオ復号の方法 | |
| JP2006217560A (ja) | 参考フレームバッファメモリのサイズとアクセス量を減らす方法 | |
| JP2003348597A (ja) | 画像符号化装置および画像符号化方法 | |
| CN115118976A (zh) | 一种图像编码方法、可读介质及其电子设备 | |
| JP2018511237A (ja) | コンテンツ適応型ｂピクチャパターンビデオエンコーディング | |
| US20130083858A1 (en) | Video image delivery system, video image transmission device, video image delivery method, and video image delivery program | |
| US8811474B2 (en) | Encoder and encoding method using coded block pattern estimation | |
| JP6875566B2 (ja) | 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム | |
| CN116156168A (zh) | 一种图像编解码方法及装置 | |
| JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| JP2002232881A (ja) | 動画像復号化方法及び装置 | |
| RU2808075C1 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
| JP2005348207A (ja) | 符号化装置、およびプログラム | |
| JP5533885B2 (ja) | 動画像符号化装置および動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110324 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110513 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |