WO2005076629A1

WO2005076629A1 - 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置

Info

Publication number: WO2005076629A1
Application number: PCT/JP2005/001137
Authority: WO
Inventors: Mitsuru Suzuki; Shigeyuki Okada; Shinichiro Okada
Original assignee: Sanyo Electric Co., Ltd
Priority date: 2004-02-09
Filing date: 2005-01-27
Publication date: 2005-08-18
Also published as: US20070291131A1; TW200534715A; JPWO2005076629A1; TWI258990B

Abstract

　情報端末の構成が多様化した結果、データ形式への要求も多様化し、そうした要求に端末を適合させる必要が生じていた。本発明の画像符号化装置は、画像を符号化する方式としてＭＰＥＧに準拠した方式を用い、特にフレーム内符号化およびフレーム間符号化を用いる。フレーム間符号化の方式としては、双方向符号化を用いる参照モードである第１モードと、双方向符号化を用いない参照モードである第２モードとを選択的に設定できる。第１モードの場合、双方向符号化を用いないので、Ｂピクチャは生成されず、ＩピクチャおよびＰピクチャのみで画像が符号化される。

Description

明細書

画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置技術分野

[0001] 本発明は、画像符号化装置および撮像装置に関し、特に符号化の方法を制御する技術に関する。また、本発明は、画像圧縮技術に関し、特に、フレーム間双方向予測モードを含む画像符号化方式により動画像を符号化する画像符号化装置及び方法に関する。

背景技術

[0002] 近年、画像処理技術や回路の集積技術が向上し、また通信技術に関してはいわゆるブロードバンド通信や無線 LAN通信等の多様な通信手段が急速に普及したことから、様々な端末や機器にマルチメディアを扱う機能が標準的に搭載されるようになつた。例えば、多くの携帯電話にインターネット機能や静止画 ·動画撮影機能が当然のように搭載されており、テレビ電話機能や各種放送受信機能が標準搭載される日も近レ、。デジタルカメラの場合、ビデオカメラに迫るほどの画質での動画録再機能が備わることも珍しくなぐ楽曲再生機能や通信機能までもが備わるようになりつつある。このように、各情報端末がもつ本来の機能とは別に、他の端末でそれまで実現されてきた機能が搭載されるなど情報端末の多用途化は留まるところを知らない。

[0003] ここで、各種情報端末で扱われる主要なコンテンツの一つに動画がある。動画を扱うためには符号ィ匕技術が欠かせなレ、。その中心的な技術とされているのが、 MPEG ( Moving Picture Expert Group)方式である。 MPEGにおける符号化技術としては主にフレーム内符号化およびフレーム間符号ィ匕が用いられる。フレーム間符号化としては、ある時点のピクチャを符号ィ匕するために過去のピクチャを参照する順方向参照と、ある時点のピクチャを符号化するために過去および未来のピクチャを参照する双方向参照とがある。フレーム内符号化したピクチャは Iピクチャ（Intra-Picture)と呼ばれ、順方向参照したピクチャが Pピクチャ（Predictive-Picture)、双方向参照したピクチャ力 SBピクチャ (Bidirectionally predictive-Picture)と呼ばれる。

特許文献 1 :特開平 8 - 154250号公報発明の開示

発明が解決しょうとする課題

[0004] 上述の通り、情報端末が多用途化した結果、それぞれのハードウェア構成やソフトウェア構成も多様化し、動画を符号化する上でその実行環境に応じた様々な制約が情報端末ごとに生じるようになった。そうした制約の解消は情報端末の多様化をより促進するために不可欠である。

[0005] 本発明は上記背景の下でなされたものであり、本発明の目的は、符号化の実行環境に応じた適切な方式で符号ィヒを実行できる機器を提供することにある。

課題を解決するための手段

[0006] 上記課題を解決するために、本発明のある態様の画像符号化装置は、符号化の対象となる画像信号を、フレーム内符号ィ匕およびフレーム間符号ィ匕のうち少なくともいずれ力、を用いた方式にて画像信号を符号ィヒする符号化回路と、フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号ィヒを用いる参照モードおよび双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備える。

[0007] ここで、「当該装置における符号化の実行環境」には、例えば撮影画像に関する解像度設定、画質設定、撮影モード、フレームレート等の各種パラメータ、記録媒体の空き容量、記録媒体の種類、画像転送先の処理能力や通信路の混雑度、特殊再生の対応の態様、消費電力や電池残量といった、符号化処理時の環境を示す情報が含まれる。フレーム間符号化の方式には、例えば上記の双方向符号化の他にも順方向符号化がある力双方向参照は順方向参照と比べて、データ圧縮率は高いものの処理負荷が大きレ、とレ、う性質がある。

[0008] この態様によると、符号化処理を実行するときの様々な環境に応じてその環境に適した性質の参照モードを選択することにより、最適な符号化処理を実行することができる。

[0009] 本発明の別の態様は、撮像装置である。この装置は、被写体を撮像して画像信号を取得する画像入力部と、取得された画像信号をフレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて符号化する符号化回路と、符号化方式におけるフレーム間圧縮符号化として過去および未来のフレームを参照する双方向フレーム間符号ィ匕を用いるモードと用いないモードのいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、符号化により生成された符号ィヒデータを保存するデータ格納部と、を備える。

[0010] この態様によると、動画を撮影可能なデジタルカメラ等の撮像装置において、その装置によって撮影された画像を符号化するときの実行環境に応じて適合する参照モードを選択する。これにより、単一の参照モードを使用する場合と比べて撮影画像の圧縮率または画質を向上させることができる。

[0011] 本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号ィ匕する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号ィ匕部と、を備え、前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする。ここで、「フレーム」は、動画像を構成する個々の画像を指し、「ピクチャ」、「プレーン」などと言い換えてもよい。

[0012] 前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロべタトルであるものをグローバル動きベクトルとして符号化してもよい。前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化してもよい。フレーム間双方向予測モードにより符号化されるフレームの符号ィ匕に先立って、その後方参照フレームを符号ィ匕するときに、動きベクトルがゼロベクトルであるマクロブロックが存在するとき、その動きベクトルをグローバル動きベクトルとして扱う。また、動きベクトルがゼロベクトルであって、かつ、前方参照フレームとの差分データが実質的にゼロであり、「_not_coded」フラグを用いて符号化されるようなマクロブロックが存在するとき、そのマクロブロックをグローバル動き補償を用いて符号ィ匕する。これにより、フレーム間双方向予測モードによりフレームを符号化する際に、前方参照フレームのコピーではなぐ参照画像との差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。ここで、差分データが実質的にゼロであるとは、符号化対象フレームと参照フレームとの差分が全てゼロである力、、ゼロとみなせる程度に小さい場合を指し、例えば、量子化後の差分データが全てゼロになる場合や、差分データが所定のしきい値よりも小さい場合を含んでもよレ、。所定のしきい値は、画像又はマクロブロックのサイズや画質などに応じて定められてもよぐ例えば、マクロブロックの画素数 X I (2、 3、 · ·）をしきい値としてもよい。

[0013] 前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを半 IJ定してもよい。

[0014] 前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームが Pフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、 Pフレームに代えて、グローバル動きベクトルを含む Sフレームとして符号化する旨の情報を出力してもよレ、。ここで、「Pフレーム」は、 MPEG—2における「ピクチャ」であってもよぐ MPEG—4における「P_VOP」であつてもよレ、。また、「Sフレーム」は、 MPEG—4における「S-V〇P」であってもよレ、。予測モード選択部は、 Pフレームを符号ィ匕する際に、プロファイルを参照して、その Pフレームが B—フレームから後方参照されるか否かを判断し、後方参照される場合は、予め P—フレームを S—フレームに切り替えてもよい。これにより、演算量の増加や、処理速度の低下などの問題を生じることなぐ画像欠落の問題を解消することができる。

[0015] 前記予測モード選択部は、 Pフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号ィ匕するときの予測モードを示す情報として、 Pフレームに代えて、グローバル動きベクトルを含む Sフレームとして符号化する旨の情報を出力してもよレ、。予測モード選択部は、 B—フレームを含むプロファイルである場合は、予め P—フレームを S—フレームに切り替えてもよレ、。これにより、演算量の増加や、処理速度の低下などの問題を生じることなぐ画像欠落の問題を解消することができる。

[0016] 本発明のさらに別の態様は、画像符号化方法に関する。この画像符号化方法は、動画像を符号ィ匕する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号ィ匕されるフレームの後方参照フレームを符号ィ匕するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする。

[0017] 本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号ィ匕する際に、前記動画像を構成するフレーム毎に、フレーム内符号ィ匕モード、フレーム間一方向予測符号化モード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号ィヒ装置において、前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロック力 S、予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化することを特徴とする。更に、前記フレーム間一方向予測符号化モードと前記参照フレームの間に在るフレームをフレーム間双方向予測符号化モードにて符号ィ匕する時に、記動きベクトル情報が付加されたブロックと同じ位置のブロックにつレ、ても符号化を行い、符号化パラメータを符号ィ匕データ列中に付加してもよレ、。

[0018] ここで、「フレーム」は、動画像を構成する個々の画像を指し、「ピクチャ」、「プレーン」といった概念を含む。また、「フレーム間一方向予測符号ィ匕モード」は、「フレーム間前方予測符号化モード」や「フレーム間後方予測符号化モード」のことを指す。また、実質的に同一であるとは、符号化対象フレームのブロックと参照フレームのブロックとの間で各画素毎の差分データを求めた時に、その差分データが全てゼロであるか、ゼロとみなせる程度に小さい場合を指し、例えば、差分データに量子化処理を施した場合に量子化後のデータが全てゼロとなる場合や、差分データが所定のしきレ、値よりも小さレ、場合を含んでもょレ、。

[0019] この態様によれば、フレーム間一方向予測符号化モード中に参照フレームのデータに置き換えられるブロックが存在しても、フラグの代わりに動きベクトルを付加して符号化するので、フレーム間双方向予測符号化モードで符号ィヒされたフレームの対応するブロックについても符号化パラメータを付加することができる。これにより、符号化パラメータに完全に復号することができ、画像の欠落を防止し、復号画像の画質を向上させることができる。

[0020] 前記フレーム間一方向予測符号化モードで符号ィ匕されたフレームは、前記フレーム間双方向予測符号化モードで符号ィヒされるフレームの後方参照フレームであってもよレ、。参照フレームのブロックと実質的に同一である旨を示すフラグと比較して、動きべクトノレ情報の符号量は大きいが、これによると、フレーム間一方向予測符号化モードで符号化されるフレームのうち、少なくともフレーム間双方向予測符号ィ匕モードにて符号化されたフレームの参照フレームであるものに対しては動きべクトノレ情報を付加するので、フレーム間双方向予測符号化モードにて符号化されたフレームを復号する時に問題となる画像の欠落を防止しつつ、符号量の増大を抑えることができる

[0021] また、この態様において、前記動きベクトル情報はゼロベクトルとして符号ィ匕してもよレ、。

[0022] 本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号ィ匕する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号ィ匕するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグロ一バル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号ィ匕する旨の情報を出力することを特徴とする。

[0023] このような構成によれば、フレーム間双方向予測モードにより対象フレームを符号化する際に、後方参照フレームが前方参照フレームのコピーとなってレ、る場合であつても、自動的に前方参照フレームのコピーとするのではなぐ例えば参照フレームとの差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。

[0024] また、実質的に同一であると判断されたブロックを、グローバル動き補償を用いて符号化する場合と、参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号ィ匕する場合とを比較した場合、実質的に同一であると判断されたブロックの数が多いときは、前者の場合のほうが符号量が小さぐ実質的に同一であると判断されたブロックの数が少ないときは、後者の場合のほうが符号量が小さくなる。この態様によれば、実質的に同一であると判断されたブロックの数が所定の閾値以上の場合は、このブロックをグローバル動き補償を用いて符号ィ匕し、実質的に同一であると判断されたブロックの数が所定の閾値未満の場合は、参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号ィ匕するので、符号化効率が高くなる、という効果を有する。

[0025] 本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号ィヒして符号ィヒデータ列を生成する画像符号化装置であって、前記動画像を構成するフレームを符号化する符号化部と、前記符号化部がフレーム間双方向予測モードにより対象フレームを符号ィ匕するときに、前記対象フレームが後方参照する後方参照フレームのあるブロック力前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定する符号化方法判定部と、前記判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、を備えることを特徴とする。

[0026] このような構成によれば、フレーム間双方向予測モードにより対象フレームを符号化する際に、後方参照フレームが前方参照フレームのコピーとなってレ、る場合であつても、自動的に前方参照フレームのコピーとするのではなぐ例えば参照フレームとの差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。

[0027] 前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化してもよい。これにより、復号時には差分データを復号して対象フレームの画像を得ることができるので、画像の欠落を防ぎ、画質を向上させることができる。

[0028] 前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行ってもよい。例えば、差分データのデータ量が所定のしきい値よりも大きいときには、前方参照フレームの所定ブロックのコピーとせずに、差分データを符号化して符号化データ列に含ませてもよい。これにより、差分データのデータ量などに応じて、コピーとするか否かを切り替えることができるので、符号量の増大を抑えつつ、画質の向上を図ることができる。

[0029] 前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加してもよい。前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加してもよい。前記付加部は、前記符号化データ列のシーケンスヘッダに前記フラグ情報を付カロしてもよレ、。フラグ情報を付加する位置は、符号量や画質などに応じて適応的に決定してもよい。

[0030] 本発明のさらに別の態様は、画像復号化装置に関する。この画像復号化装置は、動画像を符号化した符号化データ列を取得して復号する復号化部と、前記符号ィ匕データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定する複号化方法判定部と、を備え、前記複号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする。

[0031] このような構成によれば、上述した画像符号化装置によりフレーム間双方向予測モードで符号ィ匕されたフレームを適切に復号することができるので、画質を向上させること力 Sできる。

[0032] 本発明のさらに別の態様は、画像符号化方法に関する。この画像符号化方法は、動画像を符号ィヒして符号ィヒデータ列を生成する画像符号化方法であって、前記動画像を構成するフレームを符号化するステップと、前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号ィ匕するときに、前記対象フレームが後方参照する後方参照フレームのあるブロック力前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、判定結果を示すフラグ情報を符号化データ列中に付加するステツプと、を含むことを特徴とする。

[0033] 本発明のさらに別の態様は、画像複号化方法に関する。この画像複号化方法は、動画像を符号ィヒした符号化データ列を取得して復号するステップと、前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否力を示すフラグ情報を取得し、復号の方法を判定するステツプと、を含み、前記復号するステップは、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピ一し、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする。

[0034] 本発明のさらに別の態様は、符号化データ列のデータ構造に関する。このデータ構造は、動画像を符号化した符号化データ列のデータ構造であって、前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号ィ匕された第 1フレームのブロックを、前記第 1フレームが前方参照する第 2フレームの所定ブロックのコピーとするか、前記第 1フレームのブロックと前記第 2フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含むことを特徴とする。

[0035] なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、プログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。

発明の効果

[0036] 本発明によれば、単一の参照モードし力、使用しない場合と比べて、画像の圧縮率または画質を向上させることができる。

図面の簡単な説明

[0037] [図 1]第 1の実施の形態の実施例 1の撮像装置における二種類の符号化処理を模式的に示す図である。

[図 2]撮像装置の基本構造を示す機能ブロック図である。

[図 3]画像符号化部の詳細な構成を示す機能ブロック図である。

[図 4]解像度設定と参照モードの関係が格納されたテーブルを模式的に示す図である。

[図 5]画像のフレームレート設定と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 6]画像の解像度設定と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 7]画像の画質および圧縮率の設定と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 8]撮影モード設定と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 9]記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 10]記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す図である。

園 11]撮影モードと参照モードの関係が格納されたテーブルを模式的に示す図である。

園 12]動画像を MPEG-4により符号ィ匕する例を示す図である。

園 13]図 12に示した動画像を復号した画像の例を示す図である。

[図 14]実施の形態に係る画像符号化方法の手順を示すフローチャートである。

[図 15]実施の形態に係る画像符号化方法の手順を示すフローチャートである。

[図 16]実施の形態に係る画像符号化方法の手順を示すフローチャートである。園 17]実施の形態に係る画像符号ィ匕装置の全体構成を示す図である。

[図 18]実施の形態に係る符号化データ列の例を示す図である。

園 19]実施の形態に係る符号ィ匕データ列の別の例を示す図である。

[図 20]実施の形態に係る符号化データ列の更に別の例を示す図である。

[図 21]実施の形態に係る符号化データ列の更に別の例を示す図である。

[図 22]実施の形態に係る画像復号化装置の全体構成を示す図である。

[図 23]実施の形態の画像符号化方法の手順を示すフローチャートである。

[図 24]実施の形態の画像複号化方法の手順を示すフローチャートである。発明を実施するための最良の形態

[0038] (第 1の実施の形態）

(実施例 1)

本実施例における画像符号化装置および撮像装置は、符号化のための回路と、その回路を含むデジタルカメラとして実現される。この符号化のための回路は、デジタルカメラで撮影される画像の解像度設定に応じて、画像符号化の参照モードを選択する。具体的には、高解像度撮影時には、処理負荷がより小さい参照モードを選択し、高解像度撮影でないときは、処理負荷がより高い参照モードを選択する。これを単一の参照モードしか使用しない構成とした場合、参照モードの選択は高解像度撮影時に合わせて設計せざるを得ず、高解像度撮影でないときまで圧縮率や画質を優先することができない。本実施例においては、高解像度撮影時以外には高い圧縮率と画質を実現することができる。

[0039] 図 1は、実施例 1の撮像装置における二種類の符号化処理を模式的に示す。本実施例の撮像装置は、符号化処理における参照モードとして少なくとも第 1モード 10と第 2モード 12を有し、撮影時の解像度設定に応じていずれかの参照モードを選択する。第 1モード 10においては、 Iピクチャまたは I一 V〇Pと Pピクチヤまたは P— VOPのみを用いて画像を符号化し、 Bピクチャまたは B— V〇Pは用いなレ、。一方、第 2モード 12においては、 Iピクチャまたは I一 V〇Pと、 Pピクチャまたは P— VOPと、 Bピクチャまたは B—VOPとを用いて画像を符号化する。このように、第 1モード 10と第 2モード 12 は、 Bピクチャを生成するか否かの差異を有する。 Bピクチャを生成する第 2モード 12 の場合、第 1モード 10よりデータ圧縮率や画質が高いものの、符号化処理による負荷は大きい。高解像度撮影時には、 Bピクチャを生成する双方向符号化の処理に必要な演算を実行しきれなくなる場合がある。そこで、本実施例においては、参照モードとして高解像度撮影時には Bピクチャを生成しない第 1モード 10が選択される。

[0040] 例えば MPEG4方式の場合、第 1モード 10では、 B— VOPを生成しない MPEG4— SP (Simple Profile)を用いてもよぐ第 2モード 12では、 B— VOPを生成する MPEG4 -ASP (Advanced Simple Profile)を用いてもよレ、。なお、以下「Iピクチャ」ピクチャ」「8ピクチャ」と記載するときは、それぞれ「I一 VOP」「P— VOP」「B— VOP」も含むものとする。また、「フレーム」と記載するときは 2枚のフィールドでフレームが構成される場合のフィールドを示してもょレ、。

[0041] 図 2は、撮像装置の基本構造を示す機能ブロック図である。撮像装置 14は、動画像を撮影可能なデジタルカメラである。撮像装置 14は、画像入力部 16、画像符号化装置 18、制御部 20、表示部 21、および記録部 22を備える。画像入力部 16は、被写体の画像を光学的に取得して電気的な画像信号に変換し、画像符号化装置 18へ送る。画像符号化装置 18は、画像入力部 16から受け取った画像信号を符号化して制御部 20へ送る。制御部 20は、画像符号化装置 18により符号化された画像を記録部 22へ送るとともに、ユーザの指示に基づいて表示部 21へ送る。表示部 21は、制御部 20から送られた画像を液晶画面に表示させる。記録部 22は、制御部 20から受け取った画像を、記録部 22に装着された記録媒体 23へ格納する。記録媒体 23は、例えばカードタイプの小型ハードディスクや不揮発性メモリである。

[0042] 図 3は、画像符号ィヒ装置の詳細な構成を示す機能ブロック図である。画像符号ィ匕装置 18は、動きベクトル検出回路 24、動き補償回路 26、フレームメモリ 28、符号ィ匕回路 30、復号化回路 32、出力バッファ 34、符号量制御回路 36、および参照モード選択回路 38を含む。

[0043] 画像入力部 16から入力された画像（以下、「現フレーム」という）は、動きベクトル検出回路 24に送られる。動きベクトル検出回路 24は、あら力じめフレームメモリ 28に格納されて参照の対象となる画像（以下、「参照フレーム」という）と現フレームとの間で動きべクトノレを検出する。動き補償回路 26は、符号量制御回路 36から量子化に用いる量子化ステップの値を取得し、その量子化の係数とマクロブロックの参照モードを決定する。動きべ外ル検出回路 24により検出された動きベクトルと、動き補償回路 2 6により決定された量子化係数およびマクロブロック参照モードが、符号化回路 30へ送られる。また、動き補償回路 26は、マクロブロックについての参照値と実際の値との差分を参照誤差として符号化回路 30に送る。

[0044] 符号化回路 30は、参照誤差を量子化係数を用いて符号化して出力バッファ 34へ送る。符号化回路 30は、量子化した参照誤差と量子化係数を復号化回路 32へ送る。複号化回路 32は、量子化された参照誤差を量子化係数に基づいて復号し、復号した参照誤差と動き補償回路 26による参照値との和を復号画像としてフレームメモリ 28に送る。この復号画像は、後続の画像の符号化処理において参照される場合に、参照フレームとして動きべクトノレ検出回路 24へ送られる。符号量制御回路 36は、出力バッファ 34の蓄積量の状態を取得し、その蓄積量の状態に応じて次の量子化に用いる量子化ステップの値を生成する。

[0045] 参照モード選択回路 38は、撮像装置 14における画像符号化の実行環境、ここでは撮影画像の解像度設定に応じて、フレーム間符号化として双方向符号ィヒを用いるか否かを決定する。すなわち、参照モード選択回路 38は、フレーム内符号化、順方向符号化、および双方向符号化の中からフレームの参照モードを選択し、画像符号化部 18を構成する各回路に対してフレーム参照モードを示す情報を送る。双方向符号化を用いない場合、参照モード選択回路 38はフレーム参照モードを示す情報として、グローバル動き補償を用いないことを内容とする情報を符号化回路 30に送る。双方向符号化を用いる場合、参照モード選択回路 38はフレーム参照モードを示す情報として、グローバル動き補償を用いることを内容とする情報を符号化回路 30に送る。符号化回路 30は、グローバル動き補償を用いることを内容とする情報を取得した場合、順方向符号化モードにおける動きベクトルで、縦方向のベクトルがゼロ、横方向のベクトルがゼロのものについてはグローバル動きベクトルとして符号化する。

[0046] なお、参照モード選択回路 38は、符号処理化の実行環境を示すパラメータに基づいて参照モードを判定するための LSIで構成されてもよいし、そうした判定に用いられる情報が格納されたシステムレジスタと CPUの組合せで構成されてもよい。

[0047] 図 4は、解像度設定と参照モードの関係が格納されたテーブルを模式的に示す。

モードテーブル 40は、解像度設定欄 42と参照モード欄 44を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として解像度設定がどのモードに設定されてレ、るかに応じて参照モードを選択する。解像度設定がどのモードに設定されているかを示す情報は、制御部 20から取得する。

[0048] 画像の解像度設定としては、比較的低解像度である 320 X 240ドット力 S設定されるメールモード 46と、標準的な解像度である 640 X 480ドットが設定される標準モード 4 8と、比較的高解像度である 1280 X 720ドットが設定される HDモード 50とが解像度設定欄 42に定められている。参照モードとしては、メールモード 46および標準モード 48との対応で第 2モード 12が定められ、 HDモード 50との対応で第 1モード 10が定められている。すなわち、メールモード 46と標準モード 48では、圧縮率および画質の高さを優先して第 2モード 12を用いる。一方、 HDモード 50ではドット数の多さから B ピクチャを生成するときの双方向符号ィ匕による演算処理の負荷が過大となるため、処理の負荷が比較的小さい第 1モード 10を用いる。これにより、符号化処理の実行環境に応じて演算処理しきれなくなる事態が回避され、画像符号ィ匕部 18はどの解像度設定においても適切な処理時間にて符号ィヒ処理を実行することができる。

[0049] (実施例 2)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像のフレームレート設定に応じて画像符号化の参照モードを選択する点で実施例 1と異なる。具体的には、高フレームレート撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択する。一方、フレームレートが低すぎる場合、前後のフレームとの間隔が広すぎて動きベクトルが検出できない場合があるので、双方向参照によって却って画質の低下を招くおそれがある。そこで、低フレームレート時には、双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は低フレームレート撮影時に合わせて設計せざるを得ず、高フレームレート撮影時まで圧縮率や画質の低下を招いてしまう。本実施例においては、少なくとも高フレームレート時には高レ、圧縮率と画質を実現することができる。

[0050] 図 5は、画像のフレームレート設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル 60は、フレームレート設定欄 62と参照モード欄 64を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境としてフレームレート設定がどのモードに設定されているかに応じて参照モードを選択する。フレームレート設定がどのモードに設定されているかを示す情報は、制御部 20から取得する。

[0051] 画像のフレームレート設定としては、比較的低フレームレートである lOfpsモード 66 と、中程度のフレームレートである 15fpsモード 68と、標準的な高フレームレートである 30fpsモード 70とがフレームレート設定欄 62に定められている。参照モードとしては、 lOfpsモード 66および 15fpsモード 68との対応で第 1モード 10が定められ、 30f psモード 70との対応で第 2モード 12が定められている。すなわち、 30fpsモード 70では圧縮率および画質の高さを優先して第 2モード 12を選択する。一方、 lOfpsモード 66や 15fpsモード 68では、フレームレートが低すぎるので、前後のフレームとの間で動きべタトノレが検出できなくなる事態を回避するために双方向符号化を用いない第 1 モード 10を選択する。これにより、画像符号ィ匕部 18はどのフレームレート設定においても適切な画質および圧縮率にて符号ィヒ処理を実行することができる。

[0052] (実施例 3)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の解像度設定に応じて画像符号化の参照モードを選択する点で実施例 1と共通する。ただし、高解像度撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、低解像度撮影時に双方向符号化を用いると圧縮率や画質が必要なレベル以上にまで高くなつてしまう可能性がある。そこで、低解像度撮影時には処理速度や負荷低減を優先して双方向符号ィヒを用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは高解像度撮影時または低解像度撮影時のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率および画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現することができる。

[0053] 図 6は、画像の解像度設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル 80は、解像度設定欄 82と参照モード欄 84を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として解像度設定がどのモードに設定されてレ、るかに応じて参照モードを選択する。解像度設定がどのモードに設定されているかを示す情報は、制御部 20から取得する。

[0054] 画像の解像度設定としては、実施例 1と同様にメールモード 86、標準モード 88、 H Dモード 50が解像度設定欄 82に定められている。参照モードとしては、メールモード 86との対応で第 1モード 10が定められ、標準モード 88および HDモード 90との対応で第 2モード 12が定められている。すなわち、標準モード 88と HDモード 90では、圧縮率および画質の高さを優先して第 2モード 12を用いる。一方、メールモード 86では、撮影画像のドット数が元々少なぐ圧縮率や画質を高める要求が小さいので、処理負荷を高めてまで双方向符号ィ匕を用レ、ることに仕様上の大きな利点は見出されない。そこで、メールモード 86では処理負荷が比較的小さい第 1モード 10を用いる。これにより、画像符号化部 18はどの解像度設定においても適切な圧縮率および画質にて符号化処理を実行することができる。

[0055] (実施例 4)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の画質または圧縮率の設定に応じて画像符号化の参照モードを選択する点で実施例 1一 3と異なる。具体的には、高画質または高圧縮が設定された撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、低画質または低圧縮が設定された撮影時には処理速度や負荷低減を優先して双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は高画質 ·高圧縮撮影時または低画質'低圧縮撮影時のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率や画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現することができる。

[0056] 図 7は、画像の画質および圧縮率の設定と参照モードの関係が格納されたテープルを模式的に示す。モードテーブル 100は、画質モード設定欄 102と参照モード欄 1 04を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として画質および圧縮率の設定がどのモードに設定されているかに応じて参照モードを選択する。画質および圧縮率の設定がどのモードに設定されてレ、るかを示す情報は、制御部 20から取得する。

[0057] 画像の画質および圧縮率の設定としては、画質および圧縮率が比較的低い通常モード 106と、画質および圧縮率が比較的高い HQモード 108が、画質モード設定欄 102に定められている。参照モードとしては、通常モード 106との対応で第 1モード 10が定められ、 HQモード 108との対応で第 2モード 12が定められている。すなわち、 HQモード 108では、圧縮率および画質の高さを優先して第 2モード 12を用いるが、通常モード 106では、処理負荷を上げてまで双方向符号ィ匕を用いることに仕様上の大きな利点は見出されないので第 1モード 10を用いる。これにより、画像符号化部 18はどの画質および圧縮率の設定においても最適な符号化処理を実行することができる。

[0058] (実施例 5)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の特性に応じて画像符号化の参照モードを選択する点で実施例 1一 4と異なる。具体的には、通常モード撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、スポーツモード撮影時には被写体の動きが大きすぎて動きベクトルが検出されない可能性があるので、双方向符号ィ匕を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は通常モード撮影時またはスポーツモード撮影時のレ、ずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率や画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現すること力できる。

[0059] 図 8は、撮影モード設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル 110は、撮影モード設定欄 112と参照モード欄 114を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として撮影モード設定がどのモードに設定されているかに応じて参照モードを選択する。撮影モード設定がどのモードに設定されているかを示す情報は、制御部 20から取得する。

[0060] 撮影モードの設定としては、通常モード 116とスポーツモード 118が撮影モード設定欄 112に定められている。参照モードとしては、通常モード 116との対応で第 2モード 12が定められ、スポーツモード 118との対応で第 1モード 10が定められている。すなわち、通常モード 116では、圧縮率および画質の高さを優先して第 2モード 12を選択する。一方、スポーツモード 118では、被写体の動きが大きすぎるために動きべ外ルが検出されない場合に双方向符号化を用いると却って画質の低下を招くおそれがある。そこで、スポーツモード 118では双方向符号ィ匕を用いない第 1モード 10を選択する。これにより、画像符号化部 18はどの撮影モードにおいても最適な符号化処理を実行することができる。

[0061] (実施例 6)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像を保存する記録媒体の空き容量に応じて画像符号化の参照モードを選択する点で実施例 1一 5と異なる。具体的には、記録媒体の空き容量が所定量より少なければ、圧縮率が比較的高いモードである双方向符号化を用いる参照モードを選択するが、記録媒体の空き容量が所定量より多ければ比較的圧縮率の低いモードである双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは記録媒体の空き容量が所定値より多レ、場合と少なレ、場合のレ、ずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率を実現することができる。

[0062] 図 9は、記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル 120は、空き容量欄 122と参照モード欄 124を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として記録媒体の空き容量がどの程度かに応じて参照モードを選択する。記録媒体の空き容量を示す情報は、記録部 22から取得する。

[0063] 記録媒体の空き容量としては、空き容量が 50%以上である第 1状態 126と、空き容量が 50%未満である第 2状態 128が空き容量欄 122に定められている。参照モードとしては、第 1状態 126との対応で第 1モード 10が定められ、第 2状態 128との対応で第 2モード 12が定められている。すなわち、第 1状態 126では記録媒体の空き容量が十分に残っているため、より圧縮率の低い第 1モード 10を選択する。一方、第 2 状態 128では記録媒体の空き容量が少ないので、圧縮率の高さを優先して第 2モード 12を選択する。これにより、画像符号ィ匕部 18は記録媒体の空き容量の如何に関わらず最適な符号化処理を実行することができる。

[0064] (実施例 7)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像を保存する記録媒体の種類に応じて画像符号化の参照モードを選択する点で実施例 1一 6と異なる。具体的には、記録媒体へのデータ転送速度であるビットレートの高低が記録媒体の種類によって異なるので、高ビットレートの記録媒体が装着されているときは圧縮率が比較的低いモードである双方向符号化を用いない参照モードを選択し、低ビットレートの記録媒体が装着されているときは圧縮率が比較的高いモードである双方向符号ィ匕を用いる参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは高ビットレートまたは低ビットレートのレ、ずれかの記録媒体に合わせて設計せざるを得ず、環境に応じた圧縮率の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率を実現することができる。

[0065] 図 10は、記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル 130は、記録媒体の種類欄 132と参照モード欄 134を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として記録媒体の種類に応じて参照モードを選択する。記録媒体の種類を示す情報は、記録部 22から取得する。

[0066] 記録媒体の種類としては、高ビットレートである小型ハードディスク 136と、低ビットレートであるメモリカード 138と、高ビットレートである内部メモリ 140が記録媒体の種類欄 132に定められている。参照モードとしては、小型ハードディスク 136および内部メモリ 140との対応で第 1モード 10が定められ、メモリカード 138との対応で第 2モード 12が定められている。すなわち、小型ハードディスク 136および内部メモリ 140の場合は高ビットレートであるため圧縮率が低くデータサイズが比較的大きい第 1モード 10を選択する。一方、メモリカード 138の場合は低ビットレートであるため、圧縮率が高くデータサイズが比較的小さい第 2モード 12を選択する。これにより、画像符号化部 18は記録媒体の種類に関わらず最適な符号化処理を実行することができる。

[0067] (実施例 8)

本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、特殊再生に対応した撮影モードか否かに応じて画像符号化の参照モードを選択する点で実施例 1一 7と異なる。具体的には、 2倍速再生のような特殊再生に対応した撮影モードで撮影する場合、各フレームを Iピクチャ、 Bピクチャ、 Pピクチャ、 Bピクチャという順序で符号ィ匕し、 1枚おきに Bピクチャが入る構成とすることができる。この場合、再生時に Bピクチャをスキップするだけで 2倍速再生を実現できるため、 Bピクチャを生成する双方向符号化を用いれば仕様上大きな利点となる。一方、 2倍速再生等の特殊再生に対応しない撮影モードの場合、 Bピクチャを生成することに仕様上の大きな利点は見出されないので、第 1モード 10を選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は特殊再生へ対応する撮影と対応しない撮影のいずれかに合わせて設計せざるを得ず、環境に応じた符号化方式の最適化が困難である。本実施例においては、符号化処理の実行環境に適した符号化方式を実現することができる。

[0068] 図 11は、撮影モードと参照モードの関係が格納されたテーブルを模式的に示す。

モードテーブル 150は、撮影モード欄 152と参照モード欄 154を有する。本実施例における参照モード選択回路 38は、画像符号化の実行環境として特殊再生へ対応した撮影モードか否かに応じて参照モードを選択する。

[0069] 撮影モードの種類としては、 2倍速再生等の特殊再生に対応した撮影モード 156と、特殊再生に対応していない撮影モード 158が撮影モード欄 152に定められている。参照モードとしては、特殊再生に対応した撮影モード 156との対応で第 2モード 12 が定められ、特殊再生に対応していない撮影モード 158との対応で第 1モード 10が定められている。これにより、画像符号化部 18は撮影モードに応じた最適な符号化処理を実行することができる。

[0070] 各実施例においては、符号化処理の実行環境として、解像度設定、フレームレート設定、画質設定等の各パラメータに応じて参照モードを選択する構成を説明した。変形例においては、符号ィ匕処理の実行環境における他のパラメータとして、画像を通信で転送するときの回線速度、回線の混雑度、転送先の処理能力等に応じて参照モードを選択してもよい。このとき、回線速度が高い場合、回線の混雑度が小さい場合、転送先の処理能力が高い場合には、圧縮率が小さい第 1モード 10を選択し、これら以外の場合に第 2モード 12を選択する構成としてもよい。

[0071] 別の変形例においては、符号ィ匕処理の実行環境における他のパラメータとして、撮像装置 14の消費電力の大きさや電池の残り容量に応じて参照モードを選択してもよレ、。このとき、消費電力が高い場合、電池の残量が少ない場合には、より負荷の小さい第 1モード 10を選択し、これら以外の場合に第 2モード 12を選択する構成としてもよい。

[0072] 各実施例および各変形例において、参照モード選択回路 38が参照する符号化処理の実行環境に関するパラメータを種々例示した。さらなる変形例としては、これら種々のパラメータのうち少なくとも 2つ以上に応じて参照モードを選択してもよい。この場合、各パラメータの組合せと、その組合せに最適な参照モードとが対応づけられてモードテーブルに格納されてレ、てもよレ、。

[0073] (第 2—第 5の実施の形態の背景技術）

動画の圧縮符号化方式の規格である MPEG (Motion Picture Experts Group) -4 では、符号化の対象となる対象画像のあるマクロブロックと、その対象画像を符号化するときに参照される参照画像内の、そのマクロブロックに対応するマクロブロックとの差分データが実質的にゼロであった場合、参照画像のコピーであることを示す「 not_coded」フラグを用いて符号ィ匕することにより、符号量の削減を図る。また、対象画像をフレーム間双方向予測モードにより符号ィヒする際に、その対象画像の後方参照画像である P— VOP内のあるマクロブロック力対象画像の前方参照画像内の対応するマクロブロックのコピーであることを示す「not_coded」フラグを用いて符号化されている場合、対象画像内の対応するマクロブロックも前方参照画像内の対応するマクロブロックのコピーとする（例えば、特開平 8— 154250号公報参照）。これにより、大幅に符号量を削減することができる。

[0074] 上述した技術を、具体例を用いて説明する。図 12は、動画像を MPEG— 4方式で符号化する例を示す。図 1に示した例では、 3枚の連続画像 190a、 190b,及び 190 cを、それぞれ P— V〇P、 B— VOP、 P— V〇Pとして符号化する例を示す。まず、画像 1 90a力 S、直前の I一 V〇P又は P— VOPを参照画像としてフレーム間前方向予測モードで圧縮符号化される。次に、画像 190cが、直前の P— V〇Pである画像 190aを参照画像として前方向予測モードで圧縮符号化される。このとき、マクロブロック 192cは、前方参照画像 190aのマクロブロック 192aとほぼ同じ画像であり、差分が実質的にゼ口であるので、「not_coded」フラグを用いて符号化される。復号時には、マクロブロック 192cには、マクロブロック 192aの画像がコピーされる。つづいて、画像 190b力画像 190aを前方参照画像として、画像 190cを後方参照画像として、双方向予測モードで圧縮符号化される。このとき、符号化の対象となっている画像 190bのマクロプロック 192bに対応する後方参照画像 190cのマクロブロック 192cは、「not_coded」フラグを用いて符号化されているため、画像 190bのマクロブロック 192bも同様に「 not_coded」フラグを用いて符号化される。復号時には、マクロブロック 192bには、マクロブロック 192aの画像がコピーされる。

[0075] (第 2—第 5の実施の形態が解決しょうとする課題）

このように、現行の MPEG— 4規格では、 B— V〇Pの後方参照画像である P— VOP に「not_coded」フラグを用いて符号化されたマクロブロックが存在する場合、そのマクロブロックに対応する B— VOPのマクロブロックも、前方参照画像のコピーとして処理され、参照画像との差分データは符号化されない。

[0076] し力ながら、画像 190bが撮像された瞬間に、フラッシュが焚かれたり、物体が通過したりして、画像 190bのマクロブロック 192b力マクロブロック 192a及び 192cとは異なる画像である場合もある。このような場合、復号時に、マクロブロック 192bにマクロブロック 192aがコピーされる結果、図 13に示すように、画像が欠落して画質が劣化する恐れがある。

[0077] 上述した状況に鑑み、第 2—第 5の実施の形態の目的は、動画像を符号化する際の画質の劣化を低減する技術を提供することにある。

[0078] (第 2の実施の形態）

本実施の形態の画像符号化装置 18の構成は、図 3に示した第 1の実施の形態の画像符号化装置 18の構成と同様である。本実施の形態の画像符号化装置 18は、 M PEG— 4に準拠した動画像の符号化を行う。 MPEG— 4の規格に則って符号化を行う際、 B— V〇Pを含むプロファイルで符号化する場合に、 B— V〇Pが後方参照する P— V〇Pにおいて、「not_coded」フラグで符号化されたマクロブロックが存在すると、 B-V OPにおいても前方参照フレームのコピーとして扱われる。上述したように、これにより、画像が欠落する場合があるので、本実施の形態では、 B— V〇Pにおいて前方参照フレームのコピーとならないように、後方参照フレームの符号化方式を変更する。具体的には、動きベクトルがゼロベクトルであっても、それをグローバル動きベクトルとして扱うことにより、 B— VOPに差分データを持たせるようにする。これにより、現行の M PEG— 4の規格の範囲内で、上述した問題を回避し、圧縮画像の画質を向上させること力 Sできる。以下、主に、第 1の実施の形態と異なる点について説明する。

[0079] 参照モード選択回路 38は、フレーム内符号化、フレーム間前方向予測符号化、フレーム間双方向予測符号化、の間でフレーム予測モードの切り替えを行レ、、他の回路に対してフレームの予測モード情報を出力する。本実施の形態では、参照モード選択回路 38は、まず、動画像を符号ィ匕するときのプロファイルを取得して、フレーム間双方向予測モードを含むか否かを判定する。 MPEG— 4におけるプロファイルには、 SP (Simple Profile)、 ASP (Advanced Simple Profile)などがあり、このうち、 SPは、フレーム内符号化により符号ィ匕される I一 V〇Pとフレーム間前方向予測モードにより符号化される P— VOPを組み合わせたプロファイルであり、フレーム間双方向予測モードにより符号化される B— VOPは含まなレ、。これに対し、 ASPは、 I一 VOP及び P— V OPに加え、 B— VOPを用いることが可能なプロファイルである。参照モード選択回路 38は、プロファイルや、動画像の種別などの情報から、フレーム間双方向予測モードを含むか否力を判断する。

[0080] 参照モード選択回路 38は、符号化の対象となる動画像が、フレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間双方向予測モードで符号化される B— VOPの後方参照フレームを符号化するときのフレーム予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力する。このとき、符号化回路 30は、フレーム間前方向予測モードにおける動きべタトノレがゼロべクトノレであるものを、グローバル動きベクトルがゼロべクトノレであるとして符号化する。または、符号化回路 30は、フレーム間前方向予測モードにおける動きべタトノレがゼロべクトノレであり、かつ、前方参照フレームとの差分データが実質的にゼロであるマクロブロック、すなわち、「not_coded」フラグで符号化されるマクロブロックを、グローバル動き補償を用いて符号化する。より具体的には、符号化回路 30は、 B— VOPの後方参照フレームを符号化するときに、そのフレームをグローバル動きべクトノレを含んだ S— VOPとして符号化する。こうすることで、 B— VOPが後方参照するフレームのあるマクロブロックが、前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、 B— VOPの対応するマクロブロックに参照画像との差分データを持たせることができる。これにより、画像の欠落を防ぎ、復号画像の画質を向上させることができる。

[0081] 参照モード選択回路 38は、 B— V〇Pが後方参照する P— VOPのみを、グローバル動きベクトル付きの S— V〇Pに切り替えてもよレ、し、 B— V〇Pが存在するプロファイルである場合は、全ての P— V〇Pをグローバル動きベクトル付きの S— V〇Pに切り替えてもよレ、。また、参照モード選択回路 38は、 P— V〇Pの符号化中に「not_coded」のマクロブロックが出現したときに、その P—VOPをグローバル動きベクトル付きの S—VOP に切り替えてもよいし、「not_coded」のマクロブロックが所定数以上出現したときに、その P—VOPをグローバル動きベクトル付きの S—VOPに切り替えてもよレ、。

[0082] 図 14は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路 38は、動画像を符号化する際のプロファイルを取得し、 B- VOPが出現するか否かを判断する（S10)。 B— VOPが出現しないプロファイルである場合は（S10の N)、画像符号化装置 18は、特殊な処理を行わず、通常の方式で動画像を符号化する（S14)。 B— VOPが出現するプロファイルである場合は（S10の Y)、参照モード選択回路 38は、 P— VOPの符号ィ匕の際に、グローバル動きベクトル（ 0, 0)を持たせた前方向予測モードを使用して符号ィヒする旨のフレーム予測モード情報を出力する（S12)。符号化回路 30は、参照モード選択回路 38からの指示を受けて、符号化対象画像を、グローバル動きベクトル（0, 0)を持たせた S— VOPとして符号化する。

[0083] (第 3の実施の形態）

本実施の形態の画像符号化装置 18は、 MPEG— 4に準拠した動画像の符号化を行う。 MPEG—4の規格に則って符号化を行う際、 B— VOPを含むプロファイルで符号化する場合に、 B— V〇Pが後方参照する P— VOPにおいて、「not_coded」フラグで符号化されたマクロブロックが存在すると、 B— V〇Pにおレ、ても前方参照フレームのコピーとして扱われる。上述したように、これにより、画像が欠落する場合があるので、本実施の形態では、 B— V〇Pにおいて前方参照フレームのコピーとならないように、後方参照フレームの符号化方式を変更する。具体的には、 P— VOPに「not_coded」フラグで符号ィ匕できるマクロブロックが存在しても、動きベクトルがゼロベクトルとなる動きベクトル情報を付加して符号化する。そして、対応する B— VOPのマクロブロックに動きべクトノレゃ予測誤差を含む符号化パラメータを持たせるようにする。これにより、現行の MPEG— 4の規格の範囲内で、上述した問題を回避し、圧縮画像の画質を向上させることができる。

[0084] 本実施の形態の画像符号化装置 18の構成は、図 3に示した第 1の実施の形態の画像符号化装置 18と同様である。以下、主に、第 1の実施の形態と異なる点について説明する。

[0085] 本実施の形態では、参照モード選択回路 38は、まず、動画像を符号化するときのプロファイルを画像符号化装置 18全体を制御する制御回路（図示せず）などから取得して、フレーム間双方向予測モードを含むか否かを判定する。プロフアイノレは、外部からの指示によって制御回路で設定される他、画像符号化装置 18の使用環境に応じて制御回路が自動的に設定するような構成であってもよい。 MPEG— 4におけるプロファイルには、 SP (Simple Profile)、 ASP (Advanced Simple Profile)などがあり、このうち、 SPは、フレーム内符号化により符号ィ匕される I VOPとフレーム間前方向予測モードにより符号化される P— VOPを組み合わせたプロファイルであり、フレーム間双方向予測モードにより符号化される B— VOPは含まなレ、。これに対し、 ASPは、 I VOP及び P— VOPに加え、 B— VOPを用いることが可能なプロファイルである。参照モード選択回路 38は、プロファイルや、動画像の種別などの情報から、フレーム間双方向予測モードを含むか否かを判断する。

[0086] 参照モード選択回路 38は、符号化の対象となる動画像が、フレーム間前方予測モードとフレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間前方予測モードで符号ィ匕される P— V〇Pにおレ、て、 P— V〇Pを構成する或るマクロブロック力 S、前方参照フレーム中に存在し P— VOPのマクロブロックと同じ位置のマクロブロックと実質的に同一であると判断された場合、「_not__COded」フラグを付カロする代わりに前方参照フレームとの間の動きべ外ル情報を符号ィ匕データ列中に付カロして符号化する旨の情報を出力する。符号化回路 30は、この情報を受けて、「 not_coded」フラグで符号化できるマクロブロックを、「not_coded」フラグを用いずに、ゼ口ベクトルである動きベクトル情報を付カ卩して符号ィ匕する。これにより、 B— VOPが後方参照するフレームの或るマクロブロック力前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、 B— V〇Pの対応するマクロブロックに参照画像との間の動きベクトル情報や予測誤差を含む符号化パラメータを持たせることができる。したがって、画像の欠落を防ぎ、復号画像の画質を向上させることができる。

[0087] 参照モード選択回路 38は、 B— V〇Pが後方参照する P—VOPのみで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するよう切り替えてもよいし、 B— VOPが存在するプロファイルである場合は、全ての P— V〇P で、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するよう切り替えてもよい。また、参照モード選択回路 38は、「not_coded」のマクロブロックが所定数以上出現したときに、その P— VOPで、「not_coded」フラグを用レヽて符号ィ匕できるブロックを、動きベクトル情報を付加して符号化するように切り替えてもよい。

[0088] 図 15は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路 38は、動画像を符号化する際のプロファイルを取得し、 B- VOPが出現するか否かを判断する（S20)。 B— VOPが出現しないプロファイルである場合は（S20の N)、画像符号化装置 18は、 P— VOPで符号ィ匕する際、「not_coded 」フラグの使用を許可する。（S24)。 B— VOPが出現するプロファイルである場合は（ S20の Y)、参照モード選択回路 38は、 P— VOPの符号化の際に、「not_coded」フラグを用いて符号化できるブロックであっても、動きベクトルを（0, 0)である動きベクトル情報を付加して符号ィ匕する旨のフレーム予測モード情報を出力する（S22)。符号化回路 30は、参照モード選択回路 38からの指示を受けて、符号化対象画像を符号ィ匕する。

[0089] (第 4の実施の形態）

B— V〇Pの後方参照フレームである P— VOPを符号化する方式として、第 2の実施の形態では、グローバル動きベクトルを用いる方式を示した。また、第 3の実施の形態では、「not_coded」フラグで符号化できるマクロブロックが存在しても、ゼロべクトノレを示す動きベクトル情報を付加する方式を示した。し力しながら、このどちらの方式においても、「not_coded」フラグを用いて符号化する場合と比較して、符号量が増加する。

[0090] すなわち、グローバル動きベクトルを用いる場合は、グローバル動きベクトルを用いるか否かを示すフラグ力すべてのマクロブロックに付加されるため、その分だけ符号量が増える。また、ゼロベクトルを示す動きべクトノレ情報を付加する場合、「not_coded 」フラグを用いて符号化できるマクロブロックすべてに対しても、動きベクトル情報を付加するので、その分符号量が増加する。

[0091] したがって、グローバル動きベクトルを用いる場合とゼロベクトルを示す動きべクトノレ情報を付加する場合とを比較した場合、 r_not_codedjフラグを用いて符号化可能なマクロブロックの数が少なレ、場合は、ゼロベクトルを示す動きベクトル情報を付加する場合のほうが符号量は少なくてすむ力「not_coded」フラグを用いて符号化可能なマクロブロックの数が多い場合は、グローバル動きべクトノレを用いる場合のほうが符号量は少ない。

[0092] そこで、このような符号量の増加を最小限に抑制するために、本実施の形態の画像符号化装置 18は、第 2の実施の形態のようなグローバル動きベクトルを用いて符号化するモードと、第 3の実施の形態のようなゼロべクトノレを示す動きベクトル情報を付カロして符号化するモードとを切り替えることができる。

[0093] 本実施の形態に係る画像符号化装置 18の全体構成は、第 1の実施の形態に係る画像符号化装置 18と同一であり、符号化回路 30、出力バッファ 34及び参照モード選択回路 38の動作が一部異なる。以下、本実施の形態に特徴的な点のみ説明し、それ以外の説明は割愛する。

[0094] 参照モード選択回路 38は、符号化の対象となる動画像が、フレーム間前方予測モードとフレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間前方予測モードで符号ィ匕される P— V〇Pにおレ、て、 P— V〇Pを構成する或るマクロブロック力 S、前方参照フレーム中に存在し P— VOPのマクロブロックと同じ位置のマクロブロックと実質的に同一であると判断された場合、「_not__COded」フラグを付カロする代わりに前方参照フレームとの間の動きべ外ル情報を符号ィ匕データ列中に付カロして符号化する旨の情報を出力する。符号化回路 30は、この情報を受けて、「 not_coded」フラグで符号化できるマクロブロックを、「not_coded」フラグを用いずに、ゼ口ベクトルである動きベクトル情報を付加して符号ィ匕し、出力バッファ 34に記憶させておく。

[0095] 一方で符号化回路 30は、 B— V〇Pの後方参照フレームである P— V〇Pに対し、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものを、グローバル動きべタトノレがゼロベクトルであるとして符号化し、こちらも出力バッファ 34に記憶させておく。また、符号化回路 30は、 B— VOPの後方参照フレームである P— V〇Pを符号化している時に、「not_coded」フラグで符号化可能なマクロブロックの数をカウントしておき、その数を参照モード選択回路 38に通知する。

[0096] 参照モード選択回路 38は、符号化回路 30から通知された「not_coded」フラグで符号化可能なマクロブロックの数力予め定められた閾値以上になったときに、 B-VO Pの後方参照フレームである P— VOPを符号化するときの符号ィヒモードを示す情報として、グローバル動き補償を用いる旨の情報に切り替える。この閾値は、予め内部で決められた値であっても良いし、外部からユーザによって指定してもよい。

[0097] 符号化回路 30は、参照モード選択回路 38が出力する符号化モードがグローバル動き補償を用いる旨の情報に切り替えられた場合、ゼロベクトルである動きベクトル情報を付加して符号ィ匕する方法を中止する一方、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものを、グローバル動き補償を用いて符号化する方法を継続し、この符号化データを出力バッファ 34に引き続き記憶させる。そして、 P 一 VOPの符号ィ匕が完了した後に、グローバル動きベクトルを用いて符号化した符号化データ列を、出力バッファ 34から出力する。

[0098] 一方、「not_coded」フラグで符号化可能なマクロブロックの数力 S、予め定められた閾値に達することなぐ B— V〇Pの後方参照フレームである P— VOPの符号化が完了したとき、参照モード選択回路 38が出力する符号ィ匕モードは切り替わらず、ゼロべタトルである動きベクトル情報を付加して符号ィ匕する方法が最後まで継続される。そして、 P— VOPの符号化が完了した後に、ゼロベクトルである動きベクトル情報を付カ卩して符号化した符号化データ列を、出力バッファ 34から出力する。 [0099] なお、参照モード選択回路 38は、 B— VOPが後方参照する P— VOPのみで、ゼロベクトルである動きベクトル情報を付加して符号ィ匕する力、若しくは、グローバル動きベクトルを用いて符号化するようにしてもよいし、 B— VOPが存在するプロファイルである場合は、全ての P— V〇Pで、ゼロベクトルである動きベクトル情報を付カ卩して符号化するか、若しくは、グローバル動きベクトルを用いて符号ィ匕するようにしてもよい。

[0100] 図 16は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路 38は、動画像を符号化する際のプロファイルを取得し、 B- V〇Pが出現するか否かを判断する（S30)。 B— VOPが出現しないプロファイルである場合は（S30の N)、画像符号化装置 18は、 P— VOPで符号ィ匕する際、「not_coded 」フラグの使用を許可する。（S38)。 B— V〇Pが出現するプロファイルである場合は（ S30の Y)、参照モード選択回路 38は、 P_V〇Pの符号化の際に、「not_coded」フラグを用いて符号ィ匕できるブロックの数が所定の数以上であるか否かを判断する（S32 )。所定の数未満の場合は（S32の N)、参照モード選択回路 38は、動きベクトルを（ 0, 0)である動きベクトル情報を付加して符号化する旨のフレーム予測モード情報を出力する（S34)。所定の数以上の場合は（S32の Y)、参照モード選択回路 38は、 P 一 VOPの符号ィ匕の際にグローバル動きベクトル（0, 0)を持たせた前方向予測モードを使用して符号ィ匕する旨のフレーム符号ィ匕モード情報を出力する（S36)。画像符号化装置 18は、参照モード選択回路 38から出力されたフレーム符号ィ匕モード情報に基づいた、符号化データ列を出力する。

[0101] 以上のように、本実施の形態に係る画像符号化装置 18は、以下のような効果を得ること力 Sできる。

1) B— V〇Pの後方参照フレームである P— VOPを、グローバル動きベクトルを用いた符号化モード、もしくは、ゼロベクトルである動きベクトル情報を付加する符号化モードのどちらかのモードによって符号化するため、 B— VOPが後方参照するフレームの或るマクロブロック力前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、 B— V〇Pの対応するマクロブロックに参照画像との間の動きベクトル情報や予測誤差を含む符号化パラメータを持たせることができる。したがって

、画像の欠落を防ぎ、復号画像の画質を向上させることができる。 [0102] 2) B— VOPの後方参照フレームである P— VOPを符号化する際、「not_coded」フラグを用いて符号化可能なマクロブロックの数によって、その P— VOPの符号化モードを、グローバル動きベクトルを用いた符号化モード、もしくは、ゼロベクトルである動きベクトル情報を付加する符号化モードのどちらかに切り替えることができる。これにより、「not_coded」フラグを用いて符号ィ匕可能なマクロブロックの数によって、符号化効率のよい符号化モードを選択することが可能になり、符号量の増大を最小限に抑えること力 Sできる。

[0103] 本実施の形態において、参照モード選択回路 38は、「not_coded」のマクロブロック数に対する 2つの閾値 TH1、TH2 (TH1 <TH2)を設けてもよレ、。この場合、「 not.codedjのマクロブロック数が TH1未満のときは、 P—VOPにおける「not_coded」フラグの使用を許可し、「not_coded」のマクロブロック数力 STH1以上 TH2未満のときは、その P— V〇Pで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するように切り替え、さらに「not_coded」のマクロブロック数が T H2以上のときは、グローバル動きベクトルを用いて符号ィ匕するように切り替えてもよレ、。

[0104] また、本実施の形態において、 B— VOPの後方参照フレームを符号ィ匕する際、「 not_coded」フラグを用いて符号化できるマクロブロックを、グローバル動きベクトルを用いて符号化するモードと、ゼロベクトルを表す動きベクトルを付加して符号化するモードの選択を、「not__COded」のマクロブロックの数で判断するだけでなぐ外部からも行えるようにしてもよい。すなわち、画像符号化装置 18に入力部を設け、入力部を介してユーザの指示によって選択してもよい。また、符号化データ列の送信先である復号装置の仕様に合わせて選択してもよい。例えば、送信先の復号装置がグローバル動き補償をサポートしてなレ、場合は、ゼロベクトルを表す動きベクトルを付加して符号化するモードを選択できるようにしてもょレ、。

[0105] また、本実施の形態では、符号化回路 30は、「not_coded」フラグを用いて符号化できるマクロブロックを、グローバル動きべクトノレを用いる符号する符号化とゼロべクトノレを表す動きベクトルを付加する符号ィ匕を並列に行う方法を示したが、これに限らず、符号化回路 30は、「not_coded」フラグを用いて符号化できるマクロブロックを、ゼロべタトルを表す動きベクトルを付加する符号化だけを行って、出力バッファ 34に記憶させておいてもよい。この場合、符号化対象のフレームの符号ィヒが完了した時点で、参照モード選択回路 38から出力されたフレーム符号化モード情報が、ゼロベクトルを表す動きべクトノレを付加する符号ィ匕モードを表している場合は、出力バッファ 34に記憶された符号化データ列をそのまま出力する。また、参照モード選択回路 38から出力されたフレーム符号化モード情報力 S、グローバル動きベクトルを用いる符号ィ匕モードを表している場合は、出力バッファ 34に記憶された符号化データ列を、グローバル動きべクトノレを用レ、た符号化データ列に変換して出力する。

[0106] また、本実施の形態では、符号化中のフレームに含まれる「not_coded」フラグを用いて符号ィ匕できるマクロブロックの数によって、グローバル動きベクトルを用いた符号化モードとゼロベクトルである動きベクトル情報を付カ卩する符号ィ匕モードとを切り替えた力これに限らず、過去に符号化したフレームに含まれる「not_coded」フラグを用いて符号化できるマクロブロックの数によって切り替えてもよい。

[0107] (第 5の実施の形態）

本実施の形態では、「not_coded」フラグで符号化されたマクロブロックを後方参照する B— VOPのマクロブロックを符号化する際、前方参照フレームのマクロブロックとの差分が小さければ「not_coded」フラグを用いて符号ィ匕し、差分が大きければ、差分データを符号化する。そして、前方参照フレームのマクロブロックのコピーとする力、参照フレームとの差分データを復号するかを示すフラグ（以下、単に「判定フラグ」と呼ぶ）を符号化データ列に挿入する。画像復号装置は、 B - VOPを復号する際に、判定フラグを参照して、該当するマクロブロックを前方参照フレームのコピーとするか、差分データを復号するかを判定し、判定フラグがコピーを許可することを示す値であれば前方参照フレームから画像をコピーし、判定フラグがコピーを許可せず差分デ一タを復号すべきことを示す値であれば差分データを復号して参照フレームの画像に加える。これにより、符号量の増大を抑えつつ、上述した問題を回避し、圧縮画像の画質を向上させることができる。

[0108] 図 17は、本実施の形態に係る画像符号化装置 18の構成を示す。本実施の形態の画像符号化装置 18の構成は、図 3に示した第 1の実施の形態の画像符号化装置 18 の構成に加えて、符号化方法判定回路 240及び判定フラグ付カ卩回路 242を備える。その他の構成及び動作は、第 1の実施の形態と同様である。以下、主に、第 1の実施の形態と異なる点について説明する。

[0109] 符号化方法判定回路 240は、「not_coded」フラグを用いて符号ィ匕されたマクロブロックを後方参照する B— V〇Pのマクロブロックを符号化する際に、該当するマクロブロックを、前方参照フレーム中の対応するマクロブロックのコピーとして処理してよい力否かを判定する。符号化方法判定回路 240は、動き補償回路 26から出力される、現フレームと参照フレームの間の差分データを取得し、差分データの量が所定のしきい値より小さい場合は、前方参照フレームのコピーとすることを許可し、大きい場合は、符号化回路 30に差分データを符号化させる。符号化方法判定回路 240は、判定結果を判定フラグ付加回路 242に伝達する。

[0110] 符号化方法判定回路 240は、符号化データ列に要求される符号量、復号画像の画質、復号画像の用途、画像を記録する媒体の容量、画像を送受信する通信経路の状況、などに応じて、前方参照フレームのコピーとするか否かを判定してもよい。このような判定基準は、画像符号化装置 18が搭載された機器からの制御情報として符号化方法判定回路 240に供給されてもよい。例えば、復号画像の画質を優先する場合は、差分データが小さい場合でも差分データを符号ィ匕して符号ィ匕データ列に含ませ、前方参照フレームのコピーを禁止してもよい。また、画像を携帯電話などに記録し、伝送する場合は、判定のしきい値を大きくし、できるだけ差分データを含ませないようにして、符号量を抑えてもよい。

[0111] 判定フラグ付加回路 242は、符号化方法判定回路 240による判定結果を取得し、符号化データストリームの所定位置に判定フラグを付加する。判定フラグは、 B-VO Pのマクロブロックごとに付加されてもよいし、 B-VOPごとに付加されてもよいし、 B- V〇Pが後方参照するフレームのマクロブロックごとに付加されてもよいし、 B— VOPが後方参照するフレームごとに付加されてもよい。また、判定フラグは、 B-VOPが後方参照するフレームの「not_coded」フラグを用いて符号化されたマクロブロックに付加されてもよいし、 B— V〇Pが後方参照するフレームのうち「not_coded」フラグを用いて符号化されたマクロブロックを含むフレームに付加されてもよい。また、判定フラグは、符号化データストリームのシーケンスヘッダに付加されてもよい。

[0112] 判定フラグ付カ卩回路 242は、 B— VOPごとに判定フラグを付加する場合、 B— VOP に含まれるマクロブロックのうち、前方参照フレームのコピーとして処理されるマクロブロックの数に基づいて、付加する判定フラグを決定してもよレ、。例えば、コピーとして処理されるマクロブロックが半数を超える場合は、判定フラグとして、前方参照フレームのコピーを許可する値を付加し、その B— V〇Pに含まれるマクロブロックの全てが、前方参照フレームのコピーとして処理されるようにしてもよい。同様に、判定フラグ付加回路 242は、シーケンスヘッダに判定フラグを付加する場合、前方参照フレームのコピーとして処理されるマクロブロック又はフレームの数に応じて、判定フラグを決定してもよい。

[0113] 判定フラグ付加回路 242は、符号化データ列に要求される符号量、復号画像の画質、復号画像の用途、画像を記録する媒体の容量、画像を送受信する通信経路の状況、などに応じて、判定フラグを付加する位置を決定してもよい。このような判定基準は、画像符号ィ匕装置 18が搭載された機器力の制御情報として符号化方法判定回路 240に供給されてもよい。例えば、復号画像の画質を優先する場合は、判定フラグをマクロブロックごとに付加してもよい。また、符号量を抑えたい場合は、判定フラグをフレームごとに又はシーケンスヘッダに付加してもよい。

[0114] 図 18から図 21は、本実施の形態に係る画像符号化装置 18により生成される符号化データ列のデータ構造の例を示す。符号化データ列は、その所定位置に、フレーム間双方向予測モードで符号ィ匕された第 1フレームのブロックを、第 1フレームが前方参照する第 2フレームの所定ブロックのコピーとする力、第 1フレームのブロックと第 2フレームの所定ブロックとの差分データを復号するかを示す判定フラグを含む。

[0115] 図 18は、判定フラグをシーケンスヘッダに付加した例を示す。符号化データ列 300 は、 MPEG—4では「Video Object LayerJに対応し、シーケンスヘッダ 302と、複数のフレーム 310を含む。フレーム 310は、 MPEG—4では「Video Object Plane」に対応し、フレームヘッダ 312と、複数のマクロブロック 320を含む。マクロブロック 320は、 MPEG—4では「Macroblock」に対応し、マクロブロックヘッダ 322と、動きベクトル及び差分データを符号化した符号データ 324を含む。図 18の例では、シーケンスへッダ 302の所定位置に、符号化データ列 300のプロファイルの種別を示すデータ 304 が格納されている。そして、符号化データ列 300のプロファイルが B-VOPを利用可能なプロファイルであり、かつ、符号化データ列 300に B— VOPが含まれる場合は、判定フラグ 306がシーケンスヘッダ 302の所定位置に付加される。

[0116] 図 19は、判定フラグをフレームヘッダに付加した例を示す。図 19の例では、 B— V OP又は B— V〇Pが後方参照するフレームのフレームヘッダ 312に、 V〇Pの種類を示すデータ 314と、この VOPが差分データを持つか否かを示すフラグ情報 316が格納されている。そして、差分データを持つ場合は、判定フラグ 318がフレームヘッダの所定位置に付加される。

[0117] 図 20は、判定フラグを、 B— V〇Pが後方参照するフレームのマクロブロックヘッダに付加した例を示す。図 20の例では、 B— V〇Pが後方参照するフレーム、例えば P— V OPのマクロブロックヘッダ 322に、「not_coded」フラグ 326が格納されている。そして、ッダ 322の所定位置、例えば「not_coded」フラグ 326の直後に付加される。

[0118] 図 21は、判定フラグを B— VOPのマクロブロックヘッダに付加した例を示す。図 21 の例では、 B— VOPが後方参照するフレームの対応するマクロブロックが「not_coded」であった場合に、マクロブロックヘッダ 322の所定位置、例えば先頭に判定フラグ 13 0が付加される。

[0119] 以上のような構成により、 B— VOPが後方参照するフレームのあるマクロブロック力前方参照するフレームの対応するマクロブロックとほぼ同一であり、「not_coded」フラグで符号化された場合であっても、 B— VOPの対応するマクロブロックに参照画像との差分データを持たせることができる。これにより、画像の欠落を防ぎ、復号画像の画質を向上させることができる。また、 B— V〇Pのマクロブロックと前方参照フレームのマクロブロックとの差分が小さい場合には、「not_coded」フラグで符号化するので、符号量を抑えることができる。

[0120] 図 22は、本発明の実施の形態に係る画像復号化装置 350の全体構成を示す。この画像復号化装置 350は、 MPEG - 4方式で圧縮符号化された符号化データ列を格納するバッファ 362と、バッファ 362からデータを受け、動きベクトル等の可変長符号を復号化する可変長復号化回路 364と、可変長復号化回路 364により得られた変換係数を逆量子化して DCT係数に変換する逆量子化回路 366と、逆量子化回路 3 66で生成された DCT係数列を 8 X 8のブロック単位の DCT係数に戻して逆 DCTを行い差分データを出力する逆 DCT回路 368と、動きベクトルに基づく参照アドレスと差分データとをもとに、参照画像データから画像を復号して内部のメモリに保存した後に、出力画像データを発生する動き補償部 376と、を含む。

[0121] 動き補償部 376は、画像データを格納するフレームメモリ 372と、動きベクトルをもとにフレームメモリ 372から参照画像データを読み出す動き補償回路 370と、参照画像データと差分データとを加算して復号画像データをフレームメモリ 372に出力する加算回路 374とを含む。フレームメモリ 372からは、出力画像データが出力される。

[0122] 複号化方法判定回路 380は、符号化データストリーム中の所定位置にある判定フラグを取得して、 B— V〇Pの復号方法を判定する。判定フラグの位置は、マクロブロックのヘッダ、フレームヘッダ、シーケンスヘッダなどであってもよいし、その他任意の位置であってもよぐ画像符号化装置 18と画像復号化装置 350の間で共通の認識力 Sあればよい。復号化方法判定回路 380は、判定フラグが、 B-VOPが後方参照するマクロブロックが「_not_coded」フラグで符号化されていたときに、 B— VOPのマクロブロックも前方参照フレームのコピーとして処理することを示す値であれば、動き補償回路 370にコピーを行うよう伝達する。動き補償回路 370は、前方参照フレームのマクロブロックをフレームメモリ 372から読み出し、 B— VOPのマクロブロックにコピーする。復号化方法判定回路 380は、判定フラグが、コピーを許可せず差分データを復号すべきことを示す値であれば、逆量子化回路 366及び逆 DCT回路 368に差分データを復号化させ、復号化された差分データを前方参照フレームのマクロブロックに加算させて、 B— V〇Pのマクロブロックを得る。これにより、本実施の形態の画像符号化装置 18により符号化された符号化データ列を適切に復号することができる。

[0123] 図 23は、本実施の形態の画像符号化方法の手順を示すフローチャートである。図 23は、画像符号化装置 18がフレーム間双方向予測モードで対象フレームを符号化する手順を示している。まず、 B— V〇Pを符号化する際に、符号化方法判定回路 24 0力符号化対象となるマクロブロック力「not_coded」フラグで符号化されているマクロブロックを後方参照してレ、るか否かを確認する（S 110)。後方参照フレームのマクロブロックが「_not__coded」でなければ（S110の N)、通常の符号化処理を行う。後方参照フレームのマクロブロックが「not_coded」であれば（S 110の Y)、符号化方法判定回路 240は、符号化対象となるマクロブロックも前方参照フレームのマクロブロックのコピーとするか否かを判定する（S 112)。符号化方法判定回路 240が、コピーとすると判定したときは（S112の Y)、判定フラグ付カ卩回路 242が符号化データ列の所定位置に、前方参照フレームのコピーを揷入することを示す判定フラグを付加する（S 114 )。符号化方法判定回路 240が、コピーではなく差分データを持たせると判定したときは（S 112の N)、符号化回路 30が差分データを符号ィ匕し (S 116)、判定フラグ付カロ回路 242が差分データを含むことを示す判定フラグを付加する（S 118)。

[0124] 図 24は、本実施の形態の画像復号化方法の手順を示すフローチャートである。図 24は、画像復号ィ匕装置 350がフレーム間双方向予測モードで符号ィ匕されたフレームを復号化する手順を示している。まず、復号化方法判定回路 380が、符号化データ列の所定位置に付加された判定フラグを取得し (S 130)、判定フラグの種別を確認する（S 132)。判定フラグが、 B— VOPの後方参照フレームのマクロブロックが「 not_coded」であったときに B— VOPのマクロブロックも前方参照フレームのマクロブロックのコピーとすることを示す値であったときは（S132の Y)、復号ィ匕方法判定回路 3 80は、 B— VOPのマクロブロックに前方参照フレームのマクロブロックのコピーを挿入するよう他の回路に指示する（S134)。判定フラグが、 B— VOPのマクロブロックが差分データを含むことを示す値であったときは（S132の N)、復号ィ匕判定回路 380は、差分データを復号して B— VOPのマクロブロックの画像を生成するよう他の回路に指示する（S136)。

[0125] 以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

産業上の利用可能性

[0126] 本発明は、動画像を符号化する画像符号化装置に利用可能である。

Claims

請求の範囲

[1] 符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号ィ匕のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号ィヒの実行環境に応じて選択的に設定する参照モード選択回路と、

を備えることを特徴とする画像符号化装置。

[2] 前記参照モード選択回路は、前記符号化の圧縮率の高低を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項 1に記載の画像符号化装置。

[3] 前記参照モード選択回路は、前記符号化の処理により生ずる負荷の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号ィヒを用いない参照モードのうちいずれが当該装置における符号ィヒの実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項 1に記載の画像符号化装置。

[4] 前記参照モード選択回路は、前記画像信号について双方向符号化を実行する場合における仕様上の利点の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号ィヒを用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項 1に記載の画像符号化装置。

[5] 前記符号化回路は、前記符号化の方式として MPEGに準拠した方式にて前記画像信号を符号化するとともに、前記双方向符号化を用いる参照モードでは Iピクチャ、 Pピクチャ、および Bピクチャを用いて符号ィ匕し、前記双方向符号化を用いない参照モードでは Iピクチャおよび Pピクチャを用いることを特徴とする請求項 1から 4のいずれかに記載の画像符号化装置。

[6] 被写体を撮像して画像信号を取得する画像入力部と、

前記取得された画像信号をフレーム内符号化およびフレーム間符号化のうち少なくともいずれ力を用いた方式にて符号ィ匕する符号化回路と、

前記符号化方式におけるフレーム間圧縮符号化として過去および未来のフレームを参照する双方向フレーム間符号化を用いるモードと用いないモードのいずれかを、当該装置における符号ィヒの実行環境に応じて選択的に設定する参照モード選択回路と、

前記符号化により生成された符号化データを保存するデータ格納部と、を備えることを特徴とする撮像装置。

[7] 動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、

前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、

前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号ィ匕するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化装置。

[8] 前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを判定することを特徴とする請求項 7に記載の画像符号化装置。

[9] 前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロべタトルであるものをグローバル動きベクトルとして符号化することを特徴とする請求項 7又は 8に記載の画像符号化装置。

[10] 前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロべタトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化することを特徴とする請求項 7又は 8に記載の画像符号化装置。

[11] 前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームが Pフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、 Pフレームに代えて、グローバル動きベクトルを含む Sフレームとして符号化する旨の情報を出力することを特徴とする請求項 7から 10 のレ、ずれかに記載の画像符号化装置。

[12] 前記予測モード選択部は、 Pフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号ィ匕するときの予測モードを示す情報として、 Pフレームに代えて、グローバル動きベクトルを含む Sフレームとして符号化する旨の情報を出力することを特徴とする請求項 7から 11のいずれかに記載の画像符号ィ匕装置。

[13] 動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、

前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、

前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号ィ匕されるフレームの後方参照フレームを符号ィ匕するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化方法。

[14] 動画像を符号化する際に、前記動画像を構成するフレーム毎に、フレーム内符号化モード、フレーム間一方向予測符号ィヒモード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号化装置において、

前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロック力予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きべクトノレ情報をそのブロックの符号ィヒデータ列中に付加して符号化することを特徴とする画像符号化装置。

[15] 前記フレーム間一方向予測符号化モードと前記参照フレームの間に存在するフレームをフレーム間双方向予測符号ィ匕モードにて符号ィ匕する時に、前記動きべクトノレ情報が付加されたブロックと同じ位置のブロックについても符号化を行い、符号化パラメータを符号化データ列中に付加することを特徴とする請求項 14に記載の画像符号化装置。

[16] 前記フレーム間一方向予測符号化モードで符号ィ匕されたフレームは、前記フレーム間双方向予測符号化モードで符号化されるフレームの参照フレームであることを特徴とする請求項 14又は 15に記載の画像符号化装置。

[17] 前記動きベクトル情報はゼロベクトルとして符号化することを特徴とする請求項 14から 16のいずれかに記載の画像符号化装置。

[18] 動画像を符号化する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、

前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号ィ匕するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグローバル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号ィ匕データ列中に付加して符号化する旨の情報を出力することを特徴とする画像符号化装置。

[19] 動画像を符号化して符号化データ列を生成する画像符号化装置であって、

前記動画像を構成するフレームを符号化する符号ィヒ部と、

前記符号化部がフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピ一とするか否かを判定する符号化方法判定部と、

前記符号化方法判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、

を備えることを特徴とする画像符号化装置。

[20] 前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化することを特徴とする請求項 19に記載の画像符号化装置。

[21] 前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行うことを特徴とする請求項 19又は

20に記載の画像符号化装置。

[22] 前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項 19から 21のいずれかに記載の画像符号化装置。

[23] 前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項 19から 21のいずれかに記載の画像符号化装置。

[24] 前記付加部は、前記符号ィヒデータ列のシーケンスヘッダに前記フラグ情報を付カロすることを特徴とする請求項 19から 21のいずれかに記載の画像符号化装置。

[25] 動画像を符号化した符号化データ列を取得して復号する復号化部と、

前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否力、を示すフラグ情報を取得し、復号の方法を判定する複号化方法判定部と、を備え、前記復号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする画像複号化装置。

[26] 動画像を符号化して符号化データ列を生成する画像符号化方法であって、

前記動画像を構成するフレームを符号化するステップと、

前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、

判定結果を示すフラグ情報を符号化データ列中に付加するステップと、を含むことを特徴とする画像符号化方法。

[27] 動画像を符号化した符号化データ列を取得して復号するステップと、

前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否力を示すフラグ情報を取得し、復号の方法を判定するステップと、を含み、

前記復号するステップは、前記判定するステップにおレ、て前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号する

ことを特徴とする画像復号ィヒ方法。動画像を符号化した符号化データ列のデータ構造であって、前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号化された第 1フレームのブロックを、前記第 1フレームが前方参照する第 2フレームの所定プロックのコピーとする力、、前記第 1フレームのブロックと前記第 2フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含む

ことを特徴とするデータ構造。