JP3148751B2

JP3148751B2 - Video encoding device and video decoding device

Info

Publication number: JP3148751B2
Application number: JP35257999A
Authority: JP
Inventors: 裕之堅田; 典男伊藤; 友子青野; 寛草尾
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-08-21
Filing date: 1999-12-13
Publication date: 2001-03-26
Anticipated expiration: 2017-03-25
Also published as: JP2000188756A

Description

DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置、および符号化データを復号する動画像復
号装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention belongs to the field of digital image processing, and relates to a moving picture encoding apparatus for encoding image data with high efficiency and a moving picture decoding apparatus for decoding encoded data.

【０００２】[0002]

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
ＩＥ９４−１５９、ｐｐ９９−１０６（１９９５））で
は、背景となる動画像シーケンスと前景となる部品動画
像の動画像シーケンス（例えばクロマキー技術によって
切り出された人物画像や魚の映像など）を重畳して新た
なシーケンスを作成する手法が述べられている。2. Description of the Related Art In image coding, a method of combining different moving image sequences has been studied. In the document “Image Coding Using Hierarchical Expressions and Multiple Templates” (IEICE Technical Report IE94-159, pp99-106 (1995)), a moving image sequence of a background moving image and a foreground component moving image ( For example, a method is described in which a new sequence is created by superimposing a human image or a video of a fish cut out by the chroma key technique.

【０００３】また、文献「画像内容に基づく時間階層符
号化」（“ＴｅｍｐｏｒａｌＳｃａｌａｂｉｌｉｔｙ
ｂａｓｅｄｏｎｉｍａｇｅｃｏｎｔｅｎｔ”，
ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ＭＰ
ＥＧ９５／２１１（１９９５））では、フレームレート
の低い動画像シーケンスにフレームレートの高い部品動
画像の動画像シーケンスを重畳して新たなシーケンスを
作成する手法が述べられている。[0003] In addition, a document "temporal scalability based on image contents"("TemporalScalability")
based on image content ",
ISO / IEC / JTC1 / SC29 / WG11 MP
EG95 / 211 (1995)) describes a method of creating a new sequence by superimposing a moving image sequence of a component moving image having a high frame rate on a moving image sequence having a low frame rate.

【０００４】この方式では、図１５に示すように、下位
レイヤでは低いフレームレートで予測符号化が行われ、
上位レイヤでは選択領域（網点部）についてのみ高いフ
レームレートで予測符号化が行われる。ただし、上位レ
イヤまで復号した画像フレームは、下位レイヤで復号し
た画像フレームと上位レイヤで復号した領域を重畳する
ことで得られる。In this method, as shown in FIG. 15, predictive coding is performed at a low frame rate in a lower layer.
In the upper layer, predictive coding is performed at a high frame rate only for the selected region (dotted portion). However, the image frame decoded up to the upper layer can be obtained by superimposing the image frame decoded at the lower layer and the area decoded at the upper layer.

【０００５】また、下位レイヤで符号化したフレーム
は、上位レイヤでは符号化せず、下位レイヤの復号画像
をそのままコピーして用いる。また、選択領域としては
例えば人物部分など視聴者の注目が集まる部分が選ばれ
ているものとする。A frame coded in the lower layer is not coded in the upper layer, and the decoded image of the lower layer is copied and used as it is. Also, it is assumed that a part that attracts the viewer's attention, such as a person part, is selected as the selected area.

【０００６】図１１に従来手法のブロック図を示す。ま
ず、従来手法の符号化側では、入力動画像は第１の駒落
し部１１０１及び第２の駒落し部１１０２によってフレ
ーム間引きされ、入力画像のフレームレート以下とされ
た後、それぞれ上位レイヤ符号化部１１０３及び下位レ
イヤ符号化部１１０４に入力される。ここで、上位レイ
ヤのフレームレートは、下位レイヤのフレームレート以
上であるとする。FIG. 11 shows a block diagram of a conventional method. First, on the encoding side of the conventional method, the input moving image is frame-thinned by the first frame dropping unit 1101 and the second frame dropping unit 1102, and the frame rate is set to be equal to or less than the frame rate of the input image. This is input to section 1103 and lower layer coding section 1104. Here, it is assumed that the frame rate of the upper layer is equal to or higher than the frame rate of the lower layer.

【０００７】下位レイヤ符号化部１１０４では、入力さ
れた動画像全体が符号化される。符号化方式としては、
例えばＭＰＥＧやＨ．２６１などの動画像符号化国際標
準化方式が用いられる。下位レイヤ符号化部１１０４で
は、また下位レイヤの復号画像が作成され、予測符号化
に利用されると同時に、重畳部１１０５に入力される。[0007] The lower layer coding section 1104 codes the entire input moving image. As the encoding method,
For example, MPEG or H.264. H.261 or the like is used. In the lower layer encoding section 1104, a decoded image of the lower layer is created and used for predictive encoding, and is input to the superimposing section 1105 at the same time.

【０００８】図１１の上位レイヤ符号化部１１０３で
は、入力された動画像の選択領域のみが符号化される。
ここでも、ＭＰＥＧやＨ．２６１などの動画像符号化国
際標準化方式が用いられるが、領域情報に基づいて選択
領域のみを符号化する。ただし、下位レイヤで符号化さ
れたフレームは、上位レイヤでは符号化されない。In the upper layer encoding section 1103 of FIG. 11, only the selected area of the input moving image is encoded.
Again, MPEG and H.264. Although a moving picture coding international standardization method such as H.261 is used, only the selected area is coded based on the area information. However, frames encoded in the lower layer are not encoded in the upper layer.

【０００９】領域情報は、人物部などの選択領域を示す
情報であり、例えば選択領域の位置で値１、それ以外の
位置で値０をとる２値画像である。上位レイヤ符号化部
１１０３では、また動画像の選択領域のみが復号され、
重畳部１１０５に入力される。The area information is information indicating a selected area such as a person, and is, for example, a binary image having a value of 1 at the position of the selected area and a value of 0 at other positions. Upper layer coding section 1103 also decodes only the selected area of the moving image,
This is input to superimposition section 1105.

【００１０】領域情報符号化部１１０６では、領域情報
がチェイン符号などを利用して符号化される。重畳部１
１０５は、重畳対象フレームで下位レイヤフレームが符
号化されている場合、下位レイヤの復号画像を出力す
る。重畳対象フレームで下位レイヤフレームが符号化さ
れていない場合は、重畳対象フレームの前後２枚の符号
化された下位レイヤの復号画像と１枚の上位レイヤ復号
画像を用いて動画像を出力する。[0010] In the area information encoding unit 1106, the area information is encoded using a chain code or the like. Superposition unit 1
105 outputs the decoded image of the lower layer when the lower layer frame is encoded in the superimposition target frame. When the lower layer frame is not encoded in the superimposition target frame, a moving image is output using two encoded lower layer decoded images before and after the superimposition target frame and one upper layer decoded image.

【００１１】下位レイヤの２枚の画像フレームは、上位
レイヤフレームの前及び後である。ここで作成された動
画像は、上位レイヤ符号化部１１０３に入力され、予測
符号化に利用される。重畳部１１０５における画像作成
方法は、以下の通りである。[0011] The two lower frame image frames are before and after the upper layer frame. The moving image created here is input to the upper layer encoding unit 1103 and used for predictive encoding. The image creation method in the superimposing unit 1105 is as follows.

【００１２】まず、２枚の下位レイヤの補間画像が作成
される。時間ｔにおける下位レイヤの復号画像をＢ
（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を
表す座標である）とし、２枚の下位レイヤの時間をそれ
ぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ
１＜ｔ３＜ｔ２である）とすると、時間ｔ３における補
間画素Ｉ（ｘ，ｙ，ｔ３）は、次式（１）によって計算
される。First, two lower layer interpolation images are created. The decoded image of the lower layer at time t is B
(X, y, t) (where x and y are coordinates representing pixel positions in space), the times of the two lower layers are t1 and t2, respectively, and the times of the upper layers are t3 (where t is t).
1 <t3 <t2), the interpolated pixel I (x, y, t3) at time t3 is calculated by the following equation (1).

【００１３】Ｉ（ｘ，ｙ，ｔ３）＝［（ｔ２−ｔ３）Ｂ（ｘ，ｙ，ｔ１）＋（ｔ３−ｔ１）Ｂ（ｘ，ｙ，ｔ２）］／（ｔ２−ｔ１）・・・（１）次に、上式（１）で求めた補間画像Ｉに、上位レイヤの
復号画像Ｅを重畳する。このために、領域情報Ｍ（ｘ，
ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，ｙ，ｔ）を
作成し、次式（２）によって重畳画像Ｓを得る。I (x, y, t3) = [(t2-t3) B (x, y, t1) + (t3-t1) B (x, y, t2)] / (t2-t1) (1) Next, the decoded image E of the upper layer is superimposed on the interpolated image I obtained by the above equation (1). For this purpose, the area information M (x,
Weight information W (x, y, t) for superimposition is created from y, t), and a superimposed image S is obtained by the following equation (2).

【００１４】Ｓ（ｘ，ｙ，ｔ）＝［１−Ｗ（ｘ，ｙ，ｔ）］Ｉ（ｘ，ｙ，ｔ）＋Ｅ（ｘ，ｙ，ｔ）Ｗ（ｘ，ｙ，ｔ）・・・（２）ここで、領域情報Ｍ（ｘ，ｙ，ｔ）は、選択領域内で
１、選択領域外で０の値をとる２値画像であり、この画
像に低域通過フィルタを複数回施す事によって、重み情
報Ｗ（ｘ，ｙ，ｔ）を得る事ができる。すなわち、重み
情報Ｗ（ｘ，ｙ，ｔ）は、選択領域内で１、選択領域外
で０、選択領域の境界部で０〜１の値をとる。S (x, y, t) = [1-W (x, y, t)] I (x, y, t) + E (x, y, t) W (x, y, t) (2) Here, the region information M (x, y, t) is a binary image having a value of 1 inside the selected region and a value of 0 outside the selected region. By performing this, weight information W (x, y, t) can be obtained. That is, the weight information W (x, y, t) takes a value of 1 inside the selected area, 0 outside the selected area, and 0 to 1 at the boundary of the selected area.

【００１５】以上が、重畳部１１０５における画像作成
方法の説明である。下位レイヤ符号化部１１０４、上位
レイヤ符号化部１１０３、領域情報符号化部１１０６で
符号化された符号化データは、図示しない符号化データ
統合部で統合され、伝送あるいは蓄積される。The above is the description of the image creating method in the superimposing unit 1105. The coded data coded by the lower layer coding unit 1104, the upper layer coding unit 1103, and the area information coding unit 1106 are integrated by a coded data integration unit (not shown) and transmitted or stored.

【００１６】次に、従来手法の復号側では、符号化デー
タが、図示しない符号化データ分解部にて、下位レイヤ
の符号化データ、上位レイヤの符号化データ、領域情報
の符号化データに分解される。これらの符号化データ
は、図１１に示すように、下位レイヤ復号部１１０８、
上位レイヤ復号部１１０７及び領域情報復号部１１０９
によって復号される。Next, on the decoding side of the conventional method, the coded data is decomposed into coded data of a lower layer, coded data of an upper layer, and coded data of area information by a coded data decomposing unit (not shown). Is done. These encoded data are, as shown in FIG. 11, a lower layer decoding unit 1108,
Upper layer decoding section 1107 and area information decoding section 1109
Is decrypted by

【００１７】復号側の重畳部１１１０は、符号化側の重
畳部１１０５と同一の装置からなり、下位レイヤ復号画
像と上位レイヤ復号画像を用い、符号化側の説明で述べ
たものと同一の方法によって画像が重畳される。ここで
重畳された動画像は、ディスプレイに表示されると共
に、上位レイヤ復号部１１０７に入力され、上位レイヤ
の予測に利用される。The decoding-side superimposing section 1110 is composed of the same device as the encoding-side superimposing section 1105, uses the lower layer decoded image and the upper layer decoded image, and uses the same method as that described in the description of the encoding side. Images are superimposed. The moving image superimposed here is displayed on the display and input to the upper layer decoding unit 1107 to be used for prediction of the upper layer.

【００１８】ここでは、下位レイヤと上位レイヤの両方
を復号する復号装置について述べたが、下位レイヤの復
号部のみを備えた復号装置ならば、上位レイヤ符号化部
１１０７、重畳部１１１０が不要であり、少ないハード
ウェア規模で符号化データの一部を再生する事ができ
る。Here, the decoding apparatus for decoding both the lower layer and the upper layer has been described. However, if the decoding apparatus includes only the decoding section for the lower layer, the upper layer encoding section 1107 and the superimposing section 1110 are unnecessary. Yes, a part of the encoded data can be reproduced with a small hardware scale.

【００１９】ところでこの時、下位レイヤと上位レイヤ
のフレームレートが異なっているため、上位レイヤに対
応する下位レイヤは時間的に前後の下位レイヤフレーム
から合成する必要がある。ところが、２枚の下位レイヤ
復号画像と１枚の上位レイヤ復号画像から出力画像を得
る際に、２枚の下位レイヤの補間によって合成するた
め、選択領域の位置が時間的に変化する場合に、選択領
域周辺に大きな歪みが発生し、画質を大きく劣化させて
しまう。At this time, since the frame rates of the lower layer and the upper layer are different, the lower layer corresponding to the upper layer needs to be synthesized from the temporally preceding and succeeding lower layer frames. However, when an output image is obtained from two lower layer decoded images and one upper layer decoded image, the output image is synthesized by interpolation of the two lower layers. Therefore, when the position of the selected region changes over time, A large distortion occurs around the selected area, and the image quality is greatly deteriorated.

【００２０】これを、文献「画像内容に基づく時間階層
符号化」（“ＴｅｍｐｏｒａｌＳｃａｌａｂｉｌｉｔ
ｙａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｉｍａｇ
ｅｃｏｎｔｅｎｔ”，ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ
２９／ＷＧ１１ＭＰＥＧ９５／０３７７（１９９
５））などの手法を用いて解消することができる。[0020] This is described in the document "Temporal Scalability based on image contents"("TemporalScalabilit").
y algorithmic based on imag
content ”, ISO / IEC / JTC1 / SC
29 / WG11 MPEG95 / 0377 (199
5)) and the like.

【００２１】図１４は前記文献に示されたこの問題の解
決手法を説明するものである。図１４（ａ）において、
画像Ａ、Ｃは下位レイヤの２枚の復号画像、画像Ｂは上
位レイヤの復号画像であり、表示時間順はＡ、Ｂ、Ｃの
順である。ただし、選択領域を斜線で示している。FIG. 14 illustrates a method for solving this problem shown in the above-mentioned document. In FIG. 14A,
Images A and C are two decoded images of the lower layer, image B is a decoded image of the upper layer, and the display time order is A, B, C. However, the selected area is indicated by oblique lines.

【００２２】また、上位レイヤでは選択領域のみが符号
化されるため、選択領域外を破線で示している。選択領
域が図中矢印の向きに動いているため、画像Ａと画像Ｃ
から求めた補間画像は、図１４（ｂ）の網点部のように
２つの選択領域が重複したものになる。さらに、画像Ｂ
を式（２）を用いて重畳すると、出力画像は図１４
（ｃ）に示すように、３つの選択領域が重複した画像と
なる。Since only the selected area is coded in the upper layer, the area outside the selected area is indicated by a broken line. Since the selection area is moving in the direction of the arrow in the figure, images A and C
In the interpolated image obtained from the above, two selected areas are overlapped as in a halftone dot portion in FIG. Further, image B
Is superimposed using Equation (2), the output image becomes
As shown in (c), an image in which the three selected areas overlap is obtained.

【００２３】特に、上位レイヤの選択領域周辺（外側）
に、下位レイヤの選択領域が残像のようにあらわれ、画
質が大きく劣化する。動画像全体としては、下位レイヤ
のみが表示されている時には上記の歪みがなく、上位レ
イヤと下位レイヤの重畳画像が表示されている時には上
記の歪みが現われるため、フリッカ的歪みが発生し、非
常に大きな画質劣化となる。In particular, around the selected area of the upper layer (outside)
In addition, the selected area of the lower layer appears as an afterimage, and the image quality is greatly deteriorated. The entire moving image does not have the above distortion when only the lower layer is displayed, and the above distortion appears when the superimposed image of the upper layer and the lower layer is displayed. Image quality is greatly deteriorated.

【００２４】しかし、図１４（ｃ）の左側の網点部は、
画像Ｃより得ることができ、また、図１４（ｃ）の右側
の網点部は、画像Ａより得ることができるため、こうし
て合成した下位レイヤを用いれば、前記歪みは解消でき
る。However, the halftone dot on the left side of FIG.
Since the halftone portion on the right side in FIG. 14C can be obtained from the image A, the distortion can be eliminated by using the lower layer thus synthesized.

【００２５】図１２は前記文献に示された従来の画像重
畳装置のブロック図を示す。図１２の第１の領域抽出部
１２０１は、下位レイヤの第１の領域情報及び下位レイ
ヤの第２の領域情報から、第１の領域でありかつ第２の
領域でない領域を抽出する。FIG. 12 is a block diagram of a conventional image superimposing apparatus disclosed in the above-mentioned document. The first area extraction unit 1201 in FIG. 12 extracts an area that is the first area and is not the second area from the first area information of the lower layer and the second area information of the lower layer.

【００２６】図１３（ａ）において、第１の領域情報を
点線（点線内部が値０、点線外部が値１を持つものとす
る）で表し、同様に第２の領域情報を破線であらわすと
すると、第１の領域抽出部１２０１で抽出される領域
は、図１３の斜線部となる。In FIG. 13A, the first area information is represented by a dotted line (the inside of the dotted line has a value of 0, and the outside of the dotted line has a value of 1). Similarly, the second area information is represented by a broken line. Then, the region extracted by the first region extraction unit 1201 is a hatched portion in FIG.

【００２７】図１２の第２の領域抽出部１２０２は、下
位レイヤの第１の領域情報及び下位レイヤの第２の領域
情報から、第２の領域領域でありかつ第１の領域でない
領域を抽出する。図１３（ａ）の場合、網点部が抽出さ
れる。The second area extracting unit 1202 in FIG. 12 extracts an area that is the second area and is not the first area from the first area information of the lower layer and the second area information of the lower layer. I do. In the case of FIG. 13A, a halftone dot portion is extracted.

【００２８】図１２のコントローラ１２０３は、第１の
領域抽出部１２０１及び第２の領域抽出部１２０２の出
力により、スイッチ１２０４を制御する部分である。す
なわち、注目画素位置が第１の領域のみの場合には、ス
イッチ１２０４を第２の復号画像側に接続し、注目画素
位置が第２の領域のみの場合には、スイッチ１２０４を
第１の復号画像側に接続し、それ以外の場合には、スイ
ッチ１２０４を補間画像作成部１２０５からの出力に接
続する。A controller 1203 shown in FIG. 12 is a part that controls the switch 1204 based on the outputs of the first area extraction unit 1201 and the second area extraction unit 1202. That is, when the target pixel position is only in the first region, the switch 1204 is connected to the second decoded image side, and when the target pixel position is only in the second region, the switch 1204 is connected to the first decoded image. The switch is connected to the image side, and otherwise, the switch 1204 is connected to the output from the interpolation image creation unit 1205.

【００２９】図１２の補間画像作成部１２０５は、下位
レイヤの第１の復号画像と下位レイヤの第２の復号画像
との補間画像を、式（１）に従って計算する。ただし、
式（１）において、Ｂ（ｘ，ｙ，ｔ１）は第１の復号画
像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画像、Ｉ（ｘ，
ｙ，ｔ３）は補間画像であり、ｔ１，ｔ２，ｔ３はそれ
ぞれ第１の復号画像、第２の復号画像及び補間画像の時
間である。The interpolated image creating section 1205 of FIG. 12 calculates an interpolated image of the first decoded image of the lower layer and the second decoded image of the lower layer according to equation (1). However,
In equation (1), B (x, y, t1) is the first decoded image, B (x, y, t2) is the second decoded image, and I (x,
(y, t3) is the interpolation image, and t1, t2, and t3 are the times of the first decoded image, the second decoded image, and the interpolated image, respectively.

【００３０】以上のようにして、画像を作成するので、
例えば図１３（ａ）の場合、斜線部では第２の復号画像
が使用されるため、選択領域外部の背景画素があらわ
れ、網点部では第１の復号画像が使用されるため、選択
領域外部の背景画素があらわれ、それ以外の部分では第
１の復号画像と第２の復号画像の補間画像があらわれ
る。As described above, an image is created.
For example, in the case of FIG. 13A, the second decoded image is used in the shaded area, so that the background pixel outside the selected area appears, and in the halftone dot area, the first decoded image is used. , And an interpolated image of the first decoded image and the second decoded image appears in other portions.

【００３１】このようにして作成された画像の上に、図
１２の加重平均部１２０６によって上位レイヤの復号画
像を重ねるため、重畳された画像は、図１３（ｂ）のよ
うに、選択領域（斜線部分）周辺に残像がなく、歪みの
少ない画像が得られる。図１２の加重平均部１２０６
は、上記の合成画像と上位レイヤの復号画像を加重平均
によって重畳する。Since the decoded image of the upper layer is superimposed on the image created in this manner by the weighted averaging unit 1206 in FIG. 12, the superimposed image is selected as shown in FIG. There is no afterimage around the shaded area) and an image with little distortion can be obtained. Weighted average section 1206 in FIG.
Superimposes the composite image and the decoded image of the upper layer by a weighted average.

【００３２】[0032]

【発明が解決しようとする課題】しかしながら、上述し
た従来の装置によれば、以下のような問題があった。However, the above-described conventional apparatus has the following problems.

【００３３】（１）部品領域の動きによる形状変化の度
合が小さい場合に、従来手法では大きな画質改善が期待
できず、また、上位レイヤの部品形状に対応する前後２
つの形状情報を符号化する必要があるため、テクスチャ
情報符号化に使用できる符号量が相対的に減り、結果的
に画質低下を招くという問題（第１の問題）がある。(1) When the degree of shape change due to the movement of the component area is small, it is not possible to expect a large improvement in image quality by the conventional method, and it is also necessary to use the front and rear corresponding to the component shape of the upper layer.
Since it is necessary to encode two pieces of shape information, the amount of codes that can be used for encoding texture information is relatively reduced, resulting in a problem (first problem) that image quality is reduced.

【００３４】（２）従来手法は、部品領域が一方に動く
場合には効果があるが、部品画像が往復するような動き
をする場合には、部品の背後の情報を原理的に得ること
ができず、画質改善が見られないという問題（第２の問
題）がある。図８及び図１０はこの問題を説明するため
の図である。例えば、図１０の画像ＡとＣにおける部品
画像領域の重なった領域の背景画像（図８の斜線領域）
は、画像ＡとＣより得ることはできない。(2) The conventional method is effective when the component region moves to one side, but when the component image moves in a reciprocating manner, the information behind the component can be obtained in principle. There is a problem that the image quality cannot be improved (second problem). 8 and 10 are diagrams for explaining this problem. For example, a background image of a region where the component image regions in images A and C of FIG. 10 overlap (a hatched region in FIG. 8)
Cannot be obtained from the images A and C.

【００３５】（３）従来手法では、上位レイヤの画像に
対して時間的に前後する下位レイヤが必要であるが、画
像シーケンスの最初や最後、あるいはシーンチェンジの
前後などで下位レイヤフレームの一方が存在しない場合
があり得る。そのため、部品画像の周囲で画質改善が見
られないという問題（第３の問題）がある。(3) In the conventional method, a lower layer temporally preceding and succeeding the image of the upper layer is required. One of the lower layer frames is placed at the beginning or end of an image sequence or before or after a scene change. It may not be present. Therefore, there is a problem that the image quality is not improved around the component image (third problem).

【００３６】（４）従来手法は、図１３（ａ）に示す４
つの領域毎に、選択的に補間処理を切替える必要があ
り、処理が複雑になるという問題（第４の問題）があ
る。(4) The conventional method uses the 4 method shown in FIG.
It is necessary to selectively switch the interpolation process for each of the regions, and there is a problem that the process becomes complicated (fourth problem).

【００３７】本発明は、特に上記第３の問題に鑑みてな
されたものであり、上位レイヤの画像に対して時間的に
前後する下位レイヤフレームの一方が存在しない場合で
あっても、復号画像の品質の劣化を軽減することができ
る動画像符号化装置および動画像復号装置を提供するこ
とを目的とする。The present invention has been made in view of the third problem in particular. Even when one of the lower layer frames temporally preceding and lower than the image of the upper layer does not exist, the decoded image is decoded. It is an object of the present invention to provide a moving picture coding apparatus and a moving picture decoding apparatus capable of reducing the deterioration of the quality of a moving picture.

【００３８】[0038]

【課題を解決するための手段】本願の第１の発明に係る
動画像符号化装置は、一つの動画像シーケンスを低いフ
レームレートの下位レイヤと高いフレームレートの上位
レイヤとに分離する手段と、前記下位レイヤにおいて、
前記動画像シーケンスの画像全体を符号化する下位レイ
ヤ符号化手段と、前記上位レイヤにおいて、前記動画像
シーケンスの画像の一部領域を部品画像として符号化す
る上位レイヤ符号化手段と、前記動画像シーケンスの画
像の一部領域形状を示す領域情報を符号化する領域情報
符号化手段と、前記上位レイヤフレームに時間的に対応
する下位レイヤフレームが存在しない場合、該上位レイ
ヤフレームに時間的に対応する下位レイヤフレームを、
時間的にその前又は後に存在する下位レイヤフレームを
用いて、背景画像として生成し、該背景画像に前記上位
レイヤフレームの部品画像を重畳する重畳手段とを備
え、前記重畳手段により作成された画像を利用して、前
記上位レイヤを予測符号化する動画像符号化装置であっ
て、前記重畳手段は、前記下位レイヤフレームが上位レ
イヤフレームの時間的に前にのみ存在する場合、前記上
位レイヤフレームの時間的に前に存在する下位レイヤフ
レームにおける前記動画像シーケンスの画像の一部領域
に対応する部品画像領域の内部を、その周囲の画素値を
用いて補間することによって、前記背景画像を生成する
ことを特徴とする。According to a first aspect of the present invention, there is provided a moving picture coding apparatus comprising: means for separating one moving picture sequence into a lower layer having a lower frame rate and an upper layer having a higher frame rate; In the lower layer,
A lower layer encoding unit that encodes the entire image of the moving image sequence; an upper layer encoding unit that encodes a partial region of the image of the moving image sequence as a component image in the upper layer; If the area information encoding means for encoding region information of a part area shape of the sequence of images, the lower layer frame temporally corresponding to said higher layer frame does not exist, temporally corresponding to said upper layer frame The lower layer frame to be
Superimposing means for generating a background image using a lower layer frame existing before or after it temporally and superimposing the component image of the upper layer frame on the background image, wherein the image created by the superimposing means is provided. A predictive coding of the upper layer using the upper layer frame when the lower layer frame exists only temporally before the upper layer frame. Partial region of an image of the moving image sequence in a lower layer frame existing temporally before
Is generated by interpolating the inside of the component image area corresponding to the background image using the pixel values around it.

【００３９】本願の第２の発明に係る動画像符号化装置
は、一つの動画像シーケンスを低いフレームレートの下
位レイヤと高いフレームレートの上位レイヤとに分離す
る手段と、前記下位レイヤにおいて、前記動画像シーケ
ンスの画像全体を符号化する下位レイヤ符号化手段と、
前記上位レイヤにおいて、前記動画像シーケンスの画像
の一部領域を部品画像として符号化する上位レイヤ符号
化手段と、前記動画像シーケンスの画像の一部領域形状
を示す領域情報を符号化する領域情報符号化手段と、前
記上位レイヤフレームに時間的に対応する下位レイヤフ
レームが存在しない場合、該上位レイヤフレームに時間
的に対応する下位レイヤフレームを、時間的にその前又
は後に存在する下位レイヤフレームを用いて、背景画像
として生成し、該背景画像に前記上位レイヤフレームの
部品画像を重畳する重畳手段とを備え、前記重畳手段に
より作成された画像を利用して、前記上位レイヤを予測
符号化する動画像符号化装置であって、前記重畳手段
は、前記下位レイヤフレームが上位レイヤフレームの時
間的に後にのみ存在する場合、前記上位レイヤフレーム
の時間的に後に存在する下位レイヤフレームにおける前
記動画像シーケンスの画像の一部領域に対応する部品画
像領域の内部を、その周囲の画素値を用いて補間するこ
とによって、前記背景画像を生成することを特徴とす
る。A moving picture coding apparatus according to a second aspect of the present invention includes means for separating one moving picture sequence into a lower layer having a lower frame rate and an upper layer having a higher frame rate. Lower layer encoding means for encoding the entire image of the moving image sequence,
In the upper layer, upper layer encoding means for encoding a partial region of the image of the moving image sequence as a component image, and region information for encoding region information indicating a partial region shape of the image of the moving image sequence encoding means, wherein when the lower layer frame to the higher temporally corresponding to the layer frame does not exist, time said upper layer frame
The lower layer frame corresponding to, the using lower layer frames existing temporally before or after, to produce a background image, and a superimposing means for superimposing a part image of the upper layer frame in the background image A moving image encoding apparatus that predictively encodes the upper layer by using an image created by the superimposing unit, wherein the superimposing unit is configured to perform an operation when the lower layer frame is an upper layer frame.
If only present after between manner, before the lower layer frame existing temporally after the upper layer frame
The background image is generated by interpolating the inside of a component image area corresponding to a partial area of the image of the moving image sequence using pixel values around the part image area.

【００４０】本願の第３の発明に係る動画像符号化装置
は、前記上位レイヤフレームの部品画像により覆うこと
のできない前記下位レイヤフレームの部品画像領域が、
所定のしきい値よりも小さい場合、前記上位レイヤフレ
ームの部品画像領域を、前記下位レイヤフレームの部品
画像領域を含むように拡張することを特徴とする。In the moving picture coding apparatus according to the third invention of the present application, the component image area of the lower layer frame that cannot be covered by the component image of the upper layer frame is
If the value is smaller than a predetermined threshold value, the component image area of the upper layer
It is characterized in that it is extended to include an image area .

【００４１】本願の第４の発明に係る動画像復号装置
は、低いフレームレートで動画像シーケンスの画像全体
を符号化した下位レイヤの符号化データを復号する下位
レイヤ復号手段と、高いフレームレートで動画像シーケ
ンスの画像の一部領域を部品画像として符号化した上位
レイヤの符号化データを復号する上位レイヤ復号手段
と、前記動画像シーケンスの画像の一部領域形状を示す
領域情報を符号化した領域情報の符号化データを復号す
る領域情報復号手段と、前記上位レイヤフレームに時間
的に対応する下位レイヤフレームが存在しない場合、該
上位レイヤフレームに時間的に対応する下位レイヤフレ
ームを、時間的にその前又は後に存在する下位レイヤフ
レームを用いて、背景画像として生成し、該背景画像に
前記上位レイヤフレームの部品画像を重畳する重畳手段
とを備え、前記重畳手段により作成された画像を、ディ
スプレイに表示する動画像復号装置であって、前記重畳
手段は、前記下位レイヤフレームが上位レイヤフレーム
の時間的に前にのみ存在する場合、前記上位レイヤフレ
ームの時間的に前に存在する下位レイヤフレームにおけ
る前記動画像シーケンスの画像の一部領域に対応する部
品画像領域の内部を、その周囲の画素値を用いて補間す
ることによって、前記背景画像を生成することを特徴と
する。A moving picture decoding apparatus according to a fourth aspect of the present invention comprises a lower layer decoding means for decoding lower layer coded data obtained by coding an entire picture of a moving picture sequence at a low frame rate, and Upper layer decoding means for decoding encoded data of an upper layer obtained by encoding a partial region of an image of a moving image sequence as a component image, and region information indicating a partial region shape of the image of the moving image sequence is encoded. an area information decoding means for decoding the encoded data of the area information, the time to the higher layer frame
When the lower layer frame corresponding to specifically absent, the lower layer frame temporally corresponding to said upper layer frame, using the lower layer frames existing temporally before or after, to produce a background image, the Superimposing means for superimposing a component image of the upper layer frame on a background image, wherein the image created by the superimposing means is displayed on a display. If there exists only temporally before the upper layer frame, put the lower layer frame existing temporally before the upper layer frame
The background image is generated by interpolating the inside of a component image area corresponding to a partial area of the image of the moving image sequence using pixel values around the part image area. .

【００４２】本願の第５の発明に係る動画像復号装置
は、低いフレームレートで動画像シーケンスの画像全体
を符号化した下位レイヤの符号化データを復号する下位
レイヤ復号手段と、高いフレームレートで動画像シーケ
ンスの画像の一部領域を部品画像として符号化した上位
レイヤの符号化データを復号する上位レイヤ復号手段
と、前記動画像シーケンスの画像の一部領域形状を示す
領域情報を符号化した領域情報の符号化データを復号す
る領域情報復号手段と、前記上位レイヤフレームに時間
的に対応する下位レイヤフレームが存在しない場合、該
上位レイヤフレームに時間的に対応する下位レイヤフレ
ームを、時間的にその前又は後に存在する下位レイヤフ
レームを用いて、背景画像として生成し、該背景画像に
前記上位レイヤフレームの部品画像に重畳する重畳手段
とを備え、前記重畳手段により作成された画像を、ディ
スプレイに表示する動画像復号装置であって、前記重畳
手段は、前記下位レイヤフレームが上位レイヤフレーム
の時間的に後にのみ存在する場合、前記上位レイヤフレ
ームの時間的に後に存在する下位レイヤフレームにおけ
る前記動画像シーケンスの画像の一部領域に対応する部
品画像領域の内部を、その周囲の画素値を用いて補間す
ることによって、前記背景画像を生成することを特徴と
する。A moving picture decoding apparatus according to a fifth aspect of the present invention comprises a lower layer decoding means for decoding lower layer coded data obtained by coding an entire picture of a moving picture sequence at a low frame rate, and a high frame rate Upper layer decoding means for decoding encoded data of an upper layer obtained by encoding a partial region of an image of a moving image sequence as a component image, and region information indicating a partial region shape of the image of the moving image sequence is encoded. an area information decoding means for decoding the encoded data of the area information, the time to the higher layer frame
When the lower layer frame corresponding to specifically absent, the lower layer frame temporally corresponding to said upper layer frame, using the lower layer frames existing temporally before or after, to produce a background image, the Superimposing means for superimposing a component image of the upper layer frame on a background image, wherein the moving image decoding apparatus displays an image created by the superimposing means on a display, wherein the superimposing means comprises the lower layer frame Is present only temporally after the upper layer frame, the lower layer frame temporally existing after the upper layer frame .
The background image is generated by interpolating the inside of a component image area corresponding to a partial area of the image of the moving image sequence using pixel values around the part image area. .

【００４３】[0043]

【００４４】[0044]

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明の動画像符号
化装置および動画像復号装置は、図１１に示す従来装置
の画像重畳部１１０５および１１１０に相当する部分に
特徴を有するものであって、下位レイヤフレームを合成
し、これに下位レイヤと上位レイヤを重畳する際に、上
位レイヤの選択領域の周辺に発生する残像のような画像
の歪みを視覚上抑制するものである。Embodiments of the present invention will be described below in detail with reference to the drawings. The moving picture coding apparatus and the moving picture decoding apparatus according to the present invention have a feature in a portion corresponding to the image superimposing units 1105 and 1110 of the conventional apparatus shown in FIG. 11, and synthesizes a lower layer frame. When superimposing the lower layer and the upper layer, distortion of an image such as an afterimage generated around the selected area of the upper layer is visually suppressed.

【００４５】以下、本発明の第１の実施の形態について
説明する。本実施形態に係る動画像符号化装置および動
画像復号装置は、前述の第１の問題を解決するためのも
のであり、図１１に示す従来装置の構成において、重畳
部１１０５及び１１１０に代えて、図１に示す画像重畳
部を備えて構成される。Hereinafter, a first embodiment of the present invention will be described. The moving picture coding apparatus and the moving picture decoding apparatus according to the present embodiment are for solving the first problem described above, and are different from the conventional apparatus shown in FIG. , And an image superimposing unit shown in FIG.

【００４６】この画像重畳部は、一つの動画像シーケン
スの上位レイヤに対応するフレームが下位レイヤ側に存
在しない場合、下位レイヤのフレームを補間し、この補
間により得られたフレームを背景として、上位レイヤの
部品領域を重畳して補間画像（画像情報）を得るもので
ある。補間画像は上位レイヤの予測符号化／復号に用い
られる。以下、この画像重畳部を中心に本実施形態の装
置を説明する。When the frame corresponding to the upper layer of one moving image sequence does not exist on the lower layer side, the image superimposing section interpolates the frame of the lower layer, and sets the frame obtained by this interpolation as a background to the upper layer. An interpolated image (image information) is obtained by superimposing the component areas of the layer. The interpolated image is used for prediction encoding / decoding of the upper layer. Hereinafter, the apparatus according to the present embodiment will be described focusing on the image superimposing unit.

【００４７】ここで、図１において、第１の領域抽出部
１０１は、下位レイヤの第１の領域情報及び下位レイヤ
の第２の領域情報から、第１の領域でありかつ第２の領
域でない領域を抽出する。具体的には、図１３（ａ）に
おいて、第１の領域情報を点線で（点線内部が値０、点
線外部が値１を持つものとする）表し、同様に第２の領
域情報を破線で表すと、第１の領域抽出部１０１で抽出
される領域は、斜線部で表す領域となる。Here, in FIG. 1, the first area extracting unit 101 determines that the first area is not the second area from the first area information of the lower layer and the second area information of the lower layer. Extract the region. Specifically, in FIG. 13A, the first area information is represented by a dotted line (the inside of the dotted line has a value of 0, and the outside of the dotted line has a value of 1), and similarly, the second area information is represented by a broken line. In other words, the region extracted by the first region extracting unit 101 is a region represented by a hatched portion.

【００４８】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から、第２の領域でありかつ第１の領域でない領域を抽
出する。図１３（ａ）の場合、網点部が抽出される。The second area extracting unit 102 in FIG. 1 extracts an area that is the second area and is not the first area from the first area information of the lower layer and the second area information of the lower layer. . In the case of FIG. 13A, a halftone dot portion is extracted.

【００４９】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力によ
り、スイッチ１０４を制御する部分である。すなわち、
注目画素位置が第１の領域のみの場合には、スイッチ１
０４を第２の復号画像側に接続し、注目画素位置が第２
の領域のみの場合には、スイッチ１０４を第１の復号側
画像に接続し、それ以外の場合には、スイッチ１０４を
補間画像作成部１０５からの出力に接続する。The controller 103 shown in FIG. 1 controls the switch 104 based on the outputs of the first area extraction unit 101 and the second area extraction unit 102. That is,
If the target pixel position is only in the first area, switch 1
04 is connected to the second decoded image side, and
In the case of only the region of (1), the switch 104 is connected to the first decoding side image. In other cases, the switch 104 is connected to the output from the interpolation image creation unit 105.

【００５０】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を、上記［従来の技術］で述べた式（１）に従
って計算する。The interpolated image creating unit 105 in FIG. 1 converts the interpolated image of the first decoded image of the lower layer and the second decoded image of the lower layer in accordance with the equation (1) described in [Conventional Art] above. calculate.

【００５１】ただし、式（１）において、Ｂ（ｘ，ｙ，
ｔ１）は第１の復号画像、Ｂ（ｘ，ｙ，ｔ２）は第２の
復号画像、Ｉ（ｘ，ｙ，ｔ３）は復号画像であり、ｔ
１，ｔ２，ｔ３はそれぞれ第１の復号画像、第２の復号
画像及び補間画像の時間である。However, in equation (1), B (x, y,
t1) is a first decoded image, B (x, y, t2) is a second decoded image, I (x, y, t3) is a decoded image,
1, 1 and 2 are the times of the first decoded image, the second decoded image and the interpolated image, respectively.

【００５２】図１の加重平均部１０６は、前述の式
（２）に従って作成された補間画像と、上位レイヤの復
号画像を重畳する。図１の背景補間判定部１０７は、下
位レイヤ第１の領域情報、下位レイヤ第２の領域情報お
よび上位レイヤ領域情報の３種類の領域情報をもとに、
図１４（ｃ）の網点で示された上位レイヤが前記２つの
下位レイヤ領域を覆うことのできない領域（即ち、背景
として現れる下位レイヤの部品領域）の大小によって、
前記残像のような歪みの発生を抑制する合成処理を行な
うか否かを判定する。The weighted averaging unit 106 in FIG. 1 superimposes the interpolated image created according to the above equation (2) and the decoded image of the upper layer. The background interpolation determination unit 107 shown in FIG. 1 is based on three types of area information, ie, lower layer first area information, lower layer second area information, and upper layer area information.
Depending on the size of the area where the upper layer indicated by the halftone dot in FIG. 14C cannot cover the two lower layer areas (that is, the lower layer component area appearing as the background),
It is determined whether or not to perform a combining process for suppressing the occurrence of distortion such as the afterimage.

【００５３】前記領域が所定のしきい値よりも大きい場
合には、スイッチ１０８が左側（スイッチ１０４の出力
側）に接続し、合成処理して背景補間が行なわれる。即
ち、下位レイヤを加重平均して得られるフレームと下位
レイヤのフレームとを合成処理して背景補間し、上位レ
イヤを予測符号化／復号するための画像情報を生成す
る。When the area is larger than the predetermined threshold value, the switch 108 is connected to the left side (the output side of the switch 104), and the background is interpolated by performing the synthesis processing. That is, a frame obtained by performing weighted averaging of the lower layer and a frame of the lower layer are subjected to background interpolation to generate image information for predictive encoding / decoding of the upper layer.

【００５４】一方、前記領域が所定のしきい値以下の場
合には、スイッチ１０８が右側（補間画像作成部１０５
の出力側）に接続し、補間画像作成部１０５の出力が上
位レイヤに合成される下位レイヤとして使用される。即
ち、補間画像作成部１０５は、下位レイヤを加重平均し
て得られる画像を、スイッチ１０８を介して加重平均部
１０６に与える。On the other hand, when the area is equal to or smaller than the predetermined threshold value, the switch 108 is set to the right side (the interpolation image creation unit 105
, And the output of the interpolation image creation unit 105 is used as a lower layer to be combined with an upper layer. That is, the interpolation image creation unit 105 gives an image obtained by performing weighted averaging of the lower layers to the weighted averaging unit 106 via the switch 108.

【００５５】そして、加重平均部１０６は、この画像を
背景として上位レイヤに重畳して、上位レイヤを予測符
号化／復号するための画像情報を生成する。この場合
（前記領域が所定のしきい値以下の場合）、本実施形態
の装置では、下位レイヤの第１の領域情報、第２の領域
情報ともに用いないため、これらの情報は符号化されな
い。これによって、領域情報分の符号量を節約すること
ができる。Then, the weighted averaging unit 106 superimposes the image on the upper layer with the image as a background, and generates image information for predictive encoding / decoding of the upper layer. In this case (when the area is equal to or smaller than a predetermined threshold), the apparatus of the present embodiment does not use both the first area information and the second area information of the lower layer, and thus these pieces of information are not encoded. Thereby, the code amount for the area information can be saved.

【００５６】図６は、図１の背景補間判定部１０７の構
成を示すブロック図である。本実施の形態では、前記合
成処理を行なうかどうかの判定を、図１４（ｃ）の網点
部の大きさによって判定するものとするが、これを実現
するための他の手法として、例えば前記領域の面積を用
いる方法を用いてもよい。FIG. 6 is a block diagram showing the configuration of the background interpolation judging section 107 shown in FIG. In the present embodiment, the determination as to whether or not to perform the synthesizing process is made based on the size of the halftone dot portion in FIG. 14C. As another method for realizing this, for example, A method using the area of the region may be used.

【００５７】図６に示す面積測定部６０１は、前記面積
を算出するものであって、図１４（ａ）の画面Ａの部品
領域（前景領域）をＦｒ（Ａ）、部品の背景領域をＢｒ
（Ａ）とした時、前記領域は、｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｂ）・・・（３）と表すことができる。ただし、この式中の’∪’は集合
の結びを、’∩’は、集合の交わりを表すものとする。The area measuring unit 601 shown in FIG. 6 is for calculating the area. Fr (A) indicates the part area (foreground area) of the screen A in FIG. 14A, and Br indicates the background area of the part.
When (A) is set, the area can be expressed as {Fr (A) ∪Fr (C)｝ ∩Br (B) (3). Here, '∪' in this expression indicates the knot of the set, and '∩' indicates the intersection of the set.

【００５８】また、前記領域の面積は、式（３）にて表
される領域の画素数で表すことができる。あるいは、前
記面積は領域の画素数を画像全体の画素数で正規化する
手法も考えられる。The area of the region can be represented by the number of pixels of the region represented by the equation (3). Alternatively, for the area, a method of normalizing the number of pixels of the region with the number of pixels of the entire image can be considered.

【００５９】さらに、前記面積の他に前記領域の周囲の
長さ、前記領域の外接四角形の面積などが考えられる
が、これらの値は、前記面積の計算と同様に、画面全体
の画素数、大きさなどを用いて正規化する必要がある。Further, in addition to the area, the peripheral length of the area, the area of a circumscribed rectangle of the area, and the like can be considered. These values are, like the calculation of the area, the number of pixels of the entire screen, It is necessary to normalize using the size and the like.

【００６０】なお、図１４に例示するように、Ｆｒ
（Ａ）∩Ｆｒ（Ｃ）の領域（Ｆｒ（Ｄ）とする）が全て
Ｆｒ（Ｃ）に含まれている場合には、上式（３）を用い
て前記領域を求めればよいが、より一般的には、前記領
域は、｛｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（４）として表される。As illustrated in FIG. 14, Fr
(A) When the entire region of Fr (C) (Fr (D)) (Fr (D)) is included in Fr (C), the region may be obtained using the above equation (3). Generally, the area is expressed as {Fr (A)} Fr (C)｝ ∩Br (D)｝ ∩Br (B) (4).

【００６１】図６の比較判定部６０２は、面積測定部６
０１で得られた面積と予め定められたしきい値（所定の
しきい値）とを比較し、前記面積がしきい値より大きけ
れば、図１に示すスイッチ１０８はスイッチ１０４側に
接続され、前記合成処理を行なわれる。The comparison / determination unit 602 in FIG.
01 is compared with a predetermined threshold value (predetermined threshold value). If the area is larger than the threshold value, the switch 108 shown in FIG. The synthesizing process is performed.

【００６２】また、前記面積がしきい値より大きくなけ
れば、スイッチ１０８は図１に示す補間画像作成部１０
５に接続され、前記合成処理を行なわれず、式（１）に
従って計算された補間画像が加重平均部１０６に与えら
れる。If the area is not larger than the threshold value, the switch 108 is turned on by the interpolation image generator 10 shown in FIG.
5 and the interpolated image calculated according to the equation (1) without performing the synthesizing process is provided to the weighted averaging unit 106.

【００６３】ここまでは、図１の補間画像作成部１０５
は、式（１）を用いて補間画像を作成するものとした
が、この補間画像を作成するかわりに、前後の下位レイ
ヤフレームの一方をそのまま補間画像作成部１０５の出
力としてもよい。Up to this point, the interpolation image creation unit 105 shown in FIG.
Is used to create an interpolated image using equation (1), but instead of creating this interpolated image, one of the preceding and following lower layer frames may be directly output from the interpolated image creating unit 105.

【００６４】例えば、２枚の下位レイヤの時間をそれぞ
れｔ１，ｔ２，上位レイヤの時間をｔ３（ただし、ｔ１
＜ｔ３＜ｔ２である）とすると、現在の上位レイヤフレ
ームに時間的に近い下位レイヤフレームの画素を用いる
場合、補間画素Ｉ（ｘ，ｙ，ｔ３）を、次式（５ａ）ま
たは（５ｂ）によって計算する。For example, the time of the two lower layers is t1, t2, and the time of the upper layer is t3 (where t1
<T3 <t2), when using a pixel of a lower layer frame temporally closer to the current upper layer frame, the interpolation pixel I (x, y, t3) is calculated by the following equation (5a) or (5b). Calculate by

【００６５】ｔ３−ｔ１＜ｔ２−ｔ３の場合Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ１）・・・（５ａ）ｔ３−ｔ１＞ｔ２−ｔ３の場合Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ２）・・・（５ｂ）この場合、図１４（ｃ）の網点部で示した歪み領域（す
なわち背景補間によって補間される領域）は、図１６の
網点部のようになる。従って、図１の背景補間判定部１
０７で判定に用いる領域としては、図１６の網点部を用
いることになる。When t3-t1 <t2-t3 I (x, y, t3) = B (x, y, t1) (5a) When t3-t1> t2-t3 I (x, y, t3) = B (x, y, t2) (5b) In this case, the distortion area (that is, the area interpolated by the background interpolation) indicated by the halftone dot part in FIG. It looks like a dot. Therefore, the background interpolation determination unit 1 shown in FIG.
As the area used for the determination in 07, the halftone dot part in FIG. 16 is used.

【００６６】式（３）と同じ記号を用いれば、前記領域
（図１６の網点部）は、次式（６）で表される。Using the same symbols as in equation (3), the area (dotted portion in FIG. 16) is represented by the following equation (6).

【００６７】｛Ｆｒ（Ａ）∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（６）ところで、背景部分が時間的に変化していると、上記の
手法では下位レイヤがうまく合成できない場合がある。
このような場合には、援用する図１４において、Ｂｒ
（Ａ）の領域については、画像Ｃの画素値をコピーし、
Ｆｒ（Ａ）の領域については、Ｆｒ（Ａ）の周囲の画素
値を用いて画素値の補間を行って、簡易的に背景を合成
することができる。｛Fr (A) ∩Br (D)｝ ∩Br (B) (6) By the way, if the background part is temporally changing, the above method cannot be used to successfully combine lower layers. There is.
In such a case, Br in FIG.
For the area (A), the pixel values of the image C are copied,
For the Fr (A) region, the background can be simply synthesized by interpolating the pixel values using the pixel values around Fr (A).

【００６８】この手法を実現するための画像重畳部の構
成は、図１の２点鎖線で囲む構成を、図１８に示す構成
に置き換えて得られる。ただし、上位レイヤ領域情報の
入力は無いものとする。ここで、図１８に示す選択部１
８０１は、２つの下位レイヤフレームの内、現在の上位
レイヤフレームに近いものを選択する。The configuration of the image superimposing unit for realizing this method is obtained by replacing the configuration surrounded by the two-dot chain line in FIG. 1 with the configuration shown in FIG. However, it is assumed that there is no input of upper layer area information. Here, the selecting unit 1 shown in FIG.
A step 801 selects a frame close to the current upper layer frame from the two lower layer frames.

【００６９】選択部１８０１により選択された領域情報
は、コントローラ１８０２と補間部１８０４に入力さ
れ、復号画像（画素情報）は、スイッチ１８０３に入力
される。The area information selected by the selection section 1801 is input to the controller 1802 and the interpolation section 1804, and the decoded image (pixel information) is input to the switch 1803.

【００７０】コントローラ１８０２は、スイッチ１８０
３を制御し、合成される下位レイヤの画像の画素が、領
域内部（例えばＦｒ（Ａ））であればダミーデータを、
領域外部（例えばＢｒ（Ａ））であれば復号画像の画素
値を、補間部１８０４に与える。The controller 1802 includes a switch 180
3 if the pixel of the image of the lower layer to be synthesized is inside the area (for example, Fr (A)),
If it is outside the area (for example, Br (A)), the pixel value of the decoded image is given to the interpolation unit 1804.

【００７１】この補間部１８０４は、領域内部の画素値
を周囲の画素値から補間によって求める。この補間処理
は、背景の情報（画素値）を用いて行なうため、補間領
域（領域内部）の画素値は、背景画像のそれに近くなり
視覚的な画質低下が軽減される。The interpolation unit 1804 obtains the pixel value inside the area by interpolation from the surrounding pixel values. Since this interpolation process is performed using background information (pixel values), the pixel values of the interpolation area (inside the area) are close to those of the background image, and visual quality deterioration is reduced.

【００７２】具体的な補間手法として、文献「ＭＰＥＧ
４ＶｉｄｅｏＶｅｒｉｆｉｃａｔｉｏｎＭｏｄｅ
ｌＶｅｒｓｉｏｎ２．０」（ＩＳＯ／ＩＥＣＪＴ
Ｃ１／ＳＣ２９ｎ１２６０，１９９６）に示されたパ
ディング手法がある。この他、背景領域の画素値の平均
値や、予め定めた一定の値を用いる補間方法、或いはフ
ラクタルを利用して背景領域のテクスチャ情報を再現す
るような補間画像作成法などを用いてもよい。As a specific interpolation method, a document “MPEG
4 Video Verification Mode
l Version 2.0 ”(ISO / IEC JT
C1 / SC29 n1260, 1996). In addition, an interpolation method using an average value of the pixel values of the background area, a predetermined constant value, or an interpolation image creation method that reproduces texture information of the background area using fractal may be used. .

【００７３】次に、本発明の第２の実施の形態を説明す
る。これは、前述の第２の問題を解決するためのもので
あり、図２は本実施の形態の装置が備える画像重畳部の
構成を示すブロック図である。Next, a second embodiment of the present invention will be described. This is for solving the above-mentioned second problem, and FIG. 2 is a block diagram showing a configuration of an image superimposing unit included in the apparatus of the present embodiment.

【００７４】なお、図２に示す第１の領域抽出部１０
１、第２の領域抽出部１０２、コントローラ１０３、ス
イッチ１０４、補間画像作成部１０５、加重平均部１０
６は、図１に示すものと同様であるので、これらの詳細
な説明は省略する。Note that the first area extraction unit 10 shown in FIG.
1, second region extraction unit 102, controller 103, switch 104, interpolation image creation unit 105, weighted average unit 10
6 is the same as that shown in FIG. 1, and a detailed description thereof will be omitted.

【００７５】図２の第３の領域抽出部２０７は、下位レ
イヤの第１の領域と第２の領域が交わる領域（即ち、背
景として現れる下位レイヤの部品領域の重なり領域）を
抽出する。図１３（ａ）の例では、点線と破線で囲まれ
た白色領域がこれに相当する。The third region extracting section 207 in FIG. 2 extracts a region where the first region and the second region of the lower layer intersect (ie, an overlapping region of the component region of the lower layer appearing as the background). In the example of FIG. 13A, a white area surrounded by a dotted line and a broken line corresponds to this.

【００７６】図２の画素値補間部２０８は、第３の領域
抽出部２０７にて抽出された領域の補間を行なう。即
ち、画素値補間部２０８は、コントローラ１０３とスイ
ッチ１０４によって作成された合成画素に対し、前記領
域（重なり領域）内の画素値を、その周辺部に隣接する
情報（即ち、背景として現れる下位レイヤの部品領域の
重なり領域の周囲の画素値）をもとに補間していく。The pixel value interpolation section 208 in FIG. 2 performs interpolation of the area extracted by the third area extraction section 207. That is, the pixel value interpolation unit 208 compares the pixel value in the area (overlap area) with the information adjacent to the peripheral part (ie, the lower layer appearing as the background) for the composite pixel created by the controller 103 and the switch 104. (Pixel values around the overlapping region of the component regions).

【００７７】これにより、上位レイヤを予測符号化／復
号するための画像情報を生成する。この補間処理は、既
に説明した図１８に示す補間部１８０４の処理と同様で
ある。As a result, image information for predictive encoding / decoding of the upper layer is generated. This interpolation processing is the same as the processing of the interpolation unit 1804 shown in FIG.

【００７８】次に、本発明の第３の実施の形態について
説明する。本実施形態の装置は、前述した第１及び第２
の課題を解決するためのものであり、前述の第２の実施
の形態に、第１の実施の形態で述べた適応的な背景補間
判定装置を組み込んで構成される。Next, a third embodiment of the present invention will be described. The apparatus according to the present embodiment includes the first and second
This is to solve the problem described above, and is configured by incorporating the adaptive background interpolation determination device described in the first embodiment into the second embodiment.

【００７９】図３は第３の実施形態の装置が備える画像
重畳部の構成を示すブロック図である。図３の第１の領
域抽出部１０１、第２の領域抽出部１０２、コントロー
ラ１０３、スイッチ１０４、補間画像作成部１０５、背
景補間判定部１０８、加重平均部１０６、スイッチ１１
０は、図１に示すものと同様に動作し、また同様に、第
３の領域抽出部２０７、画素値補間部２０８は、図２に
示すものと同様に動作するものであるため、ここでの説
明は省略する。FIG. 3 is a block diagram showing the configuration of an image superimposing unit provided in the device according to the third embodiment. The first area extraction unit 101, the second area extraction unit 102, the controller 103, the switch 104, the interpolation image creation unit 105, the background interpolation determination unit 108, the weighted average unit 106, and the switch 11 of FIG.
0 operates in the same manner as shown in FIG. 1, and similarly, the third region extracting unit 207 and the pixel value interpolating unit 208 operate in the same manner as shown in FIG. Is omitted.

【００８０】このように、本実施形態の装置は、前述の
第１及び第２の実施形態の装置の構成を併せ持つことに
より、動きが小さく補間の効果が見られない場合の無駄
な形状情報の符号化が避けられるだけでなく、上位レイ
ヤの部品領域が往復するような（折り返すような）動き
をするために生じる画質低下を軽減することができる。As described above, the apparatus of this embodiment has the configuration of the apparatus of the above-described first and second embodiments in combination, so that the motion is small and the useless shape information is not obtained when the effect of interpolation is not seen. Not only can encoding be avoided, but also a reduction in image quality caused by a reciprocating (turning back) motion of the upper layer component area can be reduced.

【００８１】次に、本発明の第４の実施の形態について
説明する。これは、前述の第１、第２及び第４の問題を
解決するためのものであって、図４は本実施形態の装置
が備える画像重畳部の構成を示すブロック図である。Next, a fourth embodiment of the present invention will be described. This is for solving the first, second and fourth problems described above. FIG. 4 is a block diagram showing the configuration of an image superimposing unit provided in the apparatus of the present embodiment.

【００８２】ここで、図４の第１の画素値補間部４０１
は、下位レイヤの第１の復号画像中の第１の部品領域
を、図２の画素値補間部２０８と同様に補間する。同様
に、図４の第２の画素値補間部４０２は、下位レイヤの
第２の復号画像中の第２の部品領域の補間を行なう。具
体的な動作の説明は、図２の画素値補間部２０８の説明
で既になされているので、ここでは省略する。Here, the first pixel value interpolation unit 401 shown in FIG.
Interpolates the first component region in the first decoded image of the lower layer in the same manner as the pixel value interpolation unit 208 in FIG. Similarly, the second pixel value interpolation unit 402 in FIG. 4 performs interpolation of the second component area in the second decoded image of the lower layer. A specific description of the operation has already been given in the description of the pixel value interpolation unit 208 in FIG.

【００８３】図４の第１の補間画像作成部４０３は、第
１の画素値補間部４０１と第２の画素値補間部４０２の
出力を、前述の式（１）に従って補間する。一方、図４
の第２の補間画像作成部４０４は、下位レイヤの第１の
復号画像と第２の復号画像を、第１の補間画像作成部４
０３と同様に、式（１）に従って補間する。The first interpolated image creating unit 403 in FIG. 4 interpolates the output of the first pixel value interpolating unit 401 and the output of the second pixel value interpolating unit 402 in accordance with the above equation (1). On the other hand, FIG.
The second interpolated image creating unit 404 converts the first decoded image and the second decoded image of the lower layer into the first interpolated image creating unit 4
As in 03, interpolation is performed according to equation (1).

【００８４】いずれも、図１の補間画像作成部１０５と
全く同様の動作をするので、ここでの説明は省略する。
また、加重平均部１０６及びスイッチ１０８は、図１に
示すものと同様である。In each case, the operation is exactly the same as that of the interpolated image creating unit 105 in FIG. 1, and the description is omitted here.
The weighted averaging unit 106 and the switch 108 are the same as those shown in FIG.

【００８５】図４の背景補間判定部４０７は、図１の背
景補間作成部１０７と同様に、合成処理を行なうかどう
かを判定する部分であり、この判定に基づいて加重平均
部１０６に与える背景画像（上位レイヤに重畳する下位
レイヤ）を定める。The background interpolation determining section 407 in FIG. 4 is a section for determining whether or not to perform the combining process, similarly to the background interpolation creating section 107 in FIG. 1. Based on this determination, the background given to the weighted average section 106 is determined. An image (a lower layer to be superimposed on an upper layer) is determined.

【００８６】即ち、背景補間判定部４０７が、背景とし
て現れる下位レイヤの部品領域が所定のしきい値よりも
大きいと判定した場合、加重平均部１０６は、下位レイ
ヤの部品領域の周囲の画素値を、第１の補間画像作成部
４０３から入力し、これを用いて部品領域の内部の画素
値を補間して、画像情報を生成する。That is, when the background interpolation determination unit 407 determines that the component area of the lower layer appearing as the background is larger than the predetermined threshold, the weighted average unit 106 determines the pixel value around the component area of the lower layer. Is input from the first interpolation image creation unit 403, and using this, the pixel values inside the component area are interpolated to generate image information.

【００８７】また、背景補間判定部４０７が、背景とし
て現れる前記部品領域が前記所定のしきい値よりも小さ
いと判定した場合、加重平均部１０６は、下位レイヤを
加重平均して得られる画像を、第２の補間画像作成部４
０４から入力し、これを用いて部品領域の内部の画素値
を補間して、画像情報を生成する。When the background interpolation determining unit 407 determines that the component area appearing as the background is smaller than the predetermined threshold, the weighted averaging unit 106 generates an image obtained by performing a weighted average of the lower layer. , The second interpolation image creation unit 4
The image information is generated by interpolating the pixel values inside the component area using the input from the input unit 04.

【００８８】本実施形態は、従来例での合成処理を簡略
化したもので、これによって大きな画質の低下を招かず
に、ハードウェアの規模を小さくすることかできる。In the present embodiment, the synthesizing process in the conventional example is simplified, and the scale of the hardware can be reduced without causing a large decrease in image quality.

【００８９】なお、本実施形態の図４に示す第２の補間
画像作成部４０４は、式（１）に従って、補間を行うも
のとしたが、式（５）に従って、現在の上位レイヤフレ
ームに時間的に近い下位レイヤフレームの画素を用い
て、補間するものとして構成してもよい。Although the second interpolated image creating unit 404 shown in FIG. 4 of the present embodiment performs interpolation according to equation (1), the second interpolated image creating unit 404 adds time to the current upper layer frame according to equation (5). A configuration may be adopted in which interpolation is performed using pixels of a lower layer frame that is close to the target.

【００９０】即ち、例えば時間的に前の下位レイヤフレ
ームが時間的に近い場合、背景補間判定部４０７は、式
（６）で表される領域をもとに、背景補間を行うかどう
かの判定を行う。また、図４の第１の補間画像作成部４
０３は、第１の画素値補間部４０１で作成された画像を
そのまま出力する。That is, for example, when the temporally lower layer frame is temporally close, the background interpolation determining unit 407 determines whether or not to perform background interpolation based on the area represented by the equation (6). I do. In addition, the first interpolation image creation unit 4 shown in FIG.
03 outputs the image created by the first pixel value interpolation unit 401 as it is.

【００９１】次に、本発明の第５の実施の形態について
説明する。本実施形態の装置は、前述の第１の問題を解
決するためのものであって、下位レイヤの第１の部品領
域と第２の部品領域の位置及び形状の差が小さい場合
に、第２の部品領域を第１の部品領域に置き換えること
によって、第２の部品領域情報に要する符号量を削減す
るものである。Next, a fifth embodiment of the present invention will be described. The apparatus according to the present embodiment is for solving the above-described first problem. When the difference between the positions and shapes of the first component area and the second component area in the lower layer is small, the second apparatus is used. By replacing the component area with the first component area, the code amount required for the second component area information is reduced.

【００９２】本実施形態の装置が備える画像重畳部は、
図１から図４に示す構成において、下位レイヤの第１の
領域情報及び第２の領域情報の入力部に、図５に示す構
成要素をさらに備えて構成される。The image superimposing unit provided in the apparatus of the present embodiment
In the configuration shown in FIGS. 1 to 4, the input unit for the first area information and the second area information of the lower layer is further provided with the components shown in FIG.

【００９３】ここで、図５の比較部５０１は、下位レイ
ヤの２つの領域情報の違いを判定する部分である。下位
レイヤの部品画像があまり動かず、これを表す領域情報
の変化が小さければ、下位レイヤの第２の領域情報を利
用する代わりに、図５のスイッチ５０２が上側と接続
し、下位レイヤの第１の領域情報が出力され、符号化す
る必要のある領域情報を１つ減らす。Here, the comparison section 501 in FIG. 5 is a section for judging a difference between two pieces of area information of the lower layer. If the component image of the lower layer does not move much and the change of the area information representing the component image is small, instead of using the second area information of the lower layer, the switch 502 of FIG. 1 is output, and the area information that needs to be encoded is reduced by one.

【００９４】また、下位レイヤの部品領域が大きく動く
場合には、スイッチは下側に接続し、それぞれの領域情
報が出力される。領域情報の変化の判断材料としては、
例えば図９に示す斜線部の面積を用いてもよい。When the component area of the lower layer moves largely, the switch is connected to the lower side, and each area information is output. As a judgment material of the change of the area information,
For example, the area of the shaded portion shown in FIG. 9 may be used.

【００９５】次に、本発明の第６の実施の形態を説明す
る。本実施形態の装置は、前述の第３の問題を解決する
ためのものであり、図７は本実施形態の装置を構成する
画像重畳部の構成を示すブロック図である。Next, a sixth embodiment of the present invention will be described. The device according to the present embodiment is for solving the above-described third problem, and FIG. 7 is a block diagram illustrating the configuration of an image superimposing unit included in the device according to the present embodiment.

【００９６】同図に示すように、本装置が備える画像重
畳部は、図１に示す第１の実施形態の構成において、さ
らに、存在判定部７０９、第３の補間画像作成部７１
０、スイッチ７１１、７１２を備えて構成される。As shown in the figure, the image superimposing unit provided in the present apparatus is different from the configuration of the first embodiment shown in FIG. 1 in that a presence determining unit 709 and a third interpolation image creating unit 71
0, and switches 711 and 712.

【００９７】なお、図７の第１の領域抽出部１０１、第
２の領域抽出部１０２、加重平均部１０６、スイッチ１
０８の動作は、図１に示すものと同様であるので、ここ
での説明は省略する。また、コントローラ７０３、スイ
ッチ７０４、補間画像作成部７０５は、それぞれ図１の
コントローラ１０３、スイッチ１０４、補間画像作成部
１０５に対応する。The first area extracting section 101, second area extracting section 102, weighted averaging section 106, switch 1 shown in FIG.
The operation of 08 is the same as that shown in FIG. 1, and the description is omitted here. Further, the controller 703, the switch 704, and the interpolation image creation unit 705 correspond to the controller 103, the switch 104, and the interpolation image creation unit 105 in FIG. 1, respectively.

【００９８】先ず、背景補間判定部７０７が、背景とし
て現れる前記下位レイヤの部品領域が所定のしきい値よ
りも大きいと判断した場合、スイッチ１０８は左側（ス
イッチ７０４の出力）に接続する。First, when the background interpolation judging section 707 judges that the component area of the lower layer appearing as the background is larger than a predetermined threshold value, the switch 108 is connected to the left side (output of the switch 704).

【００９９】そして、図７の存在判定部７０９は、下位
レイヤの第１の復号画像及び第２の復号画像が存在する
かどうか、即ち、背景補間に必要とする下位レイヤのフ
レームの数が満足されているかどうかの判定を行なう。Then, the existence determining unit 709 of FIG. 7 determines whether the first decoded image and the second decoded image of the lower layer exist, that is, the number of lower layer frames required for background interpolation is satisfied. It is determined whether or not it has been performed.

【０１００】ここで、存在判定部７０９が、一方の復号
画像が入力されてないと判断した場合、コントローラ７
０３を通してスイッチ７０４を、最も左（第３の補間画
像作成部７１０の出力）に接続する。Here, when the existence determining unit 709 determines that one of the decoded images has not been input, the controller 7
03, the switch 704 is connected to the leftmost position (the output of the third interpolation image creation unit 710).

【０１０１】同時に、スイッチ７１１及びスイッチ７１
２を、存在する方の復号画像及びそれに対応する領域情
報が第３の補間画像作成部７１０に入力されるよう接続
する。例えば、時間的に後の復号画像である第２の復号
画像が存在しない場合には、第１の復号画像と第１の領
域情報が入力されるようにスイッチが接続される。At the same time, the switch 711 and the switch 71
2 are connected such that the existing decoded image and the corresponding area information are input to the third interpolation image creation unit 710. For example, if there is no second decoded image that is a decoded image that is later in time, the switch is connected so that the first decoded image and the first area information are input.

【０１０２】次に、図７の第３の補間画像作成部７１０
は、図２の画素値補間部２０８と同様の動作により、復
号画像の内部の部品領域を、その周囲の画素値を用いて
補間処理を行なう。存在判定部７０９にて、一方の入力
が無いと判定されている場合には、スイッチ７０４が最
も左に接続されているため、この場合、第３の補間画像
作成部７１０の出力が、画像フレームの重畳に使用され
る。Next, the third interpolated image creating section 710 shown in FIG.
Performs an interpolation process on the component region inside the decoded image by using the pixel values around the component region by the same operation as the pixel value interpolation unit 208 in FIG. If the presence determination unit 709 determines that there is no input, the switch 704 is connected to the leftmost position. In this case, the output of the third interpolation image generation unit 710 is Used for superimposition.

【０１０３】図７の補間画像作成部７０５及び背景補間
判定部７０７は、一方の入力が無い場合がある。この場
合、補間画像判定部７０７は、入力された下位レイヤの
部品領域のうち、上位レイヤの部品領域が覆うことので
きない領域の大きさを用いて、背景補間を行なうか判定
する。また、補間画像作成部７０５は補間を行なわず、
復号画像をそのまま出力する。In some cases, the interpolated image creating unit 705 and the background interpolation determining unit 707 shown in FIG. In this case, the interpolation image determination unit 707 determines whether to perform background interpolation using the size of the input lower layer component area that cannot be covered by the upper layer component area. Also, the interpolation image creation unit 705 does not perform interpolation,
The decoded image is output as it is.

【０１０４】以上説明した第１から第６の実施の形態で
は、背景補間を行うかどうかの判定を、各々の上位レイ
ヤフレームについて行うものとしたが、連続した２枚の
下位レイヤフレームの間に複数の上位レイヤフレームが
存在する場合には、以下のようにして背景補間を行うも
のとして構成してもよい。In the first to sixth embodiments described above, the determination as to whether or not to perform background interpolation is made for each upper layer frame. However, the determination is made between two consecutive lower layer frames. When there are a plurality of upper layer frames, background interpolation may be performed as follows.

【０１０５】すなわち、上記複数の上位レイヤフレーム
（下位レイヤ側に対応するフレームが存在しない上位レ
イヤフレーム）の各々に対して背景補間を行うか否かの
判定を一旦行い、各々の判定結果が全て背景補間を行わ
ないことを示すものである場合には、上記複数の上位レ
イヤフレームの全てについて背景補間を行わない。That is, it is once determined whether or not to perform background interpolation on each of the plurality of upper layer frames (upper layer frames in which no frame corresponding to the lower layer exists). If it indicates that background interpolation is not to be performed, background interpolation is not performed for all of the plurality of upper layer frames.

【０１０６】この場合、上位レイヤフレームは前後の２
枚の下位レイヤフレームの補間画像に重畳されるか、あ
るいは時間的に近い下位レイヤフレームに重畳される。In this case, the upper layer frame has two
It is superimposed on an interpolated image of one lower layer frame or on a lower layer frame that is temporally closer.

【０１０７】また、少なくとも一枚の上位レイヤフレー
ムについて背景補間を行う判定が下された場合（複数の
上位レイヤの何れかについて背景として現れる下位レイ
ヤの部品領域が所定のしきい値よりも大きい場合）に
は、上記複数の上位レイヤフレームの全てについて、背
景補間によって合成された下位レイヤフレームを重畳す
る。When it is determined that background interpolation is performed on at least one upper layer frame (when the component area of the lower layer appearing as the background is larger than a predetermined threshold value for one of the plurality of upper layers) ), A lower layer frame synthesized by background interpolation is superimposed on all of the plurality of upper layer frames.

【０１０８】具体的には、前記複数の上位レイヤのすべ
てについて、下位レイヤを加重平均して得られるフレー
ムと下位レイヤのフレームとを合成して画像情報を生成
する。Specifically, for all of the plurality of upper layers, image information is generated by combining a frame obtained by weighted averaging of lower layers and a frame of the lower layer.

【０１０９】この場合、前記複数の上位レイヤのフレー
ムの内、例えば時間的に最初のフレームに対してのみ背
景補間を行って、下位レイヤのフレームを合成し、残り
の上位レイヤフレームについては、最初の上位レイヤフ
レームに対して合成された下位レイヤフレームをそのま
ま用いればよい。In this case, of the plurality of upper layer frames, for example, background interpolation is performed only on the temporally first frame to synthesize a lower layer frame, and for the remaining upper layer frames, The lower layer frame synthesized with the upper layer frame may be used as it is.

【０１１０】また、第１から第６の実施の形態の装置で
は、図１４（ｃ）や図１６において網点部で示される画
像の歪みが大きい場合に、背景補間によってこの歪みを
除去する。しかし、画像の歪みが小さい場合には背景補
間を行わず、この画像の歪みはわずかながら存在する。In the apparatuses according to the first to sixth embodiments, when the distortion of the image shown by the halftone dot in FIG. 14C or FIG. 16 is large, the distortion is removed by background interpolation. However, when the distortion of the image is small, the background interpolation is not performed, and the distortion of the image slightly exists.

【０１１１】この場合の画像の歪みは、視覚的に目立つ
ものではないが、次のようにして、この歪みを視覚上全
く発生させないようにすることができる。In this case, the distortion of the image is not visually noticeable, but it is possible to prevent this distortion from occurring visually as follows.

【０１１２】すなわち、上位レイヤの符号化を行う際
に、上位レイヤの部品領域と共に、図１４（ｃ）や図１
６の網点部で示す下位レイヤの部品領域も符号化する。
このために、上位レイヤの部品領域を図１４（ｃ）や図
１６の斜線部と網点部を両方含むように変更する（拡張
／膨張させる）。That is, when encoding of the upper layer is performed together with the component area of the upper layer, FIG.
The component area of the lower layer indicated by the halftone dot No. 6 is also encoded.
For this purpose, the component area of the upper layer is changed (expanded / expanded) so as to include both the hatched portion and the halftone dot portion in FIGS.

【０１１３】図１７はこの部品領域の変更の処理を行う
ための領域変換部のブロック図である。この領域変換部
は、下位レイヤの部品領域を用いて、上位レイヤの部品
領域を拡張し、これを画像情報の部品領域として生成す
ることにより、図１１に示す上位レイヤ符号化部１１０
３に与えられる領域情報を変換する。FIG. 17 is a block diagram of an area conversion unit for performing the process of changing the part area. This region conversion unit expands the component region of the upper layer using the component region of the lower layer and generates this as the component region of the image information, whereby the upper layer encoding unit 110 shown in FIG.
3 is converted.

【０１１４】ここで、図１７に示す領域変換部の各構成
要素の動作について説明する。同図において、スイッチ
１７０１は、領域情報を上位レイヤの領域情報と下位レ
イヤの領域情報とに分離する。図１７のメモリ１７０２
は、下位レイヤの領域情報を一時記憶する。領域統合部
１７０３は、上位レイヤの領域情報に下位レイヤの領域
情報の一部を統合して新たな領域情報を作成する。The operation of each component of the area conversion unit shown in FIG. 17 will now be described. In the figure, a switch 1701 separates region information into region information of an upper layer and region information of a lower layer. Memory 1702 in FIG.
Temporarily stores the area information of the lower layer. The area integrating unit 1703 integrates part of the lower layer area information with the upper layer area information to create new area information.

【０１１５】具体的には、例えば、図１の補間画像作成
部１０５は、式（１）に従って、補間画像を作成する場
合、図１４（ｃ）の網点部を上位レイヤの領域情報に統
合して、新たな領域情報を作成する。また、補間画像作
成部１０５を、式（５）に従って、時間的に近い下位レ
イヤを選択して補間画像を作成するものして構成した場
合には、図１６の網点部が上位レイヤの領域情報に統合
される。More specifically, for example, when creating an interpolated image in accordance with equation (1), the interpolated image creating unit 105 of FIG. 1 integrates the halftone dot portion of FIG. 14 (c) into the area information of the upper layer. Then, new area information is created. When the interpolated image creating unit 105 is configured to create an interpolated image by selecting a lower layer that is close in time according to Equation (5), the halftone dot part in FIG. Integrated into the information.

【０１１６】次に、図１７のスイッチ１７０４は、背景
補間を行うときは上側（上位レイヤ領域情報）に、行わ
ないときは下側（領域統合部１７０３の出力）に接続さ
れる。また、スイッチ１７０５は、スイッチ１７０１と
同期して、上位レイヤ領域情報が処理されているときは
上側に接続され、下位レイヤ領域情報が処理されている
ときには下側に接続される。Next, the switch 1704 in FIG. 17 is connected to the upper side (upper layer area information) when background interpolation is performed, and to the lower side (output of the area integration unit 1703) when background interpolation is not performed. The switch 1705 is connected to the upper side when the upper layer area information is being processed, and is connected to the lower side when the lower layer area information is being processed, in synchronization with the switch 1701.

【０１１７】このように、背景補間が行われない場合に
は、上位レイヤの領域情報を変更して膨張／拡張させる
ことにより、画像の歪みを発生させないようにすること
ができる。As described above, when background interpolation is not performed, image distortion can be prevented from occurring by changing and expanding / expanding the area information of the upper layer.

【０１１８】以上の説明から明らかなように、本発明の
各実施形態によれば、以下のような効果を得ることがで
きる。As is clear from the above description, according to the embodiments of the present invention, the following effects can be obtained.

【０１１９】（１）下位レイヤおよび上位レイヤ画像中
の部品領域があまり動かず、背景補間を行なっても視覚
的にその効果が得られない場合には、背景補間を行なわ
ず、逆に、部品領域が大きく動いた場合には、背景補間
を行なうことにより、背景補間のための形状情報を削減
でき、その分の高画質化を達成できる。(1) If the component areas in the lower layer and upper layer images do not move much and the effect is not visually obtained even if background interpolation is performed, background interpolation is not performed. When the area moves greatly, background interpolation is performed, whereby the shape information for background interpolation can be reduced, and a higher image quality can be achieved.

【０１２０】（２）下位レイヤ及び上位レイヤ画像中の
部品画像が、一方向へ動く代わりに往復運動や折り返し
運動、或いは方向転換運動などをする場合に、下位レイ
ヤの部品画像領域が重なる領域に対して、その周囲の画
素値を用いて補間することにより、視覚的な画質低下を
軽減することができる。(2) When the component images in the lower layer and upper layer images perform a reciprocating motion, a turning motion, or a turning motion instead of moving in one direction, the component image regions of the lower layer overlap. On the other hand, by performing interpolation using the surrounding pixel values, it is possible to reduce a visual deterioration in image quality.

【０１２１】（３）符号化する上位レイヤの画像に対し
て時間的に前後する下位レイヤが存在しない場合に、存
在する下位レイヤのみを用いて、部品画像領域をその周
囲の画素値を用いて補間することにより、見かけ上の画
質低下を軽減することができる。(3) When there is no lower layer temporally preceding or succeeding the image of the upper layer to be coded, only the existing lower layer is used, and the component image area is determined by using the surrounding pixel values. By performing the interpolation, it is possible to reduce an apparent decrease in image quality.

【０１２２】（４）部品画像領域の補間処理に使用する
画面を領域毎に切替えずに、部品画像領域の周囲の画素
値を用いて補間するという簡略化により、ハードウェア
の規模を小さくすることができる。(4) The size of the hardware can be reduced by simplifying the interpolation using the pixel values around the component image area without switching the screen used for the interpolation processing of the component image area for each area. Can be.

【０１２３】（５）連続した２枚の下位レイヤフレーム
の間に複数の上位レイヤフレームが存在する場合に、背
景補間を行うに際し、上記複数の上位レイヤフレームの
最初の上位レイヤフレームに対してのみ背景補間を行う
ことによって、背景補間の処理量、及び背景補間に必要
な下位レイヤの部品領域情報の符号量を少なくすること
ができる。(5) When a plurality of upper layer frames exist between two consecutive lower layer frames, when performing background interpolation, only the first upper layer frame of the plurality of upper layer frames is used. By performing the background interpolation, it is possible to reduce the processing amount of the background interpolation and the code amount of the component area information of the lower layer required for the background interpolation.

【０１２４】（６）背景補間を行わない場合に、上位レ
イヤを符号化するにあたって、上位レイヤの部品領域と
共に、背景補間によって補間される領域を符号化するこ
とによって、背景補間を行わないために生じる画像の歪
みを、視覚上発生させないようにすることができる。(6) When background interpolation is not performed, when coding the upper layer, the region to be interpolated by the background interpolation is coded together with the component region of the upper layer so that background interpolation is not performed. The resulting image distortion can be prevented from visually occurring.

【０１２５】[0125]

【発明の効果】本発明の動画像符号化装置および動画像
復号装置は、上述のような構成としているので、上位レ
イヤの画像に対して時間的に前後する下位レイヤが存在
しない場合であっても、存在する下位レイヤのみを用い
て、部品画像領域をその周囲の画素値を用いて補間する
ことにより、見かけ上の画質低下を軽減することができ
る。Since the moving picture coding apparatus and the moving picture decoding apparatus of the present invention have the above-described configuration, there is no case where a lower layer temporally preceding or lower than an image of an upper layer does not exist. Also, by using only the existing lower layer and interpolating the component image area using surrounding pixel values, it is possible to reduce the apparent deterioration in image quality.

[Brief description of the drawings]

【図１】本発明の第１の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an image superimposing unit included in a video encoding device and a video decoding device according to a first embodiment of the present invention.

【図２】本発明の第２の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。FIG. 2 is a block diagram illustrating a configuration of an image superimposing unit included in a video encoding device and a video decoding device according to a second embodiment of the present invention.

【図３】本発明の第３の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。FIG. 3 is a block diagram illustrating a configuration of an image superimposing unit included in a video encoding device and a video decoding device according to a third embodiment of the present invention.

【図４】本発明の第４の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。FIG. 4 is a block diagram illustrating a configuration of an image superimposing unit included in a video encoding device and a video decoding device according to a fourth embodiment of the present invention.

【図５】本発明の第５の実施形態に係る動画像符号化装
置および動画像復号装置が備える領域情報変換部の構成
を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration of a region information conversion unit included in a video encoding device and a video decoding device according to a fifth embodiment of the present invention.

【図６】本発明の第１の実施形態に係る装置の画像重畳
部が備える背景補間判定部の構成を示すブロック図であ
る。FIG. 6 is a block diagram illustrating a configuration of a background interpolation determining unit included in the image superimposing unit of the device according to the first embodiment of the present invention.

【図７】本発明の第６の実施形態に係る装置が備える画
像重畳部の構成を示すブロック図である。FIG. 7 is a block diagram illustrating a configuration of an image superimposing unit included in an apparatus according to a sixth embodiment of the present invention.

【図８】従来の装置の問題を説明するための図である。FIG. 8 is a diagram for explaining a problem of a conventional device.

【図９】本発明の第５の実施形態に係る装置の動作を説
明するための図である。FIG. 9 is a diagram for explaining an operation of the device according to the fifth embodiment of the present invention.

【図１０】従来の装置の問題を説明するための図であ
る。FIG. 10 is a diagram for explaining a problem of a conventional device.

【図１１】動画像符号化装置および動画像復号装置の構
成を示すブロック図である。FIG. 11 is a block diagram illustrating a configuration of a video encoding device and a video decoding device.

【図１２】従来の装置が備える画像重畳部の構成を示す
ブロック図である。FIG. 12 is a block diagram illustrating a configuration of an image superimposing unit included in a conventional device.

【図１３】従来の装置が備える画像重畳部の動作を説明
するための図である。FIG. 13 is a diagram for explaining an operation of an image superimposing unit provided in a conventional device.

【図１４】従来の装置が備える画像重畳部の問題を説明
するための図である。FIG. 14 is a diagram for explaining a problem of an image superimposing unit provided in a conventional device.

【図１５】動画像符号化装置および動画像復号装置にお
けるフレーム合成の概念を説明するための図である。FIG. 15 is a diagram for explaining the concept of frame synthesis in the video encoding device and the video decoding device.

【図１６】本発明の第１の実施形態に係る装置の画像重
畳部が備える補間画像作成部の動作を説明するための図
である。FIG. 16 is a diagram for explaining an operation of an interpolation image creation unit provided in the image superposition unit of the device according to the first embodiment of the present invention.

【図１７】本発明の実施形態に係る装置が備える領域情
報変換部の構成を示すブロック図である。FIG. 17 is a block diagram illustrating a configuration of an area information conversion unit included in the device according to the embodiment of the present invention.

【図１８】本発明の実施形態に係る装置が備える画像重
畳部の他の構成を示すブロック図である。FIG. 18 is a block diagram illustrating another configuration of the image superimposing unit included in the apparatus according to the embodiment of the present invention.

[Explanation of symbols]

１０１第１の領域抽出部１０２第２の領域抽出部１０３，７０３，１８０２コントローラ１０４，１０８，５０２，７０４，７１１，７１２ス
イッチ１０５，７０５補間画像作成部１０６加重平均部１０７，４０７，７０７背景補間判定部２０７第３の領域抽出部２０８画素値補間部３０５，４０３第１の補間画像作成部４０１第１の画素補間部４０２第２の画素補間部４０４第２の補間画像作成部５０１領域比較部６０１面積測定部６０２比較判定部７０９存在判定部７１０第３の補間画像作成部１７０２メモリ１７０３領域統合部１８０１選択部１８０４補間部101 first region extraction unit 102 second region extraction unit 103, 703, 1802 controller 104, 108, 502, 704, 711, 712 switch 105, 705 interpolation image creation unit 106 weighted average unit 107, 407, 707 background interpolation Judgment unit 207 Third region extraction unit 208 Pixel value interpolation unit 305, 403 First interpolation image creation unit 401 First pixel interpolation unit 402 Second pixel interpolation unit 404 Second interpolation image creation unit 501 Area comparison unit 601 Area measurement unit 602 Comparison determination unit 709 Presence determination unit 710 Third interpolation image creation unit 1702 Memory 1703 Area integration unit 1801 Selection unit 1804 Interpolation unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者草尾寛大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (56)参考文献特開平７−38899（ＪＰ，Ａ) 特開昭60−206287（ＪＰ，Ａ) 特開昭60−128791（ＪＰ，Ａ) 栄藤、ブン、角野，「階層表現と多重テンプレートを用いた画像符号化」，電子情報通信学会技術研究報告，1995年３月，Ｖｏｌ．94，Ｎｏ．549，ｐ．99− 106 角野、津田、ブン、栄藤，「透明度情報を領域表現に用いた画像符号化」，情報処理学会研究報告オーディオビジュアル複合情報処理 95−ＡＶＭ−９, 1995年７月，Ｖｏｌ．95，Ｎｏ．64, ｐ．１−８ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)──────────────────────────────────────────────────続き Continuation of front page (72) Inventor Hiroshi Kusao 22-22 Nagaikecho, Abeno-ku, Osaka-shi, Osaka Inside Sharp Corporation (56) References JP-A-7-38899 (JP, A) JP-A-60- 206287 (JP, A) JP-A-60-128791 (JP, A) Eito, Bun, Sumino, "Image coding using hierarchical representation and multiple templates", IEICE Technical Report, March 1995 , Vol. 94, no. 549, p. 99- 106 Sumino, Tsuda, Bun, Eito, "Image Coding Using Transparency Information in Region Representation", Information Processing Society of Japan Research Report, Audiovisual Complex Information Processing 95-AVM-9, July 1995, Vol. . 95, No. 64, p. 1-8 (58) Fields surveyed (Int. Cl. ⁷ , DB name) H04N ^7/ 24-7/68 INSPEC (DIALOG) JICST file (JOIS)

Claims

(57) [Claims]

1. A means for separating one moving image sequence into a lower layer having a lower frame rate and an upper layer having a higher frame rate; and a lower layer code for encoding an entire image of the moving image sequence in the lower layer. Encoding means; an upper layer encoding means for encoding a partial area of the image of the moving image sequence as a component image in the upper layer; and encoding area information indicating a partial area shape of the image of the moving image sequence. time and region information encoding means, wherein when the lower layer frame to the higher temporally corresponding to the layer frame does not exist, in said upper layer frame for reduction
Between to corresponding lower layer frame by using the lower layer frames existing temporally before or after, and a superposing means for generating a background image, superimposes the part images of the higher layer frame on the background image A moving image encoding apparatus that predictively encodes the upper layer using an image created by the superimposing means, wherein the superimposing means is configured such that the lower layer frame is temporally preceding an upper layer frame. In the case where the moving image sequence exists only in the lower layer frame temporally preceding the upper layer frame,
A moving image encoding apparatus, wherein the background image is generated by interpolating the inside of a corresponding component image area using surrounding pixel values.

2. A means for separating one moving image sequence into a lower layer having a lower frame rate and an upper layer having a higher frame rate; and a lower layer code for encoding an entire image of the moving image sequence in the lower layer. Encoding means; upper layer encoding means for encoding a partial region of the image of the moving image sequence as a component image in the upper layer; encoding region information indicating a partial region shape of the image of the moving image sequence time and region information encoding means, wherein when the lower layer frame to the higher temporally corresponding to the layer frame does not exist, in said upper layer frame for reduction
Between to corresponding lower layer frame by using the lower layer frames existing temporally before or after, and a superposing means for generating a background image, superimposes the part images of the higher layer frame on the background image A moving image encoding apparatus that predictively encodes the upper layer using an image created by the superimposing unit, wherein the superimposing unit is configured such that the lower layer frame is temporally behind the upper layer frame. In the case where there is only an image, a part of the image of the moving image sequence in the lower layer frame that is temporally subsequent to the upper layer frame is
A moving image encoding apparatus, wherein the background image is generated by interpolating the inside of a corresponding component image area using surrounding pixel values.

3. The moving picture coding apparatus according to claim 1, wherein the component image area of the lower layer frame that cannot be covered by the component image of the upper layer frame is smaller than a predetermined threshold value. If smaller, the component image area of the upper layer frame is replaced with the component image of the lower layer frame.
A moving picture coding apparatus characterized in that the moving picture coding apparatus is extended to include a region .

4. A lower layer decoding means for decoding encoded data of a lower layer obtained by encoding an entire image of a moving image sequence at a low frame rate, and a part image of an image of the moving image sequence at a high frame rate. encoded and upper layer decoding means for decoding the coded data of the upper layer, the area information for decoding the encoded data of the coded area information on the area information indicating the partial area shape of the image of the moving image sequence as a If the decoding means, not the lower layer frame temporally corresponding to the higher layer frame is present, a time to said upper layer frame
Between to corresponding lower layer frame by using the lower layer frames existing temporally before or after, and a superposing means for generating a background image, superimposes the part images of the higher layer frame on the background image A moving image decoding apparatus that displays an image created by the superimposing means on a display, wherein the superimposing means includes a step of, when the lower layer frame exists only temporally before an upper layer frame, A partial region of an image of the moving image sequence in a lower layer frame existing temporally before a layer frame is
A moving image decoding apparatus, wherein the background image is generated by interpolating the inside of a corresponding part image area using pixel values around the corresponding part image area.

5. A lower layer decoding means for decoding encoded data of a lower layer obtained by encoding an entire image of a moving image sequence at a low frame rate, and a partial image of a moving image sequence at a high frame rate. encoded and upper layer decoding means for decoding the coded data of the upper layer, the area information for decoding the encoded data of the coded area information on the area information indicating the partial area shape of the image of the moving image sequence as a If the decoding means, not the lower layer frame temporally corresponding to the higher layer frame is present, a time to said upper layer frame
Between to corresponding lower layer frame by using the lower layer frames existing temporally before or after, and a superposing means for generating a background image, superimposed on the component image of the upper layer frame in the background image A moving image decoding apparatus for displaying an image created by the superimposing means on a display, wherein the superimposing means comprises: the upper layer when the lower layer frame exists only temporally after the upper layer frame. A part of an image of the moving image sequence in a lower layer frame existing temporally after the frame is
A moving image decoding apparatus, wherein the background image is generated by interpolating the inside of a corresponding part image area using pixel values around the corresponding part image area.