[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2013098961A - Image processing apparatus and method, and picture display apparatus and method - Google Patents

Image processing apparatus and method, and picture display apparatus and method Download PDF

Info

Publication number
JP2013098961A
JP2013098961A JP2011243198A JP2011243198A JP2013098961A JP 2013098961 A JP2013098961 A JP 2013098961A JP 2011243198 A JP2011243198 A JP 2011243198A JP 2011243198 A JP2011243198 A JP 2011243198A JP 2013098961 A JP2013098961 A JP 2013098961A
Authority
JP
Japan
Prior art keywords
data
frame
reduced
block
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011243198A
Other languages
Japanese (ja)
Inventor
Toshiaki Kubo
俊明 久保
Yoshiki Ono
良樹 小野
Naoyuki Fujiyama
直之 藤山
Tomoatsu Horibe
知篤 堀部
Osamu Nasu
督 那須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011243198A priority Critical patent/JP2013098961A/en
Priority to CN201210422396.XA priority patent/CN103096009B/en
Publication of JP2013098961A publication Critical patent/JP2013098961A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform correct interpolation with a small operation amount even when an image is hidden by one of the frames before and after an interpolation frame.SOLUTION: Motion vectors (SMV1 and SMV2) are estimated (6) in an image obtained by reducing an input image, and the motion vectors are enlarged, thereby obtaining (7) motion vectors (MV1 and MV2) on the input image. Using the motion vectors (MV1 and MV2), data on an interpolation frame is generated (13 and 14). In order to estimate motion vectors on a reduced image, the candidates of the motion vectors are evaluated (5) by test interpolation (4). The test interpolation includes zero-order interpolation by only one of the preceding and following frames.

Description

本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。   The present invention relates to an image processing apparatus and method, and an image display apparatus and method. The present invention particularly relates to a frame interpolation process for inserting a new interpolation frame between frames of an image.

液晶ディスプレイなどのホールド型ディスプレイは、1フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が1フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。   A hold-type display such as a liquid crystal display continues to display the same image for one frame period, and when the object in the image moves, the tracking of the human eye to the moving object moves continuously, There is a problem that the edge portion looks blurry because the object moves discontinuously in units of one frame. On the other hand, it is conceivable to increase the number of display frames by interpolating frames to make the object move smoothly.

また、映画などのフィルム映像がテレビ信号に変換された素材については、両者(フィルム映像とテレビ信号)のフレーム周波数の違いから、2フレーム又は3フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。   In addition, for a material in which a film image such as a movie is converted into a TV signal, two or three frames are image signals made from the same frame because of the difference in frame frequency between the two (film image and TV signal). However, if displayed as it is, there is a problem that the motion is blurred or judder with a jerky motion occurs.

また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、2フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。   Similarly, for a material in which computer-processed video is converted into a television signal, two frames are image signals made from the same frame, and there is a problem that judder occurs similarly when displayed as it is.

従来の画像処理装置及び方法は、補間フレームに対して1フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して1フレーム前の画像と1フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が2重像になる問題がある。   The conventional image processing apparatus and method are either a zero-order hold method in which interpolation is performed with the same image as the previous frame with respect to the interpolation frame, or an average image of the previous image and the subsequent image with respect to the interpolation frame. However, since the zero-order hold method does not move smoothly with respect to an image moving in a certain direction, the problem of blurring of the hold type display is still not solved. Further, the average value interpolation method has a problem that a moving image becomes a double image.

この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある(例えば、特許文献1参照)。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。   As an improvement measure, interpolation is performed from the pixel having the highest correlation between the pixels on the temporally previous frame and the temporally subsequent frame that are in point symmetry with respect to the interpolated pixel of the interpolated frame. Some generate interpolated pixels of a frame (see, for example, Patent Document 1). In this method, since correlation is detected in units of pixels, it may be detected that the correlation between pixels is large even though the contents of the image are different, and an interpolation frame may not be generated correctly.

特開2006−129181号公報(第8頁、第3図)Japanese Patent Laying-Open No. 2006-129181 (page 8, FIG. 3)

従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できず、特に補間するフレーム前後で物体が隠れたり出現したりする場合、補間フレームが著しく乱れるという問題、及びフレーム補間処理は演算量が多い(ハードウェアでは回路規模が大きい)という問題がある。   The conventional frame interpolation process is configured as described above, and there is a problem that motion is blurred or judder with motion is generated. In addition, in the method of detecting the correlation in pixel units, the interpolation frame cannot be generated correctly because the correlation cannot be detected correctly, and particularly when the object is hidden or appears before and after the frame to be interpolated, the interpolation frame is significantly disturbed. In addition, the frame interpolation processing has a problem that the calculation amount is large (the circuit scale is large in hardware).

本発明の画像処理装置は、
画像の現フレームと前記現フレームの1フレーム前のフレームである第1の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第1の遅延フレームのデータ及び前記現フレームの2フレーム前のフレームである第2の遅延フレームのデータを参照して前記第2の遅延フレームから前記第1の遅延フレームへの第1の動きベクトルを算出し、
前記現フレームのデータ及び前記第1の遅延フレームのデータを参照して前記現フレームから前記第1の遅延フレームへの第2の動きベクトルを算出する動きベクトル検出部と、
前記第1の動きベクトルを前記第1の遅延フレームから前記補間フレームへの第3の動きベクトルに変換し、
前記第2の動きベクトルを前記現フレームから前記補間フレームへの第4の動きベクトルに変換する動きベクトル変換部と、
前記第3の動きベクトル、前記第4の動きベクトル、前記第1の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第1の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第1の遅延フレームを縮小して第1の縮小遅延フレームを出力し、前記第2の遅延フレームを縮小して第2の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第1の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第2の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第1群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第2群のテスト補間データと、
前記第2の縮小遅延フレームのブロックデータ構成される第3群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第1乃至第3群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方を拡大して前記第1及び第2の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第1群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第2群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第3群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックから得られる
ことを特徴とする。
The image processing apparatus of the present invention
In an image processing apparatus for inserting an interpolation frame between a current frame of an image and a first delay frame which is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection unit that calculates a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converter that converts the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generator for outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection unit
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction unit that outputs
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation unit that outputs a plurality of test interpolation data including a third group of test interpolation data configured of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation unit;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination unit;
A motion vector enlargement unit that enlarges at least one of the first reduced motion vector and the second reduced motion vector and outputs it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.

本発明によれば、時間的に連続する3枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。また、動きベクトルの検出に縮小画像を用いることで、演算量(回路規模)を削減することができる。   According to the present invention, the center frame of three consecutive frames in time is most likely to be the most probable by evaluating the motion vector from the previous frame and the subsequent frame to the center frame in time. Since an accurate motion vector can be calculated, an interpolation frame can be interpolated without image distortion. Furthermore, even when an object is hidden or appears before and after the interpolated frame, the interpolated frame can be interpolated without image distortion. In addition, by using a reduced image for motion vector detection, the amount of computation (circuit scale) can be reduced.

本発明の実施の形態1に係る画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display apparatus which concerns on Embodiment 1 of this invention. 図1の動きベクトル検出部12内のテスト補間部4の具体例を示すブロック図である。It is a block diagram which shows the specific example of the test interpolation part 4 in the motion vector detection part 12 of FIG. 図1の動きベクトル2内の補間データ評価部5及び動きベクトル決定部6の具体例を示すブロック図である。It is a block diagram which shows the specific example of the interpolation data evaluation part 5 and the motion vector determination part 6 in the motion vector 2 of FIG. 図1の動きベクトル検出部12の動作を説明するための図である。It is a figure for demonstrating operation | movement of the motion vector detection part 12 of FIG. 図1の動きベクトル変換部13及び補間フレーム生成部14の動作を説明するための図である。It is a figure for demonstrating operation | movement of the motion vector conversion part 13 and the interpolation frame production | generation part 14 of FIG. 図1の動きベクトル変換部13及び補間フレーム生成部14の動作を説明するための図である。It is a figure for demonstrating operation | movement of the motion vector conversion part 13 and the interpolation frame production | generation part 14 of FIG. 図1の動きベクトル変換部13及び補間フレーム生成部14の動作を説明するための図である。It is a figure for demonstrating operation | movement of the motion vector conversion part 13 and the interpolation frame production | generation part 14 of FIG. 現フレーム、第1及び第2の遅延フレームのそれぞれにおける画像の例を示す図である。It is a figure which shows the example of the image in each of the present frame and the 1st and 2nd delay frame. 図8に示す入力画像を縮小した画像データの具体例を示す図である。It is a figure which shows the specific example of the image data which reduced the input image shown in FIG. 第1の縮小遅延フレームSF1上の処理対象ブロックを中心として、点対称の位置にある第2の縮小遅延フレームSF2及び現縮小フレームSF0に位置する2対のブロックを示す図である。It is a figure which shows two pairs of blocks located in the 2nd reduction delay frame SF2 and the current reduction | decrease frame SF0 which are a point symmetrical position centering | focusing on the process target block on 1st reduction delay frame SF1. 図10の2対のブロックのうちの一対のデータに基づく、テスト補間データの生成を示す図である。1の動きベクトル検出部12の動作の具体例を説明するための図である。It is a figure which shows the production | generation of test interpolation data based on a pair of data of two pairs of blocks of FIG. It is a figure for demonstrating the specific example of operation | movement of the 1 motion vector detection part. 図10の2対のブロックのうちの他の一対のデータに基づく、テスト補間データの生成を示す図である。It is a figure which shows the production | generation of the test interpolation data based on the other pair of data of 2 pairs of blocks of FIG. 現縮小フレームSF0上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。It is a figure which shows the production | generation of the test interpolation data based on the data of one block on the present reduction frame SF0. 現縮小フレームSF0上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。It is a figure which shows the production | generation of the test interpolation data based on the data of another one block on the present reduction | decrease frame SF0. 第2の縮小遅延フレームSF2上の一つのブロックのデータに基づくテスト補間データの生成を示す図である。It is a figure which shows the production | generation of the test interpolation data based on the data of one block on 2nd reduction delay frame SF2. 第2の縮小遅延フレームSF2上の他の一つのブロックのデータに基づくテスト補間データの生成を示す図である。It is a figure which shows the production | generation of the test interpolation data based on the data of another one block on 2nd reduction delay frame SF2. 図1の動きベクトル拡大部7の動作の具体例を説明するための図である。It is a figure for demonstrating the specific example of operation | movement of the motion vector expansion part 7 of FIG. (a)及び(b)は、図1の動きベクトル変換部13の動作の具体例を説明するための図である。(A) And (b) is a figure for demonstrating the specific example of operation | movement of the motion vector conversion part 13 of FIG. 図1の補間フレーム生成部14の動作の具体例を説明するための図である。It is a figure for demonstrating the specific example of operation | movement of the interpolation frame production | generation part 14 of FIG. 本発明に係る画像処理をソフトウェアで実現する場合に利用されるコンピュータシステムで構成された画像処理装置を示すブロック図である。1 is a block diagram showing an image processing apparatus configured by a computer system used when image processing according to the present invention is realized by software. 本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。It is a flowchart which shows the process of the image display apparatus which concerns on this Embodiment.

以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームと現フレームの1フレーム前のフレームとの間に新たな補間フレームを補間により生成するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The image processing apparatus according to the present invention generates a new interpolation frame between the current frame of the image and the frame one frame before the current frame by interpolation, and the image display apparatus according to the present invention includes An image display unit for displaying image data output from the image processing apparatus.

実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。実施の形態1に係る画像表示装置は、画像処理装置10と、画像表示部15を備え、画像処理装置10は、フレームメモリ11と、動きベクトル検出部12と、動きベクトル変換部13と、補間フレーム生成部14と、画像表示部15を備える。
Embodiment 1 FIG.
FIG. 1 is a diagram showing a configuration of an image display apparatus according to Embodiment 1 of the present invention. The image display apparatus according to Embodiment 1 includes an image processing apparatus 10 and an image display unit 15. The image processing apparatus 10 includes a frame memory 11, a motion vector detection unit 12, a motion vector conversion unit 13, and an interpolation. A frame generation unit 14 and an image display unit 15 are provided.

この画像処理装置は、例えば、放送受信装置、画像記録再生装置、又はパーソナルコンピュータ(PC)などの一部を構成することができる。また、画像表示装置5は、例えば、テレビ、映像プロジェクター、又はPCなどの一部を構成することができる。   This image processing apparatus can constitute a part of, for example, a broadcast receiving apparatus, an image recording / reproducing apparatus, or a personal computer (PC). Further, the image display device 5 can constitute a part of, for example, a television, a video projector, or a PC.

画像データF0が、フレームメモリ11、動きベクトル検出部12、及び補間フレーム生成部14に入力される。
フレームメモリ11は、画像データF0を2フレーム分保存し、画像データF0に対して1フレーム分遅延した画像データF1と、画像データF0に対して2フレーム分遅延した画像データF2を出力する。これより画像データF0を現フレームのデータ、画像データF1を第1の遅延フレームのデータ、画像データF2を第2の遅延フレームのデータと言う。また、現フレーム、第1の遅延フレーム、第2の遅延フレームをそれぞれのフレームデータと同じ符号F0、F1、F2で表す。
The image data F0 is input to the frame memory 11, the motion vector detection unit 12, and the interpolation frame generation unit 14.
The frame memory 11 stores image data F0 for two frames, and outputs image data F1 delayed by one frame with respect to the image data F0 and image data F2 delayed by two frames with respect to the image data F0. Thus, the image data F0 is referred to as current frame data, the image data F1 is referred to as first delay frame data, and the image data F2 is referred to as second delay frame data. The current frame, the first delay frame, and the second delay frame are represented by the same symbols F0, F1, and F2 as the respective frame data.

第1の遅延フレームF1のデータは動きベクトル検出部12と補間フレーム生成部14に入力され、第2の遅延フレームF2のデータは動きベクトル検出部12に入力される。   The data of the first delay frame F1 is input to the motion vector detection unit 12 and the interpolation frame generation unit 14, and the data of the second delay frame F2 is input to the motion vector detection unit 12.

動きベクトル検出部12は、現フレームF0のデータと、第1の遅延フレームF1のデータと、第2の遅延フレームF2のデータを参照して、第1の遅延フレームF1上の複数のブロックの各々(フレームの一部を成す、複数の画素で構成される)を順次選択し、選択されているブロックについて、第2の遅延フレームF2から第1の遅延フレームF1への第1の動きベクトルMV1及び現フレームF0から第1の遅延フレームF1への第2の動きベクトルMV2を算出して、動きベクトル変換部13に出力する。第1の遅延フレームF1上のブロックは、第1の遅延フレームF1を例えば複数の矩形の領域に分割することで得られるものである。   The motion vector detection unit 12 refers to the data of the current frame F0, the data of the first delay frame F1, and the data of the second delay frame F2, and each of the plurality of blocks on the first delay frame F1. (Consisting of a plurality of pixels that form part of a frame) are sequentially selected, and for the selected block, the first motion vector MV1 from the second delay frame F2 to the first delay frame F1 and A second motion vector MV2 from the current frame F0 to the first delay frame F1 is calculated and output to the motion vector conversion unit 13. The block on the first delay frame F1 is obtained by dividing the first delay frame F1 into, for example, a plurality of rectangular areas.

動きベクトル変換部13は、第1の動きベクトルMV1と第2の動きベクトルMV2を、第1の遅延フレームF1から補間フレームIFへの第3の動きベクトルMV3と、現フレームF0から補間フレームIFへの第4の動きベクトルMV4に変換して、補間フレーム生成部14に出力する。   The motion vector conversion unit 13 converts the first motion vector MV1 and the second motion vector MV2, the third motion vector MV3 from the first delay frame F1 to the interpolation frame IF, and the current frame F0 to the interpolation frame IF. Is converted into the fourth motion vector MV4 and output to the interpolated frame generation unit 14.

補間フレーム生成部14は、第1の遅延フレームF1のデータ、現フレームF0のデータ、第3の動きベクトルMV3及び第4の動きベクトルMV4から、現フレームF0と第1の遅延フレームF1の間に位置する補間フレームIFのデータを生成し、生成した補間フレームIFのデータを現フレームF0のデータと第1の遅延フレームF1のデータの間に挿入した画像データDOを画像表示部15に出力する。
画像表示部15は、画像データDOを表示する。
The interpolated frame generation unit 14 determines the interval between the current frame F0 and the first delay frame F1 from the data of the first delay frame F1, the data of the current frame F0, the third motion vector MV3, and the fourth motion vector MV4. Data of the interpolated frame IF positioned is generated, and image data DO in which the generated interpolated frame IF data is inserted between the data of the current frame F0 and the data of the first delay frame F1 is output to the image display unit 15.
The image display unit 15 displays the image data DO.

次に、動きベクトル検出部12の構成について詳細に説明する。
動きベクトル検出部12は、画像縮小部2と、ブロック切り出し部3と、テスト補間部4と、補間データ評価部5と、動きベクトル決定部6と、動きベクトル拡大部7とを有し、画像縮小部2は、現フレーム画像縮小部21と、第1の遅延フレーム画像縮小部22と、第2の遅延フレーム画像縮小部23とを有し、ブロック切り出し部3は、現フレームブロック切り出し部31と、第1の遅延フレームブロック切り出し部32と、第2の遅延フレームブロック切り出し部33とを有する。
Next, the configuration of the motion vector detection unit 12 will be described in detail.
The motion vector detection unit 12 includes an image reduction unit 2, a block cutout unit 3, a test interpolation unit 4, an interpolation data evaluation unit 5, a motion vector determination unit 6, and a motion vector enlargement unit 7. The reduction unit 2 includes a current frame image reduction unit 21, a first delay frame image reduction unit 22, and a second delay frame image reduction unit 23. The block cutout unit 3 includes a current frame block cutout unit 31. And a first delayed frame block cutout unit 32 and a second delayed frame block cutout unit 33.

現フレーム画像縮小部21は、現フレームF0を縮小して現縮小フレームSF0を出力し、第1の遅延フレーム画像縮小部22は、第1の遅延フレームF1を縮小して第1の縮小遅延フレームSF1を出力し、第2の遅延フレーム画像縮小部23は、第2の遅延フレームF2を縮小して第2の縮小遅延フレームSF2を出力する。現フレーム画像縮小部21、第1の遅延フレーム画像縮小部22、及び第2の遅延フレーム画像縮小部23における縮小率は同じであり、符号αで表される。   The current frame image reduction unit 21 reduces the current frame F0 and outputs a current reduction frame SF0, and the first delay frame image reduction unit 22 reduces the first delay frame F1 to reduce the first reduction delay frame. SF1 is output, and the second delay frame image reduction unit 23 reduces the second delay frame F2 and outputs a second reduced delay frame SF2. The reduction ratios in the current frame image reduction unit 21, the first delay frame image reduction unit 22, and the second delay frame image reduction unit 23 are the same and are represented by the symbol α.

現フレームブロック切り出し部31、第1の遅延フレームブロック切り出し部32、及び第2の遅延フレームブロック切り出し部33は、それぞれ、現縮小フレームSF0、第1の縮小遅延フレームSF1、及び第2の縮小遅延フレームSF2を受け、それぞれ、画面の一部を成すブロックを切り出し(抽出し)、ブロック内の画素のデータ(画素値)の集合をブロックデータとして出力する。即ち、現フレームブロック切り出し部31は、現縮小フレームSF0からブロックを切り出し、第1の遅延フレームブロック切り出し部32は、第1の縮小遅延フレームSF1からブロックを切り出し、第2の遅延フレームブロック切り出し部33は、第2の縮小遅延フレームSF2からブロックを切り出す。   The current frame block cutout unit 31, the first delay frame block cutout unit 32, and the second delay frame block cutout unit 33 are respectively a current reduced frame SF0, a first reduced delay frame SF1, and a second reduced delay. In response to the frame SF2, each block that forms a part of the screen is cut out (extracted), and a set of pixel data (pixel values) in the block is output as block data. That is, the current frame block cutout unit 31 cuts out a block from the current reduced frame SF0, the first delay frame block cutout unit 32 cuts out a block from the first reduced delay frame SF1, and the second delay frame block cutout unit 33 cuts out a block from the second reduced delay frame SF2.

各ブロックは例えば横方向X個、縦方向Y個の画素(Y個のライン)のサイズを有する矩形の領域から成る。即ち、現縮小フレームSF0から切り出されるブロックと、第1の縮小遅延フレームSF1から切り出されるブロックと、第2の縮小遅延フレームSF2から切り出されるブロックは、縦方向のサイズ(画素数)及び横方向のサイズ(画素数乃至ライン数)が互いに等しい。   Each block is composed of a rectangular area having a size of, for example, X pixels in the horizontal direction and Y pixels (Y lines) in the vertical direction. That is, the block cut out from the current reduced frame SF0, the block cut out from the first reduced delay frame SF1, and the block cut out from the second reduced delay frame SF2 have a vertical size (number of pixels) and a horizontal direction. The size (number of pixels or number of lines) is equal to each other.

以下では、補間フレームIF内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームIF内の補間しようとするブロック(補間対象ブロック)を、縮小フレームSF0、SF1、SF2を生成する際と同じ縮小率αで縮小したブロック(縮小ブロック)に対応する、第1の縮小遅延フレームSF1内の一つのブロックF1Baを処理対象ブロックとして設定し、該処理対象ブロックF1Baと、現縮小フレームSF0内の複数のブロックと、第2の縮小遅延フレームSF2内の複数のブロックが切り出される(抽出される)。現縮小フレームSF0から切り出されるブロックと、第2の縮小遅延フレームSF2から切り出されるブロックとは、処理対象ブロックF1Ba(厳密には、その中心)を中心として点対称の位置にあるもので、これらが対として用いられる。
現フレームブロック切り出し部31及び第2の遅延フレームブロック切り出し部33は、処理対象ブロックF1Baを中心とし、互いに点対称の位置にあり、一方が現縮小フレームSF0内に位置し、他方が第2の縮小遅延フレームSF2内に位置するブロックの対を複数個切り出す。
Hereinafter, a process for generating one block in the interpolation frame IF by interpolation will be described. For this processing, the block (interpolation target block) to be interpolated in the interpolation frame IF corresponds to the block (reduced block) reduced at the same reduction ratio α as that when the reduced frames SF0, SF1, and SF2 are generated. One block F1Ba in the first reduced delay frame SF1 is set as a processing target block, the processing target block F1Ba, a plurality of blocks in the current reduced frame SF0, and a second reduced delay frame SF2 A plurality of blocks are cut out (extracted). The block cut out from the current reduced frame SF0 and the block cut out from the second reduced delay frame SF2 are in point-symmetrical positions around the processing target block F1Ba (strictly, the center), and these are Used as a pair.
The current frame block cutout unit 31 and the second delayed frame block cutout unit 33 are located symmetrically with respect to the processing target block F1Ba, one is located in the current reduced frame SF0, and the other is the second A plurality of pairs of blocks located in the reduced delay frame SF2 are cut out.

例えば、現縮小フレームSF0から切り出されるブロックF0B1(厳密には、その中心)と、第2の縮小遅延フレームSF2から切り出されるブロックF2B1(厳密には、その中心)とは、第1の縮小遅延フレームSF1内の処理対象ブロックF1Ba(厳密には、その中心)を中心として点対称の位置にあるもので、これらの点対称の位置にある2つのブロックが対(ペア)として用いられる。   For example, the block F0B1 (strictly the center) cut out from the current reduced frame SF0 and the block F2B1 (strictly the center) cut out from the second reduced delay frame SF2 are the first reduced delay frame. The processing target block F1Ba in SF1 (strictly, its center) is located at a point-symmetrical position, and two blocks at these point-symmetrical positions are used as a pair.

現縮小フレームSF0及び第2の縮小遅延フレームSF2から切り出されるブロックの対は、動きベクトル検出部12において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第1の縮小遅延フレームSF1内の一つのブロックの中心を中心として、横方向に±HS画素、縦方向に±VS画素(±VSライン)の範囲を探索する場合、第2の縮小遅延フレームSF2及び現縮小フレームSF0から、それぞれ(2HS+1)×(2VS+1)個のブロックが切り出される。   The block pairs cut out from the current reduced frame SF0 and the second reduced delay frame SF2 correspond to the motion vector candidates detected by the motion vector detection unit 12, for example, all of the motion vector search ranges within the motion vector search range. The block is cut out. For example, when searching the range of ± HS pixels in the horizontal direction and ± VS pixels (± VS lines) in the vertical direction around the center of one block in the first reduced delay frame SF1, the second reduction delay From the frame SF2 and the current reduced frame SF0, (2HS + 1) × (2VS + 1) blocks are cut out.

なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら(例えば水平方向及び垂直方向に1画素おきに)切り出すこととしても良い。   In addition, when it is not necessary to evaluate all the blocks in the search range, for example, when the range of the motion direction can be predicted in advance or by other information, only the blocks in the predicted range of the search range are included. It is good also as cutting out. Alternatively, the blocks in the search range may be cut out while thinning out (for example, every other pixel in the horizontal direction and the vertical direction).

以下では、現縮小フレームSF0及び第2の縮小遅延フレームSF2から切り出されるブロックの数をMとし、現縮小フレームSF0から切り出されるブロックを第1乃至第MのブロックF0B1〜F0BM、第2の縮小遅延フレームSF2から切り出されるブロックを第1乃至第MのブロックF2B1〜F2BMと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。   In the following, the number of blocks cut out from the current reduced frame SF0 and the second reduced delay frame SF2 is M, and the blocks cut out from the current reduced frame SF0 are the first to Mth blocks F0B1 to F0BM, the second reduced delay. The blocks cut out from the frame SF2 are referred to as first to Mth blocks F2B1 to F2BM. In addition, the data of each block is represented by the same code as the block.

第2の縮小遅延フレームSF2内の第mのブロックF2Bm(m=1〜M)と現縮小フレームSF0内の第mのブロックF0Bmとは、第2の縮小遅延フレームSF1内の処理対象ブロックF1Ba(厳密にはその中心の画素)を中心として点対称の位置にあるので、ブロックF2Bmの処理対象ブロックF1Baに対する横方向のずれをh(h=−HS〜+HS)、縦方向のずれをv(v=−VS〜+VS)とすると、ブロックF0Bmの処理対象ブロックF1Baに対する横方向のずれは−h、縦方向のずれは−vである。   The m-th block F2Bm (m = 1 to M) in the second reduced delay frame SF2 and the m-th block F0Bm in the current reduced frame SF0 are the processing target block F1Ba (in the second reduced delay frame SF1). Strictly speaking, since it is in a point-symmetrical position with respect to the center pixel), the horizontal shift of the block F2Bm with respect to the processing target block F1Ba is h (h = −HS to + HS), and the vertical shift is v (v = −VS to + VS), the horizontal shift of the block F0Bm with respect to the processing target block F1Ba is −h, and the vertical shift is −v.

現フレームブロック切り出し部31は、現縮小フレーム内の複数の、即ち第1乃至第Mのブロックを切り出して、第1乃至第MのブロックデータF0B1〜F0BMを出力する。
第1の遅延フレームブロック切り出し部32は、第1の縮小遅延フレーム内の処理対象ブロックF1Baを切り出す。このブロックブロックF1Baは、補間フレームIF内の補間対象ブロックを縮小したブロックに対応するものである。
第2の遅延フレームブロック切り出し部33は、第2の縮小遅延フレーム内の複数の、即ち第1乃至第Mのブロックを切り出して、第1乃至第MのブロックデータF2B1〜F2BMを出力する。
The current frame block cutout unit 31 cuts out a plurality of, that is, first to Mth blocks in the current reduced frame, and outputs first to Mth block data F0B1 to F0BM.
The first delay frame block cutout unit 32 cuts out the processing target block F1Ba in the first reduced delay frame. This block block F1Ba corresponds to a block obtained by reducing the interpolation target block in the interpolation frame IF.
The second delay frame block cutout unit 33 cuts out a plurality of, that is, the first to Mth blocks in the second reduced delay frame, and outputs the first to Mth block data F2B1 to F2BM.

現縮小フレームSF0のブロックデータと第2の縮小遅延フレームSF2のブロックデータが、テスト補間部4に入力される。テスト補間部4は、第2の縮小遅延フレームSF2のブロックデータと現縮小フレームSF0のブロックデータのうち、処理対象ブロックF1Baを中心として、互いに点対称の位置にある第2の縮小遅延フレームSF2内のブロックと、現縮小フレームSF0内のブロックから成るブロック対のデータに基づいて、テスト補間データTDA1〜TDAMを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心の位置、即ち上記処理対象ブロックF1Baのデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、処理対象ブロックF1Baのデータとの相関が強いものとなる。   The block data of the current reduced frame SF0 and the block data of the second reduced delay frame SF2 are input to the test interpolation unit 4. The test interpolation unit 4 includes the block data of the second reduced delay frame SF2 and the block data of the current reduced frame SF0 in the second reduced delay frame SF2 that are symmetrical with respect to the processing target block F1Ba. Test interpolation data TDA1 to TDAM are generated based on the data of a block pair consisting of these blocks and the blocks in the current reduced frame SF0. A plurality of test interpolation data is generated based on the plurality of block pairs. This test interpolation is performed on the assumption that the position of the center of point symmetry, that is, the data of the processing target block F1Ba is unknown. The more accurate the interpolation, the more the test interpolation data is processed. The correlation with the data of the block F1Ba is strong.

テスト補間部4は、さらに入力された現縮小フレームSF0のブロックデータをそのまま処理対象ブロックF1Baの位置のデータとしたものを、テスト補間データTDB1〜TDBMとして出力し、入力された第2の縮小遅延フレームSF2のブロックデータをそのまま処理対象ブロックF1Baの位置のデータとしたものを、テスト補間データTDC1〜TDCMとして出力する。
区別のため、テスト補間データTDA1〜TDAMは第1群の第1乃至第Mのテスト補間データと呼ばれ、テスト補間データTDB1〜TDBMは第2群の第1乃至第Mのテスト補間データと呼ばれ、テスト補間データTDC1〜TDCMは第3群の第1乃至第Mのテスト補間データと呼ばれる。
The test interpolation unit 4 further outputs the input block data of the current reduced frame SF0 as data of the position of the processing target block F1Ba as the test interpolation data TDB1 to TDBM, and the input second reduced delay The block data of the frame SF2 that is used as the data at the position of the processing target block F1Ba is output as test interpolation data TDC1 to TDCM.
For the sake of distinction, the test interpolation data TDA1 to TDAM are referred to as the first group of first to Mth test interpolation data, and the test interpolation data TDB1 to TDBM are referred to as the second group of first to Mth test interpolation data. The test interpolation data TDC1 to TDCM are referred to as a third group of first to Mth test interpolation data.

補間データ評価部5は、第1の縮小遅延フレームSF1のブロックデータを参照して複数のテスト補間データの評価を行い、評価データEDを動きベクトル決定部6に出力する。この評価においては、テスト補間データと、第1の縮小遅延フレームSF1のブロックデータとの相関を求め、相関が強いほど高い評価が与えられる。   The interpolation data evaluation unit 5 evaluates a plurality of test interpolation data with reference to the block data of the first reduced delay frame SF1, and outputs the evaluation data ED to the motion vector determination unit 6. In this evaluation, a correlation between the test interpolation data and the block data of the first reduced delay frame SF1 is obtained, and a higher evaluation is given as the correlation is stronger.

動きベクトル決定部6は、評価データEDに基づいて第1の縮小動きベクトルSMV1と第2の縮小動きベクトルSMV2を生成して出力する。   The motion vector determination unit 6 generates and outputs a first reduced motion vector SMV1 and a second reduced motion vector SMV2 based on the evaluation data ED.

動きベクトル拡大部7は、第1の縮小動きベクトルSMV1と第2の縮小動きベクトルSMV2の値を拡大して第1の動きベクトルMV1と第2の動きベクトルMV2を生成して出力する。ここで、拡大率は縮小フレームSF0、SF1、SF2の生成の際の縮小率αの逆数に等しく、1/αで表される。   The motion vector expansion unit 7 expands the values of the first reduced motion vector SMV1 and the second reduced motion vector SMV2 to generate and output the first motion vector MV1 and the second motion vector MV2. Here, the enlargement rate is equal to the reciprocal of the reduction rate α when the reduced frames SF0, SF1, and SF2 are generated, and is expressed by 1 / α.

次に、図2及び図3を参照して動きベクトル検出部12のテスト補間部4、補間データ評価部5及び動きベクトル決定部の具体例についてさらに詳しく説明する。   Next, specific examples of the test interpolation unit 4, the interpolation data evaluation unit 5, and the motion vector determination unit of the motion vector detection unit 12 will be described in more detail with reference to FIGS.

テスト補間部4は、複数の、即ち第1乃至第Mのテスト補間データ生成部4−1〜4−Mを備え、補間データ評価部5は、第1群の第1乃至第Mの相関値算出部5A−1〜5A−Mと、第2群の第1乃至第Mの相関値算出部5B−1〜5B−Mと、第3群の第1乃至第Mの相関値算出部5C−1〜5C−Mを備える。   The test interpolation unit 4 includes a plurality of, that is, first to Mth test interpolation data generation units 4-1 to 4-M, and the interpolation data evaluation unit 5 includes the first to Mth correlation values of the first group. Calculation units 5A-1 to 5A-M, first to Mth correlation value calculation units 5B-1 to 5B-M in the second group, and first to Mth correlation value calculation units 5C- in the third group. 1-5C-M.

テスト補間データ生成部4−1〜4−Mは、現縮小フレームSF0のブロックのデータF0B1〜F0BMと、それぞれこれらと対をなす第2の縮小遅延フレームSF2のブロックのデータF2B1〜F2BMを画素ごとに平均することで得られる平均値から成るデータを第1群のテスト補間データTDA1〜TDAMとして算出する。テスト補間データ生成部4−1〜4−Mで、平均を求めるのに用いられるデータは、互いに異なる位置にあるブロックのデータである。
テスト補間部4また、上記のように、現縮小フレームSF0のブロックのデータF0B1〜F0BMを第2群のテスト補間データTDB1〜TDBMとして、第2の縮小遅延フレームSF2のブロックのデータF2B1〜F2BMを第3群のテスト補間データTDC1〜TDCMとして出力する。図1には、テスト補間データTDA1〜TDCMの集合が符号TDで表されている。
The test interpolation data generation units 4-1 to 4-M generate the data F0B1 to F0BM of the block of the current reduced frame SF0 and the data F2B1 to F2BM of the block of the second reduced delay frame SF2 that make a pair with them respectively for each pixel. The data consisting of the average value obtained by averaging is calculated as the first group of test interpolation data TDA1 to TDAM. In the test interpolation data generation units 4-1 to 4 -M, data used for obtaining an average is data of blocks at different positions.
Test Interpolation Unit 4 Also, as described above, block data F0B1 to F0BM of the current reduced frame SF0 are used as the second group of test interpolation data TDB1 to TDBM, and block data F2B1 to F2BM of the second reduced delay frame SF2 are used. Output as the third group of test interpolation data TDC1 to TDCM. In FIG. 1, a set of test interpolation data TDA1 to TDCM is represented by a symbol TD.

以下、より詳しく説明する。
現縮小フレームSF0の第1のブロックデータF0B1と第2の縮小遅延フレームSF2の第1のブロックデータF2B1がテスト補間データ生成部4−1に入力される。
This will be described in more detail below.
The first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 are input to the test interpolation data generation unit 4-1.

テスト補間データ生成部4−1は、現縮小フレームSF0の第1のブロックデータF0B1と第2の縮小遅延フレームSF2の第1のブロックデータF2B1の画素ごとの平均値を第1群の第1のテスト補間データTDA1として相関値算出部5A−1に出力する。ここで画素ごとの平均値とは、現縮小フレームSF0内のブロックにおける各画素と、第2の縮小遅延フレームSF2内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値)の平均値を意味する。   The test interpolation data generation unit 4-1 calculates the average value for each pixel of the first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 in the first group. It outputs to correlation value calculation part 5A-1 as test interpolation data TDA1. Here, the average value for each pixel is the pixel value of each pixel in the block in the current reduced frame SF0 and the pixel at the corresponding position in the block in the second reduced delay frame SF2 (for example, the reference position of each block, For example, it means an average value of pixel values represented by the same coordinate value with the upper left corner as the origin.

同様に、現縮小フレームSF0の第2のブロックデータF0B2と第2の縮小遅延フレームSF2の第2のブロックデータF2B2がテスト補間データ生成部4−2に入力される。テスト補間データ生成部4−2は、現縮小フレームSF0の第2のブロックデータF0B2と第2の縮小遅延フレームSF2の第2のブロックデータF2B2の画素ごとの平均値を第1群の第2のテスト補間データTDA2として相関値算出部5A−2(図示しない)に出力する。   Similarly, the second block data F0B2 of the current reduced frame SF0 and the second block data F2B2 of the second reduced delay frame SF2 are input to the test interpolation data generation unit 4-2. The test interpolation data generation unit 4-2 calculates the average value for each pixel of the second block data F0B2 of the current reduced frame SF0 and the second block data F2B2 of the second reduced delay frame SF2 in the second group of the first group. It outputs to correlation value calculation part 5A-2 (not shown) as test interpolation data TDA2.

テスト補間データ生成部4−3(図示しない)〜4−Mも同様に現縮小フレームSF0の第3のブロックデータF0B3乃至第MのブロックデータF0BMと第2の縮小遅延フレームSF2の第3のブロックデータF2B3乃至第MのブロックデータF2BMに基づいて第1群の第3のテスト補間データTDA3乃至第Mのテスト補間データTDAMを生成し、相関値算出部5A−3(図示しない)〜5A−Mに出力する。   Similarly, the test interpolation data generation units 4-3 (not shown) to 4-M also apply the third block data F0B3 to Mth block data F0BM of the current reduced frame SF0 and the third block of the second reduced delay frame SF2. Based on the data F2B3 to Mth block data F2BM, the first group of third test interpolation data TDA3 to Mth test interpolation data TDAM is generated, and correlation value calculation units 5A-3 (not shown) to 5A-M are generated. Output to.

一般化して言えば、テスト補間データ生成部4−mは、現縮小フレームSF0の第mのブロックデータF0Bm(m=1〜M)と第2の縮小遅延フレームSF2の第mのブロックデータF2Bmに基づいて、例えばこれらの画素ごとの平均を求めることで、第1群の第mのテスト補間データTDmを生成し、相関値算出部5A−mに出力する。   Generally speaking, the test interpolation data generation unit 4-m converts the mth block data F0Bm (m = 1 to M) of the current reduced frame SF0 and the mth block data F2Bm of the second reduced delay frame SF2. Based on this, for example, an average for each pixel is obtained, and the m-th test interpolation data TDm of the first group is generated and output to the correlation value calculation unit 5A-m.

テスト補間部4さらに、現縮小フレームSF0のブロックのデータF0B1〜F0BMを、テスト補間データTDB1〜TDBMとして、相関値算出部5B−1〜5B−Mに出力し、第2の縮小遅延フレームSF2のブロックのデータF2B1〜F2BMを、テスト補間データTDC1〜TDCMとして相関値算出部5B−1〜5C−Mに出力する。
一般化して言えば、テスト補間部4は、現縮小フレームSF0の第mのブロックのデータF0Bmを、第2群の第mのテスト補間データTDBmとして相関値算出部5B−mに出力し、第2の縮小遅延フレームSF2の第mのブロックのデータF2Bmを、第3群の第mのテスト補間データTDCmとして相関値算出部5C−mに出力する。
Test interpolation unit 4 Furthermore, block data F0B1 to F0BM of the current reduced frame SF0 are output to the correlation value calculation units 5B-1 to 5B-M as test interpolation data TDB1 to TDBM, and the second reduced delay frame SF2 is output. The block data F2B1 to F2BM are output to the correlation value calculation units 5B-1 to 5C-M as test interpolation data TDC1 to TDCM.
Generally speaking, the test interpolation unit 4 outputs the mth block data F0Bm of the current reduced frame SF0 to the correlation value calculation unit 5B-m as the mth test interpolation data TDBm of the second group. The data F2Bm of the mth block of the second reduced delay frame SF2 is output to the correlation value calculation unit 5C-m as the mth test interpolation data TDCm of the third group.

第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータが補間データ評価部5内の相関値算出部5A−1〜5C−Mに入力される。   Data of the processing target block F1Ba of the first reduced delay frame SF1 is input to the correlation value calculation units 5A-1 to 5C-M in the interpolation data evaluation unit 5.

相関値算出部5A−1〜5C−Mは、それぞれテスト補間部4から出力されるテスト補間データTDA1〜TDCMと第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータの相関値、例えば差分絶対値和を算出し、評価データEDA1〜EDCMとして出力する。   Correlation value calculation units 5A-1 to 5C-M are respectively correlation values of test interpolation data TDA1 to TDCM output from test interpolation unit 4 and data of processing target block F1Ba of first reduced delay frame SF1, for example, absolute difference The sum of values is calculated and output as evaluation data EDA1 to EDCM.

相関値算出部5A−1は、第1群の第1のテスト補間データTDA1の各画素のデータと第1の縮小遅延フレームSF1の処理対象ブロックF1Baの各画素のデータの差分絶対値の和を算出し、評価データEDA1として動きベクトル決定部6に出力する。差分絶対値和は下記の式(1)により表される。   The correlation value calculation unit 5A-1 calculates the sum of absolute differences between the data of each pixel of the first group of first test interpolation data TDA1 and the data of each pixel of the processing target block F1Ba of the first reduced delay frame SF1. Calculated and output to the motion vector determination unit 6 as evaluation data EDA1. The sum of absolute differences is expressed by the following equation (1).

Figure 2013098961
Figure 2013098961

ここで、BK1、BK2はブロック内の各画素のデータであり、BK1をテスト補間データTDA1を構成する各画素のデータ、BK2を処理対象ブロックF1Ba内の各画素のデータとすると式(1)は第1群の第1のテスト補間データTDA1の各画素のデータと第1の遅延フレームF1の処理対象ブロックF1Baの各画素のデータの差分絶対値和となる。差分絶対値和SADは、相関の度合いを表すものであり、評価データEDA1として相関値算出部5A−1から出力される。   Here, BK1 and BK2 are the data of each pixel in the block, and BK1 is the data of each pixel constituting the test interpolation data TDA1, and BK2 is the data of each pixel in the processing target block F1Ba. This is the sum of absolute differences between the data of each pixel of the first group of first test interpolation data TDA1 and the data of each pixel of the processing target block F1Ba of the first delay frame F1. The difference absolute value sum SAD represents the degree of correlation, and is output from the correlation value calculation unit 5A-1 as evaluation data EDA1.

式(1)で与えられる差分絶対値和は、その値が小さいほど、相関が強いことを意味し、差分絶対値和SADを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。   The difference absolute value sum given by equation (1) means that the smaller the value, the stronger the correlation. When the difference absolute value sum SAD is used as evaluation data, the smaller the value, the higher the evaluation. Represent.

相関値算出部5A−2〜5C−Mも同様に、第1群の第2のテスト補間データTDA2乃至第3群の第Mのテスト補間データTDCMと第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータの差分絶対値和を算出し、評価データEDA2〜EDCMとして動きベクトル決定部6に出力する。   Similarly, the correlation value calculation units 5A-2 to 5C-M also process blocks of the first group of second test interpolation data TDA2 to the third group of M test interpolation data TDCM and the first reduced delay frame SF1. The sum of absolute differences of the F1Ba data is calculated and output to the motion vector determination unit 6 as evaluation data EDA2 to EDCM.

評価データEDA1〜EDCMのうち、第1群のテスト補間データTDA1〜TDAMに対応するものを第1群の評価データEDA1〜EDAMと言い、第2群のテスト補間データTDB1〜TDBMに対応するものを第2群の評価データEDB1〜EDBMと言い、第3群のテスト補間データTDC1〜TDCMに対応するものを第3群の評価データEDC1〜EDCMと言う。   Of the evaluation data EDA1 to EDCM, the data corresponding to the first group of test interpolation data TDA1 to TDAM is referred to as the first group of evaluation data EDA1 to EDAM, and the data corresponding to the second group of test interpolation data TDB1 to TDAM. The second group of evaluation data EDB1 to EDBM is referred to as the third group of test interpolation data TDC1 to TDCM, and the third group of evaluation data EDC1 to EDCM is referred to as the third group of evaluation data EDC1 to EDCM.

動きベクトル決定部6は、評価データEDA1〜EDCMのうちの値が最小のもの(最も高い評価を示すもの)を見つける。   The motion vector determination unit 6 finds the one having the smallest value among the evaluation data EDA1 to EDCM (indicating the highest evaluation).

評価データEDA1〜EDCMのうち値が最小のものが第1群の評価データEDA1〜EDAMのいずれかである場合には、動きベクトル決定部6は、第1の縮小遅延フレームSF1の処理対象ブロックF1Baの位置に対する、当該最小値の評価データに対応する、第2の縮小遅延フレームSF2内のブロックの相対位置(位置の差)を第1の縮小動きベクトルSMV1として出力し、第1の縮小遅延フレームSF1の処理対象ブロックF1Baの位置に対する、当該最小値の評価データに対応する、現縮小フレームSF0内のブロックの相対位置(位置の差)を第2の縮小動きベクトルSMV2として出力する。なお、同じ評価データに対応する第2の縮小遅延フレームSF2内のブロックと現縮小フレームSF0内のブロックとは、処理対象ブロックF1Baを中心として点対称の位置にあるので、SMV2=−SMV1の関係がある。   When the evaluation data EDA1 to EDCM having the smallest value is any one of the first group of evaluation data EDA1 to EDAM, the motion vector determination unit 6 performs the processing target block F1Ba of the first reduced delay frame SF1. The relative position (positional difference) of the block in the second reduced delay frame SF2 corresponding to the evaluation data of the minimum value with respect to the position of is output as the first reduced motion vector SMV1, and the first reduced delay frame The relative position (positional difference) of the block in the current reduced frame SF0 corresponding to the evaluation data of the minimum value with respect to the position of the processing target block F1Ba of SF1 is output as the second reduced motion vector SMV2. Note that the block in the second reduced delay frame SF2 and the block in the current reduced frame SF0 corresponding to the same evaluation data are in a point-symmetrical position with respect to the processing target block F1Ba, so that SMV2 = −SMV1. There is.

評価データEDA1〜EDCMのうち値が最小のものが第2群の評価データEDB1〜EDBMのいずれかである場合には、動きベクトル決定部6は、第1の縮小遅延フレームSF1の処理対象ブロックF1Baの位置に対する、当該最小値の評価データに対応する、現縮小フレームSF0内のブロックの相対位置(位置の差)を第2の縮小動きベクトルSMV2として出力し、第1の縮小動きベクトルSMV1の代わりに対応するブロックがない(差分絶対値和が十分に小さいブロックがない)こと、即ち有効データがないことを示す信号(データ乃至フラグ)を出力する。   When the evaluation data EDA1 to EDCM having the smallest value is any one of the second group of evaluation data EDB1 to EDBM, the motion vector determination unit 6 performs the processing target block F1Ba of the first reduced delay frame SF1. The relative position (positional difference) of the block in the current reduced frame SF0 corresponding to the evaluation data of the minimum value is output as the second reduced motion vector SMV2, and instead of the first reduced motion vector SMV1 A signal (data or flag) indicating that there is no block corresponding to (no block with sufficiently small sum of absolute differences), that is, there is no valid data is output.

評価データEDA1〜EDCMのうち値が最小のものが第3群の評価データEDB1〜EDCMのいずれかである場合には、動きベクトル決定部6は、第1の縮小遅延フレームSF1の処理対象ブロックF1Baの位置に対する、当該最小値の評価データに対応する、第2の縮小遅延フレームSF1内のブロックの相対位置(位置の差)を第1の縮小動きベクトルSMV1として出力し、第2の縮小動きベクトルSMV2の代わりに対応するブロックがない(差分絶対値和が十分に小さいブロックがない)こと、即ち有効データがないことを示す信号を出力する。   When the evaluation data EDA1 to EDCM having the smallest value is any one of the third group of evaluation data EDB1 to EDCM, the motion vector determination unit 6 performs the processing target block F1Ba of the first reduced delay frame SF1. The relative position (positional difference) of the block in the second reduced delay frame SF1 corresponding to the evaluation data of the minimum value with respect to the position of is output as the first reduced motion vector SMV1, and the second reduced motion vector Instead of SMV2, a signal indicating that there is no corresponding block (no block having a sufficiently small difference absolute value sum), that is, no valid data is output.

動きベクトル拡大部7は、下記の式(2A)及び式(2B)により縮小動きベクトルSMV1及びSMV2を拡大して、動きベクトルMV1及びMV2を出力する。ここで、縮小動きベクトルSMV1及びSMV2は縮小画像における値であり、動きベクトルMV1及びMV2は入力画像における値である。つまり、縮小動きベクトルSMV1及びSMV2は、それぞれ第2の縮小遅延フレームSF2から第1の縮小遅延フレームSF1及び現縮小フレームSF0から第1の縮小遅延フレームSF1への動きベクトルであり、動きベクトルMV1及びMV2はそれぞれ第2の遅延フレームF2から第1の遅延フレームF1、及び現フレームF0から第1の遅延フレームF1への動きベクトルである。   The motion vector enlargement unit 7 enlarges the reduced motion vectors SMV1 and SMV2 by the following equations (2A) and (2B), and outputs the motion vectors MV1 and MV2. Here, the reduced motion vectors SMV1 and SMV2 are values in the reduced image, and the motion vectors MV1 and MV2 are values in the input image. That is, the reduced motion vectors SMV1 and SMV2 are motion vectors from the second reduced delay frame SF2 to the first reduced delay frame SF1 and from the current reduced frame SF0 to the first reduced delay frame SF1, respectively, and the motion vectors MV1 and MV2 is a motion vector from the second delay frame F2 to the first delay frame F1, and from the current frame F0 to the first delay frame F1, respectively.

MV1=SMV1/α …(2A)
MV2=SMV2/α …(2B)
MV1 = SMV1 / α (2A)
MV2 = SMV2 / α (2B)

ただし、縮小動きベクトルSMV1の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルMV1の代わりに対応ブロックなしを示す信号を出力し、縮小動きベクトルSMV2の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルMV2の代わりに対応ブロックなしを示す信号を出力する。   However, when a signal indicating no corresponding block is output instead of the reduced motion vector SMV1, a signal indicating no corresponding block is output instead of the motion vector MV1, and no corresponding block is indicated instead of the reduced motion vector SMV2. When a signal is output, a signal indicating no corresponding block is output instead of the motion vector MV2.

図4は、動きベクトル検出部12の動作を説明するための図である。ここでは、M=1の場合について説明する。
第1の縮小遅延フレームSF1の一部の領域が第1の縮小遅延フレームSF1の処理対象ブロックF1Baとして切り出されている。
FIG. 4 is a diagram for explaining the operation of the motion vector detection unit 12. Here, the case where M = 1 will be described.
A partial area of the first reduced delay frame SF1 is cut out as a processing target block F1Ba of the first reduced delay frame SF1.

第1の縮小遅延フレームSF1の処理対象ブロックF1Baに対してベクトル−V1ずらした位置に対応する領域が第2の縮小遅延フレームSF2の第1のブロックデータF2B1として設定されて切り出され、ベクトル+Vずらした位置に対応する領域が現縮小フレームSF0の第1のブロックデータF0B1として設定されて切り出される。   An area corresponding to the position shifted by the vector −V1 with respect to the processing target block F1Ba of the first reduced delay frame SF1 is set and cut out as the first block data F2B1 of the second reduced delay frame SF2, and shifted by the vector + V. The area corresponding to the selected position is set and cut out as the first block data F0B1 of the current reduced frame SF0.

テスト補間データ生成部4−1は、現縮小フレームSF0の第1のブロックデータF0B1と第2の縮小遅延フレームSF2の第1のブロックデータF2B1を画素ごとに平均してテスト補間データTDA1を生成する。
さらに、テスト補間部4は、現縮小フレームSF0の第1のブロックデータF0B1をテスト補間データTDB1として、第2の縮小遅延フレームSF2の第1のブロックデータF2B1をテスト補間データTDC1として出力する。
The test interpolation data generation unit 4-1 generates the test interpolation data TDA1 by averaging the first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 for each pixel. .
Further, the test interpolation unit 4 outputs the first block data F0B1 of the current reduced frame SF0 as test interpolation data TDB1, and the first block data F2B1 of the second reduced delay frame SF2 as test interpolation data TDC1.

相関値算出部5A−1は、テスト補間データTDA1と第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータから上記の式(1)を使って差分絶対値和SADを算出し、評価データEDA1として出力する。   The correlation value calculation unit 5A-1 calculates the difference absolute value sum SAD from the test interpolation data TDA1 and the data of the processing target block F1Ba of the first reduced delay frame SF1 using the above equation (1), and the evaluation data EDA1 Output as.

相関値算出部5B−1も同様に、テスト補間データTDB1と第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータから上記の式(1)を使って差分絶対値和SADを算出し、評価データEDB1として出力する。
相関値算出部5C−1も同様に、テスト補間データTDC1と第1の縮小遅延フレームSF1の処理対象ブロックF1Baのデータから上記の式(1)を使って差分絶対値和SADを算出し、評価データEDC1として出力する。
Similarly, the correlation value calculator 5B-1 calculates the difference absolute value sum SAD from the test interpolation data TDB1 and the data of the processing target block F1Ba of the first reduced delay frame SF1 using the above equation (1), and evaluates it. Output as data EDB1.
Similarly, the correlation value calculation unit 5C-1 calculates the difference absolute value sum SAD from the test interpolation data TDC1 and the data of the processing target block F1Ba of the first reduced delay frame SF1 using the above equation (1) and evaluates it. Output as data EDC1.

動きベクトル決定部6は、評価データEDA1、EDB1、EDC1のうち最小の値を生じさせたブロック又はブロック対と第1の縮小遅延フレームSF1内の処理対象ブロックF1Baの相対位置に基づいて縮小動きベクトルを求める。   The motion vector determination unit 6 reduces the motion vector based on the relative position of the block or block pair that generated the minimum value of the evaluation data EDA1, EDB1, and EDC1 and the processing target block F1Ba in the first reduced delay frame SF1. Ask for.

評価データEDA1が最小値である場合には、第1の縮小遅延フレームSF1内の処理対象ブロックF1Baに対する第2の縮小フレームSF2内のブロックの相対位置を第1の縮小動きベクトルSMV1(=V1)として出力し、第1の縮小遅延フレームSF1内の処理対象ブロックF1Baに対する現縮小フレームSF0内のブロックの相対位置を第2の縮小動きベクトルSMV2(=−V1)として出力する。   When the evaluation data EDA1 is the minimum value, the relative position of the block in the second reduced frame SF2 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is expressed as the first reduced motion vector SMV1 (= V1). And the relative position of the block in the current reduced frame SF0 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is output as the second reduced motion vector SMV2 (= −V1).

評価データEDB1が最小値である場合、第1の縮小動きベクトルSMV1の代わりに、対応ブロックなしを示す信号が出力され、第1の縮小遅延フレームSF1内の処理対象ブロックF1Baに対する現縮小フレームSF0内のブロックの相対位置が第2の縮小動きベクトルSMV2(=−V1)として出力される。   When the evaluation data EDB1 is the minimum value, a signal indicating no corresponding block is output instead of the first reduced motion vector SMV1, and the signal in the current reduced frame SF0 for the processing target block F1Ba in the first reduced delay frame SF1 is output. Is output as the second reduced motion vector SMV2 (= −V1).

評価データEDC1が最小値である場合、第1の縮小遅延フレームSF1内の処理対象ブロックF1Baに対する第2の縮小遅延フレームSF2内のブロックの相対位置が第1の縮小動きベクトルSMV1(=V1)として出力され、第2の縮小動きベクトルSMV2の代わりに対応ブロックなしを示す信号が出力される。   When the evaluation data EDC1 is the minimum value, the relative position of the block in the second reduced delay frame SF2 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is the first reduced motion vector SMV1 (= V1). And a signal indicating no corresponding block is output instead of the second reduced motion vector SMV2.

図4では、M=1の場合について説明したが、本発明に係る実施の形態の構成はM=1に限定されない。即ち、候補としてのベクトルに対応するブロック対を2個以上設定しても良い。例えば、第1の縮小遅延フレーム内の処理対象ブロックF1Baに対して、所定の動き量に対応する探索範囲内に位置する第2の縮小遅延フレーム内のすべてのブロック及びこれと点対称位置にある現縮小フレーム内のブロックから成るブロック対について平均値の算出によるテスト補間データの生成を行うこととしても良い。   Although the case of M = 1 has been described in FIG. 4, the configuration of the embodiment according to the present invention is not limited to M = 1. That is, two or more block pairs corresponding to candidate vectors may be set. For example, with respect to the processing target block F1Ba in the first reduced delay frame, all the blocks in the second reduced delay frame located within the search range corresponding to the predetermined motion amount and point symmetric positions thereof. Test interpolation data may be generated by calculating an average value for a block pair consisting of blocks in the current reduced frame.

動きベクトル検出部12では、上記のように実在のデータである第1の縮小遅延フレームSF1内のデータを用いて第1の縮小遅延フレームSF2内のブロック及び現縮小フレームSF0内のブロックから成るブロック対に対応するベクトルの候補を評価することにより動きベクトルを決定しているので第2の縮小遅延フレームSF1及び現縮小フレームSF0から第1の縮小遅延フレームSF1への動きベクトルを精度良く算出することができる。
さらに、第2の縮小遅延フレームSF2内のデータのみ、或いは現縮小フレームSF0内のデータのみを、ベクトル候補に対応するテスト補間データとして用いているので、第2の縮小遅延フレームから現縮小フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。
The motion vector detection unit 12 uses the data in the first reduced delay frame SF1, which is actual data as described above, to make up a block consisting of a block in the first reduced delay frame SF2 and a block in the current reduced frame SF0. Since the motion vector is determined by evaluating the vector candidate corresponding to the pair, the motion vector from the second reduced delay frame SF1 and the current reduced frame SF0 to the first reduced delay frame SF1 is accurately calculated. Can do.
Furthermore, since only the data in the second reduced delay frame SF2 or only the data in the current reduced frame SF0 is used as test interpolation data corresponding to the vector candidate, the second reduced delay frame to the current reduced frame are changed. Even if an object is hidden or appears in between, a motion vector can be calculated with high accuracy.

なお、補間データ評価部5では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。即ち、補間データ評価部5は、テスト補間データと、処理対象ブロックのデータとの相関を求めるものであれば良く、該相関を示す指標(相関値)は、差分絶対値和以外のものであっても良い。   The interpolation data evaluation unit 5 calculates the evaluation data using the sum of absolute differences, but there are many other functions for obtaining the correlation, such as the sum of square errors, and these can be replaced. That is, the interpolation data evaluation unit 5 only needs to obtain the correlation between the test interpolation data and the data of the processing target block, and the index (correlation value) indicating the correlation is other than the sum of absolute differences. May be.

また、動きベクトル決定部6では、テスト補間データTDA1〜TDCM相互間に異なる重みをつけることで、いずれかのテスト補間データに対応するベクトル候補が、求める動きベクトルであると判定される可能性を高めるようにしても良い。
例えば、相関値算出部5B−1〜5C−Mで求めた差分絶対値和にある係数β1を乗算したものを評価データEDB1〜EDCMとして出力し、相関値算出部5A−1〜5A−Mで求めた差分絶対値和に対して上記の係数β1より小さい係数β2を乗算したものを評価データEDA1〜EDAMとして出力し、動きベクトル決定部6で、これらの評価データEDA1〜EDCMのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データTDA1〜TDAMに対応するブロック対が求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データTDA1〜TDAMに対応するブロック対に対応するベクトルを優先的に動きベクトルとして選択することができる。
Further, the motion vector determination unit 6 assigns different weights between the test interpolation data TDA1 to TDCM, thereby determining that a vector candidate corresponding to any one of the test interpolation data is determined to be a desired motion vector. You may make it raise.
For example, the value obtained by multiplying the sum of absolute differences obtained by the correlation value calculation units 5B-1 to 5C-M by the coefficient β1 is output as the evaluation data EDB1 to EDCM, and the correlation value calculation units 5A-1 to 5A-M A value obtained by multiplying the obtained sum of absolute differences by a coefficient β2 smaller than the coefficient β1 is output as evaluation data EDA1 to EDAM, and the motion vector determination unit 6 determines that the value of these evaluation data EDA1 to EDCM is You may try to find the smallest one. In this way, it is possible to increase the possibility that the block pair corresponding to the test interpolation data TDA1 to TDAM is determined to correspond to the motion vector obtained. In other words, a vector corresponding to a block pair corresponding to the test interpolation data TDA1 to TDAM can be preferentially selected as a motion vector.

逆に、相関値算出部5B−1〜5C−Mで求めた差分絶対値和にある係数β1を乗算したものを評価データEDB1〜EDCMとして出力し、相関値算出部5A−1〜5A−Mで求めた差分絶対値和に対して上記の係数β1より大きい係数β2を乗算したものを評価データEDA1〜EDAMとして出力し、動きベクトル決定部6で、これらの評価データEDA1〜EDCMのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データTDB1〜TDCMに対応するブロックが、求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データTDB1〜TDCMに対応するブロックに対応するベクトルを優先的に動きベクトルとして選択することができる。   Conversely, the sum of absolute differences obtained by the correlation value calculation units 5B-1 to 5C-M is multiplied by the coefficient β1 and output as evaluation data EDB1 to EDCM, and the correlation value calculation units 5A-1 to 5A-M. Is obtained by multiplying the sum of absolute differences obtained by the above by the coefficient β2 larger than the coefficient β1 as the evaluation data EDA1 to EDAM, and the motion vector determination unit 6 determines the value of the evaluation data EDA1 to EDCM. You may try to find the smallest one. In this way, it is possible to increase the possibility that the block corresponding to the test interpolation data TDB1 to TDCM is determined to correspond to the desired motion vector. In other words, a vector corresponding to a block corresponding to the test interpolation data TDB1 to TDCM can be preferentially selected as a motion vector.

なお、このような重み付けに加えて、他の要因による重み付けを加えても良い。
例えば、第2の縮小遅延フレームSF2及び現縮小フレームSF0内のブロックのうち、第1の縮小遅延フレームSF1内の処理対象ブロックF1Baの位置に近いブロック又はブロック対(対応するベクトルの絶対値が小さいブロック)について求められる差分絶対値和に対してより小さな係数を乗算することで、より近いブロック又はブロック対が、求める動きベクトルに対応するものと判断される可能性を高めることとしても良い。
要するに、評価データは、差分絶対値和、或いは他の相関値に基づいて定められるものであれば良い。
In addition to such weighting, weighting due to other factors may be added.
For example, among the blocks in the second reduced delay frame SF2 and the current reduced frame SF0, a block or a block pair close to the position of the processing target block F1Ba in the first reduced delay frame SF1 (the absolute value of the corresponding vector is small) It is also possible to increase the possibility that a closer block or block pair is determined to correspond to the desired motion vector by multiplying the sum of absolute differences obtained for the block) by a smaller coefficient.
In short, the evaluation data only needs to be determined based on the sum of absolute differences or other correlation values.

次に、図5〜図7を参照して、動きベクトル変換部13及び補間フレーム生成部14の動作についてより詳細に説明する。   Next, operations of the motion vector conversion unit 13 and the interpolation frame generation unit 14 will be described in more detail with reference to FIGS.

動きベクトル変換部13は、第2の遅延フレームF2から第1の遅延フレームF1への第1の動きベクトルMV1及び現フレームF0から第1の遅延フレームF1への第2の動きベクトルMV2を、第1の遅延フレームF1から補間フレームIFへの第3の動きベクトルMV3と、現フレームF0から補間フレームIFへの第4の動きベクトルMV4に変換する。   The motion vector conversion unit 13 obtains the first motion vector MV1 from the second delay frame F2 to the first delay frame F1 and the second motion vector MV2 from the current frame F0 to the first delay frame F1. The third motion vector MV3 from one delay frame F1 to the interpolation frame IF and the fourth motion vector MV4 from the current frame F0 to the interpolation frame IF are converted.

図5〜図7に示すように入力フレームの時間間隔をt1、第1の遅延フレームF1から補間フレームIFへの時間間隔をt2とした時、下記の式(3A)及び式(3B)により動きベクトルMV3及びMV4を算出する。たとえば、60Hzの入力画像信号から120Hzの画像信号に変換する場合、t1は1/60秒、t2は1/120秒となる。   As shown in FIGS. 5 to 7, when the time interval of the input frame is t1, and the time interval from the first delay frame F1 to the interpolation frame IF is t2, the motion is expressed by the following equations (3A) and (3B). Vectors MV3 and MV4 are calculated. For example, when converting an input image signal of 60 Hz to an image signal of 120 Hz, t1 is 1/60 seconds and t2 is 1/120 seconds.

MV3=MV1×t2/t1 …(3A)
MV4=MV2×(t1−t2)/t1 …(3B)
MV3 = MV1 × t2 / t1 (3A)
MV4 = MV2 × (t1−t2) / t1 (3B)

ただし、動きベクトルMV1の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルMV3の代わりに対応ブロックなしを示す信号を出力し、動きベクトルMV2の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルMV4の代わりに対応ブロックなしを示す信号を出力する。   However, when a signal indicating no corresponding block is output instead of the motion vector MV1, a signal indicating no corresponding block is output instead of the motion vector MV3, and a signal indicating no corresponding block is output instead of the motion vector MV2. If it is output, a signal indicating no corresponding block is output instead of the motion vector MV4.

このようにして第3及び第4の動きベクトルMV3及びMV4を求めたら、図5〜図7に示すように補間フレームIFからベクトル−MV3の位置の、縮小前の第1の遅延フレームF1のデータ(処理対象ブロックF1Baに対応するブロックF1Bb内のデータ)と補間フレームIFからベクトル−MV4の位置の、縮小前の現フレームF0のデータ(ブロックF1Bbと同じ大きさのブロックのデータ)の双方又は一方に基づいて補間フレームIFのデータ(ブロックF1Bbと同じ大きさのブロックIFBbのデータ)を求める。   When the third and fourth motion vectors MV3 and MV4 are obtained in this way, the data of the first delay frame F1 before reduction at the position of the vector -MV3 from the interpolation frame IF as shown in FIGS. (Data in block F1Bb corresponding to processing target block F1Ba) and / or data of current frame F0 before reduction (data of block having the same size as block F1Bb) at the position of vector-MV4 from interpolation frame IF The data of the interpolation frame IF (the data of the block IFBb having the same size as the block F1Bb) is obtained based on the above.

例えば、図5に示すように、第3及び第4の動きベクトルMV3及びMV4の双方とも、有効なデータである場合(「対応ブロックなし」ではない場合)には、上記の第1の遅延フレームF1内のデータ及び現フレームF0内のデータの平均を補間フレームIFのデータとして算出する。生成したデータから成る補間フレームIFのデータを第1の遅延フレームF1のデータと現フレームF0のデータ間に配置して出力する。
このとき、補間に用いられる第1の遅延フレームF1のブロックデータ(第1の縮小遅延フレームSF1の処理対象ブロックF1Baに対応するブロックF1Bbのデータ)と、現フレームF0のブロックデータ(現縮小フレームSF0のブロックF0B1に対応するブロック)とは、補間フレームIF内の補間により得られるデータの位置を中心として、互いに対称の位置にある。
For example, as shown in FIG. 5, when both the third and fourth motion vectors MV3 and MV4 are valid data (not “no corresponding block”), the first delay frame described above is used. The average of the data in F1 and the data in the current frame F0 is calculated as the data of the interpolation frame IF. The interpolation frame IF data composed of the generated data is arranged and output between the data of the first delay frame F1 and the data of the current frame F0.
At this time, block data of the first delay frame F1 used for interpolation (data of the block F1Bb corresponding to the processing target block F1Ba of the first reduced delay frame SF1) and block data of the current frame F0 (current reduced frame SF0) And a block corresponding to the block F0B1) are symmetrical with respect to the position of data obtained by interpolation in the interpolation frame IF.

図6又は図7に示すように、第3及び第4の動きベクトルMV3及びMV4の一方の代わりに「対応ブロックなし」の信号が出力されている場合には、他方の動きベクトル(第3及び第4の動きベクトルMV3及びMV4のうちの有効なベクトル)に対応する第1の遅延フレームF1内のデータ又は現フレームF0内のデータを、補間フレームIFのデータ(ブロックF1Bbと同じ大きさのブロックIFBbのデータ)として出力する。図6は、第4の動きベクトルMV4の代わりに「対応ブロックなし」の信号が出力されている場合を示し、図7は、第3の動きベクトルMV3の代わりに「対応ブロックなし」の信号が出力されている場合を示す。このように一方のフレーム内のデータをそのまま補間フレームのデータとして出力する処理は「零次補間」と呼ばれる。
補間フレーム生成部14は、このようにして得られたデータから成る補間フレームIFのデータを第1の遅延フレームF1のデータと現フレームF0のデータ間に配置して出力する。
As shown in FIG. 6 or FIG. 7, when a “no corresponding block” signal is output instead of one of the third and fourth motion vectors MV3 and MV4, the other motion vector (third and The data in the first delay frame F1 or the data in the current frame F0 corresponding to the fourth motion vector MV3 and MV4) is the data of the interpolation frame IF (block having the same size as the block F1Bb). (IFBb data). FIG. 6 shows a case where a “no corresponding block” signal is output instead of the fourth motion vector MV4, and FIG. 7 shows that a “no corresponding block” signal is output instead of the third motion vector MV3. Indicates the case of output. The process of outputting data in one frame as it is as interpolation frame data in this way is called “zero-order interpolation”.
The interpolation frame generation unit 14 arranges and outputs the data of the interpolation frame IF composed of the data obtained in this way between the data of the first delay frame F1 and the data of the current frame F0.

図8は、動きベクトル検出部12に入力される現フレームF0のデータ、第1の遅延フレームF1のデータ、第2のフレームF2のデータの対応関係を説明するための図である。図8に示すような映像を表す信号が入力された場合の本実施の形態1の動作を説明する。図8に示す映像においては、クロスハッチングで示す丸BCが時間とともに画面の左上から右下へ移動しており、その背後にある英文字(移動なし)が隠れたり見えたりしている。   FIG. 8 is a diagram for explaining a correspondence relationship between the data of the current frame F0, the data of the first delay frame F1, and the data of the second frame F2 input to the motion vector detection unit 12. The operation of the first embodiment when a signal representing a video as shown in FIG. 8 is input will be described. In the video shown in FIG. 8, a circle BC indicated by cross hatching moves from the upper left to the lower right of the screen with time, and the English character (no movement) behind it is hidden or visible.

図9は図8に示す入力画像を縮小した画像データを示す図である。但し、図9でも画像は図8と同じ大きさに描いてある。図8の画像の要素(丸BC及びA〜Jを示す文字は、図9でもそのまま現れており、従って、英文字A〜Jが丸BCの陰に隠れたり、見えたりしている。
図10〜図16はテスト補間部4及び補間データ評価部5の動作を説明するための図である。図17は動きベクトル拡大部7の動作を説明するための図である。
FIG. 9 is a diagram showing image data obtained by reducing the input image shown in FIG. However, in FIG. 9, the image is drawn in the same size as FIG. The elements of the image in FIG. 8 (characters indicating the circles BC and A to J appear as they are in FIG. 9, and thus the English characters A to J are hidden or visible behind the circle BC.
10-16 is a figure for demonstrating operation | movement of the test interpolation part 4 and the interpolation data evaluation part 5. FIG. FIG. 17 is a diagram for explaining the operation of the motion vector enlargement unit 7.

図9に示すような第2の縮小遅延フレームSF2のデータ、第1の縮小遅延フレームSF1のデータ、現縮小フレームSF0のデータを入力とした場合の動きベクトル検出部12の動作を説明する。なお、ここではM=2を想定している。   The operation of the motion vector detector 12 when the data of the second reduced delay frame SF2, the data of the first reduced delay frame SF1, and the data of the current reduced frame SF0 as shown in FIG. 9 are input will be described. Here, M = 2 is assumed.

テスト補間部4では、動きベクトルの候補ごとにテスト補間データを生成する。
例えば、図10に示すように第1の縮小遅延フレームSF1の一部の領域を第1の縮小遅延フレームSF1の処理対象ブロックF1Baとし、第1の縮小遅延フレームSF1の処理対象ブロックF1Baから−V1ずらした位置の第2の縮小遅延フレームSF2のブロックを第1のブロックF2B1とし、第1の縮小遅延フレームSF1の処理対象ブロックF1BaからV1ずらした位置の現縮小フレームSF0のブロックをブロックF0B1とする。
また、第1の縮小遅延フレームSF1の処理対象ブロックF1Baから−V2ずらした位置の第2の縮小遅延フレームSF2のブロックをブロックF2B2とし、第1の縮小遅延フレームSF1の処理対象ブロックF1BaからV2ずらした位置の現縮小フレームSF0のブロックをブロックF0B2とする。
The test interpolation unit 4 generates test interpolation data for each motion vector candidate.
For example, as shown in FIG. 10, a partial area of the first reduced delay frame SF1 is set as the processing target block F1Ba of the first reduced delay frame SF1, and the processing target block F1Ba of the first reduced delay frame SF1 is -V1. The block of the second reduced delay frame SF2 at the shifted position is set as the first block F2B1, and the block of the current reduced frame SF0 at the position shifted by V1 from the processing target block F1Ba of the first reduced delay frame SF1 is set as the block F0B1. .
Further, the block of the second reduced delay frame SF2 at the position shifted by −V2 from the processing target block F1Ba of the first reduced delay frame SF1 is referred to as a block F2B2, and is shifted by V2 from the processing target block F1Ba of the first reduced delay frame SF1. The block of the current reduced frame SF0 at the position is designated as block F0B2.

図11に示すように、ブロックF2B1のデータとブロックF0B1のデータから得られる画素ごとの平均をテスト補間データTDA1として生成する。
同様に、図12に示すようにブロックF2B2のデータとブロックF0B2のデータから画素ごとの平均をテスト補間データTDA2として生成する。
さらに、図13及び図14に示すように、ブロックF0B1、F0B2のデータをそれぞれテスト補間データTDB1、TDB2として出力する。
同様に、図15及び図16に示すように、ブロックF2B1、F2B2のデータをそれぞれテスト補間データTDC1、TDC2として出力する。
As shown in FIG. 11, an average for each pixel obtained from the data of the block F2B1 and the data of the block F0B1 is generated as the test interpolation data TDA1.
Similarly, as shown in FIG. 12, an average for each pixel is generated as test interpolation data TDA2 from the data of block F2B2 and the data of block F0B2.
Further, as shown in FIGS. 13 and 14, the data of the blocks F0B1 and F0B2 are output as test interpolation data TDB1 and TDB2, respectively.
Similarly, as shown in FIGS. 15 and 16, the data of the blocks F2B1 and F2B2 are output as test interpolation data TDC1 and TDC2, respectively.

補間データ評価部5では、図11〜図16に示されるテスト補間データTDA1〜TD6の各々と処理対象ブロックF1Baのデータとの差分絶対値和を算出し、評価データEDA1〜ED6を出力する。図9〜図16の具体例では、第1の縮小遅延フレームSF1上の文字「F」を表す領域が処理対象ブロックF1Baとなっており、この文字「F」が、第2の縮小遅延フレームSF2および第1の縮小遅延フレームSF1では見えているが、現縮小フレームF0ではハッチングで示す丸BCの陰に隠れており、従って、第2の縮小遅延フレームSF2内の文字「F」を表す領域から成るブロックF2B1から得られたテスト補間データTD5と、処理対象ブロックF1Baとの差分絶対値和、即ち評価データED5が最小となる。   The interpolation data evaluation unit 5 calculates the sum of absolute differences between the test interpolation data TDA1 to TD6 shown in FIGS. 11 to 16 and the data of the processing target block F1Ba, and outputs evaluation data EDA1 to ED6. In the specific examples of FIGS. 9 to 16, the region representing the character “F” on the first reduced delay frame SF1 is the processing target block F1Ba, and this character “F” is the second reduced delay frame SF2. Although it is visible in the first reduced delay frame SF1, it is hidden behind the circle BC indicated by hatching in the current reduced frame F0. Therefore, from the region representing the character “F” in the second reduced delay frame SF2. The sum of absolute differences between the test interpolation data TD5 obtained from the block F2B1 and the processing target block F1Ba, that is, the evaluation data ED5 is minimized.

動きベクトル決定部6では、評価データEDA1〜ED6のうち一番小さい評価データED5に対応した縮小動きベクトルSMV1(=V1)を出力し、縮小動きベクトルSMV2の代わりに対応ブロックなしを示す信号を出力する。   The motion vector determination unit 6 outputs the reduced motion vector SMV1 (= V1) corresponding to the smallest evaluation data ED5 among the evaluation data EDA1 to ED6, and outputs a signal indicating that there is no corresponding block instead of the reduced motion vector SMV2. To do.

動きベクトル拡大部7では、縮小動きベクトルSMV1とSMV2に対して上記の式(2A)及び式(2B)を用いて、第2の遅延フレームF2から第1の遅延フレームF1への動きベクトルMV1と現フレームF0から第1の遅延フレームF1への動きベクトルMV2を出力する(図17)。
先にも述べたように、縮小動きベクトルの一方の代わりに対応ブロックなしを示す信号が出力されている場合には、当該縮小動きベクトルに対応する動きベクトル(MV1又はMV2)に対しても、代わりに「対応ブロックなし」を示す信号が出力されるので、図9〜図16の例では、動きベクトルMV1(=V1/α)が出力されるとともに、MV2の代わりに対応ブロックなしを示す信号が出力される。
The motion vector enlargement unit 7 uses the above equations (2A) and (2B) for the reduced motion vectors SMV1 and SMV2, and the motion vector MV1 from the second delay frame F2 to the first delay frame F1 A motion vector MV2 from the current frame F0 to the first delay frame F1 is output (FIG. 17).
As described above, when a signal indicating no corresponding block is output instead of one of the reduced motion vectors, the motion vector (MV1 or MV2) corresponding to the reduced motion vector is also output. Instead, a signal indicating “no corresponding block” is output. Therefore, in the examples of FIGS. 9 to 16, the motion vector MV1 (= V1 / α) is output, and a signal indicating no corresponding block is used instead of MV2. Is output.

第1の遅延フレームF1を縮小した第1の縮小遅延フレームSF1についてもれなく(隙間なく)ブロックを設定し縮小動きベクトルを算出することで第1の縮小遅延フレームSF1のすべての部分について第1及び第2の縮小動きベクトルSMV1及び/又はSMV2を、生成し、第1及び第2の縮小動きベクトルSMV1、SMV2を拡大することで、第1及び第2の動きベクトルMV1及び/又はMV2を得て、上記第1の縮小遅延フレームSF1内の上記の画素に対応する第1の遅延フレームF1内の画素に対応する位置、例えば同じ位置にある、補間フレームIF内の画素について、第1及び第2の動きベクトルMV1及びMV2を用いた変換を行うことで、第3及び第4の動きベクトルMV3及びMV4を求めることとしても良い。   By setting a block without any gap (no gap) and calculating a reduced motion vector for the first reduced delay frame SF1 obtained by reducing the first delayed frame F1, the first and second portions of the first reduced delay frame SF1 are all calculated. Generating two reduced motion vectors SMV1 and / or SMV2 and expanding the first and second reduced motion vectors SMV1, SMV2 to obtain first and second motion vectors MV1 and / or MV2, For the pixel in the interpolation frame IF at the position corresponding to the pixel in the first delay frame F1 corresponding to the pixel in the first reduced delay frame SF1, for example, at the same position, the first and second It is also possible to obtain the third and fourth motion vectors MV3 and MV4 by performing conversion using the motion vectors MV1 and MV2. .

代わりに、第1の遅延フレームF1を縮小した第1の縮小遅延フレームSF1内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第1の縮小動きベクトルSMV1及び第2の縮小動きベクトルSMV2を生成し、第1及び第2の縮小動きベクトルSMV1、SMV2を拡大することで、第1及び第2の動きベクトルMV1及び/又はMV2を得て、上記第1の縮小遅延フレームSF1内の上記の画素に対応する第1の遅延フレームF1内の画素に対応する位置、例えば同じ位置にある、補間フレームIF内の画素について、第1及び第2の動きベクトルMV1及びMV2を用いた変換を行うことで、第3及び第4の動きベクトルMV3及びMV4を求めることとしても良い。   Instead, by performing the above processing on a block having a predetermined size centered on each pixel in the first reduced delay frame SF1 obtained by reducing the first delay frame F1, the first delay frame F1 is processed. The reduced motion vector SMV1 and the second reduced motion vector SMV2 are generated, and the first and second reduced motion vectors SMV1 and SMV2 are expanded to obtain the first and second motion vectors MV1 and / or MV2. The first and second pixels corresponding to the pixels in the first delay frame F1 corresponding to the pixels in the first reduced delay frame SF1, for example, the pixels in the interpolation frame IF at the same position The third and fourth motion vectors MV3 and MV4 may be obtained by performing conversion using the motion vectors MV1 and MV2.

図18(a)及び(b)は、動きベクトル変換部13の動作の具体例を説明するための図である。図18(a)は動きベクトル変換部13の入力、図18(b)は動きベクトル変換部13の出力を示す。   FIGS. 18A and 18B are diagrams for explaining a specific example of the operation of the motion vector conversion unit 13. 18A shows the input of the motion vector conversion unit 13, and FIG. 18B shows the output of the motion vector conversion unit 13.

動きベクトル変換部13は、図18(a)に示される、第2の遅延フレームF2から第1の遅延フレームF1への第1の動きベクトルMV1と、現フレームF0から第1の遅延フレームF1への動きベクトルMV2に対して上記の式(3A)及び式(3B)を用いて、図18(b)に示される、第1の遅延フレームF1から補間フレームIFへの第3の動きベクトルMV3と現フレームF0から補間フレームIFへの第4の動きベクトルMV4に変換する。図18(a)及び(b)に示す具体例では、MV1はV1/α、MV2の代わりに対応ブロックなしを示す信号が出力されており、t1は1/60秒、t2はt1の1/2に等しく1/120秒であり、上記の式(3A)及び式(3B)よりMV3はV1/2α、MV4の代わりに対応ブロックなしを示す信号が出力される。   The motion vector conversion unit 13 performs the first motion vector MV1 from the second delay frame F2 to the first delay frame F1 and the current frame F0 to the first delay frame F1 shown in FIG. The third motion vector MV3 from the first delay frame F1 to the interpolated frame IF shown in FIG. 18 (b) using the above equations (3A) and (3B) for the motion vector MV2 of The current frame F0 is converted into a fourth motion vector MV4 from the interpolation frame IF. In the specific examples shown in FIGS. 18A and 18B, MV1 outputs V1 / α and a signal indicating no corresponding block instead of MV2, t1 is 1/60 seconds, and t2 is 1 / t1 of t1. Is equal to 2 and 1/120 second, and from the above equations (3A) and (3B), MV3 outputs a signal indicating no corresponding block in place of V1 / 2α and MV4.

図19は、補間フレーム生成部14の動作の具体例を説明するための図である。図19は、図8〜図16と同様に、第1の遅延フレームF1上の文字「F」を表す領域が処理対象ブロックF1Baに対応するブロック(非縮小ブロック)F1Bbとなっており、この文字「F」が、第2の遅延フレームF2および第1の遅延フレームF1では見えているが、現フレームF0ではクロスハッチングで示す丸BCの陰に隠れており、従って、第2の遅延フレームF2内の文字「F」を表す領域から成るブロックF2B1から得られたテスト補間データTD5と、処理対象ブロックF1Baとの差分絶対値和、即ち評価データED5が最小となる場合を示している。この場合、図19に示すように補間フレームIFから−MV3動かした位置の第1の遅延フレームF1のデータを補間フレームIFのデータとして出力する。
このような処理を、補間フレームIF内のすべてのブロックに対して行うことで生成した補間フレームIFを第1の遅延フレームF1と現フレームF0の間に内挿して出力する。
FIG. 19 is a diagram for explaining a specific example of the operation of the interpolation frame generation unit 14. In FIG. 19, as in FIGS. 8 to 16, the area representing the character “F” on the first delay frame F1 is a block (non-reduced block) F1Bb corresponding to the processing target block F1Ba. “F” is visible in the second delay frame F2 and the first delay frame F1, but is hidden behind the circle BC indicated by cross-hatching in the current frame F0, and therefore in the second delay frame F2. This shows a case where the sum of absolute differences between the test interpolation data TD5 obtained from the block F2B1 including the region representing the character “F” and the processing target block F1Ba, that is, the evaluation data ED5 is minimized. In this case, as shown in FIG. 19, the data of the first delay frame F1 at the position moved by -MV3 from the interpolation frame IF is output as the data of the interpolation frame IF.
The interpolation frame IF generated by performing such processing for all the blocks in the interpolation frame IF is interpolated between the first delay frame F1 and the current frame F0 and output.

以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。   As described above, in the present embodiment, motion vectors are detected with high accuracy, and interpolation frames can be interpolated without image distortion. Furthermore, even when an object is hidden or appears before and after the interpolated frame, the interpolated frame can be interpolated without image distortion.

ここで現フレーム画像縮小部21、第1の遅延フレーム画像縮小部22、第2の遅延フレーム画像縮小部23にて画像縮小処理をした場合と画像縮小処理をしない場合を比較する。画像縮小部21、22、23による画像縮小処理をしない場合、動きベクトル検出部12では入力画像データがそのまま処理され、画像縮小部21、22、23による画像縮小処理をする場合、動きベクトル検出部12には縮小画像データが処理される。この時、動きベクトルの探索に当たり、同じ大きさのベクトルの範囲を探索するとした場合、縮小画像を使用した方が広い範囲を探索することができ、従って、大きい動きを検出することができる。
また、縮小画像を用いる場合には、各ブロックに含まれる画素の数が、非縮小画像の各ブロックに含まれる画素の数よりも少なく、各ブロックについての差分絶対値和の計算において計算に用いられる画素の数が少ないので、演算量が減少して、応答性が向上するとともに、回路規模を小さくすることができる。
Here, the case where the image reduction process is performed in the current frame image reduction unit 21, the first delay frame image reduction unit 22, and the second delay frame image reduction unit 23 is compared with the case where the image reduction process is not performed. When the image reduction processing by the image reduction units 21, 22, and 23 is not performed, the input image data is processed as it is in the motion vector detection unit 12, and when the image reduction processing by the image reduction units 21, 22, and 23 is performed, the motion vector detection unit In 12, the reduced image data is processed. At this time, when searching for a motion vector, if a range of vectors having the same size is searched, it is possible to search a wider range by using a reduced image, and therefore, a large motion can be detected.
In the case of using a reduced image, the number of pixels included in each block is smaller than the number of pixels included in each block of the non-reduced image, and is used for calculation in the calculation of the sum of absolute differences for each block. Since the number of pixels to be obtained is small, the amount of calculation is reduced, the responsiveness is improved, and the circuit scale can be reduced.

以上、本発明をハードウェアで実現する場合について説明したが、図1に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図20及び図21を参照して説明する。   The case where the present invention is realized by hardware has been described above, but part or all of the configuration shown in FIG. 1 can also be realized by software. Processing in that case will be described with reference to FIGS.

図20は、図1に示される構成のうち、フレームメモリ11、動きベクトル検出部12、動きベクトル変換部13及び補間フレーム生成部14による処理をソフトウェアで実現するための、コンピュータシステムで構成された画像処理装置を示す。図示の画像処理装置は、プロセッサ101と、プログラムメモリ102と、データメモリ103と、入力インターフェース104と、出力インターフェース105と、これらを接続するバス106を有する。   FIG. 20 is composed of a computer system for realizing the processing by the frame memory 11, the motion vector detecting unit 12, the motion vector converting unit 13, and the interpolated frame generating unit 14 in the configuration shown in FIG. 1 shows an image processing apparatus. The illustrated image processing apparatus includes a processor 101, a program memory 102, a data memory 103, an input interface 104, an output interface 105, and a bus 106 for connecting them.

プロセッサ101は、プログラムメモリ102に記憶されたプログラムに従って動作し、入力インターフェース104を介して入力される画像に対する処理を行う。動作の過程で種々のデータをデータメモリ103に記憶させる。処理の結果生成される画像は、インターフェース105を介して図1に示す画像表示部15に供給され、画像表示部15による表示に用いられる。
以下、プロセッサ101により行なわれる処理を図21を参照して説明する。
The processor 101 operates according to a program stored in the program memory 102 and performs processing on an image input via the input interface 104. Various data are stored in the data memory 103 in the course of operation. An image generated as a result of the processing is supplied to the image display unit 15 shown in FIG. 1 via the interface 105 and used for display by the image display unit 15.
Hereinafter, processing performed by the processor 101 will be described with reference to FIG.

図21は、図20の画像処理装置で実施される画像処理方法のフローを示す。   FIG. 21 shows a flow of an image processing method implemented by the image processing apparatus of FIG.

まず、動きベクトル検出ステップST1では、画像データF0と、画像データF0に対して1フレーム遅延した画像データF1と、画像データF0に対して2フレーム分遅延した画像データF2を参照して第2の遅延フレームF2から第1の遅延フレームF1への第1の動きベクトルMV1、及び現フレームF0から第1の遅延フレームF1への第2の動きベクトルV2を生成する。この動作は、図1の動きベクトル検出部12と同等である。   First, in the motion vector detection step ST1, the second reference is made with reference to the image data F0, the image data F1 delayed by one frame with respect to the image data F0, and the image data F2 delayed by two frames with respect to the image data F0. A first motion vector MV1 from the delay frame F2 to the first delay frame F1 and a second motion vector V2 from the current frame F0 to the first delay frame F1 are generated. This operation is equivalent to the motion vector detection unit 12 of FIG.

動きベクトル変換ステップST2では、第1及び第2の動きベクトルMV1及びMV2を、第1の遅延フレームF1から補間フレームIF(現フレームF0と第1の遅延フレームF1の間に挿入される)への第3の動きベクトルMV3と、現フレームF0から補間フレームIFへの第4の動きベクトルMV4に変換する。この動作は、図1の動きベクトル変換部13と同等である。   In the motion vector conversion step ST2, the first and second motion vectors MV1 and MV2 are transferred from the first delay frame F1 to the interpolation frame IF (inserted between the current frame F0 and the first delay frame F1). The third motion vector MV3 and the fourth motion vector MV4 from the current frame F0 to the interpolation frame IF are converted. This operation is equivalent to the motion vector conversion unit 13 in FIG.

補間フレーム生成ステップST3では、第1の遅延フレームF1のデータ、現フレームF0のデータ、第3の動きベクトルMV3及び第4の動きベクトルMV4から補間フレームIFのデータを生成する。補間フレームIFのすべてのブロックについて上記の処理が繰り返され、これにより生成された補間フレームIFのデータを現フレームF0のデータと第1の遅延フレームF1のデータの間に挿入した画像データDOを生成する。この動作は、図1の補間フレーム生成部14と同等である。   In the interpolation frame generation step ST3, data of the interpolation frame IF is generated from the data of the first delay frame F1, the data of the current frame F0, the third motion vector MV3, and the fourth motion vector MV4. The above processing is repeated for all the blocks of the interpolation frame IF, and image data DO is generated by inserting the data of the generated interpolation frame IF between the data of the current frame F0 and the data of the first delay frame F1. To do. This operation is equivalent to the interpolation frame generation unit 14 of FIG.

図21は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実現したものであり、その効果は、図1の場合と同様である。   FIG. 21 shows a part of the image display apparatus according to the present embodiment realized as software, and the effect is the same as in the case of FIG.

2 画像縮小部、 3 ブロック切り出し部、 4 テスト補間部、 5 補間データ評価部、 6 動きベクトル決定部、 7 動きベクトル拡大部、 10 画像処理装置、 11 フレームメモリ、 12 動きベクトル検出部、 13 動きベクトル変換部、 14 補間フレーム生成部、 15 画像表示部、 21 現フレーム画像縮小部、 22 第1の遅延フレーム画像縮小部、 23 第2の遅延フレーム画像縮小部、 31 現フレームブロック切り出し部、 32 第2の遅延フレームブロック切り出し部、 33 第1の遅延フレームブロック切り出し部。   2 image reduction unit, 3 block cutout unit, 4 test interpolation unit, 5 interpolation data evaluation unit, 6 motion vector determination unit, 7 motion vector enlargement unit, 10 image processing device, 11 frame memory, 12 motion vector detection unit, 13 motion Vector conversion unit, 14 interpolation frame generation unit, 15 image display unit, 21 current frame image reduction unit, 22 first delay frame image reduction unit, 23 second delay frame image reduction unit, 31 current frame block cutout unit, 32 A second delayed frame block cutout unit, 33 a first delayed frame block cutout unit.

Claims (14)

画像の現フレームと前記現フレームの1フレーム前のフレームである第1の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第1の遅延フレームのデータ及び前記現フレームの2フレーム前のフレームである第2の遅延フレームのデータを参照して前記第2の遅延フレームから前記第1の遅延フレームへの第1の動きベクトルを算出し、
前記現フレームのデータ及び前記第1の遅延フレームのデータを参照して前記現フレームから前記第1の遅延フレームへの第2の動きベクトルを算出する動きベクトル検出部と、
前記第1の動きベクトルを前記第1の遅延フレームから前記補間フレームへの第3の動きベクトルに変換し、
前記第2の動きベクトルを前記現フレームから前記補間フレームへの第4の動きベクトルに変換する動きベクトル変換部と、
前記第3の動きベクトル、前記第4の動きベクトル、前記第1の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第1の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第1の遅延フレームを縮小して第1の縮小遅延フレームを出力し、前記第2の遅延フレームを縮小して第2の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第1の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第2の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第1群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第2群のテスト補間データと、
前記第2の縮小遅延フレームのブロックデータ構成される第3群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第1乃至第3群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方を拡大して前記第1及び第2の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第1群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第2群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第3群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理装置。
In an image processing apparatus for inserting an interpolation frame between a current frame of an image and a first delay frame which is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection unit that calculates a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converter that converts the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generator for outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection unit
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction unit that outputs
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation unit that outputs a plurality of test interpolation data including a third group of test interpolation data configured of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation unit;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination unit;
A motion vector enlargement unit that enlarges at least one of the first reduced motion vector and the second reduced motion vector and outputs it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The image processing apparatus according to claim 3, wherein the third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.
前記テスト補間部は、
各々前記第1の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第2の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第2の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第1群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第2群のテスト補間データとして出力し、
前記抽出した前記第2の縮小遅延フレーム内の前記ブロックのデータを前記第3群のテスト補間データとして出力する
ことを特徴とする請求項1に記載の画像処理装置。
The test interpolation unit includes:
A plurality of blocks each consisting of a plurality of pixels in each of the first reduced delay frames are sequentially selected as processing target blocks, and the processing target block is the center.
A block in the second reduced delay frame and a block in the current reduced frame, which are located symmetrically with respect to each other, are extracted, and data of the extracted block of the second reduced delay frame and the extracted current block are extracted. An average value for each pixel of the data of the block of the reduced delay frame is obtained as the test interpolation data of the first group,
Outputting the data of the block in the extracted current reduced frame as the second group of test interpolation data;
2. The image processing apparatus according to claim 1, wherein the extracted data of the block in the second reduced delay frame is output as the third group of test interpolation data.
前記テスト補間部は、複数個のテスト補間データ生成部を有し、
該複数個のテスト補間データ生成部は、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第2の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第1群のテスト補間データとして算出する
ことを特徴とする請求項2に記載の画像処理装置。
The test interpolation unit has a plurality of test interpolation data generation units,
Each of the plurality of test interpolation data generation units averages the data of different position blocks in the current reduced frame and the data of blocks in different positions in the second reduced delay frame for each pixel. The image processing apparatus according to claim 2, wherein the obtained data is calculated as the first group of test interpolation data.
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項1から3までのいずれか1項に記載の画像処理装置。
The interpolation data evaluation unit
Each of the plurality of test interpolation data output from the test interpolation unit,
Calculating a correlation value indicating a correlation with the data of the processing target block;
The image processing apparatus according to any one of claims 1 to 3, wherein the plurality of evaluation data are generated based on a plurality of correlation values respectively obtained for the plurality of test interpolation data.
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項1から4までのいずれか1項に記載の画像処理装置。
The interpolation data evaluation unit
The difference absolute value sum that is a sum of absolute values of differences between the plurality of test interpolation data output from the test interpolation unit and data of the processing target block is calculated as the correlation value. Item 5. The image processing apparatus according to any one of Items 1 to 4.
前記補間データ評価部は、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出部を有する
ことを特徴とする請求項5に記載の画像処理装置。
The interpolation data evaluation unit
The image processing apparatus according to claim 5, further comprising a plurality of correlation value calculation units that calculate a sum of absolute differences between the data of the processing target block and the plurality of test interpolation data.
請求項1から6までのいずれか1項に記載の画像処理装置と、
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
The image processing apparatus according to any one of claims 1 to 6,
An image display device comprising: an image display unit that displays an image based on the image data output from the interpolation frame generation unit.
画像の現フレームと前記現フレームの1フレーム前のフレームである第1の遅延フレームとの間に補間フレームを挿入する画像処理方法において、
前記第1の遅延フレームのデータ及び前記現フレームの2フレーム前のフレームである第2の遅延フレームのデータを参照して前記第2の遅延フレームから前記第1の遅延フレームへの第1の動きベクトルを算出し、
前記現フレームのデータ及び前記第1の遅延フレームのデータを参照して前記現フレームから前記第1の遅延フレームへの第2の動きベクトルを算出する動きベクトル検出ステップと、
前記第1の動きベクトルを前記第1の遅延フレームから前記補間フレームへの第3の動きベクトルに変換し、
前記第2の動きベクトルを前記現フレームから前記補間フレームへの第4の動きベクトルに変換する動きベクトル変換ステップと、
前記第3の動きベクトル、前記第4の動きベクトル、前記第1の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第1の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを有し、
前記動きベクトル検出ステップは、
前記現フレームを縮小して現縮小フレームを出力し、前記第1の遅延フレームを縮小して第1の縮小遅延フレームを出力し、前記第2の遅延フレームを縮小して第2の縮小遅延フレームを出力する画像縮小ステップと、
前記補間フレームの補間対象ブロックに対応する、前記第1の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第2の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第1群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第2群のテスト補間データと、
前記第2の縮小遅延フレームのブロックデータで構成される第3群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間ステップと、
前記第1乃至第3群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価ステップと、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定ステップと、
前記第1の縮小動きベクトル及び第2の縮小動きベクトルの少なくとも一方を拡大して前記第1及び第2の動きベクトルの少なくとも一方として出力する動きベクトル拡大ステップとを有し、
前記第1群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第2群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第3群のテスト補間データは、複数の前記第2の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理方法。
In an image processing method of inserting an interpolation frame between a current frame of an image and a first delay frame that is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection step of calculating a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converting step of converting the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generating step of outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection step includes
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction step for outputting
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation step for outputting a plurality of test interpolation data including a third group of test interpolation data composed of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation step;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination step;
A motion vector expansion step of expanding at least one of the first reduced motion vector and the second reduced motion vector and outputting it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The image processing method of claim 3, wherein the third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.
前記テスト補間ステップは、
各々前記第1の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第2の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第2の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第1群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第2群のテスト補間データとして出力し、
前記抽出した前記第2の縮小遅延フレーム内の前記ブロックのデータを前記第3群のテスト補間データとして出力する
ことを特徴とする請求項8に記載の画像処理方法。
The test interpolation step includes:
A plurality of blocks each consisting of a plurality of pixels in each of the first reduced delay frames are sequentially selected as processing target blocks, and the processing target block is the center.
A block in the second reduced delay frame and a block in the current reduced frame, which are located symmetrically with respect to each other, are extracted, and data of the extracted block of the second reduced delay frame and the extracted current block are extracted. An average value for each pixel of the data of the block of the reduced delay frame is obtained as the test interpolation data of the first group,
Outputting the data of the block in the extracted current reduced frame as the second group of test interpolation data;
9. The image processing method according to claim 8, wherein the data of the block in the extracted second reduced delay frame is output as the third group of test interpolation data.
前記テスト補間ステップは、複数個のテスト補間データ生成ステップを有し、
該複数個のテスト補間データ生成ステップは、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第2の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第1群のテスト補間データとして算出する
ことを特徴とする請求項9に記載の画像処理方法。
The test interpolation step includes a plurality of test interpolation data generation steps,
In the plurality of test interpolation data generation steps, data of blocks in different positions in the current reduced frame and data of blocks in different positions in the second reduced delay frame are averaged for each pixel. The image processing method according to claim 9, wherein the obtained data is calculated as the first group of test interpolation data.
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項8から10までのいずれか1項に記載の画像処理方法。
The interpolation data evaluation step includes
Each of the plurality of test interpolation data output from the test interpolation step;
Calculating a correlation value indicating a correlation with the data of the processing target block;
The image processing method according to any one of claims 8 to 10, wherein the plurality of evaluation data are generated based on a plurality of correlation values respectively obtained for the plurality of test interpolation data.
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項8から11までのいずれか1項に記載の画像処理方法。
The interpolation data evaluation step includes
The difference absolute value sum that is a sum of absolute values of differences between the plurality of test interpolation data output from the test interpolation step and the data of the processing target block is calculated as the correlation value. Item 12. The image processing method according to any one of Items 8 to 11.
前記補間データ評価ステップは、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出ステップを有する
ことを特徴とする請求項12に記載の画像処理方法。
The interpolation data evaluation step includes
The image processing method according to claim 12, further comprising: a plurality of correlation value calculation steps for calculating a sum of absolute differences between the data of the processing target block and the plurality of test interpolation data.
請求項8から13までのいずれか1項に記載の画像処理方法と、
前記補間フレーム生成ステップから出力された画像データに基づく画像を表示する画像表示ステップと
を有することを特徴とする画像表示方法。
An image processing method according to any one of claims 8 to 13,
An image display method comprising: an image display step for displaying an image based on the image data output from the interpolation frame generation step.
JP2011243198A 2011-11-07 2011-11-07 Image processing apparatus and method, and picture display apparatus and method Pending JP2013098961A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011243198A JP2013098961A (en) 2011-11-07 2011-11-07 Image processing apparatus and method, and picture display apparatus and method
CN201210422396.XA CN103096009B (en) 2011-11-07 2012-10-29 Image processing apparatus and method and image display device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011243198A JP2013098961A (en) 2011-11-07 2011-11-07 Image processing apparatus and method, and picture display apparatus and method

Publications (1)

Publication Number Publication Date
JP2013098961A true JP2013098961A (en) 2013-05-20

Family

ID=48208099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011243198A Pending JP2013098961A (en) 2011-11-07 2011-11-07 Image processing apparatus and method, and picture display apparatus and method

Country Status (2)

Country Link
JP (1) JP2013098961A (en)
CN (1) CN103096009B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501418A (en) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 Image resizing splicing method and system and image resizing splicing control device
CN106464970B (en) * 2014-05-09 2019-11-19 麦克赛尔株式会社 Picture reproducer, display device and sending device
JP6671101B2 (en) * 2015-02-05 2020-03-25 シナプティクス・ジャパン合同会社 Image processing circuit, display panel driver, display device, and image processing method
CN113296731B (en) * 2021-05-25 2023-04-11 电子科技大学 Multichannel data acquisition data caching method based on network on chip

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2750558B1 (en) * 1996-06-28 1998-08-28 Thomson Multimedia Sa FRAME INTERPOLATION METHOD FOR FILM MODE COMPATIBILITY
JP4053490B2 (en) * 2003-03-25 2008-02-27 株式会社東芝 Interpolated image creation method for frame interpolation, image display system using the same, and interpolated image creation apparatus
JP4220284B2 (en) * 2003-03-28 2009-02-04 株式会社東芝 Frame interpolation method, apparatus, and image display system using the same
CN103826133B (en) * 2004-05-04 2017-11-24 高通股份有限公司 Motion compensated frame rate up conversion method and apparatus
JP4359223B2 (en) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ Video interpolation device, frame rate conversion device using the same, and video display device
JP4322904B2 (en) * 2006-09-19 2009-09-02 株式会社東芝 Interpolation frame creation device, motion vector detection device, interpolation frame creation method, motion vector detection method, interpolation frame creation program, and motion vector detection program

Also Published As

Publication number Publication date
CN103096009A (en) 2013-05-08
CN103096009B (en) 2015-09-30

Similar Documents

Publication Publication Date Title
JP4398925B2 (en) Interpolation frame generation method, interpolation frame generation apparatus, and interpolation frame generation program
EP2509307A1 (en) Image processing device and image processing method
EP2375737A1 (en) Device and method for frame rate conversion
JP5887764B2 (en) Motion compensation frame generation apparatus and method
US8817869B2 (en) Image processing device and method, and image display device and method
JP2013098961A (en) Image processing apparatus and method, and picture display apparatus and method
JP2010147538A (en) Image processing apparatus, method, and program
US8744127B2 (en) Image processing apparatus and method for improving frame rate while maintaining natural movement of object on images
JP2012095048A (en) Image processor, image processing method, image display device, and image display method
US8942503B1 (en) Global motion vector calculation using phase plane correlation
JP5975791B2 (en) Image processing apparatus and method, and image display apparatus and method
JP2010055252A (en) Motion vector detector and image processor
JP5737072B2 (en) Motion compensation frame generation apparatus and method
KR20100003176A (en) System and method for motion estimation of digital video using multiple recursion rules
JP5574830B2 (en) Image processing apparatus and method, and image display apparatus and method
JP2009118456A (en) Image interpolation apparatus and method
JP5887763B2 (en) Motion compensation frame generation apparatus and method
JP5824937B2 (en) Motion vector deriving apparatus and method
JPWO2009116586A1 (en) Image processing method, image processing apparatus, and image processing program
JP2013030838A (en) Motion vector derivation device and method
JP2012088942A (en) Image processing apparatus and method, and image display device and method
JP4650682B2 (en) Image processing apparatus and method, program, and recording medium
JP5891913B2 (en) Video signal processing apparatus and method
JP5867289B2 (en) Motion vector generation apparatus and method
JP2014007658A (en) Motion vector derivation device, method and program