[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2010093040A1 - モーションブラー制御装置、方法、及びプログラム - Google Patents

モーションブラー制御装置、方法、及びプログラム Download PDF

Info

Publication number
WO2010093040A1
WO2010093040A1 PCT/JP2010/052209 JP2010052209W WO2010093040A1 WO 2010093040 A1 WO2010093040 A1 WO 2010093040A1 JP 2010052209 W JP2010052209 W JP 2010052209W WO 2010093040 A1 WO2010093040 A1 WO 2010093040A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion blur
frame
inter
blur
amount
Prior art date
Application number
PCT/JP2010/052209
Other languages
English (en)
French (fr)
Inventor
憲二郎 三浦
賢治 ▲高▼橋
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2010550568A priority Critical patent/JP5388072B2/ja
Priority to US13/201,439 priority patent/US8620100B2/en
Publication of WO2010093040A1 publication Critical patent/WO2010093040A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to an apparatus, method, and program for controlling motion blur in moving images.
  • GPU Graphics Processing Unit
  • the GPU is also mounted on a general PC and can perform high-speed computation by parallel processing.
  • the processing performance of the GPU, particularly the floating point arithmetic performance, may be 10 times or more that of the CPU.
  • Non-Patent Document 1 “The stabilization of video images using a GPU” is disclosed as a blur correction technique using a GPU by the present inventors (see Non-Patent Document 1).
  • the technique described in Non-Patent Document 1 uses the BFGS (quasi-Newton) algorithm to estimate video motion based on the estimated global motion when estimating global motion using affine transformation. To do.
  • BFGS quadsi-Newton
  • a patent application for Japanese Patent Application No. 2008-162477 (filed on Jun. 20, 2008) has been filed as an improvement technique for global motion estimation using the BFGS method.
  • Motion blur is “smear” that occurs based on the movement of the camera within the exposure time, and is based on the amount of movement within one frame and cannot be removed by global motion correction.
  • the frame interval is constant, but the exposure time (charge accumulation time) varies depending on the brightness of the shooting area. For example, the exposure time is short when it is bright, and the exposure time is long when it is dark. Therefore, the exposure time changes for each frame according to the brightness. Since the amount of motion blur depends on the exposure time, the amount of motion blur is not constant even if the shooting area moves at a constant speed.
  • the present invention solves the above-described problems, and provides a motion blur control technology that performs high-speed and accurate control and reduction of motion blur of each frame in a moving image based on the moving direction calculated by global motion estimation.
  • the purpose is to provide.
  • a motion blur control device is a motion blur control device that controls motion blur of a predetermined frame image among a plurality of frame images acquired at predetermined time intervals, Inter-frame movement calculating means for calculating an inter-frame movement direction and an inter-frame movement amount from a plurality of frame images acquired at predetermined time intervals, a blur amount set within a range not exceeding the inter-frame movement amount, and the frame Based on the movement direction, motion blur correction means for correcting a motion blur of the predetermined frame image among the plurality of frame images to generate a corrected frame image, and evaluating the corrected frame image by a motion blur evaluation function And the motion blur evaluation function satisfies a predetermined condition. And controlling the blur amount as.
  • the motion blur control method is a motion blur control method for controlling motion blur of a predetermined frame image among a plurality of frame images acquired at a predetermined time interval, and is acquired at a predetermined time interval. Based on the step of calculating the inter-frame movement direction and the inter-frame movement amount from a plurality of frame images, the blur amount set within a range not exceeding the inter-frame movement amount, and the inter-frame movement direction. Correcting a motion blur of the predetermined frame image of the frame image to generate a corrected frame image; and evaluating the corrected frame image with a motion blur evaluation function, wherein the motion blur evaluation function is a predetermined The blur amount is controlled so as to satisfy the following condition.
  • the motion blur control program is a motion blur control program for controlling motion blur of a predetermined frame image among a plurality of frame images acquired at a predetermined time interval.
  • An inter-frame movement calculating means for calculating an inter-frame movement direction and an inter-frame movement amount from a plurality of acquired frame images, a blur amount set within a range not exceeding the inter-frame movement amount, and the inter-frame movement direction Based on the motion blur correction means for correcting a motion blur of the predetermined frame image among the plurality of frame images to generate a corrected frame image, and an evaluation means for evaluating the corrected frame image by a motion blur evaluation function.
  • the motion blur evaluation function is predetermined A motion blur control program and controls the blur amount to satisfy the condition.
  • the motion blur correction means comprises an unsharp mask setting means for setting an unsharp mask based on a blur amount set in a range not exceeding the inter-frame movement amount and the inter-frame movement direction, An unsharp processing means for generating a corrected frame image by correcting motion blur of the predetermined frame image based on the unsharp mask may be provided.
  • the motion blur correction unit performs a deconvolution operation based on a blur amount set within a range not exceeding the inter-frame movement amount and the inter-frame movement direction, thereby performing motion of the predetermined frame image. It is possible to correct the blur and generate a corrected frame image.
  • the inter-frame movement calculating means estimates a global motion between the plurality of frame images based on an affine transformation parameter including a parallel movement amount and a rotational movement amount, and calculates the inter-frame movement direction and the The amount of movement between frames can be calculated.
  • the above affine transformation parameters can further include image magnification.
  • the plurality of frame images according to the present invention can be frame images constituting a moving image.
  • the blur amount is changed, the correction by the motion blur correction unit and the evaluation by the evaluation unit are repeated, and the motion blur of the predetermined frame image is repeated. Can be reduced.
  • the correction by the motion blur correction unit and the evaluation by the evaluation unit can be repeated until the motion blur evaluation function reaches the maximum value or the minimum value.
  • the motion blur evaluation function E according to the present invention can be given by the following equation.
  • I (x, y) is the pixel value of the coordinates (x, y) of the evaluation target image.
  • the present invention can control and reduce motion blur at a high speed and with the above configuration.
  • the movement direction (parallel movement, rotational movement) between frames can be calculated by the global motion estimation technique which is the conventional technique of the present inventor.
  • the present invention can estimate the direction of motion blur within a frame by using this inter-frame movement direction, and can efficiently control motion blur within a frame by using this information.
  • the global motion estimation technology can also calculate the amount of movement between frames, the motion blur within one frame is determined by the exposure time of one frame, so there is little correlation between the amount of movement between frames and the amount of motion blur within one frame. . Therefore, until the motion blur evaluation function satisfies the specified condition, the blur amount set within the range that does not exceed the amount of movement between frames is changed, and motion blur correction and evaluation using the motion blur evaluation function are repeated to optimize It is necessary to calculate the amount of motion blur.
  • the blur amount (movement distance) L is a one-dimensional amount.
  • the time interval between the plurality of frame images in the present invention is arbitrary, but is preferably an adjacent frame in a moving image.
  • the present invention is not limited to moving images, and can be applied to a plurality of frame images taken at a predetermined time interval.
  • motion blur can be reduced by acquiring a plurality of frame images for one shutter operation with a digital camera or the like.
  • program according to the present invention can be provided by being stored in a computer-readable recording medium.
  • the present invention can control and reduce motion blur of each frame in a moving image with high speed and accuracy based on the moving direction calculated by global motion estimation.
  • FIG. 1 is a block diagram of an image correction apparatus according to an embodiment of the present invention. It is explanatory drawing of an unsharp mask. It is a figure which shows the example of the unsharp mask in 9 pixels. It is a figure which shows the example of the unsharp mask in 9 pixels. It is a figure which shows the example of the kernel H of an unsharp mask. It is explanatory drawing of the global motion estimation between frames. It is explanatory drawing of the global motion estimation between frames. It is a figure which shows the example of the line drawing by the algorithm of XiaolinuWu. It is a flowchart of motion blur removal. It is a figure which shows a motion blur removal result (left figure: before removal, right figure: after removal). It is a figure which shows the blur removal result by a deconvolution calculation.
  • FIG. 1 is a block diagram showing a configuration of an image correction apparatus according to an embodiment of the present invention.
  • the image correction apparatus includes a camera 10 that captures an image of a subject and generates an image, and an image processing apparatus 20 that performs image processing so as to eliminate blurring of the image generated by the camera 10.
  • the image processing apparatus 20 includes an input / output port 21 that exchanges signals with the camera 10, an arithmetic processing circuit 22 that performs arithmetic processing, a hard disk drive 23 that stores images and other data, and an arithmetic processing circuit 22.
  • a ROM (Read Only Memory) 24 that stores the control program
  • a RAM (Random Access Memory) 25 that is a data work area.
  • the arithmetic processing circuit 22 When the arithmetic processing circuit 22 receives a moving image from the camera 10 via the input / output port 21, the arithmetic processing circuit 22 determines the moving direction and moving amount (global motion) of the camera 10 for each frame from each frame image constituting the moving image. Ask. The arithmetic processing circuit 22 performs vibration correction of each frame image based on the global motion between frames, and controls and removes motion blur based on the movement direction between frames.
  • the calculation of the evaluation function, the deconvolution calculation, the unsharp mask generation, and the like in this embodiment are suitable for parallel calculation, and a part of the calculation is speeded up by calculating with a GPU (graphic processor). be able to.
  • ⁇ Motion blur removal> Methods for removing motion blur in an image include deconvolution using Fourier transform, sharpening using an unsharp mask, and the like. Both methods remove motion blur by knowing the camera movement during the exposure time.
  • ⁇ is a convolution operator.
  • G (u) is the discrete Fourier transform of the blur-added image g (x)
  • F (u) is the discrete Fourier transform of the blur-removed image f (x)
  • the discrete Fourier is PSF (PointhSpread Function) h (x)
  • Deconvolution The simplest method is to perform conditional branching when A is an arbitrary constant and the denominator is 0, and use the following formula.
  • the calculation formula is simple and can be calculated relatively quickly, but A is an arbitrary constant, and the calculation may be inaccurate.
  • Wiener filter Wiener filter is a technique for avoiding the denominator becoming zero by putting a very small value in the denominator. Using the appropriate constant ⁇ (noise), calculate with the following formula.
  • H (u) bar (the one with a bar above H) is a complex conjugate of H (u).
  • Wiener filter has a simple calculation formula and can be calculated relatively quickly. However, it is assumed that the noise ⁇ is constant, and the calculation may become unstable.
  • Richardson-Lucy Deconvolution uses Bayes' theorem and calculates with the following formula.
  • Iterative Back Projection eliminates division from the calculation formula and uses the following formula.
  • the unsharp mask is a sharpening filter for obtaining a difference between an original image and an unsharp (smoothed) image.
  • an unsharp mask using nine peripheral pixels is shown in FIGS. 3A and 3B.
  • sharpening corresponding to the motion blur direction is performed by giving directionality to the unsharp and as shown in FIG. 3B.
  • the mask used for PSF or unsharp mask is kernel H
  • the kernel is as shown in FIG. 4, for example.
  • the moving direction of the camera is a straight line or a curve from the global motion that has already been obtained, and the speed is increased by iteratively estimating only one variable for the moving distance (blur amount) L of the camera.
  • the moving distance L of the camera is the length of the white line.
  • the linear movement direction of the camera or, in order to assume a curve in the moving image, a previous frame image I n-1, the current frame image I n, one after the frame image as I n + 1, with estimates the motion between I n-1 and I n, and estimates the motion between I n and I n + 1. From these two motion, it can be estimated motion when the I n, thereby blur direction estimation in the current frame image I n independent in all pixels. (See FIGS. 5 and 6)
  • the Xiaolin Wu algorithm that can perform anti-aliasing is used to create lines (straight lines, curves) that indicate the direction of camera movement. If a line is created on an image having pixels of a finite size, jaggedness (jaggy) due to the size of the pixel occurs. In order to reduce the influence of this jaggy, the value of the pixel located in the jagged (jaggy) portion around the line is set to an intermediate gradation corresponding to the distance from the center of the line. This is called “anti-aliasing” (see FIG. 7). By doing this, it is possible to perform the calculation smoothly even with respect to the calculation below the pixel size.
  • I n (x, y) is the x in the frame image, the pixel values in the y-coordinate (luminance value).
  • a correction frame image I ′ n (x, y, L n ) is generated by performing the above-described convolution calculation and unsharp masking according to the blur amount (movement distance) L n , and the following (1) Evaluation is performed by a motion blur evaluation function E expressed by an expression.
  • This motion blur evaluation function E calculates the third-order difference in the X direction and Y direction of a certain pixel for the evaluation target image I (x, y) and integrates it over the entire image.
  • Is a function that represents w and h are the width and height (number of pixels) of the motion blur evaluation range of the image to be evaluated, respectively.
  • the motion blur evaluation range may be the entire image or only a part of the image.
  • the final value is obtained by repeatedly estimating the blur amount L n.
  • Optimal L n can be obtained.
  • the blur amount L n is normalized so that the frame interval time is 1, and is repeatedly estimated in the range of 0 to 1.
  • the iterative estimation of the blur amount L n does not need to be continued until E reaches the maximum value, and may be stopped when an appropriate condition is satisfied.
  • the unsharp mask is not required to be as accurate as the PSF of the deconvolution operation.
  • the Brent method that can limit the search range with one variable is used.
  • the Brent method is described in “Numerical Recipes in C ++”, Cambridge University Press, W.H.Press, S.A.Teukolsky and W. T. Vetterling and B. P.Flannery, 2002.
  • evaluation function of the above formula (1) is not limited to a moving image. Further, the evaluation function of the above expression (1) can be used alone for searching without limiting the search range using global motion.
  • motion blur removal which is a feature of the present invention is then performed.
  • Figure 9 shows the flow chart for motion blur removal.
  • L is a ratio of the amount of motion blur to the amount of movement between frames, and corresponds to (1 frame exposure time) / (interframe time).
  • the initial value to be set is not particularly limited. However, since the exposure time does not change greatly from frame to frame, L obtained by removing motion blur from the previous frame is preferably used as the initial value.
  • the motion blur corresponding to the blur amount L is removed using the above-described deconvolution calculation or unsharp mask.
  • Fig. 10 shows the result of blur removal by the deconvolution operation.
  • the left figure in FIG. 10 is an image before removing motion blur
  • the right figure in FIG. 10 is an image after removing motion blur.
  • the present invention is not limited to this. Depending on the application, it may be better to leave a little motion blur, so the blur amount L may be set to a value shifted from the optimum value. In that case, the motion blur evaluation function E is used to determine the blur amount L at which E deviates from the maximum value by a predetermined percentage. This can be used when motion blur is added to emphasize the movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　モーションブラー制御装置は、フレーム間移動算出手段によって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出する。モーションブラー補正手段によって、フレーム間移動量を超えない範囲で設定されたブラー量と、フレーム間移動方向とに基づいて、複数のフレーム画像のうち所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する。評価手段によって、補正フレーム画像をモーションブラー評価関数により評価する。モーションブラー制御装置は、モーションブラー評価関数が所定の条件を満たすようにブラー量を制御する。

Description

モーションブラー制御装置、方法、及びプログラム
　本発明は、動画像におけるモーションブラーを制御する装置、方法及びプログラムに関する。
　近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプター、遠隔操作用のレスキューロボットなどにも搭載されている。
　しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。
　そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。
　現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。
　近年では、デジタルカメラの普及やパーソナルコンピュータ（ＰＣ）の発達により、一般の家庭用ＰＣでも動画像の処理などが簡単に行われ、汎用性を高めるために、ＰＣを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはＣＰＵ（Central Processing Unit）では負荷が大きいため、リアルタイムでの処理は難しい。
　そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるＧＰＵ（Graphics Processing Unit）を用いることが考えられる。ＧＰＵは、一般的なＰＣにも搭載され、並列処理による高速演算が可能である。ＧＰＵの処理性能、特に浮動小数点演算性能は、ＣＰＵに比べて１０倍以上の性能を示すものもある。
　本発明者らによる、ＧＰＵを用いたぶれ補正技術として「ＧＰＵを用いたビデオ映像の安定化」が開示されている（非特許文献１参照）。非特許文献１に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、ＢＦＧＳ法（準ニュートン法）のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。また、ＢＦＧＳ法を用いたグローバルモーション推定の改良技術として、特願2008-162477号（平成20年6月20日出願）の特許出願を行っている。
藤澤、他２名、「ＧＰＵを用いたビデオ映像の安定化」、社団法人情報処理学会、情報処理学会論文誌Ｖｏｌ．４９、Ｎｏ．２、ｐ．１－８
　しかしながら、グローバルモーションを推定してビデオ映像を補正しても、各フレーム内でのモーションブラーは残ってしまう。モーションブラーとは露光時間内のカメラの移動に基づいて発生する“にじみ”であり、１つのフレーム内での移動量に基づくものであるので、グローバルモーション補正によって除去することができない。
　一般の動画像撮影に用いられているイメージセンサ（ＣＣＤ、ＣＭＯＳなど）では、フレーム間隔は一定であるものの、その中での露光時間（電荷蓄積時間）は撮影領域の明るさによって異なる。例えば、明るい場合は露光時間が短く、暗い場合は露光時間が長い。したがって、明るさに応じてフレームごとに露光時間が変化する。モーションブラー量は露光時間に依存するため、撮影領域が一定速度で動いていてもモーションブラー量は一定にはならない。
　本発明は上記問題点を解決するものであり、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行う、モーションブラー制御技術を提供することを目的とする。
　上記の目的を達成するために、本発明に係るモーションブラー制御装置は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
　また、本発明に係るモーションブラー制御方法は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
　また、本発明に係るモーションブラー制御プログラムは、　所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、コンピュータを、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び前記補正フレーム画像をモーションブラー評価関数により評価する評価手段として機能させ、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とするモーションブラー制御プログラムである。
　本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有するようにすることができる。
　本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するようにすることができる。
　本発明に係るフレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出するようにすることができる。
　上記のアフィン変換パラメータは、画像の倍率を更に含むようにすることができる。
　本発明に係る複数のフレーム画像を、動画像を構成するフレーム画像とすることができる。
　本発明では、モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減するようにすることができる。また、本発明では、モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返すようにすることができる。
　本発明に係るモーションブラー評価関数Ｅは、以下の式で与えられるようにすることができる。
Figure JPOXMLDOC01-appb-M000002
　ただし、I(x,y)は評価対象画像の座標（x,y）の画素値である。
　本発明は上記構成により、モーションブラーの制御及び低減を高速且つ精度良く行なうことができる。本発明者の従来技術であるグローバルモーション推定技術により、フレーム間の移動方向（平行移動、回転移動）を算出することができる。本発明は、このフレーム間移動方向を用いることによりフレーム内でのモーションブラーの方向が推定でき、この情報を用いることでフレーム内でのモーションブラーの制御を効率よく行うことができる。
　グローバルモーション推定技術ではフレーム間移動量も算出できるが、１フレーム内でのモーションブラーは１フレームの露光時間によって決まるため、フレーム間移動量と１フレーム内のモーションブラー量とには相関性が少ない。したがって、モーションブラー評価関数が所定の条件を満たすまで、フレーム間移動量を超えない範囲で設定されたブラー量を変化させて、モーションブラー補正と、モーションブラー評価関数による評価とを繰り返して、最適なモーションブラー量を求める必要がある。
　グローバルモーション推定ではフレーム間の移動方向が推定できるので、フレームとフレームの間の軌跡は直線状または曲線状で与えられる。したがって、ブラー量（移動距離）Ｌは１次元量になる。このブラー量Ｌの最適値を求めて、元のフレーム画像を、畳み込み演算やアンシャープマスクを用いて補正することにより、モーションブラーを低減する演算を高速に行うことができる。
　本発明における前記複数のフレーム画像の間の時間間隔は任意であるが、動画像における隣接フレームであることが好ましい。ただし本発明は動画像に限らず、所定の時間間隔で撮像された複数のフレーム画像であれば適用できる。例えば、デジタルカメラなどで１回のシャッタ操作に対して複数のフレーム画像を取得して、モーションブラーを低減することもできる。
　なお、本発明に係るプログラムは、コンピュータ読み取り可能な記録媒体に格納して提供することもできる。
　本発明は上記構成により、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行うことができる。
本発明の実施形態に係る画像補正装置のブロック図である。 アンシャープマスクの説明図である。 ９ピクセルでのアンシャープマスクの例を示す図である。 ９ピクセルでのアンシャープマスクの例を示す図である。 アンシャープマスクのカーネルＨの例を示す図である。 フレーム間のグローバルモーション推定の説明図である。 フレーム間のグローバルモーション推定の説明図である。 Xiaolin Wuのアルゴリズムによる直線描画の例を示す図である。 モーションブラー除去のフローチャートである。 モーションブラー除去結果（左図：除去前、右図：除去後）を示す図である。 逆畳み込み演算によるブラー除去結果を示す図である。
　以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
＜装置の構成＞
　図１は、本発明の実施の形態に係る画像補正装置の構成を示すブロック図である。画像補正装置は、被写体を撮像して画像を生成するカメラ１０と、カメラ１０で生成された画像のぶれをなくすように画像処理を行う画像処理装置２０と、を備えている。
　画像処理装置２０は、カメラ１０との間で信号のやりとりを行う入出力ポート２１と、演算処理を行う演算処理回路２２と、画像やその他のデータを記憶するハードディスクドライブ２３と、演算処理回路２２の制御プログラムを記憶するＲＯＭ（Read Only Memory）２４と、データのワークエリアであるＲＡＭ（Random Access Memory）２５と、を備えている。
　演算処理回路２２は、入出力ポート２１を介して、カメラ１０からの動画像を受信すると、動画像を構成する各フレーム画像から１フレーム毎にカメラ１０の移動方向及び移動量（グローバルモーション）を求める。演算処理回路２２は、フレーム間のグローバルモーションに基づいて各フレーム画像の振動補正を行うとともに、フレーム間移動方向に基づいてモーションブラーを制御・除去する。
　なお、本実施形態における、評価関数の計算、逆畳み込み演算、アンシャープマスク作成などの計算は並列演算に適しており、演算の一部をＧＰＵ（グラフィック・プロセッサ）で演算することにより高速化することができる。
＜モーションブラー除去＞
　画像内のモーションブラーを除去する手法としては、フーリエ変換を使用した逆畳み込み演算や、アンシャープマスクなどを使用した先鋭化などがある。いずれの手法も、露光時間中のカメラの動きを知ることによってモーションブラーを除去する。
　以下にそれらの詳細について説明する。
＜逆畳み込み演算＞
　g(x)をブラー付加画像、f(x)をブラー除去画像、h(x)をPSF(Point Spread Function)とすると、ブラーのない画像から得られるブラー付加画像は
Figure JPOXMLDOC01-appb-M000003
と表せ、畳み込み演算によりブラー付加画像が生成できることがわかる。なお、★は畳み込み演算子である。
　ここで、ブラー付加画像g(x)の離散フーリエ変換をG(u)、ブラー除去画像f(x)の離散フーリエ変換をF(u)、PSF(Point Spread Function)h(x)の離散フーリエ変換をH(u)、とすると、フーリエの畳み込みの定理から、ブラーのない画像から得られるブラー付加画像は
Figure JPOXMLDOC01-appb-M000004
と表すことができる。逆に、ブラー付加画像からブラーのない画像を得るブラー除去は、
Figure JPOXMLDOC01-appb-M000005
と表すことができ、これをDeconvolutionという。
　但し、この式では、分母であるH(u)が0になる可能性があるため、計算が行えない場合があり、また、PSFを推定する必要がある。分母が0になる場合の対策及びPSF推定についてはあとで説明する。
　ここでは、Deconvolutionの計算手法の例として、４手法を紹介する。
（１）Deconvolution
　もっとも単純な手法としては、Aを任意の定数として分母が0になる場合は条件分岐を行い、以下の式を用いる。
Figure JPOXMLDOC01-appb-M000006
　計算式が簡単で、比較的高速に計算できるが、Aを任意の定数としており、計算が不正確である可能性がある。
（２）Wiener filter
　Wiener filterとは、分母に非常に小さい値を入れて分母が0になることを回避する手法である。適切な定数Γ(ノイズ)を用いて、以下の式で計算する。
Figure JPOXMLDOC01-appb-M000007
　ここで、H(u)バー（Hの上にバーがあるもの）は、H(u)を複素共役したものである。Wiener filterは計算式が簡単で、比較的高速に計算できるが、ノイズΓを一定と仮定しており、計算が不安定となる可能性がある。
（３）Richardson-Lucy Deconvolution
　Richardson-Lucy Deconvolutionは、ベイズの定理を用い、以下の式で計算する。
Figure JPOXMLDOC01-appb-M000008
　フーリエ空間での除算がなく、安定した解を得られるが、計算速度は非常に遅い。また、実空間で真っ暗な部分は分母が0をとりうる。
　なお、Richardson-Lucy Deconvolutionについては、「W.H.RICHARDSON, “Bayesian-Based Iterative Method of Image Restoration" J.Opt.Soc.Am., Vol.62, pp.55-59 ,1972.」及び「Lucy,L.B.,"An iterative technique for the rectication of observed distributions" Astronomical Journal, Vol.79, pp.745-754,1974.」に記載されている。
（４）Iterative Back Projection
　Iterative Back Projectionは、計算式内から除算を排除し、以下の式を用いる。
Figure JPOXMLDOC01-appb-M000009
　この式には除算がなく、安定した解を得られるが、計算速度は非常に遅い。なお、(0<α<1)である。Iterative Back Projectionについては「Irani, Peleg, "Improving Resolution by Image Registration" CVGIP : Graphical Models and Image Processing, Vol.53,pp.231-239, 1991.」に記載されている。
＜アンシャープマスク＞
　アンシャープマスクは図２のように、元映像とアンシャープ(平滑化した)な画像との差分を求める先鋭化フィルタである。例として、周辺9ピクセルを利用したアンシャープマスクを図３Ａ、図３Ｂに示した。
　本実施形態では、アンシャープに方向性をつけて、図３Ｂに示すようにすることで、モーションブラー方向に対応した先鋭化を行うようにしている。
＜PSF、アンシャープマスク推定＞
　モーションブラーを除去のためには、逆畳み込み演算に使用するPSFや、アンシャープマスクに使用する平滑化画像を、最適に作成する必要がある。
　PSF、もしくはアンシャープマスクに使用するマスクを、カーネルHとすると、カーネルは例えば図４に示したものとなる。
　カーネルを推定するために、後述の反復推定が必要となるが、ここでは反復推定の高速化のため、後述のグローバルモーションによる拘束を行う。
＜グローバルモーションを用いたカーネル推定＞
　すでに求められているグローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定し、カメラの移動距離（ブラー量）Ｌについての１変数のみの反復推定を行うことで、高速化、高精度化を図る。カーネルＨ(図４)において、カメラの移動距離Ｌは白線の長さとなる。
　グローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定するために、動画において、ひとつ前のフレーム画像をIn-1、現在のフレーム画像をIn、ひとつ後のフレーム画像をIn+1として、In-1とIn間のモーションを推定すると共に、InとIn+1間のモーションを推定する。この二つのモーションから、Inのときの動きが推定でき、これにより全ピクセルにおいて独立して現在のフレーム画像Inでのブラー方向が推定できる。（図５及び図６参照）
　上述のカメラの移動方向を示す線（直線、曲線）の作成には，アンチエイリアシングが行えるXiaolin Wuのアルゴリズムを用いている。有限の大きさの画素を有する画像上に線を作成すると、画素の大きさに起因したギザギザ（ジャギー）が発生してしまう。このジャギーによる影響を低減するために、線の周辺のギザギザ（ジャギー）部分に位置する画素の値を、線の中心からの距離に応じた中間階調にする。これを、「アンチエイリアシング」という（図７参照）。これを行うことにより、画素の大きさ以下の演算に関してもスムーズに演算を行うことができる。詳細については、非特許文献（“Abrash, Michael (June 1992). ”Fast Antialiasing (Column)”. Dr. Dobb’s Journal 17 (6): 139(7)“、”Wu, Xiaolin (July 1991). ”An efficient antialiasing technique”. Computer Graphics 25 (4): 143-152.doi:10.1145/127719.122734. ISBN 0-89791-436-8.“、”Wu, Xiaolin (1991). ”Fast Anti-Aliased Circle Generation”. in James Arvo (Ed.). Graphics Gems II.San Francisco: Morgan Kaufmann. pp. 446-450. ISBN 0-12-064480-0.“）に記載されている。
＜反復推定によるカーネル作成＞
　n番目のフレーム画像の元の画像をIn(x,y)とする。ここで、In(x,y)は、フレーム画像中のx,y座標における画素値（輝度値等）である。これに、ブラー量（移動距離）Lnに応じた上述の畳み込み演算やアンシャープマスクを行うことにより、補正フレーム画像I’n(x,y,Ln)を生成し、以下の（１）式で表されるモーションブラー評価関数Ｅにより評価を行う。
Figure JPOXMLDOC01-appb-M000010
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　このモーションブラー評価関数Ｅは、評価対象画像I(x,y)について、ある画素のX方向及びY方向の３階差分を計算し、これを画像全体にわたって積算するものであり、画像の鮮鋭度を表す関数である。wとhは、それぞれ評価対象画像のモーションブラー評価範囲の幅および高さ（ピクセル数）である。モーションブラー評価範囲を、画像全体としてもよいし、画像の一部のみとしてもよい。
　補正フレーム画像I’n(x,y,Ln)を評価対象画像Iとして、ブラー量Lnを変化させながら、Ｅを最大化させるようなブラー量Lnを反復推定して求めると、最終的に最適なLnを求めることができる。ブラー量Lnは、フレーム間隔時間が１になるように正規化されており、０～１の範囲で反復推定される。なお、ブラー量Lnの反復推定は、Ｅが最大値になるまで続ける必要はなく、適当な条件を満たしたところで繰り返しを止めても良い。特に、アンシャープマスクについては、逆畳み込み演算のPSFほどの正確さが要求されないため、少ない反復回数でも良い。
　上記の（１）式の評価関数は、掛け算と引き算のみで構成されているので、比較的高速に演算可能である。
　ここで反復推定には、１変数で且つ探索の範囲制限を行えるBrent法を用いた。Brent法については「"Numerical Recipes in C++", Cambridge University Press, W.H.Press,S.A.Teukolsky and W. T. Vetterling and B. P.Flannery,2002」に記載されている。
　なお、上記（１）式の評価関数は、評価対象を動画に限らない。また、グローバルモーションを使用した探索範囲の限定を行わなくても、上記（１）式の評価関数を、単独で探索に用いることもできる。
＜全体の処理フロー＞
　全体のフロー図を図８に示す。
　まずは、上記の非特許文献１や特願2008-162477号に記載された方法で、動画像のフレーム間の「グローバルモーション推定」を行い、フレーム間の移動量及び移動方向に基づいて「振動補正」を行う。
　その後、振動補正によって周辺部に生じる未定義領域に対して、「モザイキング」によりフレーム間の補間を行う。
　さらにその後、本発明の特徴である「モーションブラー除去」を行う。
　モーションブラー除去のフロー図を図９に示す。
　「Ｌの初期値を設定」では、最初にブラー量Ｌ（＝０～１）の初期値を設定する。Ｌは、フレーム間の移動量に対するモーションブラー量の割合であり、（１フレームの露光時間）／（フレーム間時間）に相当する。設定する初期値は特に限定されないが、露光時間はフレームごとに大きく変化しないので、１つ前のフレームのモーションブラー除去で求めたＬを初期値として用いると良い。
　「モーションブラー除去」では、上述の逆畳み込み演算やアンシャープマスクを用いて、ブラー量Ｌに相当するモーションブラーを除去する。
　「評価関数によりＥを計算」では、上記（１）式によりモーションブラー除去の評価値であるＥを計算する。
　「Ｅが最大値」になるまで、「Ｌを変更」しながら、「モーションブラー除去」、「評価関数によりＥを計算」を繰り返す。なお、Ｅが最大値になるまで計算を繰り返す必要はなく、適当な条件を満たした段階で演算を止めても良い。
　逆畳み込み演算によるブラー除去結果を図１０に示す。図１０左図はモーションブラー除去前の画像であり、図１０右図はモーションブラー除去後の画像である。
＜変形例＞
　上記の実施形態では、ブラー量Ｌの最適値を求めて、モーションブラーを低減・除去する実施形態について説明したが、これに限定されるものではない。用途によってはモーションブラーを少し残しておいた方が良いことがあるので、ブラー量Ｌを最適値からずらした値に設定しても良い。その場合には、モーションブラー評価関数Ｅを用いて、Ｅが最大値から所定割合ずれた値になるブラー量Ｌを求める。動きを強調するためにあえてモーションブラーを付与するような場合に用いることができる。
１０：カメラ、　２０：画像処理装置、　２１：入出力ポート、　２２：演算処理回路、　２３：ＨＤＤ、　２４：ＲＯＭ、　２５：ＲＡＭ

Claims (11)

  1. 　所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、
    　所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、
    　前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、
    　前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、
    　前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御装置。
  2. 　前記モーションブラー補正手段は、
    　前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、
    　前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有する
    ことを特徴とする請求項１記載のモーションブラー制御装置。
  3. 　前記モーションブラー補正手段は、
    　前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する、
    ことを特徴とする請求項１記載のモーションブラー制御装置。
  4. 　前記フレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出する、
    ことを特徴とする請求項１～３いずれか記載のモーションブラー制御装置。
  5. 　前記アフィン変換パラメータは、画像の倍率を更に含んでいる、
    ことを特徴とする請求項４記載のモーションブラー制御装置。
  6. 　前記複数のフレーム画像は、動画像を構成するフレーム画像である、
    ことを特徴とする請求項１～５いずれか記載のモーションブラー制御装置。
  7. 　前記モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減する、
    ことを特徴とする請求項１～６いずれか記載のモーションブラー制御装置。
  8. 　前記モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返す、
    ことを特徴とする請求項７記載のモーションブラー制御装置。
  9. 　前記モーションブラー評価関数Ｅは、以下の式で与えられる、
    ことを特徴とする請求項１～８のいずれか１項記載のモーションブラー制御装置。
    Figure JPOXMLDOC01-appb-M000001
    　ただし、I(x,y)は評価対象画像の座標（x,y）の画素値である。
  10. 　所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、
    　所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、
    　前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、
    　前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、
    　前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御方法。
  11. 　所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、
    　コンピュータを、
    　所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、
    　前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び
    　前記補正フレーム画像をモーションブラー評価関数により評価する評価手段
    　として機能させ、
    　前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御プログラム。
PCT/JP2010/052209 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム WO2010093040A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010550568A JP5388072B2 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム
US13/201,439 US8620100B2 (en) 2009-02-13 2010-02-15 Motion blur device, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-031418 2009-02-13
JP2009031418 2009-02-13

Publications (1)

Publication Number Publication Date
WO2010093040A1 true WO2010093040A1 (ja) 2010-08-19

Family

ID=42561881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052209 WO2010093040A1 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US8620100B2 (ja)
JP (1) JP5388072B2 (ja)
WO (1) WO2010093040A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039842A1 (ja) * 2019-08-28 2021-03-04 株式会社朋栄 映像の安定化及びモーションブラー除去処理方法とその装置
JPWO2021106499A1 (ja) * 2019-11-29 2021-06-03
JP2021528795A (ja) * 2019-04-22 2021-10-21 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ画像処理方法及び装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
US9036936B2 (en) * 2011-06-20 2015-05-19 Fujifilm Corporation Image processing device, image processing method, and image processing program
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
CN107623816A (zh) * 2013-10-09 2018-01-23 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183842A (ja) * 2006-01-10 2007-07-19 Tokyo Institute Of Technology 画像復元フィルタ及びそれを用いた画像復元方法
JP2007305113A (ja) * 2006-04-11 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847406B2 (en) * 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
US8233710B2 (en) * 2005-07-14 2012-07-31 Nikon Corporation Image processing device and image processing method
US7957610B2 (en) 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US20110135206A1 (en) 2008-06-20 2011-06-09 National University Corporation Shizuoka Universit Motion Extraction Device and Program, Image Correction Device and Program, and Recording Medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183842A (ja) * 2006-01-10 2007-07-19 Tokyo Institute Of Technology 画像復元フィルタ及びそれを用いた画像復元方法
JP2007305113A (ja) * 2006-04-11 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021528795A (ja) * 2019-04-22 2021-10-21 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ画像処理方法及び装置
JP7123256B2 (ja) 2019-04-22 2022-08-22 シェンチェン センスタイム テクノロジー カンパニー リミテッド ビデオ画像処理方法及び装置
WO2021039842A1 (ja) * 2019-08-28 2021-03-04 株式会社朋栄 映像の安定化及びモーションブラー除去処理方法とその装置
JPWO2021039842A1 (ja) * 2019-08-28 2021-03-04
JPWO2021106499A1 (ja) * 2019-11-29 2021-06-03
WO2021106499A1 (ja) * 2019-11-29 2021-06-03 株式会社朋栄 ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置

Also Published As

Publication number Publication date
US20110299793A1 (en) 2011-12-08
JPWO2010093040A1 (ja) 2012-08-16
JP5388072B2 (ja) 2014-01-15
US8620100B2 (en) 2013-12-31

Similar Documents

Publication Publication Date Title
JP5388072B2 (ja) モーションブラー制御装置、方法、及びプログラム
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
JP5651118B2 (ja) 画像処理装置および画像処理方法
US10007990B2 (en) Generating composite images using estimated blur kernel size
US11188777B2 (en) Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
JP4799428B2 (ja) 画像処理装置及び方法
US8600187B2 (en) Image restoration apparatus and image restoration method
JP5331816B2 (ja) 画像補正装置及び画像補正方法
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
US8698905B2 (en) Estimation of point spread functions from motion-blurred images
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP4342493B2 (ja) 手ぶれ補正装置
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US20240169498A1 (en) Joint Video Stabilization and Motion Deblurring
Albu et al. Adaptive recovery of motion blur point spread function from differently exposed images
CN117917685A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10741317

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010550568

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13201439

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10741317

Country of ref document: EP

Kind code of ref document: A1