JP4936222B2 - Motion vector collation device, image composition device, and program - Google Patents
Motion vector collation device, image composition device, and program Download PDFInfo
- Publication number
- JP4936222B2 JP4936222B2 JP2007157256A JP2007157256A JP4936222B2 JP 4936222 B2 JP4936222 B2 JP 4936222B2 JP 2007157256 A JP2007157256 A JP 2007157256A JP 2007157256 A JP2007157256 A JP 2007157256A JP 4936222 B2 JP4936222 B2 JP 4936222B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel block
- image data
- motion vector
- block
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本発明は、動きベクトル照合装置、画像合成装置及びプログラムに関し、たとえば、デジタルカメラ等の撮影装置において、夜景等の撮影感度の向上技術の一つとして用いられている連写画像合成に適用できる動きベクトル照合装置、画像合成装置及びプログラムに関する。
The present invention relates to a motion vector collation device, an image composition device, and a program. For example, in a photographing device such as a digital camera, a motion that can be applied to continuous image composition used as one of techniques for improving photographing sensitivity such as night scenes. The present invention relates to a vector matching device, an image composition device, and a program.
CCDやCMOS等の半導体撮像デバイスを用いたデジタルカメラ等の撮影装置は、カメラ自体で撮影感度(半導体撮像デバイスの撮影感度のこと。ISO感度ともいう。)を変更することが可能であり、暗所での撮影性能に優れているとされているが、撮影感度を高くし過ぎると、半導体撮像デバイスのノイズが増加して画質が低下するという弊害がある。 An imaging apparatus such as a digital camera using a semiconductor imaging device such as a CCD or CMOS can change the imaging sensitivity (the imaging sensitivity of the semiconductor imaging device; also referred to as ISO sensitivity) with the camera itself. However, if the shooting sensitivity is too high, there is an adverse effect that the noise of the semiconductor imaging device increases and the image quality deteriorates.
そこで、下記の特許文献1では、低速シャッタスピード(たとえば、1/60秒)と高速シャッタスピード(たとえば、1/1000秒)で2枚の画像を連写し、それらの画像を合成することにより、半導体撮像デバイスのダイナミックレンジを実質的に拡大することができる技術が記載されている。 Therefore, in the following Patent Document 1, two images are continuously shot at a low shutter speed (for example, 1/60 seconds) and a high shutter speed (for example, 1/1000 seconds), and these images are combined, A technique is described that can substantially expand the dynamic range of a semiconductor imaging device.
この技術のポイントは、低速シャッタスピードで撮影した画像(以下、低速画像という。)は、黒レベルの再現性に優れた画像であり、一方、高速シャッタスピードで撮影した画像(以下、高速画像という。)は、その逆に、白レベルの再現性に優れた画像であり、言い換えれば、低速画像では明るい部分が白く飛んだ「白飛び」の画像になりやすく、一方、高速画像では暗い部分が黒くつぶれた「黒つぶれ」の画像になりやすいという欠点を持つが、これら二つの画像を合成することにより、両画像の欠点(白飛びと黒つぶれ)を相互に補い合って、白飛びと黒つぶれのない画像、つまり、ダイナミックレンジの広い画像を得ることができるというものである。 The point of this technique is that an image shot at a low shutter speed (hereinafter referred to as a low-speed image) is an image having excellent black level reproducibility, while an image shot at a high shutter speed (hereinafter referred to as a high-speed image). .), On the other hand, is an image with excellent white level reproducibility. In other words, in a low-speed image, a bright part is likely to be a white-out image, whereas in a high-speed image, a dark part is Although it has the disadvantage that it tends to be a blackened “blackout” image, by combining these two images, it compensates for the shortcomings of both images (out-of-brightness and underexposure). In other words, an image having no dynamic range, that is, an image having a wide dynamic range can be obtained.
さて、この特許文献1の技術においては、その画像合成について、単に白飛び部分と黒つぶれ部分とを検出し、それらの部分に他方側の画像の該当部分を充当しているだけのものに過ぎず、たとえば、動きのある被写体や、撮影時に手振れがあった場合に、正確な画像合成を行うことが困難になるという欠点がある。 In the technique of this Patent Document 1, the image composition is merely detected by detecting a white-out part and a black-out part and applying the corresponding part of the image on the other side to those parts. For example, there is a drawback that it is difficult to perform accurate image composition when there is a moving subject or when there is a camera shake at the time of shooting.
これに対して、下記の特許文献2では、静止画撮影で生じる手振れを防止するために、防振モードにおいては、短い露光時間で複数回露光を行い、これら露光された結果得られた画像から輝度の高い画素からなる特徴点を抽出し、動きベクトルを求め、これらのデータに基づいて座標変換を行い画像合成する技術が開示されている。 On the other hand, in Patent Document 2 below, in order to prevent camera shake that occurs in still image shooting, in the image stabilization mode, exposure is performed a plurality of times with a short exposure time, and from the images obtained as a result of these exposures. A technique is disclosed in which feature points composed of pixels with high luminance are extracted, a motion vector is obtained, coordinate transformation is performed based on these data, and an image is synthesized.
しかしながら、特許文献2の技術においては、特徴点の検出対象が輝度の高い領域となっているため、たとえば、連続的に撮影された画像の構図そのものが異なる場合であっても、特徴点が一致してしまう可能性があり、不適切な画像合成が行われてしまうという問題があった。 However, in the technique of Patent Document 2, since the feature point detection target is a high-luminance region, for example, even when the composition of continuously captured images is different, the feature point is one. There has been a problem that improper image composition is performed.
本発明はこのような問題点に鑑みてなされたものであり、連続的に撮影された画像間の一致/不一致を確実に判定し、より精度の高い画像合成を行うことができるようにする動きベクトル照合装置、画像合成装置及びプログラムを提供することにある。
The present invention has been made in view of such a problem, and is a movement for reliably determining coincidence / non-coincidence between continuously photographed images and performing more accurate image composition. The object is to provide a vector verification device, an image composition device, and a program.
請求項1記載の発明は、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段と、この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段と、この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段と、この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段と、この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段と、この動きベクトル照合手段による照合結果に基づいて、前記第2の動きベクトルと一定距離内にある第1の動きベクトルを選別する動きベクトル選別手段と、この動きベクトル選別手段により選別された第1の動きベクトルの信頼性を判定する信頼性判定手段とを備えることを特徴とする。
請求項2記載の発明は、上記請求項1記載の発明において、前記画像取得手段によって取得された第1の画像データより照合対象とする範囲を設定する設定手段を更に備え、前記変更手段は、この設定手段によって設定される照合対象範囲を変更する手段を含むことを特徴とする。
請求項3記載の発明は、上記請求項1記載の発明において、前記変更手段は、前記検出手段によって検出された第1の画素ブロックの位置を所定画素ずらすことにより、前記第1の画素ブロックの位置を変更することを特徴とする。
請求項4記載の発明は、上記請求項1記載の発明において、前記変更手段は、前記検出手段によって検出された位置の第1の画素ブロックのブロックサイズを小さくするように変更することを特徴とする。
請求項5記載の発明は、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段と、この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段と、この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段と、この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段と、この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段と、この動きベクトル照合手段による照合結果に基づいて、前記保持手段に保持された第1の画素ブロックの位置と第1の動きベクトルの組を所定数選択する動きベクトル選択手段と、この動きベクトル選択手段により選択された所定数の組の前記第1の画素ブロックの位置と動きベクトルとに基づいて、前記第2の画像データを射影変換して前記第1の画像データと合成する合成手段とを備えることを特徴とする。
請求項6記載の発明は、上記請求項5記載の発明において、前記画像取得手段によって取得された第1の画像データより照合対象とする範囲を設定する設定手段を更に備え、前記変更手段は、この設定手段によって設定される照合対象範囲を変更する手段を含むことを特徴とする。
請求項7記載の発明は、上記請求項5記載の発明において、前記変更手段は、前記検出手段によって検出された第1の画素ブロックの位置を所定画素ずらすことにより、前記第1の画素ブロックの位置を変更することを特徴とする。
請求項8記載の発明は、上記請求項5記載の発明において、前記変更手段は、前記検出手段によって検出された位置の第1の画素ブロックのブロックサイズを小さくするように変更することを特徴とする。
請求項9記載の発明は、コンピュータを、連続的に複数の画像データを取得する画像取得手段、この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段、この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段、この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段、この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段、この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記動きベクトルとを各々照合する動きベクトル照合手段、この動きベクトル照合手段による照合結果に基づいて、前記第2の動きベクトルと一定距離内にある第1の動きベクトルを選別する動きベクトル選別手段、この動きベクトル選別手段により選別された第1の動きベクトルの信頼性を判定する信頼性判定手段として機能させることを特徴とする。
請求項10記載の発明は、コンピュータを、連続的に複数の画像データを取得する画像取得手段、この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段、この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段、この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段、この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段、この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段、前記動きベクトル照合手段による照合結果に基づいて、前記保持手段に保持された第1の画素ブロックの位置と第1の動きベクトルの組を所定数選択する動きベクトル選択手段、この動きベクトル選択手段により選択された所定数の組の前記第1の画素ブロックの位置と動きベクトルとに基づいて、前記第2の画像データを射影変換して前記第1の画像データと合成する合成手段として機能させることを特徴とする。
According to the first aspect of the present invention, image acquisition means for continuously acquiring a plurality of image data, and first image data among the plurality of image data continuously acquired by the image acquisition means as reference image data As a reference, the position detection means for detecting the position of the first pixel block having a large amount of feature from the reference image data, and the position detected by the position detection means as a reference, the second of the plurality of image data. The first search means for searching the position of the second pixel block corresponding to the position of the first pixel block from the tracked image data, and the first search first movement between the positions of the first pixel blocks obtained search result by means well the position of the first pixel block and the position of the second pixel block vector Holding means for holding, a changing means for changing the position of the first pixel block or the block size of the first pixel block detected by the detecting means after holding by the holding means, and the changing means A second position corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by Second search means for searching for the position of the pixel block; the position of the changed first pixel block obtained as a result of the search by the second search means; and the position of the changed first pixel block; a second motion vector between the position of the second pixel blocks, the position of the first pixel block held by the holding means A motion vector matching means for each collating the serial first motion vector, motion based on the collation result by the motion vector checking means, for selecting a first motion vector in the second motion vector within a certain distance It comprises a vector selection means and a reliability determination means for determining the reliability of the first motion vector selected by the motion vector selection means .
The invention described in claim 2 further comprises setting means for setting a range to be collated from the first image data acquired by the image acquisition means in the invention described in claim 1, wherein the changing means includes: It includes means for changing the collation target range set by the setting means.
According to a third aspect of the present invention, in the first aspect of the present invention, the changing unit shifts the position of the first pixel block detected by the detecting unit by a predetermined pixel, thereby changing the first pixel block. The position is changed.
According to a fourth aspect of the present invention, in the first aspect of the invention, the changing unit changes the block size of the first pixel block at the position detected by the detecting unit to be small. To do.
According to a fifth aspect of the invention, there is provided image acquisition means for continuously acquiring a plurality of image data, and first image data among the plurality of image data continuously acquired by the image acquisition means as reference image data. As a reference, the position detection means for detecting the position of the first pixel block having a large amount of feature from the reference image data, and the position detected by the position detection means as a reference, the second of the plurality of image data. The first search means for searching the position of the second pixel block corresponding to the position of the first pixel block from the tracked image data, and the first search first movement between the positions of the first pixel blocks obtained search result by means well the position of the first pixel block and the position of the second pixel block vector Holding means for holding, a changing means for changing the position of the first pixel block or the block size of the first pixel block detected by the detecting means after holding by the holding means, and the changing means A second position corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by Second search means for searching for the position of the pixel block; the position of the changed first pixel block obtained as a result of the search by the second search means; and the position of the changed first pixel block; a second motion vector between the position of the second pixel blocks, the position of the first pixel block held by the holding means A motion vector matching means for each collating the serial first motion vector, based on the collation result by the motion vector checking means, the position and the first motion vector of the first pixel block held in said holding means projection motion vector selecting means, based on the position and the motion vector of said set of first pixel blocks of a predetermined number selected by the motion vector selection unit, the second image data for selecting a predetermined number of sets The image processing apparatus is characterized by comprising combining means for converting and combining with the first image data.
The invention according to claim 6 further comprises setting means for setting a range to be collated from the first image data acquired by the image acquisition means in the invention according to claim 5, wherein the changing means comprises: It includes means for changing the collation target range set by the setting means.
According to a seventh aspect of the present invention, in the invention according to the fifth aspect, the changing unit shifts the position of the first pixel block detected by the detecting unit by a predetermined pixel, thereby shifting the first pixel block. The position is changed.
The invention according to claim 8 is the invention according to claim 5, wherein the changing means changes so as to reduce the block size of the first pixel block at the position detected by the detecting means. To do.
According to the ninth aspect of the present invention, the computer uses the image acquisition means for continuously acquiring a plurality of image data, and the first image data of the plurality of image data continuously acquired by the image acquisition means as a reference. As image data, position detection means for detecting the position of the first pixel block having a large amount of feature from the reference image data, and the position detected by the position detection means as a reference, the first of the plurality of image data. The first search means for searching for the position of the second pixel block corresponding to the position of the first pixel block from the tracked image data, using the second image data as the tracked image data, and the first search means during a first position of said first pixel blocks obtained search result by the search means and the position of the first pixel block and the position of the second pixel block Holding means for holding a motion vector, after holding by the holding means, changing means for changing the block size of the position or the first pixel blocks of said first pixel blocks detected by said detecting means, the changing means A second position corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by Second search means for searching for the position of the pixel block, the position of the changed first pixel block obtained as a result of the search by the second search means, and the position of the changed first pixel block, a second motion vector between the position of the second pixel block, the first pixel block held by the holding means Motion vector matching means for each matching said the location motion vector, based on the collation result by the motion vector checking means, the motion vector selection for selecting a first motion vector in the second motion vector within a certain distance And a function of reliability determination means for determining the reliability of the first motion vector selected by the motion vector selection means .
According to a tenth aspect of the present invention, there is provided a computer based on image acquisition means for continuously acquiring a plurality of image data, and based on the first image data of the plurality of image data continuously acquired by the image acquisition means. As image data, position detection means for detecting the position of the first pixel block having a large amount of feature from the reference image data, and the position detected by the position detection means as a reference, the first of the plurality of image data. The first search means for searching for the position of the second pixel block corresponding to the position of the first pixel block from the tracked image data, using the second image data as the tracked image data, and the first search means the between the positions of the first pixel blocks obtained search result by the search means and the position of the first pixel block and the position of the second pixel block Holding means for holding a motion vector of after holding by the holding means, changing means for changing the block size of the position or the first pixel blocks of said first pixel blocks detected by said detecting means, this change Second position corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block changed by the means or the position of the block size of the first pixel block . Second search means for searching for the position of the pixel block, a position of the changed first pixel block obtained as a result of the search by the second search means, and a position of the changed first pixel block, wherein a second motion vector between the position of the second pixel blocks, wherein the first pixel block held by the holding means Position and the first motion vector matching means for each collating the motion vector, on the basis of the collation result by the motion vector checking means, the position of the first motion vector of the first pixel block held in said holding means motion vector selection unit for the set to select a predetermined number, based on the position and the motion vector of the first pixel block of the set of a predetermined number selected by the motion vector selection unit, projecting the second image data It is characterized by functioning as a combining means for converting and combining with the first image data.
本発明では、連続的に撮影された画像間の一致/不一致を確実に判定し、より精度の高い画像合成を行うことができる。 According to the present invention, it is possible to reliably determine coincidence / non-coincidence between continuously shot images, and to perform image synthesis with higher accuracy.
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、実施形態に係る撮影装置の構成図である。この図において、撮影装置1は、撮影レンズや絞り機構等を含む光学系2、機械的に光路を遮断し得るシャッタ機構3、光学系2とシャッタ機構3を通過した光を結像して電気的な画像信号に変換するCCD4、CCD4の出力をアナログからデジタルに変換するA/D変換器5、A/D変換器5の出力を一時的に保持するDRAM6、DRAM6に保持されている画像信号を所定の表示形式に変換して液晶表示画面8に出力する液晶表示コントローラ7、液晶表示コントローラ7から出力された画像を表示する液晶表示画面8、液晶表示画面8に表示されている画像が所望の構図になったときにユーザによって操作されるシャッタボタン9、当該撮影装置1のモードを通常撮影モードや連写撮影モードにしたり、あるいはそれらのモードから撮影済み画像の再生モードにしたりその逆にしたり又は所定のシステム設定モード等にしたりするためのモードボタン10、集積回路部11、撮影済み画像を保存する外部記憶メモリMを備える。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a configuration diagram of a photographing apparatus according to the embodiment. In this figure, a photographing apparatus 1 forms an electric image by forming an optical system 2 including a photographing lens and a diaphragm mechanism, a shutter mechanism 3 that can mechanically block an optical path, and light passing through the optical system 2 and the shutter mechanism 3.
集積回路部11は、シャッタ機構3を制御するシャッタ制御部12、CCD4やA/D変換器5を制御する受光制御部13、DRAM6に保存されている画像信号をYUV信号(色信号)と輝度信号に変換するデモザイク部14、連写撮影モードで撮影された2枚の画像の特徴量を演算する特徴量演算部15、特徴量演算やブロックマッチング及び画像合成の際のワークメモリとして用いられるSRAM16、連写撮影モードで撮影された2枚の画像のブロックマッチングを行うブロックマッチング部17、そのブロックマッチングの結果に基づいて2枚の画像の画像変形及び合成加算処理を行う画像変形合成加算部18、当該集積回路部11の全体動作を制御するCPUコア19を含む。
The
図2は、本実施形態における画像合成処理の概略フローを示す図である。このフローでは、まず、ユーザがモードボタン10を操作して連写撮影モードにし、液晶表示画面8の表示を見ながら所望の構図に調整した上、シャッタボタン9を操作して2枚の画像を連写(ステップS1)すると、それらの2枚の画像が生の画像(RAW画像)データとしてCCD4からA/D変換器5を介してDRAMに取り込まれる。このとき、撮影された2枚の画像には、手振れに起因する微妙な位置ずれが生じているものとする。
FIG. 2 is a diagram showing a schematic flow of image composition processing in the present embodiment. In this flow, first, the user operates the
撮影された2枚のRAW画像は、集積回路部11のデモザイク部14によってYUV画像と輝度画像の2種類の画像に変換され、DRAM6に保存される。ブロックマッチング部17は、2枚の輝度画像のうちの一方の画像を「基準画像」、他方の画像を「被追跡画像」(基準画像に位置合わせをして合成加算する側)として、それらの基準画像と被追跡画像間のブロックマッチングを行う。このように、2枚の輝度画像はブロックマッチングに用いられ、YUV画像は後述の合成加算データとして用いられる。
The two captured RAW images are converted into two types of images, a YUV image and a luminance image, by the
次に、基準画像側(1枚目)のウィンドウ設定を行う(ステップS2)。
図3は、ウィンドウ設定の概念図である。この図に示すように、基準画像20の全体が同一サイズの複数のエリア(ここでは一例として4×3=12個のエリアE0〜E11)に分けられ、これらの12個のエリアE0〜E11で一つのウィンドウWを構成する。各々のエリアは、更に同一サイズの複数のブロック(ここでは一例として3×3=9個のブロックB0〜B8)に分かれており、各ブロックB0〜B8は、それぞれ同数の画素(ここでは16×16画素)で構成されている。なお、基準画像20の原点P0とウィンドウWの原点P1の間には一定のオフセットOFSTが設定されている。
Next, window setting on the reference image side (first image) is performed (step S2).
FIG. 3 is a conceptual diagram of window setting. As shown in this figure, the
次に、ステップS2で区分け設定された各ブロックB0〜B8について、ハリスのコーナー検出評価関数を用いて特徴量を求める。そして、各エリアE0〜E11毎に、特徴量が最も大きい(最も高い)ブロックBiをブロックマッチング用のブロックとして選出する(ステップS3)。 Next, for each block B <b> 0 to B <b> 8 set and classified in step S <b> 2, a feature amount is obtained using a Harris corner detection evaluation function. For each area E0 to E11, the block Bi having the largest (highest) feature value is selected as a block matching block (step S3).
図4は、選出ブロックを示す図である。この図において、ハッチングを付したブロックは、それぞれのエリアE0〜E11における特徴量が最も大きいブロックBiの一例を示しており、たとえば、エリアE0においてはブロックB7(図ではE0_B7と表記)、エリアE1においてはブロックB6(図ではE1_B6と表記)、エリアE2においてはブロックB1(図ではE2_B1と表記)、エリアE3においてはブロックB7(図ではE3_B7と表記)、エリアE4においてはブロックB5(図ではE4_B5と表記)、エリアE5においてはブロックB2(図ではE5_B2と表記)、エリアE6においてはブロックB4(図ではE6_B4と表記)、エリアE7においてはブロックB3(図ではE7_B3と表記)、エリアE8においてはブロックB4(図ではE8_B4と表記)、エリアE9においてはブロックB6(図ではE9_B6と表記)、エリアE10においてはブロックB1(図ではE10_B1と表記)、エリアE11においてはブロックB4(図ではE11_B4と表記)が、それぞれのエリア内で特徴量が最も大きいブロックBiである。 FIG. 4 is a diagram showing a selection block. In this figure, the hatched blocks indicate an example of the block Bi having the largest feature amount in each of the areas E0 to E11. For example, in the area E0, the block B7 (indicated as E0_B7 in the figure), the area E1 Block B6 (denoted as E1_B6 in the figure), block B1 (denoted as E2_B1 in the figure) in area E2, block B7 (denoted as E3_B7 in the figure) in area E3, block B5 (denoted as E4_B5 in the figure) in area E4 In area E5, block B2 (indicated as E5_B2 in the figure), in area E6, block B4 (indicated in the figure as E6_B4), in area E7, in block B3 (indicated as E7_B3 in the figure), in area E8 Block B4 (E8 in the figure) B4 (indicated as E9_B6 in the figure), block B1 (indicated as E10_B1 in the figure) in area E10, and block B4 (indicated as E11_B4 in the figure) in area E11. The block Bi has the largest feature amount in the area.
次に、選出された各ブロックBiについて、ブロックマッチング部17でブロックマッチングを行い、動きベクトルを求める(ステップS4)。具体的には、被追跡画像側(2枚目)の同一座標ブロックを中心として、指定の検索範囲で、各座標毎に基準画像の選出ブロックとの差分二乗和を求める。そして、差分二乗和の一番少ない位置より、ブロックの動きベクトルを求める。この際、一回のブロックマッチングについて、16×16=256回の大量の乗算を行うことになるので、基準画像側のブロックと、被追跡画像側のサーチエリアのデータとを一度集積回路部11のSRAM16に取り込み、この取り込んだデータを用いてブロックマッチング部17で高速並列処理を行う。
Next, with respect to each selected block Bi, the block matching unit 17 performs block matching to obtain a motion vector (step S4). Specifically, the sum of squares of differences from the selected block of the reference image is obtained for each coordinate within a designated search range around the same coordinate block on the tracked image side (second image). Then, the motion vector of the block is obtained from the position having the smallest difference square sum. At this time, since a large number of multiplications of 16 × 16 = 256 times are performed for one block matching, the block on the reference image side and the data in the search area on the tracked image side are once integrated
次に、各ブロックの動きベクトルデータを用い、たとえば、RANSAC法により、アウトライア(被写体移動などでイレギュラーに移動したブロックの動きベクトル)を排除し、2画像の位置関係を表す射影変換行列を求める(ステップS5)。RANSAC(RANdom SAmple Consensus)とは、パラメータ推定の一手法であり、少数の点から求めたパラメータ推定の候補に対して、多数の点の中からその推定に適合する点の数や適合の正確性の度合い、すなわち、サポート数を算出し、サポート数の多い推定候補を最終の推定結果として採用する方法のことである。 Next, using the motion vector data of each block, for example, by the RANSAC method, outliers (motion vectors of blocks moved irregularly due to subject movement, etc.) are excluded, and a projective transformation matrix representing the positional relationship between the two images is obtained. Obtained (step S5). RANSAC (RANdom Sample Consensus) is a method of parameter estimation. For a parameter estimation candidate obtained from a small number of points, the number of points that match the estimation from a large number of points and the accuracy of the matching This is a method of calculating the degree of the evaluation, that is, the number of supports and adopting an estimation candidate having a large number of supports as a final estimation result.
次に、各ブロックの動きベクトルデータの信頼性の判定を行う(ステップS6)。この判定は、たとえば、RANSAC法で求められる射影変換行列のサポート率が一定値以上であるか否かによって行うことができる。RANSAC法で求められる射影変換行列のサポート率は、全サンプル数に対するインライア(変換行列が有効となるサンプル)の割合を示しており、このサポート率が一定値以上であれば、RANSAC法による射影変換行列の生成が成功であったとみなして差し支えないからである。 Next, the reliability of the motion vector data of each block is determined (step S6). This determination can be made based on, for example, whether or not the support rate of the projective transformation matrix obtained by the RANSAC method is a certain value or more. The support rate of the projective transformation matrix obtained by the RANSAC method indicates the ratio of inliers (samples for which the transformation matrix is valid) to the total number of samples. If this support rate is a certain value or more, the projective transformation by the RANSAC method This is because the generation of the matrix can be regarded as successful.
ステップS6で、各ブロックの動きベクトルデータの信頼性ありと判定された場合(ステップS6の判定結果が“YES”の場合)は、次に、変換行列に基づき、2枚の画像の合成加算を行い(ステップS7)、合成加算された画像データを外部記憶メモリMに保存(ステップS8)して、フローを終了する。 If it is determined in step S6 that the motion vector data of each block is reliable (if the determination result in step S6 is “YES”), then, based on the transformation matrix, a composite addition of the two images is performed. (Step S7), the combined and added image data is stored in the external storage memory M (step S8), and the flow is terminated.
一方、ステップS6で、各ブロックの動きベクトルデータの信頼性なしと判定された場合(ステップS6の判定結果が“NO”の場合)、つまり、RANSAC法で求められる射影変換行列のサポート率が一定値以上でなかった場合は、次に、以下の処理に従い、本実施形態の特徴である各ブロックの動きベクトルデータの検証を行う。 On the other hand, when it is determined in step S6 that the motion vector data of each block is not reliable (when the determination result in step S6 is “NO”), that is, the support rate of the projection transformation matrix obtained by the RANSAC method is constant. If it is not equal to or greater than the value, next, the motion vector data of each block, which is a feature of the present embodiment, is verified according to the following processing.
まず、先のステップS2で設定したウィンドウWの原点P1を所定量ずらしたウィンドウWaを設定する(ステップS9)。
図5は、ウィンドウWaの設定概念図である。この図の(a)に示すように、ウィンドウWaの原点P1´は、先のステップS2で設定したウィンドウWの原点P1を右下方向に所定量ずらしたものであり、“所定量”は、同(b)に示すように、一つのブロックの縦横サイズの各々1/2に相当する量である。
First, a window Wa is set by shifting the origin P1 of the window W set in the previous step S2 by a predetermined amount (step S9).
FIG. 5 is a conceptual diagram of setting the window Wa. As shown in (a) of this figure, the origin P1 ′ of the window Wa is obtained by shifting the origin P1 of the window W set in the previous step S2 by a predetermined amount in the lower right direction. As shown in (b), the amount corresponds to 1/2 of the vertical and horizontal size of one block.
ウィンドウWaのエリア及びブロックの構成は、先のステップS2で設定したウィンドウWと同じである。すなわち、このウィンドウWaも、基準画像20の全体を同一サイズの複数のエリアE0〜E11に分けられ、これらの12個のエリアE0〜E11で一つのウィンドウWを構成し、各々のエリアは、更に同一サイズの複数のブロックB0〜B8に分かれており、各ブロックB0〜B8は、それぞれ同数の画素(16×16画素)で構成されている点で共通する。相違点は、基準画像20の原点P0からウィンドウWaの原点P1´までのオフセットが、先のステップS2で設定したウィンドウWのオフセットOFSTよりも上記の所定量だけ大きくなっていることにある。
The area and block configuration of the window Wa are the same as those of the window W set in the previous step S2. That is, this window Wa is also divided into a plurality of areas E0 to E11 of the same size as a whole of the
次に、前記のステップS3と同様に、ウィンドウWaの各エリアE0〜E11毎に、特徴量の高いブロックを選出する(ステップS10)。この時、ウィンドウWaの原点P1´が1/2ブロックずらされている(図5(b)参照)ので、前記のステップS3で選ばれたブロックと全く同じ位置のブロックが選ばれることはない。 Next, as in step S3, a block having a high feature value is selected for each area E0 to E11 of the window Wa (step S10). At this time, since the origin P1 ′ of the window Wa is shifted by 1/2 block (see FIG. 5B), the block at the same position as the block selected in the above step S3 is not selected.
次いで、前記のステップS4と同様に、選出された各ブロックBiについて、ブロックマッチング部17でブロックマッチングを行い、動きベクトルを求める(ステップS11)。 Next, as in step S4, block matching unit 17 performs block matching on each selected block Bi to obtain a motion vector (step S11).
先のステップS4で得られた動きベクトル(ウィンドウWを適用して得られた動きベクトル)と、前記ステップS11で得られた動きベクトル(ウィンドウWaを適用して得られた動きベクトル)とを各エリアE0〜E11毎に照合し、双方の動きベクトルが一定距離内にある動きベクトル群だけを選別する(ステップS12)。 The motion vector obtained in the previous step S4 (motion vector obtained by applying the window W) and the motion vector obtained in step S11 (motion vector obtained by applying the window Wa) are Collation is performed for each of the areas E0 to E11, and only the motion vector group in which both motion vectors are within a certain distance is selected (step S12).
次に、選別された動きベクトル群を用いて再度RANSAC法によるアウトライア排除及び射影変換行列生成を試みる(ステップS13)。 Next, outlier removal and projective transformation matrix generation by the RANSAC method is attempted again using the selected motion vector group (step S13).
そして、各ブロックの動きベクトルデータの信頼性の判定を行う(ステップS14)。この判定も、先のステップS6と同様に、ステップS13で生成された射影変換行列のサポート率が一定値以上であるか否かを調べることによって行うことができる。 Then, the reliability of the motion vector data of each block is determined (step S14). This determination can also be made by checking whether or not the support rate of the projective transformation matrix generated in step S13 is equal to or greater than a certain value, as in the previous step S6.
サポート率が一定値以上の場合、各ブロックの動きベクトルデータの信頼性ありと判定し(ステップS14の判定結果“YES”)、次に、ステップS13で求めた変換行列に基づき、2枚の画像の合成加算を行い(ステップS7)、合成加算された画像データを外部記憶メモリMに保存(ステップS8)して、フローを終了するが、サポート率が一定値以上でなかった場合、つまり、各ブロックの動きベクトルデータの信頼性なしと判定された場合(ステップS14の判定結果“NO”)は、所要の警告メッセージ(たとえば、“画像合成に失敗しました。撮影をやり直してください“等)を液晶表示画面8に表示して(ステップS15)、フローを終了する。 If the support rate is equal to or greater than a certain value, it is determined that the motion vector data of each block is reliable (the determination result of step S14 is “YES”), and then two images are obtained based on the transformation matrix obtained in step S13. (Step S7), the combined and added image data is stored in the external storage memory M (step S8), and the flow is terminated. If the support rate is not equal to or higher than a certain value, When it is determined that the motion vector data of the block is not reliable (determination result “NO” in step S14), a required warning message (for example, “Image composition failed. Please try again”). The information is displayed on the liquid crystal display screen 8 (step S15), and the flow ends.
以上のとおり、本実施形態では、各エリア内でブロックマッチングにより求められた動きベクトルの信頼性が充分でない場合(図2のステップS6の“NO”)に、単に信頼性不十分で合成不可と判断するだけでなく、新たに同一エリア内の別の動きベクトルと照合してデータの正当性を検証する処理(図2のステップS9〜ステップS14)を新たに実行するようにしたから、ブロックマッチングの信頼性を向上させることができることに加え、たとえ、一時的に合成不可と判断された場合(図2のステップS6の“NO”)であっても、新たに実行されるデータの正当性検証の結果(図2のステップS14の判定結果)によっては、静止画の位置合わせ合成が成功となり得る場合があり、画像合成の成功率を高めることができるという特有の効果が得られる。 As described above, in this embodiment, when the reliability of the motion vector obtained by block matching in each area is not sufficient (“NO” in step S6 in FIG. 2), the reliability is simply insufficient and synthesis is impossible. Since not only the determination but also a new process for verifying the validity of the data by collating with another motion vector in the same area (steps S9 to S14 in FIG. 2) is newly executed, block matching In addition to improving the reliability of the data, even if it is temporarily determined that the synthesis is impossible (“NO” in step S6 in FIG. 2), the validity verification of the newly executed data Depending on the result (determination result in step S14 in FIG. 2), still image alignment synthesis may be successful, and the success rate of image synthesis can be increased. Effect can be obtained.
図6及び図7は、本実施形態の効果を示す画像例であり、詳細には、図6は、本実施形態を適用しない場合(図2のステップS9〜ステップS14を実行しない場合)の画像例、図7は、本実施形態を適用した場合(図2のステップS9〜ステップS14を実行した場合)の画像例である。ちなみに、図6の画像は、図2のステップS9〜ステップS14を実行しない場合RANSACのサポート率が59.6%のときのものであり、図7の画像は、図2のステップS9〜ステップS14を実行した場合のRANSACのサポート率が89.1%のときのものである。両画像を見比べると、図6の画像は画像全体にブレが残っているが、一方の図7の画像は、ほとんどブレが目立たなくなっており、本実施形態を適用した場合(図7の画像)の優位性が明らかとなっている。 6 and 7 are examples of images showing the effects of the present embodiment. Specifically, FIG. 6 is an image when the present embodiment is not applied (when steps S9 to S14 in FIG. 2 are not performed). FIG. 7 shows an example of an image when this embodiment is applied (when Steps S9 to S14 of FIG. 2 are executed). Incidentally, the image in FIG. 6 is obtained when the RANSAC support rate is 59.6% when steps S9 to S14 in FIG. 2 are not executed, and the image in FIG. 7 is obtained in steps S9 to S14 in FIG. When RANSAC is supported, the support rate is 89.1%. When comparing the two images, blurring remains in the entire image of FIG. 6, but blurring is hardly noticeable in the image of FIG. 7, and this embodiment is applied (image of FIG. 7). The advantage of has been revealed.
なお、前記の実施形態では、サーチウインドウの原点をずらす(P1→P1´:図5参照)ことによって得られる同一エリアのデータを照合するとしたが、これに限らず、以下の第1又は第2の変形例のようにしてもよい。 In the above-described embodiment, the data of the same area obtained by shifting the origin of the search window (P1 → P1 ′: see FIG. 5) is collated. However, the present invention is not limited to this. You may make it like the modification of.
図8は、第1の変形例を示す図である。この図に示すように、基準画像20の各エリア内で特徴量が最も大きいブロックのマッチングデータと、その特徴量が最も大きいブロックから数画素ずらしたブロックのマッチングデータとを照合し、各ベクトルデータが近い場合には、特徴量が最も大きいデータを採用するとしてもよい。
FIG. 8 is a diagram illustrating a first modification. As shown in this figure, the matching data of the block with the largest feature amount in each area of the
図9は、第2の変形例を示す図である。この図に示すように、基準画像20の各エリア内で特徴量が最も大きいブロックのマッチングデータと、その特徴量が最も大きいブロックのサイズを小さくしたブロックのマッチングデータとを照合し、各ベクトルデータが近い場合には、特徴量が最も大きいデータを採用するとしてもよい。
FIG. 9 is a diagram illustrating a second modification. As shown in this figure, the matching data of the block having the largest feature amount in each area of the
1 撮影装置
4 CCD
15 特徴量演算部
16 SRAM
17 ブロックマッチング部
18 画像変形合成加算部
19 CPUコア
1
15 Feature
17
Claims (10)
この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段と、
この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、
この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段と、
この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段と、
この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段と、
この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段と、
この動きベクトル照合手段による照合結果に基づいて、前記第2の動きベクトルと一定距離内にある第1の動きベクトルを選別する動きベクトル選別手段と、
この動きベクトル選別手段により選別された第1の動きベクトルの信頼性を判定する信頼性判定手段と
を備えることを特徴とする動きベクトル照合装置。 Image acquisition means for continuously acquiring a plurality of image data;
Position for detecting the position of the first pixel block having a large amount of feature from the reference image data using the first image data of the plurality of image data continuously acquired by the image acquisition means as the reference image data. Detection means;
Using the position detected by the position detection means as a reference, second image data of the plurality of image data as tracked image data, and corresponding to the position of the first pixel block from the tracked image data a first search means for searching the position of the second pixel block,
The position of the first pixel block obtained as a result of the search by the first search means and the first motion vector between the position of the first pixel block and the position of the second pixel block are held. Holding means;
Change means for changing the position of the first pixel block detected by the detection means or the block size of the first pixel block after the holding by the holding means;
Corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by the changing means. Second search means for searching for the position of the second pixel block;
The position of the changed first pixel block obtained as a result of the search by the second search means and the second position between the changed position of the first pixel block and the position of the second pixel block . A motion vector collating unit that collates each of the first motion vector with a position of the first pixel block held by the holding unit, and the first motion vector ,
A motion vector selecting means for selecting a first motion vector within a certain distance from the second motion vector based on the result of matching by the motion vector matching means;
A motion vector collating apparatus comprising: a reliability determining unit that determines the reliability of the first motion vector selected by the motion vector selecting unit .
前記変更手段は、この設定手段によって設定される照合対象範囲を変更する手段を含むことを特徴とする請求項1に記載の動きベクトル照合装置。 Further comprising setting means for setting a range to be collated from the first image data acquired by the image acquisition means;
2. The motion vector matching apparatus according to claim 1, wherein the changing means includes means for changing a matching target range set by the setting means.
この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段と、
この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、
この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段と、
この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段と、
この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段と、
この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段と、
この動きベクトル照合手段による照合結果に基づいて、前記保持手段に保持された第1の画素ブロックの位置と第1の動きベクトルの組を所定数選択する動きベクトル選択手段と、
この動きベクトル選択手段により選択された所定数の組の前記第1の画素ブロックの位置と動きベクトルとに基づいて、前記第2の画像データを射影変換して前記第1の画像データと合成する合成手段と
を備えることを特徴とする画像合成装置。 Image acquisition means for continuously acquiring a plurality of image data;
Position for detecting the position of the first pixel block having a large amount of feature from the reference image data using the first image data of the plurality of image data continuously acquired by the image acquisition means as the reference image data. Detection means;
Using the position detected by the position detection means as a reference, second image data of the plurality of image data as tracked image data, and corresponding to the position of the first pixel block from the tracked image data a first search means for searching the position of the second pixel block,
The position of the first pixel block obtained as a result of the search by the first search means and the first motion vector between the position of the first pixel block and the position of the second pixel block are held. Holding means;
Change means for changing the position of the first pixel block detected by the detection means or the block size of the first pixel block after the holding by the holding means;
Corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by the changing means. Second search means for searching for the position of the second pixel block;
The position of the changed first pixel block obtained as a result of the search by the second search means and the second position between the changed position of the first pixel block and the position of the second pixel block . A motion vector collating unit that collates each of the first motion vector with a position of the first pixel block held by the holding unit, and the first motion vector ,
A motion vector selecting means for selecting a predetermined number of sets of the positions of the first pixel blocks and the first motion vectors held in the holding means based on the result of matching by the motion vector matching means ;
Based on the positions and motion vectors of the first pixel blocks of a predetermined number of sets selected by the motion vector selection means , the second image data is projectively transformed and synthesized with the first image data. And an image synthesizing device.
前記変更手段は、この設定手段によって設定される照合対象範囲を変更する手段を含むことを特徴とする請求項5に記載の画像合成装置。 Further comprising setting means for setting a range to be collated from the first image data acquired by the image acquisition means;
6. The image synthesizing apparatus according to claim 5, wherein the changing means includes means for changing a collation target range set by the setting means.
連続的に複数の画像データを取得する画像取得手段、
この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段、
この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、
この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段、
この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段、
この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段、
この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記動きベクトルとを各々照合する動きベクトル照合手段、
この動きベクトル照合手段による照合結果に基づいて、前記第2の動きベクトルと一定距離内にある第1の動きベクトルを選別する動きベクトル選別手段、
この動きベクトル選別手段により選別された第1の動きベクトルの信頼性を判定する信頼性判定手段
として機能させることを特徴とするプログラム。 Computer
Image acquisition means for continuously acquiring a plurality of image data;
Position for detecting the position of the first pixel block having a large amount of feature from the reference image data using the first image data of the plurality of image data continuously acquired by the image acquisition means as the reference image data. Detection means,
Using the position detected by the position detection means as a reference, second image data of the plurality of image data as tracked image data, and corresponding to the position of the first pixel block from the tracked image data a first search means for searching the position of the second pixel block,
The position of the first pixel block obtained as a result of the search by the first search means and the first motion vector between the position of the first pixel block and the position of the second pixel block are held. Holding means,
Change means for changing the position of the first pixel block or the block size of the first pixel block detected by the detection means after being held by the holding means;
Corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by the changing means. Second search means for searching for the position of the second pixel block;
The position of the changed first pixel block obtained as a result of the search by the second search means and the second position between the changed position of the first pixel block and the position of the second pixel block . the motion vector and the motion vector matching means, each matching the position of the first pixel block held between the motion vector by said holding means,
A motion vector selecting means for selecting a first motion vector within a certain distance from the second motion vector based on the result of matching by the motion vector matching means;
A program that functions as a reliability determination unit that determines the reliability of the first motion vector selected by the motion vector selection unit .
連続的に複数の画像データを取得する画像取得手段、
この画像取得手段によって連続的に取得された複数の画像データのうちの第1の画像データを基準画像データとして、この基準画像データから、特徴量の多い第1の画素ブロックの位置を検出する位置検出手段、
この位置検出手段によって検出された位置を基準とし、前記複数の画像データのうちの第2の画像データを被追跡画像データとして、この被追跡画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第1のサーチ手段と、
この第1のサーチ手段によるサーチの結果得られる前記第1の画素ブロックの位置並びに前記第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第1の動きベクトルを保持する保持手段、
この保持手段による保持の後、前記検出手段によって検出された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズを変更する変更手段、
この変更手段によって変更された前記第1の画素ブロックの位置または前記第1の画素ブロックのブロックサイズの位置を基準として、前記第2の画像データから、前記第1の画素ブロックの位置に対応する第2の画素ブロックの位置をサーチする第2のサーチ手段、
この第2のサーチ手段によるサーチの結果得られる前記変更された第1の画素ブロックの位置並びに前記変更された第1の画素ブロックの位置と前記第2の画素ブロックの位置との間の第2の動きベクトルと、前記保持手段によって保持された前記第1の画素ブロックの位置と前記第1の動きベクトルとを各々照合する動きベクトル照合手段、
前記動きベクトル照合手段による照合結果に基づいて、前記保持手段に保持された第1の画素ブロックの位置と第1の動きベクトルの組を所定数選択する動きベクトル選択手段、
この動きベクトル選択手段により選択された所定数の組の前記第1の画素ブロックの位置と動きベクトルとに基づいて、前記第2の画像データを射影変換して前記第1の画像データと合成する合成手段
として機能させることを特徴とするプログラム。
Computer
Image acquisition means for continuously acquiring a plurality of image data;
Position for detecting the position of the first pixel block having a large amount of feature from the reference image data using the first image data of the plurality of image data continuously acquired by the image acquisition means as the reference image data. Detection means,
Using the position detected by the position detection means as a reference, second image data of the plurality of image data as tracked image data, and corresponding to the position of the first pixel block from the tracked image data a first search means for searching the position of the second pixel block,
The position of the first pixel block obtained as a result of the search by the first search means and the first motion vector between the position of the first pixel block and the position of the second pixel block are held. Holding means,
Change means for changing the position of the first pixel block or the block size of the first pixel block detected by the detection means after being held by the holding means;
Corresponding to the position of the first pixel block from the second image data with reference to the position of the first pixel block or the position of the block size of the first pixel block changed by the changing means. Second search means for searching for the position of the second pixel block;
The position of the changed first pixel block obtained as a result of the search by the second search means and the second position between the changed position of the first pixel block and the position of the second pixel block . of a motion vector, a motion vector matching means for each collating the position and the first motion vector of the first pixel block held by said holding means,
Motion vector selection means for selecting a predetermined number of pairs of the positions of the first pixel blocks and the first motion vectors held in the holding means based on the result of matching by the motion vector matching means;
Based on the positions and motion vectors of the first pixel blocks of a predetermined number of sets selected by the motion vector selection means , the second image data is projectively transformed and synthesized with the first image data. A program characterized by functioning as a synthesis means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157256A JP4936222B2 (en) | 2007-06-14 | 2007-06-14 | Motion vector collation device, image composition device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157256A JP4936222B2 (en) | 2007-06-14 | 2007-06-14 | Motion vector collation device, image composition device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008311907A JP2008311907A (en) | 2008-12-25 |
JP4936222B2 true JP4936222B2 (en) | 2012-05-23 |
Family
ID=40239118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007157256A Expired - Fee Related JP4936222B2 (en) | 2007-06-14 | 2007-06-14 | Motion vector collation device, image composition device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4936222B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4748230B2 (en) * | 2009-02-17 | 2011-08-17 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and imaging program |
KR101016656B1 (en) * | 2009-05-19 | 2011-02-25 | 주식회사신도리코 | Image forming apparatus having scanning function and scanning method thereof |
JP2015144475A (en) * | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | Imaging apparatus, control method of the same, program and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11213156A (en) * | 1998-01-29 | 1999-08-06 | Canon Inc | Device, method for processing image and recording medium |
JP2004357202A (en) * | 2003-05-30 | 2004-12-16 | Canon Inc | Photographing apparatus |
JP4640032B2 (en) * | 2005-08-11 | 2011-03-02 | カシオ計算機株式会社 | Image composition apparatus, image composition method, and program |
-
2007
- 2007-06-14 JP JP2007157256A patent/JP4936222B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008311907A (en) | 2008-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5445363B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US8558943B2 (en) | System and method for image capture device | |
EP2219366B1 (en) | Image capturing device, image capturing method, and image capturing program | |
CN101516001A (en) | Digital photographing apparatus, method of controlling the digital photographing apparatus, and recording medium | |
JP5237721B2 (en) | Imaging device | |
US20100128108A1 (en) | Apparatus and method for acquiring wide dynamic range image in an image processing apparatus | |
US20140286593A1 (en) | Image processing device, image procesisng method, program, and imaging device | |
JP7516471B2 (en) | Control device, imaging device, control method, and program | |
JP2009164690A (en) | Image processing device, correction information generation method, and image-capturing device | |
JP2014126803A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007274213A (en) | Image processor, method and imaging apparatus | |
JP2013219434A (en) | Image processing device and control method of the same | |
US20120057747A1 (en) | Image processing system and image processing method | |
JP4936222B2 (en) | Motion vector collation device, image composition device, and program | |
JP5197801B2 (en) | Movie reproduction system and photographing apparatus | |
US20130076940A1 (en) | Photographing apparatus and method of detecting distortion thereof | |
JPWO2012147337A1 (en) | Flicker detection apparatus, flicker detection method, and flicker detection program | |
JP2017060091A (en) | Device and method for posture estimation, and program | |
JP5446847B2 (en) | Image processing apparatus and method, and program | |
JP2007306436A (en) | Imaging apparatus | |
JP6080503B2 (en) | Image processing device | |
JP4919165B2 (en) | Image composition apparatus and program | |
JP7277321B2 (en) | Image processing device, image processing method, imaging device and program | |
JP2011146767A (en) | Imaging device | |
US20230276127A1 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4936222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120212 |
|
LAPS | Cancellation because of no payment of annual fees |