JP4851240B2 - Image processing apparatus and processing method thereof - Google Patents
Image processing apparatus and processing method thereof Download PDFInfo
- Publication number
- JP4851240B2 JP4851240B2 JP2006156706A JP2006156706A JP4851240B2 JP 4851240 B2 JP4851240 B2 JP 4851240B2 JP 2006156706 A JP2006156706 A JP 2006156706A JP 2006156706 A JP2006156706 A JP 2006156706A JP 4851240 B2 JP4851240 B2 JP 4851240B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- super
- resolution
- partial
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 185
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 78
- 238000005259 measurement Methods 0.000 claims description 75
- 230000000875 corresponding effect Effects 0.000 claims description 71
- 238000000605 extraction Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 29
- 238000006073 displacement reaction Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定するに際し、複数の画像から部分的に解像度の高い画像を形成し、この解像度の高い画像を利用して高精度の三次元測定が可能な画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and a processing method thereof. In detail, when tracking the dynamic image when the imaging device moves relative to the object and measuring the coordinates of the imaging device or the object, an image with a partly high resolution is obtained from a plurality of images. The present invention relates to an image processing apparatus and an image processing method capable of forming and performing highly accurate three-dimensional measurement using an image with high resolution.
相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、低解像度の動画を張り合わせて、広視野高解像度の画像を形成する技術、低解像度の画像入力デバイスを用いて、特別な機械的走査機構を用いずに広範囲の高解像度画像を取得する技術が開示されている。(特許文献1、非特許文献1参照) There has been a technique for measuring the position of an imaging apparatus by continuously imaging an object while performing relative movement. However, when an imaging device is actually mounted on a moving body such as an automobile or when a person takes a picture with a hand, a stable image is not necessarily obtained due to the shaking of the automobile or person. It is necessary to correct vertical movement, tilt, etc., and other cars, people, Asuka, fallen leaves etc. enter between the imaging device and the object, and the feature points are hidden behind and disappear, It may be revived again. In addition, it may be difficult to see the movement in the three-dimensional space on the two-dimensional image. Therefore, it is necessary to perform processing for identifying and deleting feature points and corresponding points that are inappropriate for three-dimensional measurement, as well as such processing for swinging the photographing apparatus and processing for feature points that disappear and are reproduced. On the other hand, a technology that forms a wide-field, high-resolution image by laminating low-resolution videos, and a technology that uses a low-resolution image input device to acquire a wide range of high-resolution images without using a special mechanical scanning mechanism Is disclosed. (See Patent Document 1 and Non-Patent Document 1)
しかし従来の高解像度技術はいずれも二次元画像を対象とするもので、動画像から撮影装置または対象物の三次元座標を測定するには、2枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点(以下、対応特徴点という)を求め、これを追跡する技術が必要である。また、超解像処理は多数の対応特徴点について行なわれるので、処理の負荷が大きく、大メモリ容量が必要であるという問題があった。 However, all of the conventional high-resolution techniques target a two-dimensional image, and in order to measure the three-dimensional coordinates of a photographing apparatus or an object from a moving image, they correspond to each other on two or more moving images. A technique for obtaining a feature point, that is, the same point on an object (hereinafter referred to as a corresponding feature point) and tracking the same is required. Further, since the super-resolution processing is performed for a number of corresponding feature points, there is a problem that the processing load is large and a large memory capacity is required.
本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供することを目的とする。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供することを目的とする。 An object of the present invention is to provide an image processing apparatus and an image processing method capable of accurately measuring the shooting position, posture or three-dimensional coordinates of an object of a shooting device from a shot image that changes in time series such as a moving image. And It is another object of the present invention to provide an image processing apparatus and an image processing method capable of performing super-resolution processing with high speed and small memory capacity.
上記課題を解決するために、請求項1に記載の画像処理装置100は、例えば図2に示すように、相対的に移動する対象物を、隣り合う3以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部2と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部3と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部4と、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部4で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部8と、超解像処理部8にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部6と、ステレオ画像選択部6で選択されたステレオ画像の相互に対応付けられた特徴点(対象物上の同一点を表す)である対応特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部7とを備え、超解像処理部8は、選択された原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量が異なる場合には、特徴点の移動量が略等しいグループに分け、グループ毎に原画像群を再編し、再編された原画像群を用いて超解像画像の形成を行なう。 In order to solve the above-described problem, the image processing apparatus 100 according to claim 1 is configured such that, for example, as illustrated in FIG. 2, a relatively moving object is shared by three or more adjacent images. A captured image acquisition unit 2 that acquires a series of captured images captured in time series, a feature extraction unit 3 that extracts feature points from any captured image captured in time series, and a series of captured images A feature point tracking unit 4 that tracks feature points and associates the feature points with each other, and selects an original image group that is an image group for performing super-resolution processing from a series of captured images. A main feature point as a feature point for performing super-resolution processing is extracted from the feature points associated with each other in the tracking unit 4, and a partial image is set in a small area around the main feature point. A super-resolution process is performed to form a partial super-resolution image A resolution processing unit 8; a stereo image selection unit 6 that selects a stereo image that is a pair of images from a group of captured images in which a partial super resolution image is formed by the super resolution processing unit 8; Using the corresponding feature points (representing the same point on the object) associated with each other of the stereo images selected by the unit 6, the orientation and the three-dimensional measurement are performed, and the position of the object is determined. An orientation processing / three-dimensional measurement unit 7 for determining the shape of the object or the position of the imaging device that has imaged the object, and the super-resolution processing unit 8 includes a plurality of partial super images in the selected original image group. If the amount of movement of feature points on the screen between adjacent images is different for the resolution image, it is divided into groups with the same amount of movement of feature points, and the original image group is reorganized for each group, and the reorganized original image A super-resolution image is formed using the image group.
ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う3以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば10以上が好ましく、50以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第1の画像の特徴点に対して第2の画像の対応する対応点を探索し、相互に対応付けられると次に第2の画像の対応点を新たな特徴点として第3の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも3以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾きを算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。また、特徴点の移動量が略等しいグループとは、必ずしも部分画像全面にわたって移動量が等しい必要はなく、部分画像の主要部分で略等しくなるようにグループ分けすれば良い。 Here, the relatively moving object is typically shot with either the object or the imaging device moving and the other stationary, but is shot with both moving together. Also good. That is, the image may be taken in a state in which both move relatively. It is possible to track feature points by sharing an overlapping portion between three or more adjacent images. The larger the number of overlapping images, the better because the measurement coordinate accuracy can be improved. For example, 10 or more is preferable, and 50 or more is more preferable. A series of captured images taken in time series is captured images that are sequentially acquired over time, and may be images extracted from frames of moving images continuously captured by a video camera. It may be an image taken sequentially at an appropriate time interval by a camera. Further, it may be acquired from all the frames of the moving image or may be acquired every several frames. Also, the tracking of feature points is performed by searching corresponding points corresponding to the second image with respect to the feature points of the first image. Corresponding corresponding points in the third image are searched as points, and feature points are sequentially associated and tracked. Here, feature points associated with each other in a series of captured images are referred to as corresponding feature points. Also, feature points are newly generated, disappeared, and reproduced with the passage of time. Therefore, in a series of photographed images, the feature points associated with each other may be in at least three or more photographed images. In addition, the selection of the stereo image is selected from a correction image in which the position, magnification, and inclination are corrected by reflecting the tracking process for a series of captured images, or a displacement correction image from which vertical parallax has been removed by the displacement correction processing. Although it is preferable, even if it selects from the acquired original image, since it is matched with each other by the orientation process and the three-dimensional measurement, that may be sufficient. The orientation is a process for calculating the shooting position and inclination of the imaging apparatus, and the three-dimensional measurement is a process for calculating the three-dimensional coordinates of each feature point. In addition, a group having approximately the same amount of movement of feature points does not necessarily have to be the same over the entire partial image, and may be grouped so as to be substantially equal in the main part of the partial image.
このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理装置を提供できる。また、移動量が略等しいグループに分けて超解像処理を行うので、撮影画像に移動量が異なる領域が存在する場合でも画面全体で均質な超解像処理が可能となる。 If comprised in this way, the image processing apparatus which can measure the three-dimensional coordinate of the imaging | photography position and attitude | position of an imaging device or a target object from the captured image which changes in time series, such as a moving image, can be provided. Further, it is possible to provide an image processing apparatus capable of performing super-resolution processing with high speed and small memory capacity using partial images. In addition, since the super-resolution processing is performed by dividing the movement amount into groups with substantially the same amount, even when there are areas with different movement amounts in the captured image, the uniform super-resolution processing can be performed on the entire screen.
また、請求項2に記載の発明は、請求項1に記載の画像処理装置において、例えば図2に示すように、超解像処理部8は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部81と、原画像群において特徴点追跡部4で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部82と、主特徴点抽出部82で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部83と、部分画像設定部83で設定された部分画像を拡大する部分画像拡大部84と、部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部85と、副特徴点追跡部85で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部86と、部分画像変形部86で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部87と、超解像部分画像形成部87で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部88と、部分画像縮小部88で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部89とを有する。 The invention described in claim 2 is the image processing apparatus according to claim 1, in which, as shown in FIG. 2, for example, the super-resolution processing unit 8 performs super-resolution processing from a series of photographed images. An original image group selection unit 81 that selects an original image group that is an image group, and a main point as a feature point for performing super-resolution processing from the feature points associated with each other in the feature point tracking unit 4 in the original image group A main feature point extracting unit 82 that extracts feature points, a partial image setting unit 83 that sets a partial image in a small area around the main feature points extracted by the main feature point extracting unit 82, and a partial image setting unit 83 A partial image enlarging unit 84 for enlarging the set partial image, a plurality of sub feature points are extracted around the main feature points of the partial image, the sub feature points are tracked between the partial images of the captured image group, and the sub features are extracted. The sub-feature point tracking unit 85 that associates points with each other and the sub-feature point tracking unit 85 A partial image deformation unit 86 that deforms the partial image so that the position coordinates of the attached sub feature points are well matched between the original images, and a super-resolution partial image from a plurality of partial images deformed by the partial image deformation unit 86 A super-resolution partial image forming unit 87 for forming the image, a partial image reduction unit 88 for reducing the super-resolution partial image formed by the super-resolution partial image forming unit 87 to the dimensions of the original partial image, and partial image reduction A super-resolution image synthesis unit 89 that synthesizes the partial super-resolution image by fitting the partial image reduced by the unit 88 to the position of the original partial image in the captured image.
ここにおいて、部分画像の拡大処理と副特徴点の抽出・追跡処理はどちらを先にすることも可能であるが、拡大後抽出・追跡した方が高解像化し易い。また、部分画像の拡大は2倍、5倍、10倍など任意で良い。また、複数の部分画像から超解像部分画像を形成する場合に、典型的には部分画像中の特徴点の重心を求めるが、重み付けをしても良く、中央値などの他の統計処理をしても良い。また、はめ込みは端部が一致するようにはめ込む必要はなく、主特徴点の位置座標を合わせて重ねれば良い。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。 In this case, either the partial image enlargement process or the sub-feature point extraction / tracking process can be performed first, but extraction and tracking after enlargement is easier to achieve higher resolution. The partial image may be enlarged by 2 times, 5 times, 10 times, or the like. Also, when a super-resolution partial image is formed from a plurality of partial images, typically the center of gravity of the feature points in the partial image is obtained, but weighting may be performed, and other statistical processing such as the median value is performed. You may do it. In addition, the fitting does not have to be performed so that the end portions coincide with each other, and the position coordinates of the main feature points may be overlapped. If comprised in this way, the super-resolution image which has arrange | positioned the high-resolution partial image everywhere can be formed efficiently.
また、請求項3に記載の発明は、請求項1又は請求項2に記載の画像処理装置において、ステレオ画像選択部6は、超解像処理部8で部分超解像画像が形成された撮影画像からステレオ画像を選択し、標定処理・三次元計測部7は、選択されたステレオ画像の部分超解像画像についてマッチング処理を行なう。このように構成すると、再マッチング処理により、三次元位置精度を向上できる。 According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect, the stereo image selection unit 6 is an image in which a partial super-resolution image is formed by the super-resolution processing unit 8. A stereo image is selected from the images, and the orientation processing / three-dimensional measurement unit 7 performs matching processing on the partial super-resolution image of the selected stereo image. With this configuration, the three-dimensional position accuracy can be improved by the rematching process.
また、請求項4に記載の発明は、請求項1乃至請求項3のいずれか1項に記載の画像処理装置において、超解像処理部8は、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超解像処理を行い、標定処理・三次元計測部7は超解像処理の結果を用いて、標定および三次元計測を行なう。ここにおいて、予め測定された位置座標は一旦超解像処理した後に三次元計測された位置座標でも良く、超解像処理されずに別途三次元計測された位置座標でも良く、画像処理に基づかずにGPSや慣性センサなどで三次元計測された位置座標でも良い。このように構成すると、三次元計測で得られた位置座標を用いて適切なステレオ画像を選択できる。 According to a fourth aspect of the present invention, in the image processing device according to any one of the first to third aspects, the super-resolution processing unit 8 includes the position coordinates or the target of the object measured in advance. Super-resolution processing is performed using the position coordinates of the imaging device that photographed the object, and the orientation processing / three-dimensional measurement unit 7 performs orientation and three-dimensional measurement using the result of the super-resolution processing. Here, the position coordinates measured in advance may be position coordinates measured three-dimensionally after super-resolution processing once, or may be position coordinates measured separately three-dimensionally without super-resolution processing, and are not based on image processing. Alternatively, position coordinates measured three-dimensionally by a GPS or an inertial sensor may be used. If comprised in this way, a suitable stereo image can be selected using the position coordinate obtained by three-dimensional measurement.
また、請求項5に記載の画像処理方法は、例えば図3に示すように、相対的に移動する対象物を、隣り合う3以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程(S100)と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程(S110)と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程(S120)と、前記一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程(S130)と、超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程(S140)と、ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、対象物の位置、対象物の形状又は対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程(S150,S160)とを備え、超解像処理工程(S130)において、選択された原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量が異なる場合には、特徴点の移動量が略等しいグループに分け、グループ毎に原画像群を再編し、再編された原画像群を用いて超解像画像の形成を行なう。このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理方法を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理方法を提供できる。また、移動量が略等しいグループに分けて超解像処理を行うので、撮影画像に移動量が異なる領域が存在する場合でも画面全体で均質な超解像処理が可能となる。 Further, in the image processing method according to claim 5, for example, as shown in FIG. 3, a relatively moving object is photographed in time series so that three or more adjacent images share overlapping portions. A captured image acquisition step (S100) for acquiring a series of captured images, a feature extraction step (S110) for extracting feature points from any of the captured images captured in time series, and feature points for a series of captured images. A feature point tracking step (S120) for tracking and associating feature points with each other, and selecting an original image group that is an image group for performing super-resolution processing from the series of captured images, and tracking the feature points in the original image group Extracting main feature points as feature points for super-resolution processing from feature points associated with each other in the process, setting a partial image in a small area around the main feature points, Partial super-resolution image with resolution processing And a stereo image selection step (S130) for selecting a stereo image that is a paired image from the group of captured images in which a partial super-resolution image is formed in the super-resolution processing step (S130). S140) and using the feature points associated with each other of the stereo image selected in the stereo image selection step, orientation and three-dimensional measurement are performed, and the position of the object, the shape of the object, or the object is photographed. A plurality of partial super-resolution images in the selected original image group in the super-resolution processing step (S130). If the amount of movement of feature points on the screen between adjacent images is different, divide into groups with the same amount of movement of feature points, reorganize the original image group for each group, and use the reorganized original image group Super solution Performing image formation. If comprised in this way, the image processing method which can measure the three-dimensional coordinate of the imaging | photography position and attitude | position of an imaging device or a target object accurately from the imaging | photography image which changes in time series, such as a moving image, can be provided. Further, it is possible to provide an image processing method capable of performing super-resolution processing with high speed and small memory capacity using partial images. In addition, since the super-resolution processing is performed by dividing the movement amount into groups with substantially the same amount, even when there are areas with different movement amounts in the captured image, the uniform super-resolution processing can be performed on the entire screen.
また、請求項6に記載の発明は、請求項5に記載の画像処理方法において、例えば図8に示すように、超解像処理工程(S130)は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択工程(S131)と、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出工程(S132)と、主特徴点抽出工程で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定工程(S133)と、部分画像設定工程で設定された部分画像を拡大する部分画像拡大工程(S134)と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡工程(S135)と、副特徴点追跡工程で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形工程(S136)と、部分画像変形工程で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成工程(S137)と、超解像部分画像形成工程で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小工程(S138)と、部分画像縮小工程で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成工程(S139)とを有する。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。 In the image processing method according to claim 5, the super-resolution processing step (S130) performs super-resolution processing from a series of photographed images, for example, as shown in FIG. An original image group selecting step (S131) for selecting an original image group, which is an image group, and a feature point for performing super-resolution processing from the feature points associated with each other in the feature point tracking step in the original image group A main feature point extracting step (S132) for extracting a main feature point as, a partial image setting step (S133) for setting a partial image in a small area around the main feature point extracted in the main feature point extracting step, A partial image enlarging step (S134) for enlarging the partial image set in the partial image setting step, a plurality of sub feature points are extracted around the main feature point of the partial image, and between the partial images of the captured image group To track the sub-feature point and Sub-feature modification that transforms the sub-image so that the position coordinates of the sub-feature points correlated in the sub-feature point tracking step (S135) for associating the points with each other and the sub-feature points tracking step match well between the original images Formed in the step (S136), the super-resolution partial image forming step (S137) for forming a super-resolution partial image from a plurality of partial images deformed in the partial image deformation step, and the super-resolution partial image forming step A partial image reduction step (S138) for reducing the super-resolution partial image to the size of the original partial image, and fitting the partial image reduced in the partial image reduction step into the position of the original partial image in the captured image; synthesizing a partial super resolution images have a the super-resolution image synthesis step (S139). If comprised in this way, the super-resolution image which has arrange | positioned the high-resolution partial image everywhere can be formed efficiently.
本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。
また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。
ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus and image processing method which can measure the imaging | photography position, attitude | position of an imaging device, or the three-dimensional coordinate of a target object accurately from the imaging | photography image which changes in time series, such as a moving image, can be provided.
In addition, it is possible to provide an image processing apparatus and an image processing method capable of performing super-resolution processing with high speed and small memory capacity.
以下に図面に基づき本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
[第1の実施の形態]
図1は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、GPS電波を受信できない区間で補完的に利用される意義も大きい。なお、第1の実施の形態では、動画像等の時系列的に変化する撮影画像について部分的超解像処理を行い三次元座標の計測を高精度化する例を説明する。
[First Embodiment]
FIG. 1 is a diagram for explaining the concept in the present embodiment. This is an example in which a camera is attached to an automobile, time, that is, the position of the automobile is changed little by little, and an urban area as an object is photographed, and the position coordinates of the camera, that is, the locus of the automobile are obtained from the tracking results in these captured images. This makes it possible to continuously display the position of the car in the car navigation, but it is also significant to be used complementarily in a section where GPS radio waves cannot be received. In the first embodiment, an example will be described in which measurement of three-dimensional coordinates is performed with high accuracy by performing partial super-resolution processing on a captured image that changes in time series such as a moving image.
図2に本実施の形態における画像処理装置100の構成例を示す。図において、1は画像処理装置100の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部2への撮影画像取得の指示、特徴抽出部3への特徴点抽出実行の指示、特徴点追跡部4への追跡実行の指示、演算処理部5へのステレオ画像選択指示、標定・三次元計測実行指示、超解像処理実行指示等を行う。 FIG. 2 shows a configuration example of the image processing apparatus 100 in the present embodiment. In the figure, reference numeral 1 denotes a control unit that controls each unit of the image processing apparatus 100 so as to function as an image processing apparatus. Specifically, the control unit 1 instructs the captured image acquisition unit 2 to acquire a captured image and the feature extraction unit 3. Instructed to execute feature point extraction, instructed to perform tracking to the feature point tracking unit 4, directed to select a stereo image to the arithmetic processing unit 5, directed to execute orientation / three-dimensional measurement, and instructed to execute super-resolution processing.
2は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部3への出力、画像メモリ10への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。3は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部2より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部4への出力等を行う。4は特徴抽出部3より入力された特徴点に対応する対応点(厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする)を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ9Aへの出力、対応点の配置の判断と特徴抽出部3への特徴点の新設指示等を行う。特徴点追跡部4において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに後述する偏位修正処理により縦視差が除去された偏位修正画像として、取得された原画像と共に画像メモリ10に記憶される。 Reference numeral 2 denotes a captured image acquisition unit that sequentially acquires captured images that change in time series, such as moving images. In addition to acquiring captured images, the captured image is output to the feature extraction unit 3, stored in the image memory 10, and the like. I do. Note that a captured image may be acquired by communication from another imaging device without performing imaging with the own imaging device. Reference numeral 3 denotes a feature extraction unit that extracts feature points from sequentially acquired captured images. Extraction of feature points from the captured image input from the captured image acquisition unit 2 and extraction of the extracted feature points to the feature point tracking unit 4 are performed. Perform output, etc. 4 is a corresponding point corresponding to the feature point input from the feature extraction unit 3 (strictly speaking, it is a candidate corresponding point until it is determined, but in this embodiment, it is a corresponding point including the candidate corresponding point). It is a feature point tracking unit that searches and tracks feature points. In addition to the tracking process, the tracking result is output to the corresponding point information memory 9A, the arrangement of the corresponding points, and the feature points to the feature extracting unit 3 Instruct new establishment. A series of photographed images in which feature points are associated in the feature point tracking unit 4, that is, to which the corresponding feature points are attached, are corrected images whose positions, magnifications, and inclinations are corrected to reflect the tracking process, or biases described later. The displacement correction image from which the vertical parallax has been removed by the position correction process is stored in the image memory 10 together with the acquired original image.
5は演算処理部で、超解像処理部8とステレオ画像選択部6と標定処理・三次元計測部7とを有する。超解像処理部8は、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部4で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。ステレオ画像選択部6は特徴抽出部3及び特徴点追跡部4において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部7はステレオ画像選択部6で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、偏位修正処理、標定結果及び三次元計測結果の表示部11への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は1対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。 An arithmetic processing unit 5 includes a super-resolution processing unit 8, a stereo image selection unit 6, and an orientation processing / three-dimensional measurement unit 7. The super-resolution processing unit 8 selects an original image group that is an image group for performing the super-resolution processing from the series of photographed images, and the feature points associated with each other by the feature point tracking unit 4 in the original image group. Extract main feature points from the points as feature points for super-resolution processing, set a partial image in a small area around the main feature points, perform super-resolution processing on the partial image, and perform partial super-resolution An image is formed. The stereo image selection unit 6 selects a stereo image from a series of images to which corresponding feature points are attached in the feature extraction unit 3 and the feature point tracking unit 4. The orientation processing / three-dimensional measurement unit 7 performs orientation calculation and three-dimensional measurement using the stereo image selected by the stereo image selection unit 6. In addition, the displacement correction processing, the orientation result, and the three-dimensional measurement result Is output to the display unit 11, and the orientation result and the three-dimensional measurement result are output to the outside. One or more stereo images may be used for orientation calculation and three-dimensional measurement, but accuracy can be improved by performing statistical processing such as averaging using a large number of stereo images.
超解像処理部8は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部81と、原画像群選択部81で選択された原画像群において前記特徴点追跡部4で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部82と、主特徴点抽出部82で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部83と、部分画像設定部83で設定された部分画像を拡大する部分画像拡大部84と、部分画像拡大部84で拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部85と、副特徴点追跡部85で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部86と、部分画像変形部86で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部87と、超解像部分画像形成部87で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部88と、部分画像縮小部88で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部89とを有する。超解像処理部8で形成された部分的超解像画像は画像メモリ10に記憶され、ステレオ画像選択部6により部分的超解像画像からステレオ画像が選択され、標定処理・三次元計測部7において、標定計算、三次元計測が実行される。 The super-resolution processing unit 8 selects an original image group that is an image group for performing super-resolution processing from a series of captured images, and the original image selected by the original image group selecting unit 81. In the group, a main feature point extracting unit 82 that extracts main feature points as feature points for performing super-resolution processing from the feature points associated with each other by the feature point tracking unit 4, and a main feature point extracting unit 82 A partial image setting unit 83 for setting a partial image in a small area around the main feature point extracted in step (a), a partial image enlargement unit 84 for enlarging the partial image set by the partial image setting unit 83, and a partial image enlargement unit. A sub-feature point tracking unit that extracts a plurality of sub-feature points around the main feature points of the partial image enlarged in 84, tracks the sub-feature points between the partial images of the captured image group, and associates the sub-feature points with each other. 85 and the position of the sub feature point associated with the sub feature point tracking unit 85 A partial image deformation unit 86 that deforms the partial images so that the original images are well matched with each other, and a super-resolution partial image formation that forms a super-resolution partial image from a plurality of partial images deformed by the partial image deformation unit 86 A partial image reduction unit 88 that reduces the super-resolution partial image formed by the super-resolution partial image forming unit 87 to the size of the original partial image, and the partial image reduced by the partial image reduction unit 88 And a super-resolution image composition unit 89 that synthesizes a partial super-resolution image by fitting it at the position of the original partial image in the captured image. The partial super-resolution image formed by the super-resolution processing unit 8 is stored in the image memory 10, and the stereo image is selected from the partial super-resolution image by the stereo image selection unit 6, and the orientation processing / three-dimensional measurement unit 7, orientation calculation and three-dimensional measurement are executed.
11は演算処理部5により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的(立体的二次元表示)に表示する表示部、9は記憶部で、特徴点とその対応点(候補対応点を含む)に関する情報を記憶する対応点情報メモリ9A、ステレオ画像に関する情報を記憶するステレオ画像情報メモリ9B、撮影画像、補正画像、偏位修正画像、その他の画像を記憶する画像メモリ10を有する。対応点情報メモリ9A、ステレオ画像情報メモリ9B、画像メモリ10は、特徴点追跡時、超解像処理時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。 11 is a display unit that displays an image of an object subjected to orientation processing or three-dimensional measurement by the arithmetic processing unit 5 and a trajectory of a captured position in a two-dimensional or three-dimensional manner (three-dimensional two-dimensional display), and 9 is a storage unit. Corresponding point information memory 9A for storing information on feature points and their corresponding points (including candidate corresponding points), stereo image information memory 9B for storing information on stereo images, captured images, corrected images, displacement corrected images, and the like An image memory 10 for storing images is included. The corresponding point information memory 9A, the stereo image information memory 9B, and the image memory 10 are referred to as needed at the time of feature point tracking, super-resolution processing, stereo image selection, orientation calculation, three-dimensional measurement, etc. Also written.
図3に第1の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部2において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する(S100:撮影画像取得工程)。一連の撮影画像は隣り合う3以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。取得された撮影画像は画像メモリ10に蓄積される。制御部1は撮影画像取得部2から動画像等の時系列的に変化する撮影画像を順次特徴抽出部3に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、近隣の画像の大部分で対象物が共通である。特徴抽出部3では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し(S110:特徴抽出工程)、抽出された特徴点データは特徴点追跡部4に供給され、対応点情報メモリ9Aに記憶される。 FIG. 3 shows a flow example of the image processing method according to the first embodiment. First, the photographic image acquisition unit 2 acquires a series of photographic images that change in a time series such as a moving image for an object that moves relatively (S100: photographic image acquisition step). A series of captured images are acquired so that three or more adjacent images share an overlapping portion. The image may be obtained by taking an image with its own photographing camera, or an image taken with another photographing apparatus may be obtained via a communication line. The acquired captured image is stored in the image memory 10. The control unit 1 sequentially supplies a photographic image that changes in time series such as a moving image from the photographic image acquisition unit 2 to the feature extraction unit 3. In this embodiment, the camera is mounted on a car and the camera is photographed while moving. Therefore, the photographed image is a photographed image that changes little by little in time or space, and the object is common to most of the neighboring images. is there. The feature extraction unit 3 extracts feature points from one of the captured images taken in time series (S110: feature extraction step), and the extracted feature point data is supplied to the feature point tracking unit 4 to correspond points. It is stored in the information memory 9A.
隣り合う3以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部4において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる(S120:特徴点追跡工程)。特徴点の追跡は、第1の画像の特徴点に対して第2の画像の対応する対応点を探索し、対応付けられると次に第2の画像の対応点を新たな特徴点として第3の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ9Aに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ9Aに蓄積され、対応点情報メモリ9A内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像として、画像メモリ10に記憶される(S125)。なお、S125において補正画像または偏位修正画像を記憶しているが、画像を表示しない場合でも記憶した画像データを補正パラメータとして使用可能である。なお、特徴抽出部3で抽出された特徴点データ及び特徴点追跡部4で対応付けられた対応特徴点データがリアルタイムに順次演算処理部5に供給されれば、移動中の移動体(自動車等)で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。 It is possible to track feature points by sharing an overlapping portion between three or more adjacent images. The feature point tracking unit 4 searches for a corresponding point corresponding to the feature point in the series of photographed images, and associates and tracks the feature point (S120: feature point tracking step). In the tracking of the feature point, the corresponding point of the second image is searched for the feature point of the first image, and when the corresponding point is matched, the corresponding point of the second image is set as a new feature point. Corresponding points of the image are searched, and the correspondence and feature points are sequentially tracked. Here, feature points associated with each other in a series of captured images are referred to as corresponding feature points. Corresponding feature point data is stored in the corresponding point information memory 9A, and tracking results are also stored as history information. Tracking information regarding each corresponding point is accumulated in the corresponding point information memory 9A, and a candidate corresponding point list is created in the corresponding point information memory 9A. That is, in the candidate corresponding point list, coordinates on the two-dimensional screen are stored for each captured image for each corresponding feature point. In addition, after the three-dimensional coordinate measurement, the three-dimensional coordinates are also stored. In addition, a determination result as to whether or not the corresponding feature point is appropriate is also stored. In addition, the captured image with the corresponding feature points attached to the original image is a corrected image in which the position, magnification, and tilt are corrected by reflecting the tracking process, or a displacement corrected image from which vertical parallax is removed by the displacement correcting process. Is stored in the image memory 10 (S125). Although the corrected image or the deviation corrected image is stored in S125, the stored image data can be used as the correction parameter even when the image is not displayed. If the feature point data extracted by the feature extraction unit 3 and the corresponding feature point data correlated by the feature point tracking unit 4 are sequentially supplied to the arithmetic processing unit 5 in real time, a moving object (such as an automobile) ), It is highly possible that the orientation process and the three-dimensional measurement are performed at an early stage and reflected in the navigator.
次に超解像処理が行なわれる。超解像処理工程(S130)では、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程(S120)で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。超解像処理工程(S130)の詳細については、後に図8を参照して説明する。 Next, super-resolution processing is performed. In the super-resolution processing step (S130), an original image group that is an image group for performing the super-resolution processing is selected from a series of captured images, and the original image group is associated with each other in the feature point tracking step (S120). A main feature point is extracted as a feature point for performing super-resolution processing from the obtained feature point, a partial image is set in a small area around the main feature point, and a portion of the partial image is subjected to super-resolution processing A super-resolution image is formed. Details of the super-resolution processing step (S130) will be described later with reference to FIG.
次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される(S140:ステレオ画像選択工程)。一連の画像は追跡処理を反映して倍率、揺らぎ、傾きが補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ステレオ画像を選択するために、その候補として種々の組み合わせが可能であるが、ステレオ画像情報メモリ9B内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。ステレオペア候補リストには、ステレオペアを構成する撮影画像番号、各撮影画像の焦点距離、撮影方向、ペアを形成した場合の基線長が記憶され、また、偏位修正処理後は偏位修正画像番号、三次元座標計測後は撮影距離も記憶される。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。 Next, a stereo image is selected from a series of photographed images to which corresponding feature points are attached (S140: stereo image selection step). The series of images preferably uses a corrected image in which magnification, fluctuation, and inclination are corrected to reflect the tracking process, or a displacement corrected image from which vertical parallax has been removed by the displacement correcting process. Even if selected from the above, it can be correlated with each other in the next orientation process and three-dimensional measurement, so that may be used. In order to select a stereo image, various combinations are possible as the candidates, but a stereo pair candidate list is created in the stereo image information memory 9B in which information on the combination selected as a stereo image candidate is stored. The stereo pair candidate list stores the captured image numbers constituting the stereo pair, the focal length of each captured image, the capturing direction, and the base line length when the pair is formed, and after the displacement correction processing, the displacement corrected image is stored. After measuring the number and three-dimensional coordinates, the shooting distance is also stored. Therefore, the stereo image selection unit can select an appropriate stereo image with reference to this stereo pair candidate list.
図4にステレオ画像選択の例を示す。三次元計測を行なうには、撮影画像から対をなす2画像(ステレオ画像という)を選択し、その特徴点同士のマッチングをとり、相互に対応していることを確認する必要がある。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす2画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は1対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うこととする。 FIG. 4 shows an example of stereo image selection. In order to perform three-dimensional measurement, it is necessary to select two images (referred to as stereo images) that make a pair from the photographed images, match the feature points, and confirm that they correspond to each other. In this example, an image several images away from the acquired image is selected as a stereo image. If the frame interval between two images that form a pair is made constant, the baseline length can be kept substantially constant, which is preferable. One or more stereo images may be selected. However, since accuracy can be improved by performing statistical processing such as averaging using a large number of stereo images, a large number of tracked images are used here. A stereo image is selected and statistical processing is performed.
図3に戻り、ステレオ画像選択部6で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部7で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される(S150:第1の標定工程)。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。標定処理/3次元計測部7で相互標定処理に続けて偏位修正処理が行われる(S155:偏位修正工程)。 Returning to FIG. 3, using the corresponding feature points of the stereo image selected by the stereo image selection unit 6, the orientation processing and the three-dimensional measurement unit 7 perform orientation processing and three-dimensional measurement. In the orientation process, relative orientation is performed on the selected stereo image using the coordinates of the feature points and the corresponding points, and the photographing position and inclination of the photographing camera are calculated (S150: first orientation step). Connection orientation between stereo images is also performed. Note that, for a captured image for which a stereo image could not be set, the shooting position and tilt of the shooting camera can be calculated by performing single photo orientation. A displacement correction process is performed following the relative orientation process in the orientation process / three-dimensional measurement unit 7 (S155: displacement correction process).
図5は偏位修正処理を説明するための図である。偏位修正処理とは、標定処理で求められた撮影装置の撮影位置と傾きを用いて、計測対象物に対して撮影画像をステレオ法の幾何学が成立するように被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率が同一となり、縦視差が除去される。
再び図3に戻る。標定結果及び偏位修正画像データを用いて三次元計測により各特徴点の三次元座標が算定される(S160:第1の三次元計測工程)。三次元計測は、後述する図15で示されるステレオ法の原理から式(5)〜(7)を用い簡単に求められる。あるいは、三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き(外部標定要素)を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
FIG. 5 is a diagram for explaining the deviation correction processing. The deviation correction process is performed in parallel with the subject so that the stereo image geometry is established with respect to the measurement object using the shooting position and inclination of the shooting apparatus obtained by the orientation process. This is a process of correcting the image so that the epipolar line matches the left and right horizontal lines. Therefore, distortions such as magnification and inclination of the left and right images are corrected, the magnification is the same, and vertical parallax is removed.
Returning again to FIG. The three-dimensional coordinates of each feature point are calculated by three-dimensional measurement using the orientation result and the displacement correction image data (S160: first three-dimensional measurement step). The three-dimensional measurement is easily obtained by using the equations (5) to (7) from the principle of the stereo method shown in FIG. Alternatively, the three-dimensional measurement is obtained, for example, by performing bundle adjustment using the position and inclination (external orientation element) of the photographing camera obtained by the orientation process as initial values. As a result, not only the three-dimensional coordinates but also a more accurate position and inclination of the photographing camera can be obtained.
次に、三次元座標精度をより一層高めたい場合には、再び超解像処理工程(S130)に戻り、次いで再度のステレオ画像選択工程(S140)、再度の標定が行なわれ(S150:第2の標定工程)、続けて、その標定結果を用いて、偏位修正処理(S155:第2の偏位修正工程)、再度の三次元計測が行なわれる(S160:第2の三次元計測工程)。第2の標定工程及び第2の三次元計測工程では、再度の超解像画像を用いて、より高精度の標定がなされ、三次元座標が算出される。このループの処理(S130〜S160)を繰り返すことにより、計測精度をさらに向上することができる。例えば目標の精度を得るまでループの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
以下に、必要に応じ、各工程について説明する。
Next, when it is desired to further improve the three-dimensional coordinate accuracy, the process returns to the super-resolution processing step (S130) again, then the stereo image selection step (S140) is performed again, and the orientation is performed again (S150: second). Next, using the orientation result, a displacement correction process (S155: second displacement correction step) and another three-dimensional measurement are performed (S160: second three-dimensional measurement step). . In the second orientation process and the second 3D measurement process, orientation with higher accuracy is performed by using the super-resolution image again, and 3D coordinates are calculated. By repeating this loop processing (S130 to S160), the measurement accuracy can be further improved. For example, the loop processing is repeated until the target accuracy is obtained. Thereby, a three-dimensional coordinate is decided and a measurement is complete | finished.
Below, each process is demonstrated as needed.
[特徴点抽出]
特徴抽出部3では各撮影画像から特徴点を抽出する(S110、図6参照)。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばMORAVECオペレータ(H.P.Moravec. Towards Automatic Visual Obstacle Avoidance. Proc. 5th International Joint Conference on Artificial Intelligence,pp.584,1977.)や、Hariss,Pressy,Susanなどのオペレータを適宜採用できる。
[Feature point extraction]
The feature extraction unit 3 extracts feature points from each captured image (S110, see FIG. 6). Typically, the initial frame is extracted from the entire screen, and the next frame is extracted from a new screen area that does not overlap the initial frame. For extracting feature points in the initial frame, for example, the MORAVEC operator (HP Moravec. Towers Automatic Visual Observed Aviation, Proc. 5th International Joint Conference, Artisp. An operator such as can be appropriately employed.
[追跡処理]
図6に特徴点追跡の処理フロー例を示す。特徴点追跡部4では、特徴抽出処理により選点された各特徴点を追跡処理する(S120)。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い(S13)、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより(S15)、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する(S14)。そして、異常な動きを示す誤対応と思われる候補対応点を除去する(S16)。工程S15とS16を繰り返すことにより射影変換の精度が向上する。
[Tracking process]
FIG. 6 shows a processing flow example of feature point tracking. The feature point tracking unit 4 tracks each feature point selected by the feature extraction process (S120). That is, a candidate corresponding point corresponding to a feature point is obtained, a feature point movement vector and a screen relative movement amount are obtained, and these are connected to obtain a movement locus. The screen relative movement amount is a relative movement amount on the screen between the photographing camera and the photographing object, and the movement vector is a relative movement vector of each feature point on the two-dimensional photographed image. In tracking feature points, first, template matching is performed on adjacent captured images (S13) to obtain candidate corresponding points corresponding to the feature points. Thereby, the movement vector of each feature point is obtained. Further, by performing projective transformation using the adjacent photographed image (S15), the screen relative movement amount with respect to the photographing camera is obtained. That is, since the overall movement between frames is very short in time, it is assumed that it can be approximated by projective transformation, and the screen relative movement amount is estimated by projective transformation. Next, the movement vector of each feature point is compared with the relative movement amount of the screen between frames, and the quality of the movement vector is determined (S14). Then, candidate corresponding points that are considered to be erroneous correspondences indicating abnormal movement are removed (S16). By repeating steps S15 and S16, the accuracy of projective transformation is improved.
次に、候補対応点の配置判断を行う(S17)。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部3に新設を指示する。そして、再度特徴抽出(S110)に戻り、順次新たな隣接画像について特徴抽出(S110)と追跡処理(S120)をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング(S13)に戻り、事後的に一括して、順次新たな隣接画像について追跡処理(S120)が行われる。 Next, the arrangement of candidate corresponding points is determined (S17). That is, the arrangement of feature points and corresponding points on the captured image is confirmed. If the arrangement of feature points is extremely biased and a blank portion is generated, the feature extraction unit 3 is instructed to newly set a point existing in the newly generated blank portion as a new feature point. Then, the process returns to the feature extraction (S110) again, and the feature extraction (S110) and the tracking process (S120) are sequentially repeated in real time for new adjacent images. If feature extraction has been completed for a series of captured images, the process returns to template matching (S13), and after that, tracking processing (S120) is sequentially performed for new adjacent images.
特徴点の追跡に、例えばテンプレートマッチングを使用する(S13)。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばSSDA(Sequential Similarity Detection Algorithm:逐次残差)法などの手法によりステレオマッチングを行い、対応点を求める(S13)。SSDA法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。SSDAテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。 For example, template matching is used for tracking feature points (S13). Neighboring images are sequentially selected from the acquired captured images to form a stereo pair, and for example, stereo matching is performed by a technique such as an SSDA (Sequential Similarity Detection Algorithm) method to obtain corresponding points (S13). In the SSDA method, the similarity is determined using the residual, and the position where the partial matrix residual is minimum is obtained as the corresponding point. SSDA template matching is considered to be relatively fast as template matching and easy to implement in hardware. Other methods such as a normalized correlation method can also be employed. For template matching, it is important to optimally select a template size and a search range, and the search range is set optimally based on the frame rate, moving speed, etc. of the video camera.
撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点(対応点、候補対応点を含む)の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。 In the shooting screen, when a feature point is given to a moving object such as a running car, a person, an asuka, a fallen leaf, or when the camera shakes heavily, an erroneous response point may occur. The camera swing can be corrected by projective transformation. On the other hand, an object that moves differently from the object to be photographed causes a miscorresponding point. Therefore, by removing the miscorresponding points caused by the movement of the object etc., the reliability of the feature points (including corresponding points and candidate corresponding points) is improved, the accuracy of the mismatching determination is improved, It is possible to cope with upsets.
[超解像処理]
次に超解像処理について説明する。超解像処理とは、複数の画像から高解像、高分解能画像を推定する処理、あるいは、原画像が高解像、高分解能画像であったとして複数の劣化画像から現画像を再構成する処理をいう。具体的には、複数画像間の位置合わせ・変形と合成を繰り返し行なうことにより、超解像画像が得られる。
[Super-resolution processing]
Next, super-resolution processing will be described. Super-resolution processing is processing that estimates high-resolution and high-resolution images from multiple images, or reconstructs the current image from multiple degraded images, assuming that the original image was a high-resolution and high-resolution image. Refers to processing. Specifically, a super-resolution image is obtained by repeatedly performing alignment, deformation, and composition between a plurality of images.
図7に超解像画像の例を示す。図7(a)は従来のバイキュービック法により高解像化した画像、図7(b)は16枚の画像から形成された超解像画像である。両者を比較すると超解像画像の方が鮮明な画像が得られていることが分かる。 FIG. 7 shows an example of a super-resolution image. FIG. 7A shows an image with high resolution by a conventional bicubic method, and FIG. 7B shows a super-resolution image formed from 16 images. When both are compared, it can be seen that a clearer image is obtained with the super-resolution image.
一般に超解像画像処理を行う場合には、画像全体あるいは画像の広範囲な領域を対象として処理が行なわれるが、超解像画像処理には画像間の正確な位置合わせと変形パラメータの推定を必要とする。これに対し本実施の形態では部分的な超解像処理を行う。すなわち、一連の撮影画像から超解像処理を行うための原画像群を選択し、原画像から主特徴点を抽出し、主特徴点の周囲の小領域に部分画像を設定し、拡大し、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、追跡して対応付けし、原画像間で副特徴点の位置座標が良く一致するように部分画像を変形し、変形された複数の部分画像から超解像画像を形成し、縮小して、元あった部分画像の位置にはめ込み合成することにより、部分的超解像画像を形成する。このように、本実施の形態における超解像処理は、特徴点周辺の限られた範囲において解像度を向上するものであり、限られた小領域において正確な画像間の位置合わせ、変形を行なえば十分である。 In general, when super-resolution image processing is performed, processing is performed on the entire image or a wide area of the image. However, super-resolution image processing requires accurate alignment between images and estimation of deformation parameters. And In contrast, in the present embodiment, partial super-resolution processing is performed. That is, a group of original images for performing super-resolution processing is selected from a series of captured images, main feature points are extracted from the original images, a partial image is set in a small area around the main feature points, and enlarged. A plurality of sub feature points are extracted around the main feature points of the enlarged partial image, tracked and correlated, and the partial images are transformed so that the position coordinates of the sub feature points are well matched between the original images. A super-resolution image is formed from a plurality of deformed partial images, is reduced, and is fitted into the position of the original partial image to form a partial super-resolution image. As described above, the super-resolution processing in the present embodiment improves the resolution in a limited range around the feature point, and if accurate alignment and deformation between images are performed in a limited small area. It is enough.
特徴点同士の位置合わせには、SSDAテンプレートマッチングを使用できる。また、画像間の変形には特徴点追跡に用いられる射影変換やアフィン変換を適用できる。原画像よりも高解像度の画像を作成するためには、画像の拡大縮小処理後に画像の合成を行なうので、一般には膨大なメモリ容量が必要になるが、本実施の形態では、特徴点周辺の小領域のみで超解像処理を行うので、大量のメモリを必要としない。 For alignment between feature points, SSDA template matching can be used. In addition, projection transformation or affine transformation used for feature point tracking can be applied to deformation between images. In order to create an image with a resolution higher than that of the original image, the images are combined after the image enlargement / reduction processing. Therefore, in general, an enormous memory capacity is required. Since super-resolution processing is performed only in a small area, a large amount of memory is not required.
図8に超解像処理工程のフロー例を示す。まず、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択する(S131:原画像群選択工程)。次に、原画像群において特徴点追跡部4で相互に対応付けられた特徴点から超解像処理を行なうための対応特徴点としての主特徴点を抽出して(S132:主特徴点抽出工程)、主特徴点の周囲の小領域に部分画像を設定する(S133:部分画像設定工程)。原画像群を選択するに当り、均質な超解像画像を得る上で、隣接画像間の画面上での移動距離が略等しくなるように選択することが好ましい。また、原画像群の画像数も超解像画像の対応点の座標精度に影響するので、均質な超解像画像を得る上で、画像数をほぼ等しくすることが好ましい。本実施の形態では、隣接画像間の画面上での移動距離が略等しくなるように原画像群を選択し、かつ、複数の部分的超解像画像を形成する際の原画像群の画像数も等しくすることとする。次に、部分画像を拡大し(S134:部分画像拡大工程)、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出する(S135:副特徴点抽出工程)。拡大処理には例えばBiliner処理,Bicubic処理が用いられる。 FIG. 8 shows a flow example of the super-resolution processing step. First, an original image group that is an image group for performing super-resolution processing is selected from a series of photographed images (S131: original image group selecting step). Next, main feature points are extracted as corresponding feature points for performing super-resolution processing from the feature points associated with each other in the feature point tracking unit 4 in the original image group (S132: main feature point extracting step). ), A partial image is set in a small area around the main feature point (S133: partial image setting step). In selecting the original image group, it is preferable to select so that the moving distances on the screen between adjacent images are substantially equal in order to obtain a uniform super-resolution image. In addition, since the number of images in the original image group also affects the coordinate accuracy of the corresponding points of the super-resolution image, it is preferable to make the number of images substantially equal to obtain a homogeneous super-resolution image. In the present embodiment, an original image group is selected so that the moving distances on the screen between adjacent images are substantially equal, and the number of images in the original image group when forming a plurality of partial super-resolution images Are also made equal. Next, the partial image is enlarged (S134: partial image enlargement step), and a plurality of sub feature points are extracted around the main feature point of the enlarged partial image (S135: sub feature point extraction step). For the enlargement process, for example, a Biliner process or a Bicubic process is used.
図9は部分画像設定の例を説明するための図である。図において、F0が撮影画像(補正画像、偏位修正画像を含む)、f1〜f5が撮影画像F0中に設定された部分画像、P1〜P5が主特徴点を表し、その周辺の×が抽出された副特徴点の位置を表す。このように撮影画像F0内の少領域に部分領域が設定され、これらの部分画像f1〜f5内で超解像処理が行なわれる。当該撮影画像の他の原画像に対しても同じ(相互に対応付けられた)主特徴点に対して部分画像が設定され、副特徴点が抽出される。部分画像は撮影画像F0中に均質に分布するように抽出することが、画像F0全面で均質な精度を得る上で好ましく、副特徴点は部分画像中に均質に分布するように抽出することが部分画像内で均質な精度を得る上で好ましい。なお、副特徴点に特徴点追跡部4で追跡処理された対応特徴点が含まれていても良い。 FIG. 9 is a diagram for explaining an example of partial image setting. In the figure, F0 is a captured image (including a corrected image and a displacement corrected image), f1 to f5 are partial images set in the captured image F0, P1 to P5 represent main feature points, and the surrounding x is extracted. Represents the position of the sub-feature point. In this way, partial areas are set in a small area in the captured image F0, and super-resolution processing is performed in these partial images f1 to f5. For other original images of the captured image, partial images are set for the same (corresponding to each other) main feature points, and sub feature points are extracted. The partial image is preferably extracted so as to be uniformly distributed in the captured image F0 in order to obtain a uniform accuracy over the entire image F0, and the sub-feature points are extracted so as to be uniformly distributed in the partial image. It is preferable for obtaining uniform accuracy in the partial image. The sub feature points may include corresponding feature points tracked by the feature point tracking unit 4.
次に、原画像群の部分画像f1〜f5間で副特徴点について追跡処理が行なわれ、副特徴点が相互に対応付けられる(S135:副特徴点追跡工程)。次に、相互に対応付けられた副特徴点の位置座標が良く一致するように各部分画像f1〜f5について位置合わせ・変形処理がされる(S136:部分画像変形工程)。次に、変形された複数の部分画像から超解像部分画像を形成する(S137:超解像部分画像形成工程)。 Next, tracking processing is performed on the sub-feature points between the partial images f1 to f5 of the original image group, and the sub-feature points are associated with each other (S135: sub-feature point tracking step). Next, alignment / deformation processing is performed for each of the partial images f1 to f5 so that the position coordinates of the sub-feature points associated with each other are in good agreement (S136: partial image deformation process). Next, a super-resolution partial image is formed from a plurality of deformed partial images (S137: super-resolution partial image forming step).
図10は超解像部分画像形成の例を説明するための図である。図において、原画像群中の各原画像の部分画像について、任意の1つの副特徴点の位置を×で示す。これらの位置座標にはばらつきがあり、超解像部分画像を形成するに際し、典型的にはこれら原画像群中の副特徴点の位置の重心を超解像部分画像の副特徴点の位置座標とするが、フレーム番号の近さ等により重み付けをして重心を求めても良い。 FIG. 10 is a diagram for explaining an example of super-resolution partial image formation. In the figure, the position of one arbitrary sub-feature point is indicated by “x” in the partial image of each original image in the original image group. These position coordinates vary, and when forming a super-resolution partial image, typically, the position coordinates of the sub-feature points of the super-resolution partial image are the center of gravity of the positions of the sub-feature points in the original image group. However, the center of gravity may be obtained by weighting according to the proximity of the frame number or the like.
次に、形成された各超解像部分画像を元の部分画像の寸法に縮小し(S138:部分画像縮小工程)、縮小された部分画像f1〜f5を、撮影画像F0中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する(S139:超解像画像合成工程)。超解像部分画像f1〜f5は図9の元の部分画像の位置にはめ込まれる。本実施の形態では、原画像群の中心のフレームにのみ超解像部分画像をはめ込むこととするが、他の原画像にも同じ超解像部分画像をはめ込んでも良い。なお、座標値のみが必要な場合など超解像部分画像のはめ込みが必要でない場合に、そのはめ込みを省略できる。また、超解像画像合成(S139)から原画像群選択(S131)に戻る繰り返しループを形成して、解像度の向上を図ることも可能であり、本実施の形態では繰り返しループを有するものとする。 Next, each formed super-resolution partial image is reduced to the size of the original partial image (S138: partial image reduction process), and the reduced partial images f1 to f5 are the original portions in the captured image F0. The image is inserted into the position of the image, and a partial super-resolution image is synthesized (S139: super-resolution image synthesis step). The super-resolution partial images f1 to f5 are fitted at the positions of the original partial images in FIG. In this embodiment, the super-resolution partial image is inserted only in the center frame of the original image group. However, the same super-resolution partial image may be inserted in other original images. Note that, when it is not necessary to fit the super-resolution partial image, such as when only the coordinate value is required, the fitting can be omitted. Further, it is possible to improve the resolution by forming a repetitive loop returning from the super-resolution image synthesis (S139) to the original image group selection (S131). In this embodiment, the repetitive loop is provided. .
図11に超解像処理工程のフレーム別フロー例を示す。部分的超解像画像を形成する撮影画像(補正画像、偏位修正画像を含む)をi番目のフレームFiとし、これと前後n枚、合計2n+1枚の原画像群(フレームFj(j=i−n〜i+n))を用いて超解像処理する例である。特徴点追跡部4において、各撮影画像が取得され、各フレームのテンプレート画像として用いられる(S100)。これら撮影画像間で特徴点が追跡され、対応付けられて移動軌跡が求められる(S120)。また、追跡処理において、各フレーム間の変換がなされ、変換パラメータ(例えばアフィン変換のパラメータ)が求められる(S126)。特徴点追跡部4から、2n+1枚の原画像群のテンプレート画像情報、特徴点の移動軌跡情報、各フレーム間画像の変形情報が超解像処理部8に出力される。 FIG. 11 shows an example of a flow for each frame of the super-resolution processing step. A photographed image (including a corrected image and a displacement-corrected image) that forms a partial super-resolution image is defined as an i-th frame Fi, and a total of 2n + 1 original image groups (frame Fj (j = i) This is an example of super-resolution processing using −n to i + n)). In the feature point tracking unit 4, each captured image is acquired and used as a template image of each frame (S100). Feature points are tracked between these captured images and associated with each other to obtain a movement locus (S120). In the tracking process, conversion between frames is performed, and a conversion parameter (for example, an affine conversion parameter) is obtained (S126). From the feature point tracking unit 4, template image information of 2n + 1 original image groups, feature point movement trajectory information, and deformation information of each inter-frame image are output to the super-resolution processing unit 8.
i番目のフレームFiについては、超解像画像の初期化が行なわれる。初期化は主特徴点に部分画像を設定し(S133)、拡大処理することにより行なわれる(S134)。拡大処理には例えばBiliner処理が用いられる。他方、i番目のフレームFi及び前後n枚、合計2n+1枚のフレームFj(Fi−n〜Fi+n)からなる原画像群について、同様に主特徴点に部分画像を設定し(S133)、同様の拡大処理がされる(S134)。さらに、主特徴点周辺の副特徴点について追跡処理、対応付けがなされ(S135)、この過程で例えばアフィン変換を用いて、位置合わせ・変形処理がされる(S136)。特徴点追跡処理における特徴点移動軌跡情報、フレーム間変形情報を使用でき、位置合わせ・変形処理が容易になる。 For the i-th frame Fi, the super-resolution image is initialized. Initialization is performed by setting a partial image as a main feature point (S133) and enlarging (S134). For the enlargement process, for example, a Biliner process is used. On the other hand, for the original image group consisting of the i-th frame Fi and n frames before and after, a total of 2n + 1 frames Fj (F i−n to F i + n ), a partial image is similarly set as the main feature point (S133). Is enlarged (S134). Further, the sub-feature points around the main feature points are tracked and associated (S135). In this process, for example, affine transformation is used to perform alignment / deformation processing (S136). Feature point movement trajectory information and inter-frame deformation information in the feature point tracking process can be used, which facilitates the alignment / deformation process.
次に、2n+1枚のフレームFj(Fi−n〜Fi+n)における変形された複数の部分画像から超解像部分画像を形成する(S137)。原画像群中の副特徴点の位置の重心を求め、これを超解像部分画像の副特徴点の位置座標とすることにより、超解像部分画像を形成する。超解像部分画像は、縮小され(S138)、i番目のフレーム画像Fiの元の部分画像の位置にはめ込まれ合成される(S139)。これにより部分画像の領域のみが超解像処理された部分的超解像画像が形成され(例えばこれをj番目の部分的超解像画像とする)、画像メモリ10中の超解像合成バッファに格納される。この時超解像合成バッファに既成の部分的超解像画像があればこれと比較され(S13A)、変化があれば、超解像合成バッファに格納された既成の部分的超解像画像が新たな部分的超解像画像に書き換えられる。新たに合成された部分的超解像画像と超解像合成バッファに格納された部分的超解像画像との間に変化がなくなるまで、この処理が繰り返される。この繰り返しは図8における繰り返しループに対応する。変化がなくなれば繰り返しを終了し、新たな部分的超解像画像が出力される(S13B)。この場合、新たな部分的超解像画像を形成するための別の原画像群として、超解像処理により形成された部分的超解像画像から選択されることが、さらに高精度の超解像画像を得る上で好ましい。あるいは原画像間のフレーム間隔を大にした画像群を選択するなどにより、高精度化を図ることも可能である。本実施の形態では別の原画像群として、超解像処理により形成された部分的超解像画像から選択することとする。 Next, a super-resolution partial image is formed from a plurality of modified partial images in 2n + 1 frames Fj (F i−n to F i + n ) (S137). A super-resolution partial image is formed by obtaining the center of gravity of the position of the sub-feature point in the original image group and using this as the position coordinates of the sub-feature point of the super-resolution partial image. The super-resolution partial image is reduced (S138), and is inserted into the position of the original partial image of the i-th frame image Fi and synthesized (S139). As a result, a partial super-resolution image in which only the partial image region is subjected to the super-resolution processing is formed (for example, this is referred to as a j-th partial super-resolution image), and the super-resolution synthesis buffer in the image memory 10 Stored in At this time, if there is an existing partial super-resolution image in the super-resolution synthesis buffer, it is compared with this (S13A), and if there is a change, the existing partial super-resolution image stored in the super-resolution synthesis buffer is changed. It is rewritten to a new partial super-resolution image. This process is repeated until there is no change between the newly synthesized partial super-resolution image and the partial super-resolution image stored in the super-resolution synthesis buffer. This repetition corresponds to the repetition loop in FIG. If there is no change, the repetition is terminated and a new partial super-resolution image is output (S13B). In this case, as another group of original images for forming a new partial super-resolution image, it may be selected from the partial super-resolution image formed by the super-resolution processing. This is preferable for obtaining an image. Alternatively, high accuracy can be achieved by selecting an image group in which the frame interval between original images is increased. In this embodiment, another original image group is selected from partially super-resolution images formed by super-resolution processing.
本実施の形態では、超解像処理部8は、選択された原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量が異なる場合には、特徴点の移動量が略等しいグループに分け、グループ毎に原画像群を再編し、再編された原画像群を用いて超解像画像の形成を行なう。
例えば、走行する自動車から撮影した撮影画像について隣接フレーム間で特徴点の移動量を比較すると、近くの特徴点は移動量が大きく、遠くの特徴点は移動量が小さくなる。原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量を比較した場合も、近くの部分画像における特徴点は移動量が大きく、遠くの部分画像における特徴点は移動量が小さくなる。
In the present embodiment, the super-resolution processing unit 8 has a plurality of partial super-resolution images in the selected original image group with different amounts of movement of feature points on the screen between adjacent images. The feature points are moved into substantially equal groups, the original image group is reorganized for each group, and a super-resolution image is formed using the reorganized original image group.
For example, when comparing the amount of movement of feature points between adjacent frames in a captured image taken from a traveling automobile, the amount of movement of a nearby feature point is large and the amount of movement of a distant feature point is small. When comparing the amount of movement of feature points on the screen between adjacent images for multiple partial super-resolution images in the original image group, the feature points in the nearby partial images have a large amount of movement, and the distant partial images The movement amount of the feature point at is small.
このような移動量の異なる部分画像を一括して超解像処理すると、近くの部分画像については高分解能が得られても、遠くの部分画像についてはさほど高い分解能を得られない。
そこで、部分画像を移動量が略等しくなるようにグループに分け、近くの部分画像についてはフレーム間隔を比較的小さくして原画像群を選択し、遠くの部分画像についてはフレーム間隔を比較的大きくして原画像群を選択し、全体的に移動量が略等しくなるように原画像群を再編する。例えば最初選択した画像群において近くの部分画像における特徴点の移動量が遠くの部分画像における特徴点の移動量の約5倍であったとしたら、遠くの部分画像のグループについてはフレーム間隔を近くの部分画像のグループの5倍になるように原画像群を再編する。これらのグループ別に超解像処理を行い、超解像処理された部分画像を元の画像にはめ込むにより、撮影画像F0の全面で精度が均質化された部分的超解像画像を得ることができる。
If such partial images with different movement amounts are collectively subjected to super-resolution processing, a high resolution can be obtained for a nearby partial image, but a very high resolution cannot be obtained for a remote partial image.
Therefore, the partial images are divided into groups so that the movement amounts are substantially equal, the frame interval is relatively small for the nearby partial images, and the original image group is selected, and the frame interval is relatively large for the distant partial images. Then, the original image group is selected, and the original image group is reorganized so that the movement amount is substantially equal as a whole. For example, if the amount of movement of feature points in a nearby partial image in the initially selected image group is about five times the amount of movement of feature points in a far partial image, the frame interval for the group of far partial images should be The original image group is reorganized so that it is five times as large as the group of partial images. By performing super-resolution processing for each of these groups and inserting the super-resolution partial image into the original image, a partial super-resolution image with uniform accuracy can be obtained on the entire surface of the captured image F0. .
[ステレオマッチング]
図12に対応特徴点の三次元座標位置とカメラ位置の関係を示す。対象物Aの計測点PをステレオカメラC1,C2でステレオ撮影する(図12にカメラ位置をC1,C2で示す)。撮影画像(原画像)Iはカメラの傾きや位置の揺らぎが反映されて取得されるが、後述する偏位修正処理された偏位修正画像Mはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Bは、相互標定処理により求めた2つの撮影位置から計算で容易に求められ、撮影距離Hは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。画素の分解能(平面分解能、奥行き分解能)は後述する式(8)、(9)で表わされ、測定精度を高くするすなわち分解能を小さくするには、基線長Bを大きくし、撮影距離Hを小さくとることが望ましいことがわかる。本実施の形態では基線長Bを所定の閾値以上となるようにステレオ画像を選択するものとする。
[Stereo matching]
FIG. 12 shows the relationship between the three-dimensional coordinate position of the corresponding feature point and the camera position. The measurement point P of the object A is stereo-photographed by the stereo cameras C1 and C2 (the camera position is indicated by C1 and C2 in FIG. 12). The captured image (original image) I is acquired by reflecting the tilt and position fluctuation of the camera. However, the deviation correction image M that has been subjected to the deviation correction process described later corrects the tilt and position fluctuation of the camera, and is epipolar. The image is suitable for distance measurement with a line. The base line length B of the camera can be easily obtained by calculation from the two photographing positions obtained by the relative orientation processing, and the photographing distance H can be obtained by calculating the three-dimensional coordinate position of the corresponding feature point calculated by the three-dimensional measurement and the camera. It can be obtained from the position. The pixel resolution (planar resolution, depth resolution) is expressed by equations (8) and (9), which will be described later. To increase the measurement accuracy, that is, to reduce the resolution, the base length B is increased and the shooting distance H is set. It turns out that it is desirable to make it small. In the present embodiment, it is assumed that a stereo image is selected so that the baseline length B is equal to or greater than a predetermined threshold.
図13に超解像画像のステレオマッチングの概念を示す。複数の画像群に本実施の形態における超解像処理を行うことにより、複数の部分的超解像画像を得ることができる。これら複数の部分的超解像画像からステレオ画像を選択して、テンプレートマッチングを行なうことにより、対応点の座標位置をさらに高精度にできる。複数の部分的超解像画像について順次ステレオペアを設定し、例えば最小二乗相関(LSM:Least Squares Maching)法等のマッチング処理を行なう。例えばまず、画像(a)と画像(b)についてマッチング処理を行ない、次に画像(b)と画像(c)(図示しない)について行ない、順次画像(z)まで行われる。このテンプレートマッチングの際も超解像処理された部分画像を用いて行なうことにより、高速処理かつ使用メモリ容量を少なくして、高精度の座標を得ることができる。例えばサブピクセル単位の精度を得ることも可能である。なお、超解像処理時にマッチングが行なわれているので、図13では再マッチングと表現されている。また、複数対のステレオ画像を選択する場合には、基線長がほぼ等しくなるように選択すると、精度を揃えることができるので好ましい。 FIG. 13 shows the concept of stereo matching of super-resolution images. A plurality of partial super-resolution images can be obtained by performing the super-resolution processing in the present embodiment on a plurality of image groups. By selecting a stereo image from the plurality of partial super-resolution images and performing template matching, the coordinate position of the corresponding point can be made with higher accuracy. Stereo pairs are sequentially set for a plurality of partial super-resolution images, and a matching process such as a least squares correlation (LSM) method is performed. For example, first, matching processing is performed on the image (a) and the image (b), then the image (b) and the image (c) (not shown) are performed, and the image (z) is sequentially performed. By performing the template matching using the partial image subjected to the super-resolution processing, high-precision coordinates can be obtained with high-speed processing and a reduced memory capacity. For example, it is possible to obtain subpixel accuracy. Since matching is performed at the time of super-resolution processing, it is expressed as rematching in FIG. Further, when selecting a plurality of pairs of stereo images, it is preferable to select the base lines so that the base line lengths are almost equal, because the accuracy can be made uniform.
[標定処理/三次元計測]
標定処理/三次元計測部7で相互標定、偏位修正処理と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾きが求められる。そして、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては接続標定やバンドル調整にて行う。このステレオペア選択を行う場合には、記憶部9のステレオ画像情報メモリ9Bのステレオペア候補リストにステレオ画像とカメラの基線長B及び撮影距離Hとの関係(予め測定されていた場合)を記憶しておけば、標定処理/三次元計測部7において、撮影画像取得部2で得られた複数の画像から、ステレオ画像情報メモリ9Bを参照して、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。
[Orientation / 3D measurement]
The orientation process / three-dimensional measurement unit 7 performs relative orientation, displacement correction processing, and three-dimensional measurement. For each image selected as a stereo pair, orientation calculation processing is performed using the coordinates of the feature points and the corresponding points. The position and tilt of the photographed camera are obtained by the orientation calculation process. Then, the three-dimensional position of the corresponding point can be obtained. The orientation calculation processing is performed by mutual orientation for associating captured images selected as a stereo pair, and for orientation between a plurality of images or all images, connection orientation or bundle adjustment is performed. When this stereo pair selection is performed, the relationship between the stereo image, the base line length B of the camera, and the shooting distance H (when measured in advance) is stored in the stereo pair candidate list of the stereo image information memory 9B of the storage unit 9. In this case, the orientation processing / three-dimensional measurement unit 7 refers to the stereo image information memory 9B from a plurality of images obtained by the captured image acquisition unit 2, and sets of images estimated to have an appropriate baseline length. By selecting, appropriate orientation processing and three-dimensional measurement can be performed.
[相互標定処理]
次に、標定計算について説明する。この計算により、左右それぞれのカメラの位置、傾き等が求められる。
図14は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をX軸にとるようにする。縮尺は、基線長(X方向のためBxと示す)を単位長さにとる。このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。この場合左側のカメラのX軸の回転角ω1は0なので、考慮する必要はない。
[Relative orientation processing]
Next, the orientation calculation will be described. By this calculation, the positions and inclinations of the left and right cameras are obtained.
FIG. 14 is a diagram for explaining relative orientation. The origin of the model coordinate system is taken as the left projection center, and the line connecting the right projection centers is taken as the X axis. Scale takes baseline length (shown as B x for X-direction) to unit length. The parameters to be obtained at this time are 5 of the left camera Z-axis rotation angle κ1, the Y-axis rotation angle φ1, the right-hand camera Z-axis rotation angle κ2, the Y-axis rotation angle φ2, and the X-axis rotation angle ω2. One rotation angle. In this case, the X-axis rotation angle ω1 of the left camera is 0, so there is no need to consider it.
まず、以下の共面条件式(1)により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Cは焦点距離fと等価である。
上述の条件にすると、共面条件式(1)は式(2)のように変形され、式(2)を解けば各パラメータが求まる。
ここで、モデル座標系XYZとカメラ座標系xyzの間には、次に示すような座標変換の関係式(3)、(4)が成り立つ。
Here, between the model coordinate system XYZ and the camera coordinate system xyz, the following coordinate transformation relational expressions (3) and (4) hold.
これらの式を用いて、次の手順により、未知パラメータを求める。
(i)パラメータ(κ1、φ1、κ2、φ2、ω2)の初期近似値は通常0とする。
(ii)共面条件式(2)を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式(3)、(4)により求め、観測方程式をたてる。
(iii)最小二乗法を適用して、近似値に対する補正量を求める。
(iv)近似値を補正する。
(v)補正された近似値を用いて(ii)〜(iv)までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。
Using these equations, unknown parameters are obtained by the following procedure.
(I) The initial approximate value of the parameters (κ1, φ1, κ2, φ2, ω2) is normally 0.
(Ii) The coplanar conditional expression (2) is Taylor-expanded around the approximate value, and the value of the differential coefficient when linearized is obtained from the expressions (3) and (4), and an observation equation is established.
(Iii) Applying the least square method, a correction amount for the approximate value is obtained.
(Iv) The approximate value is corrected.
(V) The operations from (ii) to (iv) are repeated using the corrected approximate value until convergence.
If it converges, connection orientation is further performed. This is a process for unifying the inclination and scale between the models to make the same coordinate system.
この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔXj=(Xjr−Xjl)/(Z0−Zjl)
ΔYj=(Yjr−Yjl)/(Z0−Zjl)
ΔZj=(Zjr−Zjl)/(Z0−Zjl)
ΔDj=√(ΔXj2+ΔYj2)
(ΔXjlΔYjlΔZjl):統一された座標系の第j番目の左モデル
(ΔXjrΔYjrΔZjr):統一された座標系の第j番目の右モデル
ΔZjおよびΔDjが0.0005(1/2000)以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して(ii)〜(iv)までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。
When this processing is performed, a connection range expressed by the following equation is calculated.
ΔXj = (Xjr−Xjl) / (Z0−Zjl)
ΔYj = (Yjr−Yjl) / (Z0−Zjl)
ΔZj = (Zjr−Zjl) / (Z0−Zjl)
ΔDj = √ (ΔXj2 + ΔYj2)
(ΔXjlΔYjlΔZjl): the j-th left model of the unified coordinate system
(ΔXjrΔYjrΔZjr): If the j-th right model ΔZj and ΔDj in the unified coordinate system is 0.0005 (1/2000) or less, it is considered that the connection orientation is normally performed. If not successful, an error is output in the orientation result display to indicate which image is bad. In this case, if there is another orientation point on the image, it is changed and the above calculations from (ii) to (iv) are repeated. If not, change the location of the orientation point.
〔偏位修正処理〕
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。
[Displacement correction processing]
Further, the deviation correction process corrects the image so that the epipolar line matches the left and right horizontal lines, and converts the image into an image for which the stereo method is established. Further, three-dimensional measurement is performed using image data obtained by the orientation process and the displacement correction process.
〔ステレオ法〕
次に各特徴点(候補対応点)の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。
図15はステレオ法を説明するための図である。簡単のために、同じ仕様の2台のカメラC1,C2を使用し、それぞれの光軸は平行でカメラレンズの主点からCCD面までの距離aが等しく、CCDは光軸に直角に置かれているものとする。2台のカメラC1,C2の光軸間距離(基線長)をBとする。
物体上の点P1(x1、y1)、P2(x2、y2)の座標の間には、以下のような関係がある。
x1=ax/z −−−(5)
y1=y2=ay/z −−−(6)
x2−x1=aB/z −−−(7)
但し、全体の座標系(x、y、z)の原点をカメラC1のレンズ主点にとるものとする。
(7)式よりzを求め、これを用いて(5)式、(6)式よりx、yが求められる。
ステレオ法の説明からわかるように、カメラC1、カメラC2の撮影距離(倍率)や撮影の向き、基線長Bが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。
[Stereo method]
Next, the three-dimensional coordinates of each feature point (candidate corresponding point) are calculated. For example, three-dimensional coordinates are calculated from the stereo method.
FIG. 15 is a diagram for explaining the stereo method. For simplicity, two cameras C1 and C2 having the same specifications are used, the optical axes are parallel, the distance a from the principal point of the camera lens to the CCD surface is equal, and the CCD is placed perpendicular to the optical axis. It shall be. Let B be the distance (base line length) between the optical axes of the two cameras C1 and C2.
The following relationship exists between the coordinates of the points P1 (x1, y1) and P2 (x2, y2) on the object.
x1 = ax / z --- (5)
y1 = y2 = ay / z --- (6)
x2-x1 = aB / z --- (7)
However, the origin of the entire coordinate system (x, y, z) is assumed to be the lens principal point of the camera C1.
Z is obtained from the equation (7), and x and y are obtained from the equations (5) and (6) using this.
As can be seen from the description of the stereo method, if the shooting distance (magnification), shooting direction, and base line length B of the cameras C1 and C2 change, this principle becomes difficult to establish geometrically, resulting in stable accuracy. It becomes difficult to seek a solution.
また、ステレオ法の1画素分解能の式を以下に示す。
2枚の撮影画像から計測する場合、通常以下に示す式により1画素の理論分解能が得られる。
平面分解能:Δxy=H×Δp/f (8)
奥行き分解能:Δz =H×H×Δp/(B×f)(9)
誤差範囲(σxy,σz)は、σxy=k1Δxy,σz=k2Δz で表される。
ここに、H:撮影距離、Δp:画素分解能、f:焦点距離、B:基線長、k1,k2:係数である。k1,k2は典型的には1とするが、精度を高くしたいときは1より小さくし、精度を低くしたいときは1より大きくし、例えば2,3とする。
これら計算式からも、撮影距離H、基線長Bが1画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得るという観点からは、その基本原理から、ステレオ画像にこれらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを選択する。
In addition, the formula for the one-pixel resolution of the stereo method is shown below.
When measuring from two photographed images, a theoretical resolution of one pixel is usually obtained by the following formula.
Planar resolution: Δxy = H × Δp / f (8)
Depth resolution: Δz = H × H × Δp / (B × f) (9)
The error ranges (σ xy , σ z ) are represented by σ xy = k1Δxy, σ z = k2Δz.
Here, H: photographing distance, Δp: pixel resolution, f: focal length, B: baseline length, k1, k2: coefficients. k1 and k2 are typically set to 1, but are set to be smaller than 1 when it is desired to increase the accuracy, and are set to be larger than 1 when the accuracy is desired to be decreased, for example, 2 or 3.
From these calculation formulas, it is understood that the shooting distance H and the base line length B are important parameters for the resolution of one pixel.
In actual orientation and three-dimensional measurement, the parameters such as the shooting distance, the base line length, and the shooting direction are calculated with corrections and adjustments taking into consideration all of them, and can be calculated without any problem.
However, from the viewpoint of obtaining a stable and accurate solution, from the basic principle, if different stereo parameters having different parameters are used, the accuracy becomes unstable. Therefore, when selecting a stereo image, the shooting distance, the magnification, and the camera direction can be obtained from the shooting position of the camera, and those having substantially the same parameters are selected.
ステレオ画像が選択されると、偏位修正処理される(S155)。次に、偏位修正処理された偏位修正画像を用いて、各対応特徴点の三次元計測が行なわれ、三次元座標が求められる(S160)。撮影時間の異なる複数のステレオ画像について各対応特徴点の三次元計測を行なうと各対応特徴点の時系列変化を得られる。標定及び三次元計測の結果から基線長B及び撮影距離Hを求められる。 When a stereo image is selected, a displacement correction process is performed (S155). Next, three-dimensional measurement of each corresponding feature point is performed using the displacement correction image subjected to the displacement correction processing, and three-dimensional coordinates are obtained (S160). When three-dimensional measurement of each corresponding feature point is performed on a plurality of stereo images having different shooting times, a time series change of each corresponding feature point can be obtained. Baseline length B and photographing distance H are obtained from the results of orientation and three-dimensional measurement.
[再度の標定処理・三次元計測]
次に、再び超解像処理工程(S130)に戻り、三次元計測結果が反映された原画像群を選択し、再度のステレオ画像選択(S140)、再度の標定が行なわれ(S150:第2の標定工程)、続けて、その標定結果を用いて、偏位修正処理(S155:第2の偏位修正工程)、再度の三次元計測が行なわれる(S160:第2の三次元計測工程)。第2の標定工程及び第2の三次元計測工程では、再度の超解像処理がされたステレオ画像が使用されるので、より高精度の標定がなされ、三次元座標が算出される。この処理(S130〜S160)を繰り返すことにより、計測精度を向上することができる。例えば目標とする三次元座標精度が得られるまでこの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
[Another orientation process and 3D measurement]
Next, the process returns to the super-resolution processing step (S130) again, an original image group reflecting the three-dimensional measurement result is selected, stereo image selection is performed again (S140), and orientation is performed again (S150: second). Next, using the orientation result, a displacement correction process (S155: second displacement correction step) and another three-dimensional measurement are performed (S160: second three-dimensional measurement step). . In the second orientation step and the second three-dimensional measurement step, a stereo image that has been subjected to the super-resolution processing again is used, so that orientation with higher accuracy is performed and three-dimensional coordinates are calculated. By repeating this process (S130 to S160), the measurement accuracy can be improved. For example, this process is repeated until the target three-dimensional coordinate accuracy is obtained. Thereby, a three-dimensional coordinate is decided and a measurement is complete | finished.
以上より、本実施の形態によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。 As described above, according to the present embodiment, an image processing apparatus and image processing that can accurately measure the shooting position, posture, or three-dimensional coordinates of an object of a shooting apparatus from a shot image that changes in time series such as a moving image. Can provide a method. In addition, it is possible to provide an image processing apparatus and an image processing method capable of performing super-resolution processing with high speed and small memory capacity.
[第2の実施の形態]
第1の実施の形態では、三次元計測を超解像処理後に行う例を説明したが、本実施の形態では、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超解像処理を行い、標定処理・三次元計測部は超解像処理の結果を用いて、標定および三次元計測を行なう例である。超解像処理を繰り返すことにより、三次元座標精度を一層向上できる。その他は第1の実施の形態と同様である。
[Second Embodiment]
In the first embodiment, the example in which the three-dimensional measurement is performed after the super-resolution processing has been described. However, in the present embodiment, the position coordinates of the object measured in advance or the position coordinates of the photographing apparatus that has photographed the object are described. perform super-resolution processing using, the orientation process, three-dimensional measurement unit using the result of super-resolution processing, an example of performing orientation and three-dimensional measurement. By repeating the super-resolution processing, the three-dimensional coordinate accuracy can be further improved. Others are the same as in the first embodiment.
[第3の実施の形態]
第1の実施の形態では、超解像画像を用いてテンプレートマッチング処理を行う例を説明したが、さらにテンプレートマッチング処理を繰り返しても良い。これにより更に対応特徴点の座標精度を高めることができる。この際に、繰り返し回数と共に基線長を長くし、精度を高めるようにしても良い。また、ステレオ画像選択時にテンプレートマッチングを省略することも可能である。それでも予め撮影画像間で追跡処理がなされているので、十分高い座標精度を得ることができる。その他は第1の実施の形態と同様である。
[Third Embodiment]
In the first embodiment, the example in which the template matching process is performed using the super-resolution image has been described. However, the template matching process may be further repeated. As a result, the coordinate accuracy of the corresponding feature points can be further increased. At this time, the base line length may be increased along with the number of repetitions to improve accuracy. It is also possible to omit template matching when selecting a stereo image. Still, since the tracking process is performed between the captured images in advance, a sufficiently high coordinate accuracy can be obtained. Others are the same as in the first embodiment.
[第4の実施の形態]
第1の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、第4の実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、超解像処理を行い位置座標精度を向上する意義もある。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。
[Fourth Embodiment]
In the first embodiment, the example in which the photographing apparatus moves while the photographing target is stationary is described. However, the fourth embodiment is an example in which the photographing target moves while the photographing apparatus is stationary. Even in this case, in addition to the original object, a moving object may be interrupted between the image capturing apparatus and the object, or the image capturing apparatus may be shaken. It is possible to obtain the three-dimensional coordinates of the feature points related to the object in the captured image that changes gradually. There is also a significance of improving the position coordinate accuracy by performing super-resolution processing. In addition, if the object itself rotates, the feature point repeatedly disappears and is restored, so that the present invention can be applied. In addition, a plurality of objects may move differently, and the present invention can be applied to each object even in such a case.
また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部1の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。 The present invention can also be realized as a program for causing a computer to execute the image processing method described in the above embodiment. The program may be stored and used in a built-in memory of the control unit 1, may be stored in a storage device inside or outside the system, or may be downloaded from the Internet and used. Moreover, it is realizable also as a recording medium which recorded the said program.
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and it is obvious that various modifications can be made to the embodiment.
例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、特徴点の抽出にMORAVECオペレータを、テンプレートマッチングにSSDAテンプレートマッチングやLSMテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、図8の超解像画像合成(S139)から原画像群選択(S131)に戻る繰り返しループをなくすなど、超解像処理の工程の変更も可能である。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。 For example, in the above embodiment, an example has been described in which a captured image is acquired in a state where one of the object or the imaging apparatus is moving and the other is stationary. However, the present invention is applied when both are moving. May be. For example, the present invention is sufficiently applicable when one moving speed and direction are constant. Further, although an example in which the MORAVEC operator is used for feature point extraction and SSDA template matching or LSM template matching is used for template matching has been described, other operators or template matching methods may be used. Further, it is possible to change the process of the super-resolution processing, such as eliminating the repeated loop from the super-resolution image synthesis (S139) to the original image group selection (S131) in FIG. The number of stereo images to be used, the base line length, the number of feature points, and the like can be selected as appropriate.
本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。 The present invention is used for a photographing apparatus using a moving image or measurement of position coordinates of a photographing target.
1 制御部
2 撮影画像取得部
3 特徴抽出部
4 特徴点追跡部
5 演算処理部
6 ステレオ画像選択部
7 標定処理・三次元計測部
8 超解像処理部
9 記憶部
9A 対応点情報メモリ
9B ステレオ画像情報メモリ
10 画像メモリ
11 表示部
81 原画像群選択部
82 主特徴点抽出部
83 部分画像設定部
84 部分画像拡大部
85 副特徴点追跡部
86 部分画像変形部
87 超解像部分画像形成部
88 部分画像縮小部
89 超解像画像合成部
100 画像処理装置
A 対象物
B 基線長
C1、C2 第1、第2の撮影位置
F0 撮影画像
f1〜f5 部分画像
Fi、Fj i、j番目のフレーム
H 撮影距離
I 撮影画像
M 偏位修正画像
P 計測点
P1〜P5 主特徴点
DESCRIPTION OF SYMBOLS 1 Control part 2 Captured image acquisition part 3 Feature extraction part 4 Feature point tracking part 5 Arithmetic processing part 6 Stereo image selection part 7 Orientation process and three-dimensional measurement part 8 Super-resolution processing part 9 Storage part 9A Corresponding point information memory 9B Stereo Image information memory 10 Image memory 11 Display unit 81 Original image group selection unit 82 Main feature point extraction unit 83 Partial image setting unit 84 Partial image enlargement unit 85 Sub feature point tracking unit 86 Partial image deformation unit 87 Super-resolution partial image formation unit 88 Partial image reduction unit 89 Super-resolution image composition unit 100 Image processing apparatus A Object B Baseline lengths C1 and C2 First and second imaging positions F0 Captured images f1 to f5 Partial images Fi, Fj i, jth frame H Shooting distance I Shooting image M Deviation corrected image P Measurement points P1 to P5 Main feature points
Claims (6)
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と;
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と;
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡部で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部と;
前記超解像処理部にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部と;
前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部とを備え;
前記超解像処理部は、選択された原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量が異なる場合には、前記特徴点の移動量が略等しいグループに分け、前記グループ毎に原画像群を再編し、再編された原画像群を用いて超解像画像の形成を行なう;
画像処理装置。 A captured image acquisition unit that acquires a series of captured images obtained by capturing a relatively moving object in time series so that three or more adjacent images share an overlapping portion;
A feature extraction unit that extracts feature points from any of the captured images taken in time series;
A feature point tracking unit that tracks the feature points of the series of captured images and associates the feature points with each other;
From the series of captured images, an original image group that is an image group for performing super-resolution processing is selected, and super-resolution processing is performed from feature points that are correlated with each other in the feature point tracking unit in the original image group. Main feature points as feature points to be extracted are extracted, a partial image is set in a small area around the main feature point, and a super-resolution process is performed on the partial image to form a partial super-resolution image A super-resolution processing unit;
A stereo image selection unit that selects a stereo image that is a pair of images from a group of captured images in which a partial super resolution image is formed by the super resolution processing unit;
Using the mutually correlated feature points of the stereo image selected by the stereo image selection unit, orientation and three-dimensional measurement are performed, and the position of the object, the shape of the object, or the object is photographed. An orientation processing / three-dimensional measurement unit for determining the position of the photographed imaging device;
The super-resolution processing unit, for a plurality of partial super-resolution images in the selected original image group, when the movement amount of the feature point on the screen between adjacent images is different, the movement amount of the feature point Are divided into substantially equal groups, the original image group is reorganized for each group, and a super-resolution image is formed using the reorganized original image group;
Image processing device.
請求項1に記載の画像処理装置。 The super-resolution processing unit includes an original image group selecting unit that selects an original image group that is an image group for performing super-resolution processing from the series of captured images, and a feature point tracking unit in the original image group. A main feature point extracting unit that extracts a main feature point as a feature point for performing super-resolution processing from the feature points associated with the sub-feature, and a small area around the main feature point extracted by the main feature point extracting unit A partial image setting unit for setting a partial image in a region; a partial image enlarging unit for enlarging the partial image set by the partial image setting unit; and a plurality of sub feature points around the main feature point of the partial image. A sub-feature point tracking unit that extracts and tracks the sub-feature points between partial images of the captured image group and associates the sub-feature points with each other; and sub-feature points associated with the sub-feature point tracking unit Deform the partial image so that the position coordinates match well between the original images A partial image deformation unit, a super-resolution partial image formation unit that forms a super-resolution partial image from a plurality of partial images deformed by the partial image deformation unit, and a super-resolution partial image formation unit A partial image reduction unit that reduces the resolution partial image to the size of the original partial image, and the partial image reduced by the partial image reduction unit is fitted to the position of the original partial image in the captured image, A super-resolution image synthesis unit that synthesizes the super-resolution image.
The image processing apparatus according to claim 1.
請求項1又は請求項2に記載の画像処理装置。 The stereo image selection unit selects the stereo image from the captured image on which the partial super-resolution image is formed by the super-resolution processing unit, and the orientation processing / three-dimensional measurement unit selects the selected stereo image. Perform matching processing on partial super-resolution images;
The image processing apparatus according to claim 1.
請求項1乃至請求項3のいずれか1項に記載の画像処理装置。 The super-resolution processing unit performs super-resolution processing using the position coordinates of the object measured in advance or the position coordinates of an imaging device that images the object, and the orientation processing / three-dimensional measurement unit is the Perform orientation and 3D measurement using the result of super-resolution processing;
The image processing apparatus according to any one of claims 1 to 3.
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と;
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と;
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程と;
前記超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程と;
前記ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程とを備え、前記超解像処理工程において、選択された原画像群における複数の部分的超解像画像について、隣接画像間の画面上での特徴点の移動量が異なる場合には、前記特徴点の移動量が略等しいグループに分け、グループ毎に原画像群を再編し、再編された原画像群を用いて超解像画像の形成を行なう;
画像処理方法。 A captured image acquisition step of acquiring a series of captured images obtained by capturing a relatively moving object in time series so that three or more adjacent images share an overlapping portion;
A feature extraction step of extracting feature points from any of the captured images taken in time series;
A feature point tracking step of tracking the feature points of the series of captured images and associating the feature points with each other;
From the series of captured images, an original image group that is an image group for performing super-resolution processing is selected, and super-resolution processing is performed from the feature points associated with each other in the feature point tracking step in the original image group. Main feature points as feature points to be extracted are extracted, a partial image is set in a small area around the main feature point, and a super-resolution process is performed on the partial image to form a partial super-resolution image A super-resolution processing step;
A stereo image selection step of selecting a stereo image that is a pair of images from the group of captured images in which a partial super resolution image is formed in the super resolution processing step;
Using the mutually corresponding feature points of the stereo image selected in the stereo image selection step, orientation and three-dimensional measurement are performed, and the position of the object, the shape of the object, or the object is photographed. A position determination process and a three-dimensional measurement process for determining the position of the photographing apparatus, and in the super-resolution process process, a plurality of partial super-resolution images in the selected original image group are displayed on a screen between adjacent images. If the movement amount of the feature points is different, the movement amount of the feature points is divided into substantially equal groups, the original image group is reorganized for each group, and a super-resolution image is formed using the reorganized original image group. Do;
Image processing method.
請求項5に記載の画像処理方法。
The super-resolution processing step includes an original image group selection step that selects an original image group that is an image group for performing super-resolution processing from the series of captured images, and a feature point tracking step in the original image group. A main feature point extracting step for extracting a main feature point as a feature point for performing super-resolution processing from the feature points associated with the main feature point, and a small area around the main feature point extracted in the main feature point extracting step. A partial image setting step for setting a partial image in the region; a partial image enlargement step for enlarging the partial image set in the partial image setting step; and a plurality of sub-feature points around the main feature point of the partial image. The sub-feature points are extracted and tracked between the partial images of the captured image group, and the sub-feature points are associated with each other. The position coordinates should match well between the original images A partial image deformation step for deforming the partial image, a super-resolution image formation step for forming a super-resolution partial image from a plurality of partial images deformed in the partial image deformation step, and the super-resolution image formation step. A partial image reduction step of reducing the formed super-resolution partial image to the size of the original partial image, and the partial image reduced in the partial image reduction step at the position of the original partial image in the captured image And a super-resolution image synthesis step of synthesizing the partial super-resolution image;
The image processing method according to claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156706A JP4851240B2 (en) | 2006-06-05 | 2006-06-05 | Image processing apparatus and processing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156706A JP4851240B2 (en) | 2006-06-05 | 2006-06-05 | Image processing apparatus and processing method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007323616A JP2007323616A (en) | 2007-12-13 |
JP4851240B2 true JP4851240B2 (en) | 2012-01-11 |
Family
ID=38856344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006156706A Active JP4851240B2 (en) | 2006-06-05 | 2006-06-05 | Image processing apparatus and processing method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4851240B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4813263B2 (en) * | 2006-06-05 | 2011-11-09 | 株式会社トプコン | Image processing apparatus and processing method thereof |
JP4809134B2 (en) * | 2006-06-05 | 2011-11-09 | 株式会社トプコン | Image processing apparatus and processing method thereof |
US8374444B2 (en) | 2008-08-06 | 2013-02-12 | Sony Corporation | Method and apparatus for providing higher resolution images in an embedded device |
JP5206218B2 (en) | 2008-08-20 | 2013-06-12 | 富士通株式会社 | Fingerprint image acquisition device, fingerprint authentication device, fingerprint image acquisition method, and fingerprint authentication method |
JP5463584B2 (en) * | 2009-09-08 | 2014-04-09 | 株式会社パスコ | Displacement measuring method, displacement measuring apparatus, and displacement measuring program |
JP2013231700A (en) * | 2012-05-01 | 2013-11-14 | Tokyo Electron Ltd | X-ray inspection method and x-ray inspection device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778252A (en) * | 1993-06-30 | 1995-03-20 | Kobe Steel Ltd | Object recognition method |
JPH11196317A (en) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | Image pickup device |
JP4044454B2 (en) * | 2003-02-07 | 2008-02-06 | 独立行政法人科学技術振興機構 | Position measurement using zoom |
JP2006119843A (en) * | 2004-10-20 | 2006-05-11 | Olympus Corp | Image forming method, and apparatus thereof |
JP4151793B2 (en) * | 2004-11-15 | 2008-09-17 | オリンパス株式会社 | IMAGING DEVICE AND IMAGE RESOLUTION METHOD |
-
2006
- 2006-06-05 JP JP2006156706A patent/JP4851240B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007323616A (en) | 2007-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4851239B2 (en) | Image processing apparatus and processing method thereof | |
JP5362189B2 (en) | Image processing apparatus and processing method thereof | |
JP4889351B2 (en) | Image processing apparatus and processing method thereof | |
JP4800163B2 (en) | Position measuring apparatus and method | |
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
US7711180B2 (en) | Three-dimensional image measuring apparatus and method | |
KR100450469B1 (en) | Image Combination Method and System Using Parallax-based Technology | |
CN101563709B (en) | Calibrating a camera system | |
JP5027747B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
WO2018076154A1 (en) | Spatial positioning calibration of fisheye camera-based panoramic video generating method | |
JP5087264B2 (en) | Image processing apparatus and method | |
JP5084374B2 (en) | Position measuring apparatus and position measuring method | |
JP5184830B2 (en) | Position measuring apparatus and position measuring method | |
JP4851240B2 (en) | Image processing apparatus and processing method thereof | |
JP4809134B2 (en) | Image processing apparatus and processing method thereof | |
JP2007278844A (en) | Image processing apparatus and its processing method | |
JP2961264B1 (en) | Three-dimensional object model generation method and computer-readable recording medium recording three-dimensional object model generation program | |
JP4813263B2 (en) | Image processing apparatus and processing method thereof | |
CN111829522B (en) | Instant positioning and map construction method, computer equipment and device | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
CN116664621A (en) | SLAM system based on vehicle-mounted multi-camera and deep neural network | |
JP2009186287A (en) | Plane parameter estimating device, plane parameter estimating method, and plane parameter estimating program | |
RU2384882C1 (en) | Method for automatic linking panoramic landscape images | |
JP2006113001A (en) | Three-dimensional measuring method and device by photogrammetry | |
JP2001512252A (en) | Method and apparatus for performing local / global multi-frame alignment for constructing a mosaic image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4851240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |