JP4545503B2 - Image generating apparatus and method - Google Patents
Image generating apparatus and method Download PDFInfo
- Publication number
- JP4545503B2 JP4545503B2 JP2004207616A JP2004207616A JP4545503B2 JP 4545503 B2 JP4545503 B2 JP 4545503B2 JP 2004207616 A JP2004207616 A JP 2004207616A JP 2004207616 A JP2004207616 A JP 2004207616A JP 4545503 B2 JP4545503 B2 JP 4545503B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo camera
- distance
- imaging
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は画像生成装置およびその方法に係り、特に複数の撮像手段で撮像した画像を基にして、仮想視点画像を生成して表示する場合に好適な画像生成装置およびその方法に関する。 The present invention relates to an image generation apparatus and method, and more particularly to an image generation apparatus and method suitable for generating and displaying a virtual viewpoint image based on images captured by a plurality of imaging means.
ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を1つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。 In order to display a specific area on a monitor screen for monitoring or other purposes, images obtained by photographing a wide area with multiple cameras can be divided and displayed on a single screen, or images taken every time can be displayed. The display is switched sequentially. In addition, by mounting a camera on the vehicle, using the camera directed to the rear of the vehicle, the area that the driver cannot see directly or indirectly is photographed and displayed on the monitor provided in the driver's seat, contributing to safe driving I try to let them.
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくく監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して1つの画像として表示する技術が提案されている。 However, because these monitoring devices display images on a camera-by-camera basis, the number of installations increases when shooting a wide area, and the number of installations decreases when a wide-angle camera is used, but the accuracy of the image displayed on the monitor is displayed roughly. The image is difficult to see and the monitoring function is degraded. For this reason, a technique has been proposed in which images from a plurality of cameras are combined and displayed as one image.
この画像生成の際、車両と車両の周囲に存在する障害物等の距離データを計測し、画像上に障害物を表示するデータとして用いて画像生成を行っている。
例えば、特許文献1には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た1つの画像に合成してモニタ画面に表示するようにしたものである。これにより、1枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。この際距離センサを用いて車両と車両の周囲に存在する障害物との距離に基づいて空間モデルについたて面を表示する方法が開示されている。
At the time of image generation, distance data such as obstacles existing around the vehicle is measured, and image generation is performed using the data as data for displaying the obstacle on the image.
For example,
また、ステレオカメラで被写体を撮像して一対の画像の相関を求めて、同一物体に対する視差からステレオカメラの設置位置や焦点距離等のカメラパラメータを用いて三角測量の原理によって距離を求め画像処理に利用している。(例えば引用文献2)
しかしながら特許文献1の生成画像は合成画像処理を高速にするため3次元画像の画質を落として表示しているため、生成画像が鮮明でなく、表示画像の視認性が悪いという問題があった。
However, since the generated image of
また、ステレオ撮像した画像は基線長が短い場合、遠距離は測距精度が低下し、基線長が長い場合は、近距離の被写体は視差量が大きすぎて画面内に映らないことが知られている。 Also, it is known that stereo captured images have a short base line length, and the distance measurement accuracy decreases at long distances, and if the base line length is long, the subject at a short distance is too large to be displayed on the screen. ing.
そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による視点変換画像の生成において、近距離画像または遠距離画像を用いて認識度の高い視点変換画像を生成することができる画像生成装置およびその方法を提供することを目的としている。 Accordingly, in order to solve the above-described problems of the prior art, the present invention generates a viewpoint-converted image with a high degree of recognition using a short-distance image or a long-distance image in generating a viewpoint-converted image from images from a plurality of imaging means. It is an object of the present invention to provide an image generation apparatus and method capable of performing the same.
本発明に係る画像生成装置は、複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、表示する任意の仮想視点を選択する視点選択手段と、前記複数の撮像手段からの入力画像に基づいて当該画像情報に対応する距離画像を生成する測距手段と、前記距離画像を用いて、空間モデルを生成する空間モデル生成手段と、前記複数の撮像手段からの入力画像を、生成された空間モデルにマッピングして空間データを生成する空間再構成手段と、前記空間データを参照して、所望の仮想視点から見た視点変換画像を生成する視点変換手段と、を備え、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記空間モデル生成手段は、選択された仮想視点から近距離の空間モデルは前記ステレオカメラユニット単体による短基線長撮像に基づく距離画像を用い、遠距離の空間モデルは前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像に基づく距離画像を用いて、前記空間モデルを生成することを特徴としている。 An image generation apparatus according to the present invention is an image generation apparatus that generates a viewpoint-converted image from a virtual viewpoint based on image information supplied from a plurality of imaging units, and a viewpoint selection that selects an arbitrary virtual viewpoint to be displayed Means, distance measurement means for generating a distance image corresponding to the image information based on input images from the plurality of imaging means, space model generation means for generating a space model using the distance image, and A spatial reconstruction unit that maps input images from a plurality of imaging units to the generated spatial model to generate spatial data, and generates a viewpoint-converted image viewed from a desired virtual viewpoint with reference to the spatial data to a viewpoint conversion unit, wherein the at least a plurality of predetermined ones of the plurality of the imaging means is constituted by a stereo camera unit, between the respective stereo camera unit Location distance is set longer than the baseline length of the stereo camera unit alone, the space model generation means, spatial model of short distance from the virtual viewpoint is selected using a distance image based on the short baseline length imaging by the stereo camera unit alone The long-distance spatial model is characterized in that the spatial model is generated using a distance image based on a long baseline length imaging by a stereo camera configured by a combination of the pair of stereo camera units.
この場合において、前記ステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替えて行なうための切替手段を設けるとよい。 In this case, it is preferable to provide switching means for switching between imaging with a short baseline length by the stereo camera unit and imaging with a long baseline length by a stereo camera configured by a combination of a pair of stereo camera units. .
また、本発明に係る画像生成方法は、複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成方法であって、表示する任意の仮想視点を選択し、前記複数の撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記選択された仮想視点から近距離の空間モデルは、前記ステレオカメラユニット単体による短基線長撮像に基づく距離画像を用い、遠距離の空間モデルは、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像に基づく距離画像を用いて、前記空間モデルを生成し、前記複数の撮像手段からの入力画像を、生成された空間モデルにマッピングして空間データを生成し、前記空間データを参照して、所望の仮想視点から見た視点変換画像を生成することを特徴としている。 The image generation method according to the present invention is an image generation method for generating a viewpoint-converted image from a virtual viewpoint based on image information supplied from a plurality of imaging units, and selects an arbitrary virtual viewpoint to be displayed. , At least a predetermined plurality of the plurality of imaging means is configured by a stereo camera unit, and an arrangement distance between the stereo camera units is set to be longer than a baseline length in the stereo camera unit alone, and the selected virtual viewpoint The short distance spatial model uses a distance image based on the short baseline length imaging by the stereo camera unit alone, and the long distance spatial model has a long baseline length by a stereo camera configured by a combination of the pair of stereo camera units. The spatial model is generated using a distance image based on imaging, and input images from the plurality of imaging means To generate spatial data by mapping the generated space model, with reference to the spatial data, it is characterized by generating a viewpoint conversion image seen from a desired virtual viewpoint.
上記構成による画像生成装置およびその方法によれば、ステレオカメラユニット単体による短基線長撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像を可能としたことにより、近距離撮像と遠距離撮像による画像を生成することができる。この画像に基づいて画像上の被写体の距離を算出した距離情報と、近距離撮像の空間モデルと、遠距離撮像の空間モデルを得ることができる。このため、これらを任意の距離で選択的に用いることにより認識度の高い空間モデルを生成できる。したがって、認識度の高い視点変換画像を生成することができる。 According to the image generating apparatus and method having the above-described configuration, the short baseline length imaging by a single stereo camera unit and the long baseline length imaging by a stereo camera configured by a combination of a pair of stereo camera units are enabled. Images by distance imaging and long-distance imaging can be generated. Based on this image, it is possible to obtain distance information obtained by calculating the distance of the subject on the image, a spatial model for short-distance imaging, and a spatial model for long-distance imaging. For this reason, a spatial model with high recognition degree can be generated by selectively using these at an arbitrary distance. Therefore, it is possible to generate a viewpoint conversion image with a high degree of recognition.
以下、本発明に係る画像生成装置およびその方法の実施形態を添付した図面に基づいて詳細に説明する。
図1は本実施形態に係る画像生成装置の構成を示したシステムブロック図である。このシステムの基本的な構成は、複数の撮像手段と、この撮像手段によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための画像生成装置となる視点変換合成画像の生成/表示装置10から構成されている。
Embodiments of an image generation apparatus and method according to the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a system block diagram illustrating a configuration of an image generation apparatus according to the present embodiment. The basic configuration of this system includes a plurality of imaging means, an image generation apparatus for processing image data acquired by the imaging means, and reproducing and displaying them as a composite image viewed from a virtual viewpoint different from the camera viewpoint. The viewpoint conversion composite image generation / display device 10 is configured as follows.
視点変換合成画像の生成/表示装置10における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる3次元空間を設定し、この3次元空間を任意に設定した原点(仮想視点)によって特定し、当該特定された仮想視点から見た3次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される3次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。 The basic processing in the viewpoint conversion composite image generation / display apparatus 10 is to input an image photographed from the viewpoint of each imaging means, set a three-dimensional space where an imaging means placement object such as a vehicle is placed, and this 3 The dimensional space is specified by an arbitrarily set origin (virtual viewpoint), and the pixel of the image data is coordinated and corresponded to the three-dimensional space viewed from the specified virtual viewpoint, and on the image plane viewed from the virtual viewpoint. A process of rearranging the pixels is performed. As a result, an image obtained by rearranging the pixels of the image data obtained from the camera viewpoint in the three-dimensional space defined by the virtual viewpoint to obtain a composite image from a desired viewpoint other than the camera viewpoint is created. It can be output and displayed.
図2にステレオカメラユニット12の構成概略図を示す。図示のように、ケーシング40の正面部左右に距離L1(基線長)だけ離して各々受光レンズ群を配設した左右一対の受光部42L,42Rを形成し、被写体44をステレオ撮影できるようにしている。受光部42L、42Rを通じて入力した撮像光を撮像信号として受信する撮像素子46L,46Rがケーシング40背面部左右に配置されている。受光部42L,42Rと撮像素子46L,46Rとの間の光路上に赤外カットフィルタ・ローパスフィルタ48L,48Rが配置されている。赤外カットフィルタは有害な赤外光をカットし、ローパスフィルタはモアレを防止するために用いている。
FIG. 2 shows a schematic configuration diagram of the
この構成による撮像画像は左右のカメラでほぼ同じようなディストーションの分布になるため、二つのステレオカメラユニットのいずれか一方の画像を用いて、長基線長画像として用いる際にも、単体のステレオカメラユニット上での近距離のステレオ処理と同じステレオ画像の画像補正アルゴリズム、特にレクティフィケーションにおける画像歪みの補正パラメータが大きく変化することがない。したがって、ステレオカメラユニット12A,12Bによる長基線の組合せは、12AL−12BL,12AR−12BR,12AR−12BL,12AL−12BRの4通りの組合せから任意に選択することができる。
Since the captured image with this configuration has almost the same distortion distribution between the left and right cameras, a single stereo camera can be used when using one of the two stereo camera units as a long baseline image. The same image correction algorithm for stereo images as that for short-distance stereo processing on the unit, particularly the image distortion correction parameter in rectification, does not change significantly. Therefore, the combination of the long base lines by the
車両にステレオカメラユニット12を複数搭載した実施形態を図3を用いて説明する。撮像手段配置物体としての車両50の前後部には、撮像手段としてのステレオカメラユニット12を複数装備している。この図示の例では、車両50の前部に前方カメラ群12F(12FR、12FL)が装備されている。また、車両の後部にも、撮像手段としての後方カメラ群12R(12RR、12RL)が装備されている。この実施形態では、前後カメラ群12F,12Rからの画像データを取り込むための画像選択装置30(30F、30R)が設けられ、運転席近傍に設けられた視点変換画像生成/表示装置10からの画像選択コマンドを受け、必要画像を選択して画像情報として視点変換画像生成/表示装置10に返すように構成されている。なお、データ送受信は車内LAN回線を通じて行うようにしてもよい。
An embodiment in which a plurality of
図4は屋内監視装置に適用した実施形態の例であり、仮想視点を、近距離あるいは遠距離での撮像手段の切り替えをなすように構成している。すなわち、監視対象室40の一壁面に撮像手段としてのステレオカメラユニット12をそれぞれ2台並列に設置している。この場合、前述のようにステレオカメラユニット12A,12B間の配置距離がステレオカメラユニット12単体における基線長より長くなるように設置している。
FIG. 4 is an example of an embodiment applied to an indoor monitoring apparatus, and the virtual viewpoint is configured to switch the imaging means at a short distance or a long distance. That is, two
同図(1)に示すように、カメラの近距離に存在する人物を撮像する場合、単体のステレオカメラユニット12による短基線長撮像を行う。ステレオカメラユニット12の基線長は近距離を撮像するのに最適な基線長に設定してある。このため、カメラから近距離の空間でも二つの視野が重なり、ステレオ撮像ができるので距離画像データを得ることができる。
As shown in FIG. 1A, when a person existing at a short distance from the camera is imaged, short base length imaging is performed by a single
一方、同図(2)に示すように、壁面部に設置したカメラから遠距離にある被写体を撮像する場合、ステレオカメラユニット12の対の組合せ、すなわち、ステレオカメラユニット12の対の12AR−12BRあるいは12AL−12BLの組合せによる長基線長撮像を行う。前述のステレオカメラユニット12単体による撮像画像は、基線長を短基線長撮像に設定してあるので、近距離撮像画像は精度が良い。しかしながら遠距離の被写体の場合には、画像が粗くなり、測距装置による正確な測距画像データが得られない。
On the other hand, as shown in FIG. 2B, when imaging a subject at a long distance from the camera installed on the wall surface, a combination of a pair of
そこで、ステレオカメラ12の対の組合せであれば(例えばステレオカメラの右―右あるいは左−左等)、基線長を長くすることができる。このため短基線長撮像では困難であった遠距離の測距に有効な領域の撮像を基にした測距が可能となる。よって、遠距離の被写体の撮像画像の精度が上がり、測距装置による正確な測距画像データを得ることができる。
Therefore, if the pair of
各ステレオカメラユニット12により撮影された画像データは画像選択装置30にパケット送信するようになっている。各ステレオカメラユニット12から取得すべき画像データは、設定される仮想視点によって決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置30を設けている。この画像選択装置30によって任意のステレオカメラユニット12に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。
Image data photographed by each
また、撮像手段は画像選択装置30によって、複数のステレオカメラユニット12の切り替えを行う。切替手段となる画像選択装置30はステレオカメラユニット12による短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とに切り替える。画像選択装置30は後述の視点選択装置36の仮想視点に基づいて短・長基線を切り替え制御している。撮像手段の実写画像データは実写画像データ記憶装置32に一時保管される。
Further, the imaging means switches the plurality of
測距手段となる測距装置13は、本実施形態ではステレオ撮像による測距と、レーザレーダやミリ波レーダなどのレーダによる測距とを併用しても良い。
ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一の点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された2またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。
In the present embodiment, the
In the distance measurement by stereo imaging, the same subject is photographed from a plurality of different viewpoints, the correspondence of the same point of the subject in these images is obtained, and the distance to the subject is calculated by the principle of triangulation. More specifically, the entire right image of the image captured by the stereo imaging means is divided into small areas to determine a range for performing stereo distance measurement, and then the position of the image that is the same as the left image is detected. Then, the position difference between these images is calculated, and the distance to the object may be calculated from the relationship between the left and right camera mounting positions. A distance image is generated based on distance information obtained by stereo distance measurement between two or more images captured by the stereo camera.
図5にステレオカメラユニットによるステレオ測距領域を示す。同図(1)は短基線長のステレオカメラユニットによるステレオ測距領域を示す。三角測距の原理から基線長が短くなると、距離分解能が減少するため、遠方の物体に関しては距離を計測することが困難となり、実用上の短基線長の測距限界距離が規定される。図中50は短基線長のステレオカメラユニット12による測距限界距離を示す。また、測距限界距離内のカメラ単体の撮像領域の重なり合う52は短基線長のステレオカメラユニット12によるステレオ測距領域を示す。また、同図(2)はステレオカメラユニット12A,12B間による長基線長のステレオ測距領域を示す。基線長が長くなると近距離の物体は2視点共通の撮像範囲に入らなくなり、視差を計測することができなくなる。よって、近距離の領域を測距することは不可能となる。図示のように、ステレオカメラユニット対12AL−12BL間による長基線長の場合、54は測距限界距離を示し、56は長基線長のステレオカメラユニットによるステレオ測距領域を示す。
FIG. 5 shows a stereo ranging area by the stereo camera unit. FIG. 2A shows a stereo distance measuring area by a stereo camera unit having a short base length. When the baseline length is shortened due to the principle of triangulation, the distance resolution is reduced, so that it is difficult to measure the distance of a distant object, and a distance measurement limit distance of a practical short baseline length is defined. In the figure,
同図(3)はステレオカメラユニット12A,12B間のステレオ測距領域を示す。図中58a,58bは短基線長のステレオカメラユニット12A,12Bによるステレオ撮像領域を示す。また、図中60a,60bは長基線長のステレオカメラユニット対12AL−12BL,12AR−12BRによるステレオ撮像領域を示す。さらに、レーザレーダを用いた測距領域62を重ねても良い。この構成により空間モデル生成のための距離計測領域が規定されることになる。
FIG. 3C shows a stereo distance measuring area between the
なお、上記例では長基線長の画像としてステレオカメラユニットの同じ側の片側画像を用いてステレオ画像とし、ステレオ測距するように構成しているが、それぞれ、異なる側(例えばステレオカメラユニット対12AR−12BL)の片側画像を用いてステレオ測距する構成としてもよい。 In the above example, a single base image on the same side of the stereo camera unit is used as a long baseline length image to form a stereo image, and stereo distance measurement is performed. (-12BL) one-side image may be used for stereo ranging.
また、図1のキャリブレーション装置18は3次元の実世界に配置された撮像手段についての、その3次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置17に一時格納される。
Further, the
空間モデル生成装置15ではステレオカメラユニット12による短基線長撮像および長基線長撮像の画像情報と、測距装置13による距離画像データに基づいて近距離および遠距離の空間モデルを生成することができる。
The spatial
空間再構成装置14は、撮像手段から得られた画像を構成する各々の画素と、3次元座標系の点との対応関係を計算し、空間データを生成し、空間データ記憶装置24に一時保管する。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
The
視点変換手段となる視点変換装置19は、3次元空間の画像を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記3次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データから再現し、表示装置20に表示する。
The
なお、視点変換画像生成/表示装置10には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置34が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置36が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置38に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置19に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
Note that the viewpoint conversion image generation / display device 10 is provided with an imaging device arrangement object
上記構成による視点変換合成画像の生成/表示装置10を用いた画像の生成方法を、図6を用いて説明する。図6は本発明に係る画像生成方法の処理手順を示すフローチャートである。以下、視点変換画像の画像生成方法について説明する。
(S102)表示する任意の仮想視点を視点選択装置36で選択する。
(S104)選択した仮想視点に対応する遠距離又は近距離に分けて画像を撮像する。
(S106)ステレオカメラユニット12対の基線長の組合せによる複数の長基線長ステレオペアを選択する。
(S108)ステレオカメラユニット12対の基線長の組合せて長基線長撮像を行なう。
(S110)あらかじめキャリブレーション装置18によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット12に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
(S112)得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを長基線長距離画像データとする。
(S114)短基線長画像ぺアとなるステレオカメラユニット12による短基線長撮像を行う。
(S116)ステレオカメラユニット12の短基線長撮像を行なう。
(S118)あらかじめキャリブレーション装置18によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット12に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
(S120)得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを短基線長距離画像データとする。
(S144)障害物の遠近に係らず、空間モデルの生成において、近距離の空間モデルはステレオカメラユニット12による短基線長の距離画像を用いて作成し、遠距離の空間モデルはステレオカメラユニット12の対の組合せで構成されるステレオカメラによる長基線長の距離画像を用いて作成する。
An image generation method using the viewpoint conversion composite image generation / display apparatus 10 configured as described above will be described with reference to FIG. FIG. 6 is a flowchart showing the processing procedure of the image generation method according to the present invention. Hereinafter, an image generation method of the viewpoint conversion image will be described.
(S102) The
(S104) Images are captured separately for a long distance or a short distance corresponding to the selected virtual viewpoint.
(S106) A plurality of long baseline length stereo pairs are selected by combining the baseline lengths of the 12 pairs of stereo camera units.
(S108) Long baseline length imaging is performed by combining the baseline lengths of the 12 pairs of stereo camera units.
(S110) Calibration used for stereo matching is performed in advance by the
(S112) Stereo matching of the picked-up image selected based on the obtained calibration data is performed. In other words, a predetermined window is cut out from the left and right images viewed in stereo, and the normalized correlation value of the window image is calculated while scanning on the epipolar line to search for corresponding points, and the parallax between the pixels of the left and right images is calculated. calculate. The distance is calculated from the parallax based on the calibration data, and the obtained distance data is used as the long baseline long distance image data.
(S114) Short baseline length imaging is performed by the
(S116) The short baseline length imaging of the
(S118) Calibration used for stereo matching is performed in advance by the
(S120) Stereo matching of the picked-up image selected based on the obtained calibration data is performed. In other words, a predetermined window is cut out from the left and right images viewed in stereo, and the normalized correlation value of the window image is calculated while scanning on the epipolar line to search for corresponding points, and the parallax between the pixels of the left and right images is calculated. calculate. The distance is calculated from the parallax based on the calibration data, and the obtained distance data is used as the short baseline long distance image data.
(S144) Regardless of the distance of the obstacle, in generating the spatial model, a short-distance spatial model is created using a short baseline length range image by the
空間モデル生成手段となる空間モデル生成装置15には、長基線長の距離画像データと、短基線長の距離画像データ、測距装置による距離画像データが入力手段によって入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
(S146)この空間モデルに対応する実写画像データをキャリブレーションデータに従って、撮像手段からの入力画像を3次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
(S148)空間再構成装置14によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置19で生成する。
(S150)生成した視点変換画像データを表示装置20で表示する。
The spatial
(S146) The actual image data corresponding to the space model is mapped to the space model in the three-dimensional space according to the calibration data. Spatial data subjected to texture mapping is generated.
(S148) With reference to the spatial data created by the
(S150) The generated viewpoint-converted image data is displayed on the display device 20.
ところで、本実施形態に係るステレオマッチングによる距離画像の生成を示すフローチャートを図7に示す。
ステレオカメラユニット12の撮像画像の右側カメラと左側カメラを選択し、ステレオ左画像とステレオ右画像を撮像する。(S200),(S204)
(S202)得られたステレオ左画像。
(S206)得られたステレオ右画像。
(S208)得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置18によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニット12の右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
(S210)次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行なう。
(S212)得られたレクティフィケーション後のステレオ左画像。
(S214)得られたレクティフィケーション後のステレオ右画像。
(S216)このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
(S218)得られた視差データ。
(S220)得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置18によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニット12に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータ17を生成する。
(S222)ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
(S224)得られた距離画像データ。
Incidentally, a flowchart showing generation of a distance image by stereo matching according to the present embodiment is shown in FIG.
The right camera and the left camera of the captured image of the
(S202) The obtained stereo left image.
(S206) The obtained stereo right image.
(S208) The obtained rectification calibration data. The
(S210) Next, the left and right stereo images are corrected for distortion aberration of the stereo left and right images based on the calibration data for rectification so that the corresponding points of the left and right images are on the same line on the epipolar line. A rectification process for geometrically transforming the image is performed.
(S212) The obtained stereo left image after rectification.
(S214) The obtained stereo right image after rectification.
(S216) The left and right images after this rectification are subjected to stereo matching processing, corresponding point search is performed, and parallax is calculated. Thereby, a map of the amount of parallax at each point on the image is generated, and this becomes parallax data.
(S218) The obtained parallax data.
(S220) The obtained stereo distance calibration data. Calibration for use in stereo distance measurement is performed in advance by the
(S222) By the stereo distance calibration, the parallax amount is converted into a distance from the reference point, and distance image data is generated.
(S224) The obtained distance image data.
以上のような処理を行うことにより、複数のステレオカメラユニット12の画像から距離画像データを算出することができる。得られた距離画像データは空間モデルの生成に用いている。
By performing the processing as described above, the distance image data can be calculated from the images of the plurality of
このような画像生成装置10によれば、複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記ステレオカメラユニット単体による短基線長撮像と、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像とが可能となるようにしているため、近距離および遠距離における撮像画像上の被写体の距離測定を行うことができる。このため、距離画像データを用いて空間モデルを生成して、これを任意の距離で選択的に用いることによって詳細な空間モデルを生成することができる。したがって視点変換画像の精度を上げることができる。 According to such an image generation device 10, an image generation device that generates a viewpoint-converted image from a virtual viewpoint based on image information supplied from a plurality of imaging units, and at least of the plurality of imaging units. The predetermined plurality are configured by a stereo camera unit, and an arrangement distance between the stereo camera units is set to be longer than a baseline length in the stereo camera unit alone, and a short baseline length imaging by the stereo camera unit alone and the stereo camera Since a long base line length image can be captured by a stereo camera composed of a pair of units, distance measurement of a subject on a captured image at a short distance and a long distance can be performed. For this reason, a detailed spatial model can be generated by generating a spatial model using the distance image data and selectively using the spatial model at an arbitrary distance. Therefore, the accuracy of the viewpoint conversion image can be increased.
また、前記ステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替えて行なうための切替手段を設けたことにより、短基線長の空間モデルと長基線長の空間モデルを生成することができる。よって、視点変換画像の精度を向上させることができる。 Further, by providing a switching means for switching between imaging with a short baseline length by the stereo camera unit and imaging with a long baseline length by a stereo camera configured by a combination of a pair of stereo camera units, A short baseline length spatial model and a long baseline length spatial model can be generated. Therefore, the accuracy of the viewpoint conversion image can be improved.
また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、安全性を大幅に向上させることができる。
上述した各例において、複数の撮像装置は、それらによって、いわゆる3眼ステレオカメラを構成するように用いても、あるいは4眼ステレオカメラを構成するように用いてもよい。このように3眼あるいは4眼ステレオカメラを用いると、3次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている(富田文明:情報処理学会発行「情報処理」第42巻第4号の「高機能3次元視覚システム」等)。特に複数カメラを2方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。
Further, if the generated virtual viewpoint image is displayed on the monitor screen of the vehicle, it becomes possible to recognize the vehicle surrounding situation in detail, and the safety can be greatly improved.
In each of the above-described examples, the plurality of imaging devices may be used so as to configure a so-called trinocular stereo camera or may be used so as to configure a four-eye stereo camera. In this way, it is known that using a three-lens or four-eye stereo camera provides more reliable and stable processing results in three-dimensional reconstruction processing (Fumiaki Tomita: published by the Information Processing Society of Japan) Information processing "Volume 42 No.4" High-function 3D visual system "). In particular, when a plurality of cameras are arranged in two base length directions, a so-called multi-baseline stereo camera can be realized, and more accurate stereo distance measurement can be realized.
なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。 In addition, although the target which installs imaging means, such as a camera in a predetermined form, shows an example mounted on a vehicle, the imaging device placement object is, for example, indoors such as a pedestrian, a street, a store or a residence, an office, etc. Even when attached, the same image generation can be performed. With this configuration, it is possible to adapt to a monitoring camera or a wearable computer that is attached to a person and performs video-based information acquisition.
10………視点変換合成画像の生成/表示装置、12………ステレオカメラユニット、13………測距装置、14………空間再構成装置、15………空間モデル生成装置、17………キャリブレーションデータ記憶装置、18………キャリブレーション装置、19………視点変換装置、20………表示装置、22………空間モデル記憶装置、24………空間データ記憶装置、26………視点変換画像データ記憶装置、28………距離画像データ記憶装置、30………画像選択装置、32………実写画像データ記憶装置、34………撮像装置配置物体モデル記憶装置、36………視点選択装置、38………仮想視点データ記憶装置、40………監視対象室、42………受光部、44………被写体、46………撮像素子、48………赤外線フィルタ・ローパスフィルタ、50………車両。
DESCRIPTION OF SYMBOLS 10 ......... Generation / display apparatus of a viewpoint conversion synthetic | combination image, 12 ......... Stereo camera unit, 13 ......... Distance measuring apparatus, 14 ......... Space reconstruction apparatus, 15 ......... Space model generation apparatus, 17 ... …… Calibration
Claims (3)
表示する任意の仮想視点を選択する視点選択手段と、
前記複数の撮像手段からの入力画像に基づいて当該画像情報に対応する距離画像を生成する測距手段と、
前記距離画像を用いて、空間モデルを生成する空間モデル生成手段と、
前記複数の撮像手段からの入力画像を、生成された空間モデルにマッピングして空間データを生成する空間再構成手段と、
前記空間データを参照して、所望の仮想視点から見た視点変換画像を生成する視点変換手段と、を備え、
前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、
前記空間モデル生成手段は、選択された仮想視点から近距離の空間モデルは前記ステレオカメラユニット単体による短基線長撮像に基づく距離画像を用い、遠距離の空間モデルは前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像に基づく距離画像を用いて、前記空間モデルを生成することを特徴とする画像生成装置。 An image generation device that generates a viewpoint-converted image from a virtual viewpoint based on image information supplied from a plurality of imaging means,
Viewpoint selecting means for selecting an arbitrary virtual viewpoint to be displayed;
Ranging means for generating a distance image corresponding to the image information based on input images from the plurality of imaging means;
Spatial model generation means for generating a spatial model using the distance image;
Spatial reconstruction means for mapping the input images from the plurality of imaging means to the generated spatial model to generate spatial data;
Viewpoint conversion means for generating a viewpoint conversion image viewed from a desired virtual viewpoint with reference to the spatial data,
At least a predetermined plurality of each of the plurality of imaging means is configured by a stereo camera unit, and an arrangement distance between the stereo camera units is set to be longer than a base line length in the stereo camera unit alone,
The spatial model generation means uses a distance image based on a short baseline length imaging by the stereo camera unit alone as a short distance spatial model from the selected virtual viewpoint , and a long distance spatial model is a combination of the pair of stereo camera units. An image generation apparatus, characterized in that the spatial model is generated using a distance image based on a long baseline length imaging by a stereo camera configured by:
表示する任意の仮想視点を選択し、
前記複数の撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、
前記選択された仮想視点から近距離の空間モデルは、前記ステレオカメラユニット単体による短基線長撮像に基づく距離画像を用い、遠距離の空間モデルは、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像に基づく距離画像を用いて、前記空間モデルを生成し、
前記複数の撮像手段からの入力画像を、生成された空間モデルにマッピングして空間データを生成し、
前記空間データを参照して、所望の仮想視点から見た視点変換画像を生成することを特徴とする画像生成方法。 An image generation method for generating a viewpoint-converted image from a virtual viewpoint based on image information supplied from a plurality of imaging means,
Select any virtual viewpoint to display,
At least a predetermined plurality of the plurality of imaging means is configured by a stereo camera unit, and an arrangement distance between the stereo camera units is set to be longer than a base line length in the stereo camera unit alone,
The short distance spatial model from the selected virtual viewpoint uses a distance image based on the short baseline length imaging by the stereo camera unit alone, and the long distance spatial model is composed of a combination of the stereo camera unit pairs. Using the distance image based on long baseline length imaging with a stereo camera, the spatial model is generated,
Mapping input images from the plurality of imaging means to the generated spatial model to generate spatial data;
An image generation method, characterized in that a viewpoint conversion image viewed from a desired virtual viewpoint is generated with reference to the spatial data .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004207616A JP4545503B2 (en) | 2004-07-14 | 2004-07-14 | Image generating apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004207616A JP4545503B2 (en) | 2004-07-14 | 2004-07-14 | Image generating apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006033282A JP2006033282A (en) | 2006-02-02 |
JP4545503B2 true JP4545503B2 (en) | 2010-09-15 |
Family
ID=35899120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004207616A Expired - Fee Related JP4545503B2 (en) | 2004-07-14 | 2004-07-14 | Image generating apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4545503B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4493434B2 (en) * | 2004-07-28 | 2010-06-30 | オリンパス株式会社 | Image generation method and apparatus |
US20080001727A1 (en) | 2004-11-15 | 2008-01-03 | Hitachi, Ltd. | Stereo Camera |
JP4893421B2 (en) * | 2007-03-30 | 2012-03-07 | アイシン精機株式会社 | Blind spot image display device for vehicles |
JP5455033B2 (en) * | 2009-12-02 | 2014-03-26 | 株式会社リコー | Distance image input device and outside monitoring device |
EP2729915B1 (en) * | 2011-07-05 | 2017-12-27 | Omron Corporation | A method and apparatus for projective volume monitoring |
JP5623469B2 (en) | 2012-07-06 | 2014-11-12 | 富士フイルム株式会社 | ENDOSCOPE SYSTEM, ENDOSCOPE SYSTEM PROCESSOR DEVICE, AND ENDOSCOPE CONTROL PROGRAM |
JP6844307B2 (en) * | 2017-02-24 | 2021-03-17 | 株式会社Ihi | Angle of view adjustment method |
JP7387434B2 (en) * | 2017-09-11 | 2023-11-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image generation method and image generation device |
AU2019315141B2 (en) | 2018-07-30 | 2021-12-23 | Ricoh Company, Ltd. | Measurement apparatus, movable apparatus, and vehicle |
JP7043375B2 (en) * | 2018-09-18 | 2022-03-29 | 株式会社日立製作所 | Stereo camera, in-vehicle lighting unit, and stereo camera system |
JP6983740B2 (en) * | 2018-09-27 | 2021-12-17 | 株式会社日立製作所 | Stereo camera system and distance measurement method |
JP7346080B2 (en) * | 2019-05-22 | 2023-09-19 | 日立Astemo株式会社 | Stereo camera system and distance measurement method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH072022A (en) * | 1993-03-24 | 1995-01-06 | Fuji Heavy Ind Ltd | Distance detecting device for vehicle |
JPH07120255A (en) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
JPH0875454A (en) * | 1994-09-01 | 1996-03-22 | Nissan Motor Co Ltd | Range finding device |
JPH1139596A (en) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | Outside monitoring device |
JP2001305681A (en) * | 2000-04-19 | 2001-11-02 | Nippon Signal Co Ltd:The | Stereocamera device |
JP2002090139A (en) * | 2000-09-20 | 2002-03-27 | Takeshi Hashimoto | Range finding device and method |
JP2004069583A (en) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | Image processing device |
JP2004093457A (en) * | 2002-09-02 | 2004-03-25 | Toyota Motor Corp | Image processing device and image processing method |
-
2004
- 2004-07-14 JP JP2004207616A patent/JP4545503B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH072022A (en) * | 1993-03-24 | 1995-01-06 | Fuji Heavy Ind Ltd | Distance detecting device for vehicle |
JPH07120255A (en) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | Distance detector for vehicle |
JPH0875454A (en) * | 1994-09-01 | 1996-03-22 | Nissan Motor Co Ltd | Range finding device |
JPH1139596A (en) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | Outside monitoring device |
JP2001305681A (en) * | 2000-04-19 | 2001-11-02 | Nippon Signal Co Ltd:The | Stereocamera device |
JP2002090139A (en) * | 2000-09-20 | 2002-03-27 | Takeshi Hashimoto | Range finding device and method |
JP2004069583A (en) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | Image processing device |
JP2004093457A (en) * | 2002-09-02 | 2004-03-25 | Toyota Motor Corp | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2006033282A (en) | 2006-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20060018509A1 (en) | Image generation device | |
KR102275310B1 (en) | Mtehod of detecting obstacle around vehicle | |
US20060029256A1 (en) | Method of generating image and device | |
WO2019192359A1 (en) | Vehicle panoramic video display system and method, and vehicle controller | |
CN108765496A (en) | A kind of multiple views automobile looks around DAS (Driver Assistant System) and method | |
US20140152774A1 (en) | Vehicle periphery monitoring device | |
JP4545503B2 (en) | Image generating apparatus and method | |
JP7502440B2 (en) | Method for measuring the topography of an environment - Patents.com | |
US20170359565A1 (en) | Image pickup device and image pickup method | |
JP2015179063A (en) | Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program | |
JP2006060425A (en) | Image generating method and apparatus thereof | |
JP2010287029A (en) | Periphery display device | |
CN113920183A (en) | Monocular vision-based vehicle front obstacle distance measurement method | |
Gehrig | Large-field-of-view stereo for automotive applications | |
JP2006119843A (en) | Image forming method, and apparatus thereof | |
JP6455164B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
CN106170086A (en) | The method of drawing three-dimensional image and device, system | |
JP6543935B2 (en) | PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM | |
CN103673977B (en) | The method and apparatus of rear dead zone of vehicle detection | |
JP2006031101A (en) | Image generation method and device therefor | |
JPH0795621A (en) | Image recording and reproducing device | |
CN112639864B (en) | Method and apparatus for ranging | |
JP2006054503A (en) | Image generation method and apparatus | |
US20230379445A1 (en) | Image processing device, moving apparatus, image processing method, and storage medium | |
JP4493434B2 (en) | Image generation method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4545503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |