JP2017050819A - Generation device for panoramic image data, generation method and program - Google Patents
Generation device for panoramic image data, generation method and program Download PDFInfo
- Publication number
- JP2017050819A JP2017050819A JP2015174932A JP2015174932A JP2017050819A JP 2017050819 A JP2017050819 A JP 2017050819A JP 2015174932 A JP2015174932 A JP 2015174932A JP 2015174932 A JP2015174932 A JP 2015174932A JP 2017050819 A JP2017050819 A JP 2017050819A
- Authority
- JP
- Japan
- Prior art keywords
- direction image
- cameras
- image
- images
- reference direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の視線方向の画像を同時に撮影できるカメラのそれぞれが撮影した各視線方向の画像を結合（Ｓｔｉｔｃｈ：ステッチ）してパノラマ画像データを生成する技術に関する。 The present invention relates to a technique for generating panoramic image data by combining (stitching) images of each line-of-sight direction captured by each of cameras capable of simultaneously capturing a plurality of lines-of-sight direction images.
例えば、撮影位置を中心に水平面内において３６０度の全周囲画像（パノラマ画像）を時間的に連続して撮影することで自由視点映像システムを構築することができる。自由視点映像システムにおいては、ユーザが指定した視線方向に基づき決定される所定領域の動画が再生される。特許文献１は、複数のカメラで撮影した画像を結合（ステッチ）することでパノラマ画像を生成する構成を開示している。
For example, a free viewpoint video system can be constructed by continuously shooting 360-degree all-around images (panoramic images) in a horizontal plane with the shooting position as the center. In the free viewpoint video system, a moving image of a predetermined area determined based on the line-of-sight direction designated by the user is reproduced.
一方、近年、ライトフィールド・カメラと呼ばれるカメラが提案されている。ライトフィールド・カメラとは、通常のカメラのセンサ位置にマイクロアレイレンズを設け、センサをレンズから見てマイクロアレイレンズの後方に設けたカメラである。ライトフィールド・カメラにより、１回の撮影で、視線方向の異なる複数の画像を撮影することができる。なお、視線方向の数は、マイクロアレイレンズの構成により決まる。以後、本発明において、例えば、ライトフィールド・カメラにより撮影した、複数の異なる視線方向の画像を示すデータを、ライトフィールド・データと呼ぶものとする。 On the other hand, in recent years, a camera called a light field camera has been proposed. The light field camera is a camera in which a microarray lens is provided at a sensor position of a normal camera, and the sensor is provided behind the microarray lens when viewed from the lens. With a light field camera, a plurality of images with different line-of-sight directions can be taken in one shot. The number in the line-of-sight direction is determined by the configuration of the microarray lens. Hereinafter, in the present invention, for example, data indicating a plurality of images with different line-of-sight directions taken by a light field camera is referred to as light field data.
例えば、異なる方向に向けた複数のライトフィールド・カメラで動画を撮影し、各ライトフィールド・カメラが撮影した同じ時刻のフレーム及び同じ視線方向の画像をステッチすることで、異なる視線方向を含むパノラマ画像データであるパノラマ・ライトフィールド・データを生成することができる。１つのライトフィールド・カメラは、複数の視線方向の画像を撮影することができるため、パノラマ・ライトフィールド・データは、自由視点映像システムに適したデータとなる。 For example, panoramic images that include different line-of-sight directions by shooting videos with multiple light-field cameras directed in different directions and stitching the frames at the same time and the same line-of-sight directions captured by each light-field camera Panorama light field data, which is data, can be generated. Since one light field camera can capture images in a plurality of line-of-sight directions, the panorama light field data is data suitable for a free viewpoint video system.
このため、例えば、複数のライトフィールド・カメラが撮影した同じ視線方向の画像を従来技術の構成でステッチすることも考えられるが、この場合には、複数の視線方向それぞれの画像に対して個別にステッチを行う必要があり処理負荷が大きくなる。 For this reason, for example, it is conceivable to stitch images of the same line-of-sight direction taken by a plurality of light field cameras with the configuration of the prior art. Stitching must be performed, increasing the processing load.
本発明は、少ない処理量で、複数のカメラのそれぞれが撮影したライトフィールド・データからパノラマ画像データを生成する生成装置、生成方法及びプログラムを提供するものである。 The present invention provides a generation device, a generation method, and a program for generating panoramic image data from light field data captured by each of a plurality of cameras with a small amount of processing.
本発明の一側面によると、異なる方向に向けた複数のカメラのそれぞれが取得した、Ｎ＋１個、ここでＮは１以上の整数、の視線方向の画像をステッチしてパノラマ画像データを生成する生成装置は、前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択手段と、前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定手段と、前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成手段と、前記複数のカメラそれぞれの基準方向画像を、前記判定手段が判定した特徴点に基づきステッチするステッチ手段と、を備えており、前記ステッチ手段は、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成手段が生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチすることを特徴とする。 According to one aspect of the present invention, generation of panoramic image data is generated by stitching N + 1 images, where N is an integer of 1 or more, acquired by each of a plurality of cameras directed in different directions. The apparatus includes a selection unit that selects a reference direction image from N + 1 line-of-sight images captured by each of the plurality of cameras, a determination unit that determines feature points of the reference direction images of the plurality of cameras, Generating means for generating a depth map for each combination of a reference direction image and each of the Nth direction images from N first direction images different from the reference direction image, for each of the plurality of cameras; Stitching means for stitching a reference direction image of each camera based on the feature point determined by the determining means, and the stitching means includes a k-th direction image. , Where k is an integer from 1 to N, the depth of the feature point of the reference direction image captured by the same camera and the combination of the k-th direction image and the reference direction image generated by the generation unit The determination is based on a map, and the kth direction images of each of the plurality of cameras are stitched based on the determined feature points of the kth direction image.
少ない処理量で、複数のカメラのそれぞれが撮影したライトフィールド・データからパノラマ画像データを生成することができる。 With a small amount of processing, panoramic image data can be generated from light field data captured by each of a plurality of cameras.
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. In addition, the following embodiment is an illustration and does not limit this invention to the content of embodiment. In the following drawings, components that are not necessary for the description of the embodiments are omitted from the drawings.
図１は、本実施形態による生成装置の構成図である。撮像部１は、異なる方向に向けられた複数のライトフィールド・カメラを含み、各ライトフィールド・カメラは、それぞれの方向の動画を撮影し、ライトフィールド・データを出力する。なお、各ライトフィールド・カメラは、同期して動画を撮影する様に構成される。つまり、各ライトフィールド・カメラが撮影する動画を構成する各フレームの撮影時刻は略同じとなる様に制御される。図３は、撮像部１の概略的な構成図であり、各矢印は、ライトフィールド・カメラと、その撮影方向を示している。図３の構成においては、８つのライトフィールド・カメラを、水平面内において４５度間隔で配置している。本実施形態において、１つのライトフィールド・カメラが撮影する範囲と、その両隣に配置されるライトフィールド・カメラが撮影する範囲には重複部分が生じる様に、ライトフィールド・カメラの数及び撮影範囲は設定されている。より詳しくは、ライトフィールド・カメラが撮影する範囲の右側の領域は、右隣のライトフィールド・カメラが撮影する範囲の左側の領域と重複部分を有する。また、複数のライトフィールド・カメラの全体での撮影範囲は、水平面内において全周囲、つまり、３６０度をカバーする。なお、使用するライトフィールド・カメラの数は８つに限定されない。なお、使用するライトフィールド・カメラが撮影する複数の視線方向は同じものとする。なお、視線方向とは、カメラに対して決定される所定方向を基準とした相対的な向きである。
FIG. 1 is a configuration diagram of a generation apparatus according to the present embodiment. The
基準方向選択部２は、各ライトフィールド・カメラが撮影するライトフィールド・データにより得られる複数の視線方向から基準方向を選択する。この複数の視線方向の数は、一般的には１＋Ｎ、ここで、Ｎは１以上の整数である。なお、以下では、Ｎ＝２とする。つまり、本例において、ライトフィールド・カメラは３つの視線方向の画像を撮影するものとする。この場合、１つのライトフィールド・カメラは、ある瞬間に、図４（Ａ）〜（Ｃ）の３つの異なる視線方向の画像を生成できるライトフィールド・データを取得する。そして、その左隣にあるライトフィールド・カメラは、同じ瞬間に、図４（Ｄ）〜（Ｆ）の３つの異なる視線方向の画像を生成できるライトフィールド・データを取得する。なお、図４（Ａ）〜（Ｆ）に示す画像は説明のために簡略化及び強調して表示するものであり、球体の被斜体と、その後の方形の被斜体の見え方は実際のものとは異なる。また、図４（Ａ）及び（Ｄ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像であり、図４（Ｂ）及び（Ｅ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像であり、図４（Ｃ）及び（Ｆ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像である。なお、対応する視線方向の画像が異なるのは、カメラそのものの向きが異なるからである。 The reference direction selection unit 2 selects a reference direction from a plurality of line-of-sight directions obtained from light field data captured by each light field camera. The number of the plurality of line-of-sight directions is generally 1 + N, where N is an integer of 1 or more. In the following, N = 2. That is, in this example, it is assumed that the light field camera captures images in three viewing directions. In this case, one light field camera acquires light field data that can generate images in three different viewing directions in FIGS. 4A to 4C at a certain moment. Then, the light field camera on the left side acquires light field data that can generate images in three different gaze directions in FIGS. 4D to 4F at the same moment. Note that the images shown in FIGS. 4A to 4F are simplified and emphasized for the sake of explanation, and the appearance of the spherical object and the subsequent rectangular object is actual. Is different. The images in FIGS. 4A and 4D are images corresponding to the line-of-sight directions of the two light field cameras, and the images in FIGS. 4B and 4E are the two light field cameras. 4C and 4F are images corresponding to the line-of-sight directions of the two light field cameras. Note that the images in the corresponding line-of-sight directions are different because the directions of the cameras themselves are different.
基準方向選択部２は、例えば、図４（Ａ）及び図４（Ｄ）の視線方向を基準方向として選択する。なお、基準方向の選択方法は任意であり、例えば、複数の異なる視線方向の中心の視線方向や、一番端の視線方向等を選択することができる。以下の説明では、図４（Ａ）及び図４（Ｄ）の視線方向を基準方向とする。また、基準方向に対応する図４（Ａ）及び図４（Ｄ）の画像を基準方向画像と呼ぶものとする。さらに、基準方向以外のＮ個の視線方向の画像のそれぞれを第ｋ方向画像（ｋは１〜Ｎの整数）と呼ぶものとする。本例では、Ｎ＝２であり、図４（Ｂ）及び図４（Ｅ）の画像を第１方向画像とし、図４（Ｃ）及び図４（Ｆ）の画像を第２方向画像とする。 The reference direction selection unit 2 selects, for example, the line-of-sight direction in FIGS. 4A and 4D as the reference direction. In addition, the selection method of a reference direction is arbitrary, For example, the gaze direction of the center of a several different gaze direction, the end gaze direction, etc. can be selected. In the following description, the viewing direction in FIGS. 4A and 4D is a reference direction. The images in FIGS. 4A and 4D corresponding to the reference direction are referred to as reference direction images. Further, each of the N visual line direction images other than the reference direction is referred to as a k-th direction image (k is an integer of 1 to N). In this example, N = 2, the images in FIGS. 4B and 4E are the first direction images, and the images in FIGS. 4C and 4F are the second direction images. .
特徴点判定部４は、各ライトフィールド・カメラの基準方向画像それぞれの特徴点を判定する。なお、特徴点の判定には、例えば、ＳＩＦＴやＳＵＲＦ等の任意の公知の方法を使用できる。また、深さマップ生成部３は、同じライトフィールド・カメラが撮影した基準方向画像と、第ｋ方向画像とに基づき基準方向画像と第ｋ方向画像との組み合わせに対応する深さマップ（Ｄｅｐｔｈ ｍａｐ）を生成する。深さマップは、各画素に対応する被写体の奥行き距離を示す情報であり、２つの画像の視差に基づき、例えば、ステレオ・マッチング等の任意の公知の方法で生成することができる。具体的には、図４の例においては、図４（Ａ）の画像と図４（Ｂ）の画像に基づく深さマップと、図４（Ａ）の画像と図４（Ｃ）の画像に基づく深さマップと、図４（Ｄ）の画像と図４（Ｅ）の画像に基づく深さマップと、図４（Ｄ）の画像と図４（Ｆ）の画像に基づく深さマップの、合計４つの深さマップを深さマップ生成部３は生成する。 The feature point determination unit 4 determines a feature point of each reference direction image of each light field camera. Note that any known method such as SIFT or SURF can be used to determine the feature points. The depth map generation unit 3 also has a depth map (Depth map) corresponding to a combination of the reference direction image and the kth direction image based on the reference direction image captured by the same light field camera and the kth direction image. ) Is generated. The depth map is information indicating the depth distance of the subject corresponding to each pixel, and can be generated by any known method such as stereo matching based on the parallax between two images. Specifically, in the example of FIG. 4, the depth map based on the image of FIG. 4A and the image of FIG. 4B, the image of FIG. 4A, and the image of FIG. A depth map based on the image shown in FIG. 4D and the image shown in FIG. 4E, and a depth map based on the image shown in FIG. 4D and the image shown in FIG. The depth map generator 3 generates a total of four depth maps.
ステッチ部５は、各ライトフィールド・カメラの基準方向画像をその特徴点に基づき繋ぎ合わせて、基準方向画像についての全周囲画像を生成する。また、第ｋ方向画像の特徴点を、同じカメラの基準方向画像と、当該基準方向画像と当該第ｋ方向画像の深さマップにより判定する。例えば、図４（Ａ）の基準方向画像の特徴点に対応する画素の深さ情報から、図４（Ｂ）の第１方向画像の対応する画素を判定し、この画素を図４（Ｂ）に示す第１方向画像の特徴点とする。同様に、図４（Ｅ）に示す第１方向画像の特徴点についても、図４（Ｄ）の基準方向画像の特徴点と深さマップから判定する。ステッチ部５は、各ライトフィールド・カメラが撮影した第ｋ方向画像を、この様にして求めた特徴点に基づき繋ぎ合わせる。この処理を、第１方向画像から第Ｎ方向画像それぞれについて行うことで、第１方向画像から第Ｎ方向画像それぞれについての全周囲画像を生成する。ステッチ部５は、基準方向画像及び第１方向画像〜第Ｎ方向画像の全周囲画像を各フレームについて生成し、この全周囲画像を示すデータをパノラマ画像データとして出力する。このパノラマ画像データは、例えば、図示しない記憶部に保存され、自由視点映像システムの元データとして使用される。 The stitch unit 5 joins the reference direction images of each light field camera based on the feature points to generate an all-around image for the reference direction image. Further, the feature point of the k-th direction image is determined based on the reference direction image of the same camera and the depth map of the reference direction image and the k-th direction image. For example, the pixel corresponding to the first direction image of FIG. 4B is determined from the depth information of the pixel corresponding to the feature point of the reference direction image of FIG. 4A, and this pixel is shown in FIG. The feature points of the first direction image shown in FIG. Similarly, the feature point of the first direction image shown in FIG. 4E is also determined from the feature point and depth map of the reference direction image of FIG. The stitch unit 5 joins the k-th direction images photographed by the light field cameras based on the feature points thus obtained. By performing this process for each of the first direction image to the Nth direction image, an all-around image for each of the first direction image to the Nth direction image is generated. The stitch unit 5 generates a surrounding image of the reference direction image and the first direction image to the Nth direction image for each frame, and outputs data indicating the entire surrounding image as panoramic image data. This panoramic image data is stored in, for example, a storage unit (not shown) and used as original data of a free viewpoint video system.
異なるライトフィールド・カメラが撮影する同じ視線方向の画像には視差がないため、同じ視線方向の画像を結合して得るパノラマ画像にはオクルージョンやオーバラップが生じず、よって、これらＮ個のパノラマ画像は自由視点映像システムの元データに好適である。 Since images in the same line-of-sight direction captured by different light field cameras have no parallax, panorama images obtained by combining images in the same line-of-sight direction do not cause occlusion or overlap, and therefore these N panoramic images. Is suitable for the original data of a free viewpoint video system.
図２は、本実施形態による生成装置が実行するパノラマ画像データの生成方法のフローチャートである。なお、図２の処理は、同じ瞬間に撮影されたフレーム毎に行われる。Ｓ１０で、基準方向選択部２は、基準方向を選択する。Ｓ１１で、深さマップ生成部３は、基準方向画像と第ｋ方向画像とに基づき深さマップを生成する。上述した様に、深さマップ生成部３は、１つのライトフィールド・カメラに対してＮ個の深さマップを生成する。また、Ｓ１１の処理は、ライトフィールド・カメラ毎に独立して行われる。 FIG. 2 is a flowchart of a panoramic image data generation method executed by the generation apparatus according to the present embodiment. Note that the process of FIG. 2 is performed for each frame shot at the same moment. In S10, the reference direction selection unit 2 selects a reference direction. In S11, the depth map generator 3 generates a depth map based on the reference direction image and the kth direction image. As described above, the depth map generation unit 3 generates N depth maps for one light field camera. Further, the processing of S11 is performed independently for each light field camera.
Ｓ１２で、特徴点判定部４は、各ライトフィールド・カメラの基準方向画像それぞれについて特徴点を判定する。Ｓ１３で、ステッチ部５は、各ライトフィールド・カメラの基準方向画像の特徴点に基づき、各基準方向画像をステッチして基準方向画像についての全周囲画像を生成する。Ｓ１４で、ステッチ部５は、各ライトフィールド・カメラの第ｋ方向画像の特徴点を、同じライトフィールド・カメラの基準方向画像と、対応する深さマップに基づき判定する。なお、Ｓ１４の処理は、第１方向画像から第Ｎ方向画像それぞれについて独立して行われる。Ｓ１５で、ステッチ部５は、各ライトフィールド・カメラの第ｋ方向画像をその特徴点に基づきステッチし、第ｋ方向画像についての全周囲画像を生成する。なお、Ｓ１５の処理は、第１方向画像から第Ｎ方向画像それぞれについて独立して行われる。 In S12, the feature point determination unit 4 determines a feature point for each reference direction image of each light field camera. In S13, the stitch unit 5 stitches each reference direction image based on the feature points of the reference direction image of each light field camera to generate an all-around image for the reference direction image. In S14, the stitch unit 5 determines the feature points of the k-th direction image of each light field camera based on the reference direction image of the same light field camera and the corresponding depth map. Note that the processing of S14 is performed independently for each of the first direction image to the Nth direction image. In S15, the stitch unit 5 stitches the k-th direction image of each light field camera based on the feature points, and generates an all-around image for the k-th direction image. Note that the process of S15 is performed independently for each of the first direction image to the Nth direction image.
一般的に、特徴点を判定する処理は、深さマップを生成する処理と比較して処理量が多い。本実施形態においては、処理量の多い特徴点を判定するためのアルゴリズムについては基準方向画像にのみ適用し、その他の方向の画像の特徴点については、処理量の比較的少ない深さマップにより判定する。したがって、パノラマ画像データを生成するための処理量を小さくすることができる。 In general, the processing for determining feature points requires a larger amount of processing than the processing for generating a depth map. In this embodiment, the algorithm for determining feature points with a large amount of processing is applied only to the reference direction image, and the feature points of images in other directions are determined using a depth map with a relatively small amount of processing. To do. Therefore, the processing amount for generating panoramic image data can be reduced.
なお、上記実施形態では、動画を撮影するものとしたが、静止画であっても良い。また、本発明による生成装置は、コンピュータを上記生成装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 In the above embodiment, a moving image is taken, but a still image may be used. The generation apparatus according to the present invention can be realized by a program that causes a computer to function as the generation apparatus. These computer programs can be stored in a computer-readable storage medium or distributed via a network.
２：基準方向選択部、４：特徴点判定部、３：深さマップ生成部、５：ステッチ部 2: reference direction selection unit, 4: feature point determination unit, 3: depth map generation unit, 5: stitch unit
Claims (6)
前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択手段と、
前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定手段と、
前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成手段と、
前記複数のカメラそれぞれの基準方向画像を、前記判定手段が判定した特徴点に基づきステッチするステッチ手段と、を備えており、
前記ステッチ手段は、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成手段が生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチすることを特徴とする生成装置。 A generation device that generates panoramic image data by stitching N + 1 images, where N is an integer of 1 or more, acquired by each of a plurality of cameras directed in different directions,
Selection means for selecting a reference direction image from N + 1 line-of-sight images captured by each of the plurality of cameras;
Determining means for determining a feature point of a reference direction image of each of the plurality of cameras;
Generating means for generating a depth map for each combination of the reference direction image and each of the Nth direction images from N first direction images different from the reference direction image for each of the plurality of cameras;
Stitching means for stitching the reference direction images of each of the plurality of cameras based on the feature points determined by the determining means,
The stitching means is a kth direction image, where k is an integer from 1 to N, a feature point of a reference direction image taken by the same camera, and the kth direction image generated by the generation means A generation apparatus that makes a determination based on a depth map for a combination of the reference direction images, and stitches the kth direction images of each of the plurality of cameras based on the determined feature points of the kth direction image.
前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択ステップと、
前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定ステップと、
前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成ステップと、
前記複数のカメラそれぞれの基準方向画像を、前記判定ステップにおいて判定した特徴点に基づきステッチし、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成ステップにおいて生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチするステッチステップと、
を含むことを特徴とする生成方法。 In the generation device, a panoramic image data is generated by stitching N + 1 images obtained by each of a plurality of cameras directed in different directions, where N is an integer of 1 or more, in a line-of-sight direction. ,
A selection step of selecting a reference direction image from N + 1 line-of-sight images captured by each of the plurality of cameras;
A determination step of determining a feature point of a reference direction image of each of the plurality of cameras;
For each of the plurality of cameras, a generation step of generating a depth map for each combination of a reference direction image and each of the Nth direction images from N first direction images different from the reference direction image;
A reference direction image obtained by stitching the reference direction images of each of the plurality of cameras based on the feature points determined in the determination step, and the kth direction image, where k is an integer from 1 to N, taken by the same camera. A determination is made based on a feature map of the direction image and a depth map for the combination of the kth direction image and the reference direction image generated in the generation step, and the kth direction image of each of the plurality of cameras is determined. A stitching step for stitching based on feature points of the direction image;
A generation method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015174932A JP2017050819A (en) | 2015-09-04 | 2015-09-04 | Generation device for panoramic image data, generation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015174932A JP2017050819A (en) | 2015-09-04 | 2015-09-04 | Generation device for panoramic image data, generation method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017050819A true JP2017050819A (en) | 2017-03-09 |
Family
ID=58279693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015174932A Pending JP2017050819A (en) | 2015-09-04 | 2015-09-04 | Generation device for panoramic image data, generation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017050819A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259764A (en) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | Video camera, image processing method and device applied to video camera |
| KR20190044439A (en) * | 2017-10-20 | 2019-04-30 | 주식회사 씨오티커넥티드 | Method of stitching depth maps for stereo images |
| CN110086994A (en) * | 2019-05-14 | 2019-08-02 | 宁夏融媒科技有限公司 | A kind of integrated system of the panorama light field based on camera array |
-
2015
- 2015-09-04 JP JP2015174932A patent/JP2017050819A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190044439A (en) * | 2017-10-20 | 2019-04-30 | 주식회사 씨오티커넥티드 | Method of stitching depth maps for stereo images |
| KR101983586B1 (en) * | 2017-10-20 | 2019-09-03 | 주식회사 씨오티커넥티드 | Method of stitching depth maps for stereo images |
| CN108259764A (en) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | Video camera, image processing method and device applied to video camera |
| CN110086994A (en) * | 2019-05-14 | 2019-08-02 | 宁夏融媒科技有限公司 | A kind of integrated system of the panorama light field based on camera array |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5620651B2 (en) | REPRODUCTION DEVICE, IMAGING DEVICE, AND CONTROL METHOD THEREOF | |
| US9264695B2 (en) | System and method for multi-viewpoint video capture | |
| US20180262683A1 (en) | Image Quality Assessment | |
| JP5371845B2 (en) | Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus | |
| KR20130112574A (en) | Apparatus and method for improving quality of enlarged image | |
| KR20150050172A (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| JP2016213808A (en) | Camera selecting method and video distribution system | |
| CN113973190A (en) | Video virtual background image processing method and device and computer equipment | |
| KR102082300B1 (en) | Apparatus and method for generating or reproducing three-dimensional image | |
| KR20120108747A (en) | Monitoring camera for generating 3 dimensional scene and method thereof | |
| JP2013041103A (en) | Image pickup apparatus, control method thereof, and program | |
| JP2013025649A (en) | Image processing device, image processing method, and program | |
| KR102025735B1 (en) | 360 VR image conversion system and method using multiple images | |
| JP2017050819A (en) | Generation device for panoramic image data, generation method and program | |
| US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
| JP2011199556A (en) | Stereoscopy imaging device, stereoscopic signal generator, and program | |
| US20130271572A1 (en) | Electronic device and method for creating three-dimentional image | |
| JP2018033107A (en) | Video distribution device and distribution method | |
| CN105467741A (en) | Panoramic shooting method and terminal | |
| JP2019133214A (en) | Image display apparatus, video display system including apparatus, image display method and program for displaying image | |
| JP6261191B2 (en) | Display control apparatus, display control method, and program | |
| CN114245006B (en) | Processing method, device and system | |
| JP2017021430A (en) | Panoramic video data processing device, processing method, and program | |
| JP2013085239A (en) | Imaging apparatus | |
| JP2019036906A (en) | Video processing apparatus, video processing method, and video processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170202 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170206 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170202 |