JP6309749B2 - Image data reproducing apparatus and image data generating apparatus - Google Patents
Image data reproducing apparatus and image data generating apparatus Download PDFInfo
- Publication number
- JP6309749B2 JP6309749B2 JP2013254362A JP2013254362A JP6309749B2 JP 6309749 B2 JP6309749 B2 JP 6309749B2 JP 2013254362 A JP2013254362 A JP 2013254362A JP 2013254362 A JP2013254362 A JP 2013254362A JP 6309749 B2 JP6309749 B2 JP 6309749B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image data
- data
- free
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像データ再生装置および画像データ生成装置に関し、より具体的には、入力された視点画像データを用いて任意の視点からの画像の再生が可能な自由視点画像データを生成する画像データ再生装置と、その画像データ再生装置が生成する自由視点画像データを再生する画像データ再生装置に関する。 The present invention relates to an image data reproduction device and an image data generation device, and more specifically, image data for generating free viewpoint image data capable of reproducing an image from an arbitrary viewpoint using input viewpoint image data. The present invention relates to a playback device and an image data playback device for playing back free viewpoint image data generated by the image data playback device.
近年、任意の視点位置から見ることのできる自由視点画像を表示するために、複数台のカメラで異なる視点位置から同一シーンを撮影し、様々な方法でそれらの画像を再生して表示させる手法が存在する。例えば、特許文献１では、複数のカメラにより撮影された画像から補間した中間視点画像を生成する技術が開示されている。
In recent years, in order to display a free viewpoint image that can be viewed from an arbitrary viewpoint position, there is a technique in which a plurality of cameras capture the same scene from different viewpoint positions and reproduce and display these images in various ways. Exists. For example,
また、固定カメラで撮影した画像に加え、パンや、チルト、ズーム、フォーカス値の変更を伴う非固定ズームカメラで撮影した画像を特定の被写体に合成することにより、合成画質の向上を図る手法が存在する。例えば、特許文献２に記載された自由視点画像を生成する方法では、固定カメラで撮影した画像データと、非固定ズームカメラで撮影した画像データから、非固定ズームカメラの中心射影行列を推定し、非固定ズームカメラで撮影した画像データに含まれる被写体の３次元モデルを構築し、固定カメラ画像からの自由視点画像データを生成し、被写体の３次元モデルテクスチャを、自由視点画像データにマッピングすることができる。
In addition to images shot with a fixed camera, a method for improving the combined image quality by combining an image shot with a non-fixed zoom camera with pan, tilt, zoom, and focus value changes into a specific subject. Exists. For example, in the method for generating a free viewpoint image described in
上記特許文献１では、自由視点画像の生成に必要な視点情報として、ユーザが任意に指定した位置を入力している。しかし、動画データの場合、カメラがパンすることによってユーザが任意に指定した位置がずれてしまい、望みの視点と異なる視点が表示されてしまう可能性があった。また、ユーザが、特定の被写体を異なる視点から見るために視点位置を指定した場合では、被写体自体が移動したり、フレームアウトしたりすることなどにより、望みの視点と異なる視点が表示されてしまう可能性があった。
In
一方、特許文献２の手法では、非固定ズームカメラの映像からビルボードを使って３次元モデルを構築し、自由視点画像を実現しているが、本手法では、伝送すべき情報量が多く、放送やネットでの配信が難しい。また、伝送後も表示側で３次元モデルを構築する必要があり、非常に負荷がかかるという問題があった。
On the other hand, in the method of
また、撮影時、被写体の重なりによって生じるオクルージョンや、被写体のフレームアウト等が生じた場合に、ユーザが望んだ視点の画像がうまく合成できなかったり、合成しても非常に低品質な画像になる可能性が存在する。このように、品質に問題がある視点の画像を表示しないようにする等の表示に対する制御を送信側で行う仕組みが存在しないため、視点が合成できない、もしくは合成しても低品質になる可能性が高い視点映像が表示されてしまうような視点をユーザが選択してしまうという問題があった。 In addition, when shooting, occlusion caused by overlapping of subjects, frame out of subjects, etc., the image of the viewpoint desired by the user cannot be synthesized well, or even if synthesized, the image becomes very low quality. There is a possibility. In this way, there is no mechanism to control the display on the transmission side, such as preventing the display of viewpoint images with quality problems, so the viewpoint cannot be synthesized, or the quality may be low even if synthesized There is a problem that the user selects a viewpoint that displays a high viewpoint video.
本発明は、このような問題に鑑みてなされたもので、その目的は、自由視点画像を再生する際に、自由視点画像データを生成する側で視点位置を制御することで、高品質の自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することにある。 The present invention has been made in view of such a problem, and an object of the present invention is to control the viewpoint position on the side of generating the free viewpoint image data when reproducing the free viewpoint image, thereby freeing high-quality freedom. An object of the present invention is to provide an image data generation apparatus capable of generating viewpoint image data and an image data reproduction apparatus for reproducing a free viewpoint image based on the free viewpoint image data generated by the image data generation apparatus.
上記の課題を解決するために、本発明の一態様によれば、
画像データ生成装置は、少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、前記視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線により前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデルデータ上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データ、のうち少なくとも一つ以上を含む自由視点メタデータを生成する自由視点メタデータ生成部と、前記視点画像データ、および前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、および前記背景モデルデータを多重化し、前記自由視点画像データを生成する多重化部と、を具備することを特徴とする。
In order to solve the above problems, according to one aspect of the present invention,
The image data generation device inputs viewpoint image data taken from at least one viewpoint, and uses the input viewpoint image data to allow free viewpoint image data to be reproduced from an arbitrary viewpoint. An image data generation device that generates size data indicating the size of an object in the viewpoint image data, normal data indicating the direction of the object by a normal of a rectangular area surrounding the object, and modeling a background At least one or more of arrangement data indicating the arrangement position of the object on the background model data created as image data and rotation starting point data indicating the rotation center of the viewpoint when the viewpoint is rotated to display the free viewpoint A free viewpoint metadata generating unit that generates free viewpoint metadata including the viewpoint image data, and An encoding unit that encodes region image data for identifying a region of each object in the viewpoint image data; and the free viewpoint metadata, the viewpoint image data, the region image data, and the background model data are multiplexed. And a multiplexing unit for generating the free viewpoint image data.
本発明の別の一態様によれば、画像データ生成装置は、
前記自由視点表示を行う際の視点を移動させる範囲を制限する視点範囲データと、前記視点を移動させるときの移動量の単位を示す視点分解能データと、を含むことを特徴とする。
According to another aspect of the present invention, an image data generation device includes:
It includes viewpoint range data for limiting a range in which a viewpoint is moved when performing the free viewpoint display, and viewpoint resolution data indicating a unit of a movement amount when the viewpoint is moved.
本発明の別の一態様によれば、本発明にかかる画像データ再生装置は、
任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、少なくとも一つ以上の視点から撮影された視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線によって前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデル上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データのうち少なくとも一つ以上を含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、前記視点画像データ内の各オブジェクトの領域を識別するための領域画像データと、前記背景モデルデータと、が多重化された自由視点画像データを取得するとともに、前記自由視点画像データを表示する際の視点位置を指定したユーザ視点データを取得し、前記自由視点メタデータと、前記ユーザ視点データとを用いて、前記自由視点画像データの視点位置を設定する視点設定データを生成する視点設定部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、前記背景モデルデータ、および前記視点設定データから、所定の表示部で表示可能な前記自由視点画像データを生成する自由視点画像生成部と、を具備することを特徴とする。
According to another aspect of the present invention, an image data reproduction device according to the present invention includes:
Size data indicating the size of an object in viewpoint image data taken from at least one viewpoint in an image data reproducing apparatus that reproduces free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint, the object Normal data indicating the direction of the object by the normal of the rectangular area surrounding the image, the arrangement data indicating the arrangement position of the object on the background model created as image data by modeling the background, and the free viewpoint by rotating the viewpoint Free viewpoint metadata including at least one of rotation origin data indicating the rotation center of the viewpoint at the time of display, viewpoint image data captured from at least one viewpoint, and each of the viewpoint image data Area image data for identifying an object area, and the background model data , Is obtained, user viewpoint data specifying a viewpoint position when displaying the free viewpoint image data, the free viewpoint metadata, and the user viewpoint data are acquired. A viewpoint setting unit that generates viewpoint setting data for setting a viewpoint position of the free viewpoint image data, the free viewpoint metadata, the viewpoint image data, the region image data, the background model data, and the viewpoint setting. And a free viewpoint image generation unit that generates the free viewpoint image data that can be displayed on a predetermined display unit from the data.
本発明の別の一態様によれば、画像データ再生装置は、
前記視点設定部が、前記ユーザ視点データにより指定された視点位置では前記オブジェクトが前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記フレームアウトするオブジェクトが発生しないように視点位置を設定し、または前記ユーザ視点データにより指定された視点位置に関わらず、前記視点設定データに、特定のオブジェクトが前記自由視点画像データの画面内に入らないように視点位置を設定することを特徴とする。
According to another aspect of the present invention, an image data reproduction device includes:
If the object is framed out of the screen of the free viewpoint image data at the viewpoint position specified by the user viewpoint data, the viewpoint setting unit is configured so that the object to be framed out does not occur in the viewpoint setting data. Regardless of the viewpoint position set by the user viewpoint data, the viewpoint position is set in the viewpoint setting data so that a specific object does not enter the screen of the free viewpoint image data. Features.
本発明の別の一態様によれば、画像データ再生装置は、前記自由視点メタデータが少なくとも前記回転起点データを含み、
前記視点設定部が、前記配置データに示される配置位置に前記視点の回転中心が設定されているオブジェクトが、前記ユーザ視点データにより示された視点位置では前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記ユーザ視点データにより指定された視点位置とは別の位置に前記視点の回転中心を設定することを特徴とする。
According to another aspect of the present invention, in the image data reproducing device, the free viewpoint metadata includes at least the rotation starting point data,
The viewpoint setting unit frames the object whose rotation center of the viewpoint is set at the arrangement position indicated by the arrangement data from the screen of the free viewpoint image data at the viewpoint position indicated by the user viewpoint data. In this case, a rotation center of the viewpoint is set in the viewpoint setting data at a position different from the viewpoint position specified by the user viewpoint data.
本発明によれば、自由視点画像を再生する際に、自由視点画像データを生成する側で視点位置を制御することで、高品質の自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することができる。 According to the present invention, when a free viewpoint image is reproduced, an image data generation device capable of generating high-quality free viewpoint image data by controlling the viewpoint position on the free viewpoint image data generation side, and It is possible to provide an image data reproduction device that reproduces a free viewpoint image based on the free viewpoint image data generated by the image data generation device.
以下に添付図面を参照して、本発明に係る画像データ再生装置の好適な実施形態を詳細に説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。
以下で述べる画像データとは、静止画像データと動画像データの両方を示すものとする。また、画像データには、音声データを含んでも構わないが、以下では、説明の簡易化のため、音声データに関する説明は省略する。
Exemplary embodiments of an image data reproducing apparatus according to the present invention will be explained below in detail with reference to the accompanying drawings. In the following description, the configurations denoted by the same reference numerals in different drawings are the same, and the description thereof will be omitted.
The image data described below indicates both still image data and moving image data. In addition, the image data may include audio data, but in the following description, the audio data will not be described for the sake of simplicity.
＜本発明の実施形態に係る画像データ生成装置の構成の説明＞
図１は、本発明の実施形態に係る画像データ生成装置１の構成を示すブロック図である。まず、この図を用いて本発明の実施形態に係る画像データ生成装置１の構成の概略を説明する。画像データ生成装置１は、自由視点メタデータ生成部２と、符号化部３と、多重化部４と、を具備している。
画像データ生成装置１の具体的な例として、画像データを生成する放送機器装置や、クラウド上のサーバ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の画像データ生成ソフトウェア等が挙げられる。
<Description of Configuration of Image Data Generation Device According to Embodiment of the Present Invention>
FIG. 1 is a block diagram showing a configuration of an image
Specific examples of the image
自由視点メタデータ生成部２は、外部から入力されるサイズ・法線データと、配置データと、回転起点データと、アノテーションデータとを受け付け、自由視点メタデータを生成し、多重化部４に出力するための装置である。なお、サイズ・法線データ、配置データ、回転起点データ、アノテーションデータ、および自由視点メタデータの具体的内容と、自由視点メタデータ生成部２の詳細な動作については後述する。
The free viewpoint
符号化部３は、外部から入力される少なくとも一つ以上の画像データと、その画像データに対応する領域画像データとを受け付けて符号化し、符号化した画像データと領域画像データとを多重化部４に出力するための装置である。ここで画像データと領域画像データについて図面を用いて説明する。
The
図２は、画像データ生成装置に入力される画像データの一例を示す図である。視点画像データ５は、少なくとも一つ以上の視点から撮影された画像データである。図２に示す視点画像データ５において、オブジェクト６、７はそれぞれサッカーをしている人物を示し、オブジェクト８はサッカーボールを示している。
FIG. 2 is a diagram illustrating an example of image data input to the image data generation apparatus. The
図３は、画像データ生成装置に入力される領域画像データの一例を示す図である。図３に示す領域画像データ９は、図２の視点画像データ５の各オブジェクト６〜８の領域を示す画像データであり、例えば、領域１０、１１、１２は、それぞれ図２に示すオブジェクト６、７、８の領域を示している。
このとき領域画像データ９は、０〜２５５の値のいずれかを持つ画像データであるものとし、例えば、背景の領域の値を０とし、それ以外のオブジェクトの値を２５５のとしてもよく、あるいは各オブジェクトの領域ごとに異なる値としても構わない。このときの各オブジェクトに対応する領域の値をオブジェクトＩＤとし、後述する自由視点メタデータ内に含ませても構わない。
FIG. 3 is a diagram illustrating an example of region image data input to the image data generation device. The area image data 9 illustrated in FIG. 3 is image data indicating the areas of the
At this time, the area image data 9 is assumed to be image data having one of values from 0 to 255. For example, the value of the background area may be set to 0 and the value of the other object may be set to 255. A different value may be used for each object area. The value of the area corresponding to each object at this time may be set as an object ID and included in free viewpoint metadata described later.
またここで、画像データから各オブジェクトの領域を切り出して領域画像データを作成する際に、各視点画像データに対応する視差画像データ、もしくはデプス画像データの奥行き情報から各オブジェクト領域を切り出してもよい。あるいは背景を予め用意して、オブジェクト領域として前景を切り出してもよく、人が手動でオブジェクト領域を切り出しても構わない。このオブジェクト領域を切り出す手法については、いずれの手法を適用しても構わず、本発明を直接特徴づけるものではなく公知の手法であるためその詳細な説明は省略する。 Further, here, when the region image data is created by cutting out the region of each object from the image data, each object region may be cut out from the parallax image data corresponding to each viewpoint image data or the depth information of the depth image data. . Alternatively, a background may be prepared in advance, and the foreground may be cut out as an object area, or a person may cut out the object area manually. Any method may be applied to the method for cutting out the object region, and the method is not a direct feature of the present invention, and is a known method, and thus detailed description thereof is omitted.
また、符号化部３で用いる符号化方式としては、例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐａｒｔｓ Ｇｒｏｕｐ）で標準化された方式であるＭＰＥＧ−２方式や、Ｈ．２６４方式、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式や、ＪＰＥＧ（Ｊｏｉｎｔ ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等、画像を符号化する方式であればいずれの方式であっても適用できる。これら符号化方式は、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。また、入力された画像データや領域画像データは、符号化することなく非圧縮のまま出力しても構わない。
Further, as an encoding method used in the
多重化部４は、自由視点メタデータ生成部２で生成された自由視点メタデータと、符号化部３で符号化された視点画像データおよび領域画像データと、背景モデルデータとを多重化し、自由視点メタデータを含んだ自由視点画像データを生成し、出力するための装置である。
The
ここで、背景モデルデータについて説明する。背景モデルデータは、背景をモデル化して作成した画像データであり、視点画像データ内の各オブジェクト以外の領域である背景領域のモデルデータとテクスチャデータとで構成されている。このときの背景モデルデータは、テクスチャ付きの３次元モデルをコンピュータグラフィック（以下、ＣＧと呼ぶ）で作成したものであっても構わない。あるいは、複数のカメラを用いて、被写体を複数の方向から撮影した画像から特徴点を算出し、特徴点マッチングを行なって３次元モデルを生成し、生成した３次元モデルにテクスチャを張り付けるといった一般的な手法で生成されたものであっても構わない。あるいはその他のフォーマットのデータであっても構わない。なお、背景モデルデータのフォーマットについては、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。 Here, background model data will be described. The background model data is image data created by modeling the background, and is composed of model data and texture data of a background area that is an area other than each object in the viewpoint image data. The background model data at this time may be a three-dimensional model with texture created by computer graphics (hereinafter referred to as CG). Or, using a plurality of cameras, a feature point is calculated from an image obtained by photographing a subject from a plurality of directions, a feature point matching is performed to generate a three-dimensional model, and a texture is attached to the generated three-dimensional model. It may be generated by a general method. Alternatively, it may be data in other formats. The format of the background model data does not directly characterize the present invention and is a well-known technique, so a detailed description thereof is omitted.
図４は、背景モデルデータの一例を示す図で、サッカースタジアムのテクスチャデータ付きのモデルデータを示す。本モデルは、図４に示すように、例えば、スタジアム１３の左上部にある原点１４として、ｘ軸、ｙ軸、ｚ軸をそれぞれ設定して作成されている。
FIG. 4 is a diagram showing an example of the background model data, which shows model data with texture data of a soccer stadium. As shown in FIG. 4, this model is created, for example, by setting the x axis, the y axis, and the z axis as the
次に、自由視点画像データと、その自由視点画像データに含まれる自由視点メタデータの構成について、図面を用いて詳細に説明する。
図５は、自由視点画像データの一例を示す図である。自由視点画像データは、少なくとも一つ以上の視点から撮影された画像データである視点画像データと、各視点画像データに対応する領域画像データ、背景モデルデータ、および自由視点メタデータの少なくとも一つ以上から構成される。
Next, the configuration of free viewpoint image data and free viewpoint metadata included in the free viewpoint image data will be described in detail with reference to the drawings.
FIG. 5 is a diagram illustrating an example of free viewpoint image data. The free viewpoint image data is at least one of viewpoint image data that is image data taken from at least one viewpoint, area image data corresponding to each viewpoint image data, background model data, and free viewpoint metadata. Consists of
＜本発明の実施形態に係る画像データ生成装置の動作の概略＞
次に、本発明の実施形態に係る画像データ生成装置１の動作について説明する。図６は、画像データ生成装置１の動作の一例を示すフローチャートである。
まずステップＳ１において、画像データ生成装置１の自由視点メタデータ生成部２に、各種データ、すなわちサイズ・法線データ、配置データ、回転起点データ、およびアノテーションデータが入力され、ステップＳ２に移行する。ステップＳ２において、自由視点メタデータ生成部２は、入力された各種データから自由視点メタデータを生成する。
<Outline of Operation of Image Data Generation Device According to Embodiment of Present Invention>
Next, the operation of the image
First, in step S1, various data, that is, size / normal data, arrangement data, rotation start point data, and annotation data are input to the free viewpoint
ここで、自由視点メタデータについて図面を用いて詳細に説明する。図７は、自由視点メタデータの一例を示す図である。自由視点メタデータは、複数の視点画像データのいずれかに存在するオブジェクトの総数を示すオブジェクト数を含んでいる。このとき、オブジェクト数は、１から最大ｍの値となる（ｍは１以上の整数）。また、自由視点メタデータは、各オブジェクトに対応するオブジェクト別自由視点メタデータ（最大ｍ個）を含んでいる。 Here, the free viewpoint metadata will be described in detail with reference to the drawings. FIG. 7 is a diagram illustrating an example of free viewpoint metadata. The free viewpoint metadata includes the number of objects indicating the total number of objects existing in any of the plurality of viewpoint image data. At this time, the number of objects ranges from 1 to a maximum m (m is an integer of 1 or more). The free viewpoint metadata includes object-specific free viewpoint metadata (maximum m pieces) corresponding to each object.
なお、このオブジェクトに関して、例えば、所定のオブジェクトが所定の視点の画像データに含まれているが、別の視点の画像データに含まれない場合が存在する。オブジェクトの例として、サッカーの場合であれば、選手や審判、ボール、ゴール等がオブジェクトになる。またコンサートやライブ等の場合であれば、歌手や演奏者、ダンサー、その他司会者等の人物がオブジェクトとなる。 Regarding this object, for example, there is a case where a predetermined object is included in image data of a predetermined viewpoint but is not included in image data of another viewpoint. As an example of an object, in the case of soccer, a player, a referee, a ball, a goal, and the like are objects. In the case of concerts and live performances, singers, performers, dancers, and other persons such as presenters are objects.
次に、オブジェクト別自由視点メタデータについて説明する。図８は オブジェクト別自由視点メタデータの一例を示す図である。図８に示すように、オブジェクト別自由視点メタデータ１は、そのオブジェクトを識別するためのＩＤ、サイズ・法線データ、配置データ、回転起点データ、およびアノテーションデータを含んで構成されている。
Next, object-specific free viewpoint metadata will be described. FIG. 8 is a diagram illustrating an example of object-specific free viewpoint metadata. As shown in FIG. 8, the object-specific
まず、サイズ・法線データについて説明する。なお、以下の説明では、説明の簡略化のため、少なくとも一つ以上の視点画像データから作成した、視点画像データの数と同じ数のビルボードを用いて、背景以外の各オブジェクトのモデルを構築する場合の例を説明する。ここで、ビルボード方式とは、板にテクスチャを張り付けてレンダリングする方式であって、レンダリング時の処理量を削減するためによく使われるごく一般的な手法である。この板のことを一般的にビルボードと呼んでいる。 First, the size / normal data will be described. In the following description, to simplify the description, a model of each object other than the background is constructed using the same number of billboards as the number of viewpoint image data created from at least one viewpoint image data. An example of the case will be described. Here, the billboard method is a method of rendering by attaching a texture to a board, and is a very general method often used to reduce the processing amount at the time of rendering. This board is generally called a billboard.
なお、レンダリングの際、アルファチャネルと呼ばれるテクスチャに対応した領域情報を用いて、特定の領域の透過度を変えてレンダリングするアルファブレンデイング法を用いることにより、板状のモデル形状を感じさせずに臨場感の高い自由視点画像データを高速表示させることができる。 When rendering, using the alpha blending method that renders by changing the transparency of a specific area using the area information corresponding to the texture called alpha channel, without feeling the plate-like model shape Free viewpoint image data with high presence can be displayed at high speed.
図９は、サイズ・法線データの一例を示す図である。図９に示すように、サイズ・法線データは、視点データ数と、サイズデータと、法線データとを含んで構成される。このうち、視点データ数は、自由視点画像データ内に含まれるｎ個の視点画像データの数を示す（ｎは1以上の整数）。
また、サイズデータは、視点画像データ内のオブジェクトの大きさを示すデータであって、切り出し位置データと、切り出しサイズデータとを含んで構成されている。まず、切り出し位置データと切り出しサイズデータについて説明する。図１０は、視点画像データにおけるビルボードの一例を示す図である。図１０において、オブジェクト６を取り囲む矩形の点線の示す領域である、ビルボード１５に囲まれた領域のテクスチャが視点画像データ５から切り出され、オブジェクト６用のビルボードのテクスチャとして使用される。
FIG. 9 is a diagram illustrating an example of size / normal data. As shown in FIG. 9, the size / normal data includes the number of viewpoint data, size data, and normal data. Of these, the number of viewpoint data indicates the number of n viewpoint image data included in the free viewpoint image data (n is an integer of 1 or more).
The size data is data indicating the size of the object in the viewpoint image data, and includes cutout position data and cutout size data. First, cutout position data and cutout size data will be described. FIG. 10 is a diagram illustrating an example of a billboard in viewpoint image data. In FIG. 10, the texture of the area surrounded by the
図１１は、中心位置データ、切り出しサイズデータ、および法線データを説明するための図である。ここで図１１において、ビルボード１５の左上の位置である点１６を、オブジェクト６の視点画像データ５からビルボード用のテクスチャとして切り出す際の始点となる切り出し位置データデータとする。また、ビルボード１５の上下左右の長さを切り出しサイズデータとする。さらにまた、ビルボード１５の向きを示す法線１７をオブジェクト６の法線データとする。なお、このときの法線データの向きは、撮影時のカメラの光軸の向きを反転させた向きとしても構わない。
FIG. 11 is a diagram for explaining the center position data, the cut-out size data, and the normal line data. Here, in FIG. 11, the
このように、オブジェクト６を囲むビルボード１５の左上の座標、サイズ、および法線の向きを、それぞれオブジェクト６の切り出し位置データ、切り出しサイズデータ、および法線データとしてサイズ・法線データに格納する。なおこのときの切り出しサイズデータは、ビルボードの水平方向の長さと垂直方向の長さであってもよく、また、切り出し位置データは、視点画像データの右上を原点とした座標であっても構わない。また、法線データについては、背景モデルを設置する世界座標上における法線ベクトルとして表現しても構わない。
Thus, the upper left coordinates, size, and normal direction of the
また、サイズ・法線データは、オブジェクトごとに存在する。図１２は、視点画像データにおけるオブジェクトごとのビルボードの一例を示す図である。図１２において、ビルボード１８がオブジェクト７に対応し、ビルボード１９がオブジェクト８に対応してそれぞれ存在する。また、オブジェクト毎に存在するサイズ・法線データは、それぞれ切り出す元となる視点画像データの数だけさらに存在する。
Also, size / normal data exists for each object. FIG. 12 is a diagram illustrating an example of a billboard for each object in the viewpoint image data. In FIG. 12, a
このようにして、視点画像データから切り出したビルボード用のテクスチャは、実際にビルボードに張り付け、背景モデルデータ上に配置されるが、このときの各オブジェクトのビルボードの配置情報が配置データとなる。配置データは、背景モデル上におけるオブジェクトの配置位置を示すデータである。
配置データは、撮影時にオブジェクトのデプス情報を取得し、取得したデプス情報から各オブジェクトの背景モデル上の位置を求めても構わない。なお、配置データは、すべての視点で同じであるため、オブジェクト別自由視点メタデータ毎に一つだけ含まれる。
In this way, the billboard texture cut out from the viewpoint image data is actually attached to the billboard and placed on the background model data. At this time, the billboard placement information of each object is the placement data. Become. The arrangement data is data indicating the arrangement position of the object on the background model.
For the arrangement data, the depth information of the object may be acquired at the time of shooting, and the position of each object on the background model may be obtained from the acquired depth information. Since the arrangement data is the same for all viewpoints, only one arrangement data is included for each object-specific free viewpoint metadata.
図１３は、ビルボード表示の一例を示す図である。図１３において、背景モデルであるスタジアム２０上の配置データが示す位置に、各オブジェクトに対応するビルボードを配置する。またこのとき、ビルボードは、法線データが示す方向に傾けて配置する。さらに、これらのビルボードには、切り出し位置データとサイズデータとを用いて、視点画像データ５から切り出したビルボード１５、１８、１９のテクスチャを貼り付けて表示する。
FIG. 13 is a diagram illustrating an example of a billboard display. In FIG. 13, a billboard corresponding to each object is arranged at a position indicated by arrangement data on the
なお、ビルボード１５、１８、１９のテクスチャを貼り付ける際は、図３で示した領域画像データ内の領域情報であって、各ビルボードのオブジェクトのＩＤに対応するオブジェクトＩＤをもつ領域情報を用いることにより、オブジェクト以外の領域を透過させ、表示することができる。
When pasting the textures of the
次に、複数の視点画像データからそれぞれ作成した複数のビルボードのデータ表示方法について説明する。図１４は、一つのオブジェクトを中心にしてカメラを回転させて撮影した状態を上から観察した様子を説明する図である。図１４において、オブジェクト２１の重心となる点２２に向けてカメラ２３を配置し、さらに点２２を中心にして回転させた位置にカメラ２４を配置する。このとき、各カメラ２３、２４に対する点２２の位置が等しくなるように配置する。
Next, a data display method for a plurality of billboards respectively created from a plurality of viewpoint image data will be described. FIG. 14 is a diagram for explaining a state in which a state in which a camera is rotated around one object is observed from above. In FIG. 14, the
ここで、例えば、オブジェクト２１が水平方向に細長い形をしている場合、その向きに応じてビルボードの水平方向の長さも変化する。カメラ２３が撮影した画像において、画像全体の水平方向の長さを線分２５の長さとすると、オブジェクト２１の占める水平方向の長さは、ビルボード２６が示す長さとなり、同様に、カメラ２４が撮影した画像において、画像全体の水平方向の長さを線分２７の長さとすると、オブジェクト２１の占める水平方向の長さは、ビルボード２８が示す長さとなる。
Here, for example, when the
図１５は、同一オブジェクトに対する複数のビルボードから形成された三次元モデルオブジェクトについて説明するための図である。図１５において、カメラ２３とカメラ２４で撮影した２つの異なる視点の視点画像データからそれぞれ切り出した、同じオブジェクトのビルボード２６、２８が配置され、そのとき、オブジェクト２１の重心となる点２２の位置に、ビルボード２６とビルボード２８の中心が位置するように各ビルボード２６，２８が配置されている。
FIG. 15 is a diagram for explaining a three-dimensional model object formed from a plurality of billboards for the same object. In FIG. 15,
次に、このように配置されたビルボードがどのように表示されるかについて説明する。図１６と図１７は、複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する図である。図１６において、ユーザ２９は、ビルボード２６が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２８は表示されず、ビルボード２６のみが表示される。また、図１７において、ユーザ２９は、ビルボード２８が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２６は表示されず、ビルボード２８のみが表示される。
Next, how the billboard arranged in this way is displayed will be described. FIG. 16 and FIG. 17 are diagrams for explaining a situation when observing a three-dimensional model object formed from a plurality of billboards. In FIG. 16, the
以上のように、表示する３次元オブジェクトに対する視点の方向に合わせて、視点の方向に最も近い方向を向いている法線を有するビルボードのみを表示することにより、より近い視点の画像を使ってビルボード表示できるため、より違和感のない、実際の映像に近い表示を行うことができる。
またこのとき、同じオブジェクトの各ビルボードの位置が変わらないように配置することにより、視点を変え、異なる方向の視点画像から切り出したビルボードを表示した場合でも、オブジェクトの中心位置は画面内の同じ位置に表示されるため、ユーザに違和感を生じさせずにオブジェクトを表示させることができる。
As described above, only the billboard having the normal line facing the direction closest to the viewpoint direction is displayed according to the viewpoint direction with respect to the three-dimensional object to be displayed. Since the billboard can be displayed, it is possible to display an image closer to the actual image without any discomfort.
Also, at this time, by arranging the billboards of the same object so that the positions of the billboards do not change, even if the billboard is cut out from a viewpoint image in a different direction, the center position of the object remains on the screen. Since they are displayed at the same position, the object can be displayed without causing the user to feel uncomfortable.
また、撮影画像は、カメラから透視投影された画像になるため、カメラから各オブジェクトまでの距離に応じてオブジェクトの縮尺が異なる。このため、切り出したビルボードをそのまま表示するのではなく、カメラからオブジェクトまでの距離に応じた縮尺を考慮する必要がある。この場合について図面を用いて説明する。 In addition, since the captured image is an image that is perspectively projected from the camera, the scale of the object varies depending on the distance from the camera to each object. For this reason, it is necessary to consider a scale corresponding to the distance from the camera to the object, instead of displaying the cut billboard as it is. This case will be described with reference to the drawings.
図１８は、カメラから各オブジェクトまでの距離と、撮影画像におけるオブジェクトの大きさについて説明するための図であり、２台のカメラによって水平方向からオブジェクト３０を観察したときの様子を示す図である。
図１８において、オブジェクト３０からカメラ３１までの距離が、オブジェクト３０からカメラ３２までの距離よりも近くなるように、各カメラ３１、３２が配置されている。このとき、各カメラ３１、３２が撮影する画像データ内に占めるオブジェクト３０の垂直方向の割合は、カメラ３１とカメラ３２とで異なる。
FIG. 18 is a diagram for explaining the distance from the camera to each object and the size of the object in the photographed image. FIG. 18 is a diagram illustrating a state when the object 30 is observed from the horizontal direction by two cameras. .
In FIG. 18, the
例えば、カメラ３１が撮影した画像において、画像全体の垂直方向の長さを線分３３の長さとすると、オブジェクト３０が占める垂直方向の長さは、オブジェクト３０のビルボード３４の長さとなる。同様に、カメラ３２が撮影した画像において、画像全体の垂直方向の長さを線分３５の長さとすると、オブジェクト３０が占める垂直方向の長さは、オブジェクト３０のビルボード３６の長さとなる。
For example, in the image taken by the
図１９は、切り出したビルボードを、縮尺を合わせずにそのまま配置した場合の様子を示す図である。図１９（Ａ）において、配置データが示す位置３７が各ビルボード３４、３６の中心に一致するように各ビルボード３４、３６を設置する。この場合、ビルボード３４とビルボード３６は、同じオブジェクトにもかかわらず縮尺が異なって表示される。
FIG. 19 is a diagram illustrating a state in which the cut billboard is arranged as it is without matching the scale. In FIG. 19A, each
このように、オブジェクトからカメラまでの距離に応じて縮尺が異なるため、背景モデルのスタジアムのサイズに合わせて違和感のない正しい大きさとなるように、各ビルボードのサイズを変換して配置する必要がある。
図１９（Ｂ）に、ビルボード３４の縮尺とビルボード３６の縮尺とが同じになるようにサイズを変換した際の様子を示す。図１９（Ｂ）において、ビルボード３８は、ビルボード３６の縮尺を変換した後のビルボードとなる。
In this way, since the scale varies depending on the distance from the object to the camera, it is necessary to convert and arrange the size of each billboard so that it becomes the correct size without a sense of incongruity according to the size of the stadium of the background model is there.
FIG. 19B shows a state when the size is converted so that the scale of the
なお、このときの各オブジェクトの実際のサイズについては、デプス情報から取得しても構わないし、予めデータベースに登録しておいたものを使用しても構わないし、ユーザが入力しても構わない。なお、スタジアムのサイズについては、背景モデルデータを参照する。また、このときのオブジェクトの実寸のサイズをアノテーションデータの一部として記録しても構わない。なお、アノテーションデータについては、再度あらためて説明する。 In addition, about the actual size of each object at this time, you may acquire from depth information, you may use what was previously registered into the database, and a user may input. For the size of the stadium, refer to the background model data. Further, the actual size of the object at this time may be recorded as a part of the annotation data. The annotation data will be described again.
以上のようにして、各オブジェクトのカメラまでの距離が異なる場合であっても、その距離に応じて各ビルボードのサイズを変換して配置し、それら複数のビルボードの中から最も視点方向に近い法線を有するビルボードを用いることによって、ユーザにとってより違和感のない実際の映像に近い表示を行うことができる。 As described above, even if the distance to the camera of each object is different, the size of each billboard is converted and arranged according to the distance, and from among the plurality of billboards, the most in the viewpoint direction By using a billboard having a close normal, it is possible to perform a display close to an actual video that is more comfortable for the user.
次に回転起点データについて説明する。図２０は、スタジアムを４方向から撮影した際の様子について説明する図である。
図２０において、それぞれ異なる４方向に設置したカメラ４１、４２、４３、４４によって、スタジアム３９の中心の点４０を撮影する。このときの各カメラ４１〜４４は、その光軸が点４０で交差するように配置される。そしてこの点４０を回転起点とし、点４０のスタジアム上の座標を回転起点データとして、自由視点メタデータ内に格納する。
Next, the rotation starting point data will be described. FIG. 20 is a diagram illustrating a situation when the stadium is photographed from four directions.
In FIG. 20, the
また、自由視点画像データを生成する際、回転起点データの座標を自由に指定しても構わない。図２１は、別の回転起点データの一例を示す図である。図２１において、回転起点データの座標として、左上側のコーナーポストの点４５、左中央のゴール前の点４６、左下側のコーナーポストの点４７、右上側のコーナーポストの点４８、右中央のゴール前の点４９、あるいは右下側のコーナーポストの点５０のうちのいずれかの座標を自由視点メタデータ内に格納しても構わない。
Further, when generating free viewpoint image data, the coordinates of the rotation starting point data may be freely specified. FIG. 21 is a diagram illustrating an example of another rotation starting point data. In FIG. 21, as the coordinates of the rotation start point data, the upper left
なお、回転起点データが示す座標は、ユーザが自由に視点を回転させて、自由視点画像データを表示する際の回転中心座標となる。図２２と図２３は、ユーザが自由に視点を回転させて自由視点画像データを表示する際の様子を説明するための図である。
図２２において、スタジアム３９上に、図１２で示した視点画像データ５から切り出して作成されたビルボード１５、ビルボード１８、およびビルボード１９がそれぞれ表示されている。ここで、回転起点データは点４０に設定されているものとし、回転起点データを中心に反時計回りに回転させた場合を図２３に示す。
Note that the coordinates indicated by the rotation starting point data are the rotation center coordinates when the user freely rotates the viewpoint and displays the free viewpoint image data. FIG. 22 and FIG. 23 are diagrams for explaining a situation when the user freely rotates the viewpoint and displays the free viewpoint image data.
In FIG. 22,
図２２では、スタジアム３９の左上方向から見た視点で自由視点画像データが表示されていたが、図２３では、中央の低い位置から見た視点による表示になっている。また、回転起点データを所定の時刻ごとに格納しても構わない。この場合、視点が適切な位置となるように、時刻ごとに視点画像データに回転起点データを指定することができる。
以上のようにして、ユーザは、自由視点画像データ内に記録された回転起点データを用いて、自由に視点を回転させることができる。
In FIG. 22, the free viewpoint image data is displayed from the viewpoint viewed from the upper left direction of the
As described above, the user can freely rotate the viewpoint using the rotation start point data recorded in the free viewpoint image data.
また上記では、ユーザが、自由視点画像データ内に記録された回転起点データを用いて自由に視点を回転させることができる仕組みについて説明したが、回転起点データの代わりに、配置データを用いて自由に視点を回転させても構わない。この場合、例えばユーザの望みに応じて、各選手やボール等の配置データを用いて、自由に視点を回転させることが可能である。 In the above description, a mechanism has been described in which the user can freely rotate the viewpoint using the rotation starting point data recorded in the free viewpoint image data. However, the user can freely use the arrangement data instead of the rotation starting point data. You may rotate the viewpoint. In this case, for example, according to the user's desire, the viewpoint can be freely rotated using the arrangement data of each player, ball, and the like.
以上のようにして、各オブジェクトのカメラまでの距離が異なる場合であっても、その距離に応じて、各ビルボードのサイズを変更して配置し、それら複数のビルボードの中から最も視点方向に近い法線を有するビルボードを用いることによって、より違和感のない、実際の映像に近い表示を行うことができる。
またこのとき、視点を回転する際の回転方向と、視点を一度に移動させることが可能な角度とについて、制限を設けても構わない。制限を設けるための方法として、例えば、回転起点データ内に視点制御データを格納しても構わない。
As described above, even if the distance to each camera is different, the size of each billboard is changed and arranged according to the distance. By using a billboard having a normal close to, a display close to an actual video can be displayed without a sense of incongruity.
At this time, restrictions may be provided on the rotation direction when the viewpoint is rotated and the angle at which the viewpoint can be moved at a time. As a method for providing the restriction, for example, viewpoint control data may be stored in the rotation starting point data.
図２４は、視点制御データを格納した回転起点データの例を示す図である。視点制御データは、視点範囲データと、視点分解能データとから構成されている。以下に、図面を用いて、視点範囲データと視点分解能データについて説明する。図２５は、視点範囲データと、視点分解能データとを説明するための図である。
ユーザは、自由視点画像データをその視点を変えて表示することができるが、このときに自由視点表示を行う際の視点を移動させる範囲を制限するデータが視点範囲データであり、視点を移動させるときの分解能、すなわち視点の移動量の単位を示すデータが視点分解能データとなる。
FIG. 24 is a diagram illustrating an example of rotation start point data storing viewpoint control data. The viewpoint control data is composed of viewpoint range data and viewpoint resolution data. Hereinafter, viewpoint range data and viewpoint resolution data will be described with reference to the drawings. FIG. 25 is a diagram for explaining viewpoint range data and viewpoint resolution data.
The user can display the free viewpoint image data by changing the viewpoint. At this time, the data that limits the range in which the viewpoint is moved when the free viewpoint display is performed is the viewpoint range data, and the viewpoint is moved. Time resolution, that is, data indicating the unit of the amount of movement of the viewpoint is the viewpoint resolution data.
まず、視点範囲データについて説明する。自由視点画像データを表示する場合、例えば、まず図２５に示すように、自由視点画像データをレンダリングするための仮想カメラ５１を、回転起点データの座標位置の点５２の方向に向けて、レンダリングした画像を表示する。次に、ユーザが、点５２を中心として反時計回りに視点を動かした画像を表示したい場合、仮想カメラ５１の位置から仮想カメラ５３の位置に仮想カメラを移動させ、その位置で点５２の方向に向けてレンダリングした画像を表示すればよい。
First, viewpoint range data will be described. When displaying the free viewpoint image data, for example, as shown in FIG. 25, first, the
ここで視点範囲データは、回転起点データの座標位置の点を中心として、視点を回転できる角度のデータとして表現する。例えば、図２５の仮想カメラ５１の光軸方向に一致する点線５４と、仮想カメラ５３の光軸方向に一致する点線５５とのなす角度αが視点範囲データとなる。
Here, the viewpoint range data is expressed as data of an angle at which the viewpoint can be rotated around the point of the coordinate position of the rotation starting point data. For example, the angle α formed by the dotted
以上のように、仮想カメラを移動させることができる範囲に制限を設けて視点範囲データとして記録し、自由視点メタデータ内に格納することで、自由視点画像データを生成する側で、選択できる視点の範囲を制御する。これにより、仮想カメラとオブジェクトの角度と位置に応じてオクルージョンで隠れていた部分が現れてしまったり、撮影されていないモデルの背面が見えてしまったりするような視点位置の画像を表示しないようにすることができる。 As described above, a viewpoint that can be selected on the side of generating free viewpoint image data by limiting the range in which the virtual camera can be moved, recording it as viewpoint range data, and storing it in the free viewpoint metadata. Control the range. As a result, images that are hidden by occlusion depending on the angle and position of the virtual camera and the object appear, or the image of the viewpoint position that can see the back of the model that has not been shot is not displayed. can do.
また、ある一つのシーンで視点位置を変更する際、移動させる仮想カメラの移動方向と位置によっては、ユーザが注目しているオブジェクトが仮想カメラの画角からはみ出し、フレームアウトする場合がある。このような場合でも、視点範囲データを設け、自由視点画像データを生成する側で、選択できる視点の範囲を同様に制御する。これにより、ユーザが注目しているオブジェクトが仮想カメラの画角からはみ出してフレームアウトしないように、ユーザが選択できる視点の位置を制御することができる。 Further, when changing the viewpoint position in a certain scene, depending on the moving direction and position of the virtual camera to be moved, the object that the user is paying attention may protrude from the angle of view of the virtual camera and out of the frame. Even in such a case, viewpoint range data is provided, and the viewpoint range that can be selected is similarly controlled on the side of generating free viewpoint image data. Thereby, the position of the viewpoint that can be selected by the user can be controlled so that the object focused on by the user does not protrude from the angle of view of the virtual camera and out of the frame.
また、このとき視点範囲データを複数用意していても構わない。例えば、相対的に大きい範囲の視点範囲データと、相対的に小さい範囲の視点範囲データとを用意し、再生時、通常は範囲の小さい範囲の視点範囲データを用いて再生を行い、例えば課金処理やパスワードの入力に応じて大きい範囲の視点範囲データを用いて再生を行うことができるようにしても構わない。
以上のようにして、視点範囲データを複数用意することにより、自由視点画像データを再生するユーザは、変更したい視点の範囲に応じて料金を支払い、送信側は、その料金を受け取る、といった多様なサービスが実現できる。
At this time, a plurality of viewpoint range data may be prepared. For example, viewpoint range data with a relatively large range and viewpoint range data with a relatively small range are prepared, and playback is normally performed using viewpoint range data with a small range. Alternatively, the reproduction may be performed using a large range of viewpoint range data in accordance with the input of a password.
As described above, by preparing a plurality of viewpoint range data, the user who reproduces the free viewpoint image data pays a fee according to the viewpoint range to be changed, and the transmission side receives the fee. Service can be realized.
次に、視点分解能データについて説明する。
視点分解能データは、上記のように視点を移動させるときの分解能、すなわち視点の移動量の単位を示すデータであり、例えば視点範囲データで規定された範囲内において、仮想カメラを移動させることができる角度の最小単位である。例えば、図２５において、仮想カメラ５１の位置と、仮想カメラ５３の位置との中間の位置を、仮想カメラ５６の位置とする。この場合、仮想カメラ５１の光軸方向に一致する点線５４、または、仮想カメラ５３の光軸方向に一致する点線５５と、仮想カメラ５６の光軸方向に一致する点線５７とがなす角度は、それぞれβとなる。例えば、このときのβを視点分解能データとすると、仮想カメラは、仮想カメラ５１の位置と、仮想カメラ５３の位置と、仮想カメラ５６の位置にのみ移動させることができる。
Next, viewpoint resolution data will be described.
The viewpoint resolution data is data indicating the resolution when moving the viewpoint as described above, that is, the unit of the amount of movement of the viewpoint. For example, the virtual camera can be moved within the range defined by the viewpoint range data. The smallest unit of angle. For example, in FIG. 25, a position intermediate between the position of the
以上のように、視点分解能データを用いて、ユーザが選択できる自由視点の角度を制御することにより、自由視点画像データを生成する側で、表示側に見せたい視点をより詳細に制御することができる。さらに、ユーザが表示時に自由視点を選択する際、同じ操作を行ったにもかかわらず、表示機器によって視点の移動量が異なってしまう、という問題があるが、視点分解能データを規定して、視点を移動させる移動量の最小単位を規定することにより、異なる表示機器であっても、同じ操作を行えば同じ量だけ視点を移動させることができる。 As described above, by controlling the angle of the free viewpoint that can be selected by the user using the viewpoint resolution data, the viewpoint that the free viewpoint image data is generated can be controlled in more detail on the display side. it can. Furthermore, when the user selects a free viewpoint at the time of display, there is a problem that the amount of movement of the viewpoint varies depending on the display device even though the same operation is performed. By defining the minimum unit of movement amount for moving the image, the viewpoint can be moved by the same amount even if different display devices are used.
また、視点分解能データは、仮想カメラを移動させることができる角度の最小単位の他に、仮想カメラを移動させることができる角度の標準単位を含んでもよい。このようにすることにより、視点を通常に移動させる場合は、標準単位で視点を移動させ、画面のズーム後の視点変更等、さらに詳細に視点を移動させたい場合は、最小単位を用いて移動させるといったように、用途ごとに移動させる視点の単位を変えて、視点方向の制御を行うことができる。 Further, the viewpoint resolution data may include a standard unit of angle at which the virtual camera can be moved in addition to the minimum unit of angle at which the virtual camera can be moved. In this way, when moving the viewpoint normally, the viewpoint is moved in standard units, and when moving the viewpoint in more detail, such as changing the viewpoint after zooming the screen, the smallest unit is used. Thus, the viewpoint direction can be controlled by changing the viewpoint unit to be moved for each application.
また上記では、回転起点データ内に視点制御データを設けることにより、視点を制御することについて説明したが、配置データ内に視点制御データを設けても構わない。この場合、自由視点表示の視点方向を変化させた際に、回転起点データの代わりに配置データを用いてその視点方向も制御することができる。 In the above description, the viewpoint control is described by providing the viewpoint control data in the rotation starting point data. However, the viewpoint control data may be provided in the arrangement data. In this case, when the viewpoint direction of the free viewpoint display is changed, the viewpoint direction can be controlled using the arrangement data instead of the rotation starting point data.
次に、複数のビルボードを用いた自由視点表示について説明する。
複数の視点画像データに同一のオブジェクトが含まれる場合、そのオブジェクトのビルボードは、複数の視点画像データの数だけ作成される。作成された複数のビルボードは、背景モデル上の同じ位置に配置される。
ここで、自由視点画像データをレンダリングする際は、仮想カメラに最も正対するビルボードのみが、そのオブジェクトのレンダリングに用いられる。例えば、作成された各ビルボードの法線と仮想カメラの光軸とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているようなビルボードがレンダリングの際に選択される。
Next, free viewpoint display using a plurality of billboards will be described.
When the same object is included in a plurality of viewpoint image data, billboards of the object are created by the number of the plurality of viewpoint image data. The plurality of created billboards are arranged at the same position on the background model.
Here, when rendering free viewpoint image data, only the billboard that faces the virtual camera most directly is used for rendering the object. For example, when rendering a billboard where the angle between the normal of each billboard created and the optical axis of the virtual camera is the smallest and the normal of the billboard indicates the direction of the virtual camera Selected.
図２６は、複数の視点画像データから作成した複数のビルボードを使って自由視点表示を行う場合の仮想カメラと、仮想カメラの位置に合わせて選択されるビルボードとの関係を説明するための図である。
図２６において、例えば、仮想カメラ５１の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているビルボードは、線分５８の位置に配置されたビルボードとなる。一方、仮想カメラ５３の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラのある方向を示しているビルボードは、線分５９の位置に配置されたビルボードとなる。
FIG. 26 is a diagram for explaining the relationship between a virtual camera when a free viewpoint display is performed using a plurality of billboards created from a plurality of viewpoint image data and a billboard selected in accordance with the position of the virtual camera. FIG.
In FIG. 26, for example, the billboard in which the angle formed by the optical axis of the
以上のように、仮想カメラとビルボードの法線とのなす角が最小となるビルボードを用いて自由視点画像をレンダリングし、実際の視点に最も近い視点の画像データを用いることにより、ユーザにとって違和感の少ない自由視点表示を行うことができる。 As described above, by rendering the free viewpoint image using the billboard that minimizes the angle between the virtual camera and the normal of the billboard, and using the image data of the viewpoint closest to the actual viewpoint, it is possible for the user. Free viewpoint display with little discomfort can be performed.
次にアノテーションデータについて説明する。自由視点メタデータには、各オブジェクトに対するアノテーションデータを含んでいても構わない。以下にアノテーションデータの例について説明する。
まず例えば、そのオブジェクトが、選手なのか、ボールなのか、あるいは観客なのか等を示すオブジェクト種別データや、オブジェクト種別データが選手の場合は、選手名や所属するチーム名、現在のレッドカードやイエローカードの枚数、経歴データ等をアノテーションデータとして含んでも構わない。また、これらのデータ以外にそのオブジェクトの付加的な説明をする情報であれば、どのような情報を含んでも構わない。また、自由視点画像データを表示する際、これらのアノテーションデータをユーザが指定したオブジェクトに合ませて表示しても構わない。
Next, annotation data will be described. The free viewpoint metadata may include annotation data for each object. An example of annotation data will be described below.
First, for example, if the object type data indicates whether the object is a player, a ball, or a spectator, or if the object type data is a player, the player name, the team name to which they belong, the current red card or yellow The number of cards, history data, etc. may be included as annotation data. In addition to these data, any information may be included as long as it is information that additionally describes the object. Further, when displaying the free viewpoint image data, these annotation data may be displayed together with the object designated by the user.
以上のように、各オブジェクトの属性情報をアノテーションデータとしてユーザに提示することにより、ユーザが選択したオブジェクトを中心として視点を変える際に、選択オブジェクトを決定するための手がかりとして使うことができる。 As described above, the attribute information of each object is presented to the user as annotation data, and can be used as a clue for determining the selected object when the viewpoint is changed around the object selected by the user.
図６のフローチャートに戻って説明する。上記のようにして自由視点メタデータが生成されると、画像データ生成装置１の動作は図６のフローチャートのステップＳ３に移行する。ステップＳ３において、符号化部３は、入力された画像データを、例えばＨＥＶＣなどの機器ごとに予め設定された符号化方式で符号化し、符号化した画像データを出力する。
Returning to the flowchart of FIG. When the free viewpoint metadata is generated as described above, the operation of the image
次に、画像データ生成装置１の動作はステップＳ４に移行する。ステップＳ４において、符号化部３は、入力された領域画像データを、例えば、ＨＥＶＣなどの機器ごとにあらかじめ設定された符号化方式で符号化し、符号化された領域画像データを出力する。
Next, the operation of the image
次に、画像データ生成装置１の動作はステップＳ５に移行する。ステップＳ５において、多重化部４には、符号化された画像データと、符号化された領域画像データと、背景モデルデータと、自由視点メタデータとが入力され、多重化部４はこれら入力されたデータを多重化し、自由視点画像データを生成する。
Next, the operation of the image
次に、画像データ生成装置１の動作は判定ステップＳ６に移行する。判定ステップＳ６において、画像データ生成装置１は、入力された画像データのフレームが最後のフレームか否かを判定し、最後のフレームである場合は処理を終了し、そうでない場合はステップＳ１に戻る。
Next, the operation of the image
以上の説明により、本発明に係る実施形態の画像データ生成装置１によれば、画像データ生成装置１は、生成する自由視点画像データ内に含まれる各オブジェクトに対して、画像データにおける各オブジェクトの領域を示すサイズデータ、各オブジェクトを背景モデル上に配置するための法線データ、背景モデル上におけるオブジェクトの配置位置を示す配置データ、視点を切り替える際の中心となる回転起点データ、および各オブジェクトについての説明を記述するためのアノテーションデータ等の情報を、自由視点メタデータとして含むように自由視点画像データを生成する。これにより、オクルージョンや背景の領域が映らないようにする等の視点方向の制御をデータの制作者が行うことができる。また、このようにすることにより、自由視点画像データの制作者側で、表示の際の映像の品質を高めるように制御することができる。
According to the above description, according to the image
なお、上記では、各オブジェクトの３次元モデルとして、ビルボードを用いた場合について説明したが、背景モデルデータのように、一般的な３次元モデルであっても構わない。その場合、ＴＯＦ（Ｔｉｍｅｏｆ Ｆｌｉｇｈｔ）方式などのデプスカメラで撮影した点群のデプスデータや、２枚の画像からステレオマッチングにより算出した視差マップ画像から、それぞれ、もしくはそれらを組み合わせることにより、各オブジェクトの３次元モデルを生成しても構わないし、位置や方向、解像度等がばらばらな複数の画像データから３次元モデルを生成しても構わない。
なお、通常の３次元モデルを使う場合は、領域画像データと、各オブジェクトの領域を示すサイズデータとの代わりに、３次元モデルデータと、各視点画像データのテクスチャマッピングの情報を送ればよい。
In the above description, the billboard is used as the three-dimensional model of each object. However, a general three-dimensional model such as background model data may be used. In that case, each object can be obtained from depth data of a point cloud captured by a depth camera such as a TOF (Timeof Flight) method, or from a parallax map image calculated by stereo matching from two images, or by combining them. A three-dimensional model may be generated, or a three-dimensional model may be generated from a plurality of image data with different positions, directions, resolutions, and the like.
In addition, when using a normal 3D model, instead of the area image data and the size data indicating the area of each object, the 3D model data and texture mapping information of each viewpoint image data may be sent.
＜本発明の実施形態に係る画像データ再生装置の構成要素の説明＞
図２７は、本発明の実施形態に係る画像データ再生装置１００の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置１００の構成の概略を説明する。画像データ再生装置１００は、分離部１０１と、復号部１０２と、自由視点画像生成部１０３と、視点設定部１０５と、表示部１０６と、を具備している。
<Description of Components of Image Data Reproducing Device According to Embodiment of the Present Invention>
FIG. 27 is a block diagram showing a configuration of the image
なお、画像データ再生装置１００の具体的な例として、例えば、スマートフォンやタブレットのようなタッチパネル機能を持つ装置であっても構わないし、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなどに代表される光磁気ディスク、ＵＳＢメモリやＳＤ（登録商標）カードなどに代表される半導体メモリ等の電子媒体からコンテンツデータを読み込み、再生する装置であってもよい。また、ＴＶ放送の放送波を受信するテレビ信号受信装置、もしくはインターネットやその他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。
As a specific example of the image
あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ ＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）レシーバなどで構成しても構わない。すなわち、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生するための装置であれば、どのような装置であっても構わない。 Alternatively, an HDMI (registered trademark) (High-Definition Multimedia Interface) receiver that receives an image signal from an external device such as a Blu-ray (registered trademark) disc player may be used. In other words, any device may be used as long as it receives content data from outside and reproduces the input content data.
分離部１０１は、外部から自由視点画像データの入力を受け付け、その自由視点画像データから、視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、を分離して出力するための装置である。分離部１０１は、入力された自由視点画像データから、画像データと領域用画像データを復号部１０２に出力し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを自由視点メタデータ解析部１０４に出力する。
The
復号部１０２は、外部から入力される視点画像データと、領域画像データとを復号し、出力するための装置である。なお、このときの復号の方法は、ＨＥＶＣ等の一般的な符号化方式の画像データや、領域データを復号するためのものであり、ここに適用できる複合方式は本発明を直接特徴づけるものではなく公知の手法を適用できるためその詳細な説明は省略する。
復号部１０２は、入力された視点画像データと、領域画像データとを復号し、復号された視点画像データと、領域画像データとを、自由視点画像生成部１０３に出力する。
The
The
自由視点画像生成部１０３は、外部から入力される視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとを用いて、自由視点画像データである表示用画像データを生成し、出力するための装置である。自由視点画像生成部１０３は、入力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとから、表示用画像データを生成し、表示部１０６に出力する。
The free viewpoint
自由視点メタデータ解析部１０４は、外部から入力される自由視点メタデータを解析し、自由視点メタデータを出力するための装置である。自由視点メタデータ解析部１０４は、分離部１０１から入力された自由視点メタデータを解析し、自由視点メタデータを視点設定部１０５に出力するが、本発明に係る実施形態では、単に入力された自由視点メタデータをそのまま出力している。
The free viewpoint
視点設定部１０５は、表示させたい視点方向を示すユーザ視点データの外部からの入力を受け付け、ユーザ視点データと、自由視点メタデータとから、視点設定データを生成し、自由視点メタデータとともに出力するための装置である。視点設定部１０５は、外部から入力されるユーザ視点データと自由視点メタデータとから、視点位置を設定するための視点設定データを生成し、視点設定データと自由視点メタデータとを自由視点画像生成部１０３に出力する。なお、ユーザ視点データについては後述する。
The
表示部１０６は、外部から入力される表示用画像データを表示するための装置であり、外部から入力された表示用画像データを表示する。このときユーザは、自由視点画像生成部１０３で生成された表示用画像データを、ユーザが指定した視点の画像として視認する。
The
＜本発明の実施形態に係る画像データ再生装置の動作＞
次に、本発明の実施形態に係る画像データ再生装置１００の動作について説明する。
（全体動作）
図２８は、画像データ再生装置１００の動作の一例を示すフローチャートである。
ステップＳ１００において、画像データ再生装置１００の分離部１０１に自由視点画像データが入力される。分離部１０１は、入力された自由視点画像データから、少なくとも１つ以上の視点画像データと、それに対応する領域画像データとを分離し、復号部１０２に出力する。これと同時に分離部１０１は、背景モデルデータと自由視点メタデータとを分離し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを自由視点メタデータ解析部１０４に出力する。
<Operation of Image Data Reproducing Device According to Embodiment of the Present Invention>
Next, the operation of the image
(Overall operation)
FIG. 28 is a flowchart illustrating an example of the operation of the image
In step S100, free viewpoint image data is input to the
次に、画像データ再生装置１００の動作はステップＳ１０１に移行する。
ステップＳ１０１において、復号部１０２は、分離部１０１から出力された視点画像データを復号し、出力する。次に、画像データ再生装置１００の動作はステップＳ１０２に移行する。ステップＳ１０２において、復号部１０２は、分離部１０１から出力された領域画像データを復号し、出力する。次に、画像データ再生装置１００の動作はステップＳ１０３に移行する。ステップＳ１０３において、自由視点メタデータ解析部１０４は、分離部１０１から出力された自由視点メタデータを視点設定部１０５に出力する。次に、画像データ再生装置１００の動作はステップＳ１０４に移行する。
Next, the operation of the image
In step S101, the
ステップＳ１０４において、視点設定部１０５は、デフォルトの視点設定データを自由視点画像生成部１０３に出力し、自由視点画像生成部１０３は、分離部１０１からそれぞれ出力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定部１０５から出力された視点設定データから、デフォルト視点の自由視点画像データを生成し、表示用画像データとして、表示部１０６に出力する。なお、ステップＳ１０４の詳細な動作については、後述する。
In step S104, the
次に、画像データ再生装置１００の動作は判定ステップＳ１０５に移行する。判定ステップＳ１０５において、画像データ再生装置１００に対し、ユーザにより外部から視点位置を変更するユーザ視点データが入力された否かを判定し、ユーザ視点データが入力された場合はステップＳ１０６に移行し、そうでない場合は、ステップＳ１０８に移行する。
Next, the operation of the image
ステップＳ１０６において、ユーザは、外部から画像データ再生装置１００にユーザ視点データを入力し、視点位置を設定する。そして、視点設定部１０５は、入力されたユーザ視点データにあわせて、視点設定データを新たに生成する。
なおこのときの、ユーザ視点データの入力の具体的な例として、例えばマウスでのポインティング入力や、キーボードのキー入力、タッチパネルによるフリックや、ピンチイン、ピンチアウト等の操作があげられる。なお、ステップＳ１０６の詳細な動作については、後述する。
In step S106, the user inputs user viewpoint data to the image
Specific examples of input of user viewpoint data at this time include pointing input with a mouse, key input on a keyboard, flicking with a touch panel, pinch-in, pinch-out, and the like. The detailed operation of step S106 will be described later.
次に、画像データ再生装置１００の動作はステップＳ１０７に移行する。ステップＳ１０７において、自由視点画像生成部１０３は、ステップＳ１０４と同様にして、自由視点画像データを生成し、表示用画像データとして表示部１０６に出力する。
次に、画像データ再生装置１００の動作はステップＳ１０８に移行する。ステップＳ１０８において、表示部１０６は、入力された表示用画像データとしての自由視点画像データを表示する。
Next, the operation of the image
Next, the operation of the image
次に、画像データ再生装置１００の動作は判定ステップＳ１０９に移行する。判定ステップＳ１０９において、画像データ再生装置１００の分離部１０１は、入力されたコンテンツデータである自由視点画像データの最後のフレームを再生したか否かを判定する。ここで、最後のフレームを再生した場合は、画像データ再生装置１００の動作は終了し、そうでない場合、画像データ再生装置１００の動作はステップＳ１０１に移行する。
Next, the operation of the image
（自由視点画像データの生成処理）
次に、上記図２８におけるステップＳ１０４の自由視点画像データの生成処理についてさらに詳細に説明する。
ステップＳ１０４において、自由視点画像生成部１０３は、所定の視点の画像を生成するが、その方法は、画像データ生成装置１における自由視点メタデータの生成処理と同様の方法である。ここで、自由視点画像生成部１０３が、入力された視点設定データに基づいて任意の視点の自由視点画像データを生成する動作について、フローチャート図を用いて詳細に説明する。図２９は、自由視点画像生成部１０３の動作を示すフローチャート図である。
(Free viewpoint image data generation processing)
Next, the free viewpoint image data generation processing in step S104 in FIG. 28 will be described in more detail.
In step S <b> 104, the free viewpoint
ステップＳ１１０において、自由視点画像生成部１０３は、背景の設定を行う。ここでは自由視点画像生成部１０３は、入力されたテクスチャ付きの背景モデルデータから、ＣＧモデル空間上に背景モデルを設置する。次に、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。
ステップＳ１１１において、自由視点画像生成部１０３は、モデルの設定を行う。ここでは自由視点画像生成部１０３は、所定のオブジェクトに対し、自由視点メタデータに含まれる法線データを参照し、デフォルト視点に最も平行に近くなる法線データとなる視点を選択し、その視点の切り出しサイズデータから、ビルボードモデルを生成する。そして、生成したビルボードモデルは、そのオブジェクトのモデルとしてＣＧモデル空間上の配置データの示す位置に配置される。
In step S110, the free viewpoint
In step S111, the free viewpoint
次に、自由視点画像生成部１０３の動作はステップＳ１１２に移行する。ステップＳ１１２において、自由視点画像生成部１０３は、テクスチャの設定を行う。ここでは自由視点画像生成部１０３は、生成したビルボードに対し、自由視点画像生成部１０３で選択された視点に対応する視点画像データから、切り出し位置データと、切り出しサイズデータをと使ってテクスチャを切り出し、さらに、その視点画像データに対応する領域画像データから、オブジェクトの形状を抽出し、オブジェクトに含まれない部分については背景を透過させるようにしてテクスチャを修正した後、対応するビルボードモデルに貼り付ける。
Next, the operation of the free viewpoint
次に、自由視点画像生成部１０３の動作は判定ステップＳ１１３に移行する。判定ステップＳ１１３において、自由視点画像生成部１０３は、視点画像データ内に含まれる全オブジェクトのうちの最後のオブジェクトであるかを判別することで、全オブジェクトに対して処理を終えたか否かを判定する。ここで、全オブジェクトに対して処理を終えた場合は、自由視点画像生成部１０３の動作はステップＳ１１４に移行し、そうでない場合、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。
Next, the operation of the free viewpoint
ステップＳ１１４において、自由視点画像生成部１０３は、デフォルト視点の位置が格納された視点設定データを用い、各モデルが配置されたＣＧモデル空間上に、視点設定データが示す位置と向きに仮想カメラを設置して、レンダリングし、表示用画像データとして表示部１０６に出力する。これにより自由視点画像生成部１０３の動作は終了する。
なおここで、視点設定データとは、ユーザが望みの視点で自由視点画像データを表示する際の視点位置を表すデータであり、例えば、レンダリング時の仮想カメラ位置の向きと座標であっても構わない。また、デフォルトの視点設定データは、１枚目の画像データが表示されるような視点であっても構わない。
In step S114, the free viewpoint
Here, the viewpoint setting data is data representing the viewpoint position when the user's desired viewpoint displays the free viewpoint image data, and may be, for example, the orientation and coordinates of the virtual camera position at the time of rendering. Absent. The default viewpoint setting data may be a viewpoint at which the first image data is displayed.
（視点位置の設定処理）
次に、上記図２８におけるステップＳ１０６の視点位置の設定処理についてさらに詳細に説明する。ステップＳ１０６では、視点設定部１０５は、ユーザからのユーザ視点データの入力を受け付け、入力された視点に合わせ、視点設定データを再設定する。ここで、ユーザ視点データとは、ユーザが指定する視点位置を示すデータであり、回転中心を示す視点変更中心位置データと、回転中心を中心として変更前からどの方向にどれだけ回転させるかを示す視点変更回転角度データおよび前後位置データとから構成される。
(Viewpoint position setting process)
Next, the viewpoint position setting process in step S106 in FIG. 28 will be described in more detail. In step S106, the
図３０は、ステップＳ１０６における視点設定部１０５の動作を示すフローチャートである。判定ステップＳ１１５において、視点設定部１０５は、視点を変える際の回転中心を変更する旨の入力をユーザが行ったか否かを判定し、変更の入力があった場合は、ステップＳ１１６に移行し、そうでない場合は、判定ステップＳ１１７に移行する。
FIG. 30 is a flowchart showing the operation of the
ステップＳ１１６において、ユーザは、視点を変える際の回転中心を指定する。ここで、ユーザが指定した位置を視点変更中心位置データとする。このとき、画面上で自由に回転中心を指定してもよいし、指定できるポイントを、自由視点メタデータにある回転起点データの示す位置や、配置データの示す位置に限定しても構わない。
以上のようにすることにより、ユーザは好みの選手を中心に視点を回転させたり、サッカーのゴールやコーナーポスト、センターライン等の特定の場所を中心に視点を回転させたりすることができる。また、回転中心を、例えば空の映っているエリアに指定する等の想定外の視点にならないように制御することもできる。
In step S116, the user designates the rotation center when changing the viewpoint. Here, the position designated by the user is set as viewpoint change center position data. At this time, the center of rotation may be freely specified on the screen, and the points that can be specified may be limited to the position indicated by the rotation start data in the free viewpoint metadata or the position indicated by the arrangement data.
By doing so, the user can rotate the viewpoint around a favorite player, or rotate the viewpoint around a specific place such as a soccer goal, a corner post, or a center line. It is also possible to control the rotation center so as not to be an unexpected viewpoint, for example, by designating it as an area where the sky is reflected.
次に、視点設定部１０５の動作は判定ステップＳ１１７に移行する。判定ステップＳ１１７において、視点設定部１０５は、ユーザが視点を変える際の回転角度を変更する旨の入力を行ったか否かを判定し、変更の入力があった場合はステップＳ１１８に移行し、そうでない場合は、判定ステップＳ１１９に移行する。
ステップＳ１１８において、ユーザは、視点を変える際の回転角度を指定する。ここで、ユーザが指定した回転角度を視点変更回転角度データとする。
Next, the operation of the
In step S118, the user designates a rotation angle for changing the viewpoint. Here, the rotation angle designated by the user is used as the viewpoint change rotation angle data.
次に、視点設定部１０５の動作は判定ステップＳ１１９に移行する。判定ステップＳ１１９において、ユーザが、視点変更中心位置データにより指定された位置に対する前後方向の視点の位置（前後位置と称す）の入力を行ったか否かを判定し、前後位置の入力があった場合は、ステップＳ１２０に移行し、そうでない場合は、ステップＳ１０７に移行する。前後位置によりズーム位置を指定することができる。
Next, the operation of the
次に、視点設定部１０５の動作はステップＳ１２０に移行する。ステップＳ１２０において、ユーザは、前後位置を指定する。ここで、ユーザが指定した前後位置のデータを前後位置データとする。
次に、視点設定部１０５の動作はステップＳ１２１に移行する。ステップＳ１２１において、視点設定部１０５は、視点変更中心位置データと、視点変更回転角度データと、前後位置データのうち、ユーザが変更入力したデータのみを参照し、現在の視点位置を修正し、修正した視点位置を示すデータを視点設定データとして出力する。そして視点設定部１０５の動作は、ステップＳ１０７（図２８）に移行する。
Next, the operation of the
Next, the operation of the
以上のように、画像データ再生装置１００に入力された視点画像データに対し、ユーザが、回転中心位置、回転角度、および前後位置を入力することにより、望みの視点の画像データを表示することができる。
As described above, the user can display the image data of the desired viewpoint by inputting the rotation center position, the rotation angle, and the front and rear position with respect to the viewpoint image data input to the image
次に、ユーザが視点位置を変更する際の視点設定部１０５の別の動作について説明する。
例えば、視点設定部１０５では、自由視点メタデータに含まれる視点制御データを参照し、移動可能な視点範囲や、一度に視点を移動させる量を制限しても構わない。
このときの視点設定部１０５の別の動作について説明する。
図３１は、図３０のステップＳ１１８の回転角度の指定処理における別の動作を示すフローチャートである。図３１の判定ステップＳ１２２において、視点設定部１０５は、入力されたユーザ視点データの示す位置が、自由視点メタデータに含まれる視点範囲データの示す範囲を越えているか否かを判定し、越えている場合はステップＳ１２３に移行し、そうでない場合はステップＳ１１９に移行する。
ステップＳ１２３において、視点設定部１０５は、視点範囲データの示す範囲を越えていない直前の視点位置を保持し、ステップＳ１１９（図３０）に移行する。つまり、視点範囲データが示す範囲内であって、範囲の境界外となる直前の視点位置を保持し、この視点位置における回転角度を指定する。
Next, another operation of the
For example, the
Another operation of the
FIG. 31 is a flowchart showing another operation in the rotation angle designation processing in step S118 of FIG. In the determination step S122 of FIG. 31, the
In step S123, the
以上のように、自由視点メタデータ内に含まれる視点範囲データを用いて、ユーザが入力する視点位置の移動可能範囲を制限することにより、撮影できなかったモデルの背面領域やオクルージョン領域が表示されないようにするといったような制御を、データの生成側で行うことができる。
またここで、自由視点メタデータ内に含まれる視点分解能データを用いて、ユーザが入力する視点位置の一回の移動可能量を制限しても構わない。以上のようにすることにより、異なる機器でも同じ量で視点変更できるので、ユーザが混乱せずに済む。
As described above, by limiting the movable range of the viewpoint position input by the user using the viewpoint range data included in the free viewpoint metadata, the back area and occlusion area of the model that could not be photographed are not displayed. Such control can be performed on the data generation side.
In addition, here, the viewable resolution data included in the free viewpoint metadata may be used to limit the one-time movable amount of the viewpoint position input by the user. By doing so, the viewpoint can be changed by the same amount even with different devices, so that the user is not confused.
また例えば、ズーム表示の場合に通常と同じ単位で視点を移動させると、オブジェクトが大きく、かつ速く動きすぎてしまい、現在の自分の選択した視点が、どのような視点であるのかが分からなくなるという問題がある。これに対して、通常の表示用のデータと、ズーム表示用のデータとが視点分解能データに含まれる場合は、現在の表示状態に合わせて、移動可能な視点の単位を変えて表示しても構わない。このようにすることにより、ズーム時に視点を移動させる単位を通常時よりも大きくすることにより、オブジェクトが大きく、かつ速く動きすぎてしまわないようにすることができる。 Also, for example, if the viewpoint is moved in the same unit as in the case of zoom display, the object will be large and move too quickly, and it will not be possible to know what viewpoint the current viewpoint selected by you is. There's a problem. On the other hand, when the normal display data and the zoom display data are included in the viewpoint resolution data, the movable viewpoint unit may be changed according to the current display state. I do not care. In this way, by setting the unit for moving the viewpoint during zooming to be larger than in normal times, the object can be made large and not move too quickly.
次に、視点設定部１０５のさらに別の動作例について説明する。視点設定部１０５は、自由視点メタデータに含まれる視点制御データを参照し、視点画像データ内に含まれるオブジェクトの数や位置に応じて、設定できる視点の範囲や、視点を一度に移動させる量を制限しても構わない。以下にそのときの視点設定部１０５の動作について図面を用いて説明する。
Next, still another operation example of the
ユーザが自由に視点を変更する際、オブジェクトがフレームアウトすることがある。その場合、各オブジェクトの位置関係が不明瞭となって、ユーザにとって空間の把握が難しくなったり、注視したいオブジェクト自体が見えなくなったりするといった問題があった。
図３２と図３３は、視点を変えた結果、フレームアウトするオブジェクトについて説明するための図である。図３２において、仮想カメラ１０７の視点でレンダリングした画像内には、オブジェクト１０８とオブジェクト１０９の両方が存在する。一方、点１１０を中心として、仮想カメラ１１１の位置に回転させた視点でレンダリングした画像では、オブジェクト１０９はフレームアウトし、オブジェクト１０８しか存在しない。
When the user freely changes the viewpoint, the object may be out of frame. In that case, there is a problem that the positional relationship between the objects becomes unclear, and it is difficult for the user to grasp the space, or the object to be watched cannot be seen.
FIG. 32 and FIG. 33 are diagrams for explaining an object that is out of frame as a result of changing the viewpoint. In FIG. 32, both an
図３３では、仮想カメラを図３２と同様の位置に配置した状態で、オブジェクトの位置が図３２とは異なっている場合を示す。この場合、仮想カメラ１０７の視点でレンダリングした画像内には、オブジェクト１１２とオブジェクト１１３の両方が存在するが、仮想カメラ１１１の位置に回転させた視点でレンダリングした画像内には、オブジェクト１１２はフレームアウトし、オブジェクト１１３しか存在しない。
FIG. 33 shows a case where the position of the object is different from that in FIG. 32 with the virtual camera arranged at the same position as in FIG. In this case, both the
このような問題を解決するため、例えば、視点を移動させた際に、オブジェクトがフレームアウトしないように、視点の移動を制限しても構わない。またこのとき、各オブジェクトが画面の端にかからないように、視点の移動をさらに制限しても構わない。 In order to solve such a problem, for example, when the viewpoint is moved, the movement of the viewpoint may be limited so that the object is not out of frame. At this time, the movement of the viewpoint may be further restricted so that each object does not reach the edge of the screen.
このときの視点設定部１０５の別の動作について説明する。図３４は、図３０のステップＳ１１８における回転角度の指定処理の別の動作を示すフローチャートである。
図３４の判定ステップＳ１２４において、視点設定部１０５は、入力されたユーザ視点データが示す位置に視点を変化させた際、レンダリングした画像データ内に含まれるオブジェクトＩＤを視点変更の前後で比較することにより、新たにフレームアウトするオブジェクトが存在するか否かを判定する。そしてフレームアウトするオブジェクトが存在する場合はステップＳ１２５に移行し、そうでない場合は、ステップＳ１１９に移行する。
ステップＳ１２５において、視点設定部１０５は、フレームアウトするオブジェクトが存在しない範囲となるように視点位置を制限して回転角度を指定することで視点設定データを生成し、ステップＳ１１９に移行する。すなわち、視点設定部１０５は、ユーザ視点データにより指定された視点位置ではオブジェクトが自由視点画像データの画面からフレームアウトする場合には、視点設定データに対して、フレームアウトするオブジェクトが発生しないように視点位置を設定する。
Another operation of the
In the determination step S124 of FIG. 34, when the viewpoint is changed to the position indicated by the input user viewpoint data, the
In step S125, the
以上のようにして、視点画像データ内において、各オブジェクトがフレームアウトしたり、端にかからないようにしたりすることのないように、視点の位置を制限することにより、視点を変更した場合でも、それまで表示されていたオブジェクトがフレームアウトすることなく表示させることができる。このような表示を行った場合には、ユーザが注視したいオブジェクトを必ず表示させることができる。また、注視したいオブジェクトの位置と向きを手掛かりにして、各オブジェクトの位置関係がわかるため、空間の把握が容易である。 As described above, even if the viewpoint is changed by limiting the position of the viewpoint so that each object is not out of the frame or placed at the end in the viewpoint image data. The object that has been displayed up to can be displayed without going out of the frame. When such display is performed, the object that the user wants to watch can be displayed without fail. In addition, it is easy to grasp the space because the positional relationship between the objects can be understood using the position and orientation of the object to be watched as a clue.
また、上記では、フレームアウトさせたくないオブジェクトが全てのオブジェクトの場合について説明したが、一部のオブジェクトだけをフレームアウトしないように視点の位置を制限しても構わない。例えば、ユーザが任意に選択したオブジェクトのみをフレームアウトさせないように視点を制御しても構わない。以上のようにすることにより、ユーザは視点を変更した場合でも、ユーザの望みのオブジェクトがフレームアウトしないようにすることができる。 In the above description, the case where all the objects that are not desired to be framed out has been described. However, the viewpoint position may be limited so that only some objects are not framed out. For example, the viewpoint may be controlled so that only the object arbitrarily selected by the user is not framed out. As described above, even when the user changes the viewpoint, the object desired by the user can be prevented from being out of frame.
またここで、逆にフレーム内に表示したくないオブジェクトを任意にユーザが選択し、そのオブジェクトが必ずフレームアウトするように視点を制御しても構わない。つまり、背点設定部１０５は、ユーザ視点データにより指定された視点位置に関わらず、視点設定データに対して特定のオブジェクトが自由視点画像データの画面内に入らないように視点位置を設定することができる。
以上のようにすることにより、ユーザは、視点を変更した場合でも、ユーザが見たくないオブジェクトがフレーム内に入ってこないように表示することができる。
Here, conversely, the user may arbitrarily select an object that is not to be displayed in the frame, and the viewpoint may be controlled so that the object is always out of the frame. That is, the back
As described above, even when the user changes the viewpoint, the user can display the object that the user does not want to see so that the object does not enter the frame.
次に、視点設定部１０５のさらに別の動作について説明する。上記の例では、ユーザが指定した配置データを中心に視点を設定することについて述べたが、このときの配置データが選手やボールなどの動物体である場合、撮影時、カメラのフレームから出てしまうことがあり、このとき、回転中心が画面内に存在しなくなることがある。このような場合のカメラとオブジェクトの関係について図面を用いて説明する。
Next, still another operation of the
図３５、図３６は、カメラの撮影範囲とオブジェクトとの関係について説明する図である。図３５（Ａ）において、カメラ１１４は、オブジェクト１１５とオブジェクト１１６を撮影している。また、図３５（Ｂ）は、図３５（Ａ）で撮影した画像データから作成した自由視点画像データに対し、仮想カメラ１１７を用いて自由視点画像をレンダリングする場合について説明する図である。このとき、オブジェクト１１５の配置データが示す位置にある点１１８を中心にユーザが視点を回転させると、仮想カメラ１１７が仮想カメラ１１９の位置に移動する。このように図３５においては、オブジェクト１１５とオブジェクト１１６の両方が、仮想カメラ１１７および仮想カメラ１１９のフレーム内にある。
FIGS. 35 and 36 are diagrams for explaining the relationship between the shooting range of the camera and the object. In FIG. 35A, the
図３６は、図３５よりも後の時刻に撮影した状態を示す。図３６（Ａ）において、カメラ１１４は、オブジェクト１１５とオブジェクト１１６を撮影している。このとき、オブジェクト１１６は静止しているが、オブジェクト１１５は、図３５に示す状態よりも右の位置に移動してカメラ１１４の撮影範囲の外に位置している。
このとき、図３５（Ｂ）に示すように、オブジェクト１１５の配置データの示す位置にある点（図３５の点１１８に相当）を中心に視点を回転させようとしても、図３６（Ｂ）では、オブジェクト１１５がフレームアウトしてしまう。この場合、オブジェクト１１５の配置データが示す位置にある点の代わりに、別の点１２０を中心にして視点を回転させても構わない。例えば、点１２０を中心にして、仮想カメラ１１７の位置から仮想カメラ１２１の位置に視点を回転させても構わない。
FIG. 36 shows a state taken at a time later than FIG. In FIG. 36A, the
At this time, as shown in FIG. 35B, even if the viewpoint is rotated around a point (corresponding to the
このときの回転の中心となる点１２０は、回転起点データや、画面内にある別のオブジェクトの配置データであっても構わないし、任意の点でも構わない。これらの候補となる点のうちのいずれかを自動的に選択するか、もしくは回転中心となる配置データを持つオブジェクトがフレームアウトすることをユーザに通知し、ユーザに候補点を提示して選択させても構わない。
The
このときの視点設定部１０５の動作について図面を用いて説明する。図３７は、視点設定部１０５の別の動作を示すフローチャートである。図３５において、図２８で説明したステップＳ１０６の視点位置の設定処理とステップＳ１０７の自由視点画像データの生成処理との間で、判定ステップＳ１２６とステップＳ１２７が実行される。
判定ステップＳ１２６において、視点設定部１０５は、設定された視点位置と各オブジェクトの配置データとから、回転中心となる配置データを持つオブジェクトがフレームアウトしたか否かを、画面内に含まれるオブジェクトのオブジェクトＩＤの有無により判定する。そしてオブジェクトがフレームアウトした場合は、ステップＳ１２７に移行し、そうでない場合は、ステップＳ１０７に移行する。
The operation of the
In the determination step S126, the
ステップＳ１２７において、視点設定部１０５は、別の回転中心、すなわち回転起点データの位置、もしくは画面内にある別のオブジェクトの配置データの位置、もしくは任意の点のいずれかの位置の回転中心の視点に切り替える。次に、視点設定部１０５の動作はステップＳ１０７に移行する。
以上のようにして、視点設定部１０５は、回転中心として選択された配置データを持つオブジェクトがある時刻でフレームアウトした場合であっても、回転中心を別の点に設定することにより、ユーザは継続して自由な視点を選択することができる。
In step S127, the
As described above, the
また、画像データ再生装置１００は、上述した例えばテレビやデジタルビデオレコーダーのような画像データ再生装置だけでなく、デジタルカメラ、デジタルムービー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いて画像表示を行う画像データ再生装置であっても構わない。また、画像データ処理装置と外部の画像表示装置を含む画像データ表示システムであってもよい。また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。
The image
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
本発明に係る実施形態は、図３８に示されるように、画像データ生成装置１と画像データ再生装置１００とが一体化されたものであってもよい。図３８の画像処理システム２００は、画像データ生成装置１と、画像データ再生装置１００とを具備している。
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and can be changed as appropriate within the scope of the effects of the present invention. It is. In addition, various modifications can be made without departing from the scope of the object of the present invention.
In the embodiment according to the present invention, as shown in FIG. 38, the image
この場合、第１のユーザおよび第２のユーザは、画像処理システム２００を共有するかもしくは個別に所有し、第１のユーザは、画像処理システム２００の画像データ生成装置１を利用して画像データの生成を行ない、第２のユーザは、画像処理システム２００の画像データ再生装置１００を利用して、画像データの再生を行なっても構わない。
In this case, the first user and the second user share or individually own the
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
In addition, a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
なお上記の各実施形態で記載されている技術的特徴（構成要件）は、お互いに組み合わせ可能であり、組み合わせることにより、新しい技術的特徴を形成することができる。 The technical features (configuration requirements) described in each of the above embodiments can be combined with each other, and a new technical feature can be formed by combining them.
１…画像データ生成装置、２…自由視点メタデータ生成部、３…符号化部、４…多重化部、５…視点画像データ、６〜８…オブジェクト、９…領域画像データ、１３…スタジアム、１４…原点、１５…ビルボード、１６…点、１７…法線、１８〜１９…ビルボード、２０…スタジアム、２１…オブジェクト、２２…点、２３〜２４…カメラ、２５…線分、２６…ビルボード、２７…線分、２８…ビルボード、２９…ユーザ、３０…オブジェクト、３１〜３２…カメラ、３３…線分、３４…ビルボード、３５…線分、３６…ビルボード、３７…位置、３８…ビルボード、３９…スタジアム、４０…点、４１…カメラ、４５〜５０…点、５１…仮想カメラ、５２…点、５３…仮想カメラ、５４〜５５…点線、５６…仮想カメラ、５７…点線、５８〜５９…線分、１００…画像データ再生装置、１０１…分離部、１０２…復号部、１０３…自由視点画像生成部、１０４…自由視点メタデータ解析部、１０５…視点設定部、１０６…表示部、１０７…仮想カメラ、１０８〜１０９…オブジェクト、１１１…仮想カメラ、１１２〜１１３…オブジェクト、１１４…カメラ、１１５〜１１６…オブジェクト、１１７…仮想カメラ、１１８…点、１１９…仮想カメラ、１２０…点、１２１…仮想カメラ、２００…画像処理システム。
DESCRIPTION OF
Claims (11)
視点を回転させて自由視点表示を行う際の視点の回転中心の切り替え候補を示す複数の回転起点データを含む自由視点メタデータと、
前記視点画像データとを含む、前記自由視点画像データを生成する画像データ生成部を具備することを特徴とする画像データ生成装置。 An image data generation device that inputs viewpoint image data taken from a plurality of viewpoints and generates free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint using the input viewpoint image data. And
Free viewpoint metadata including a plurality of rotation origin data indicating candidates for switching the rotation center of the viewpoint when the viewpoint is rotated to display the free viewpoint,
An image data generation apparatus comprising: an image data generation unit that generates the free viewpoint image data including the viewpoint image data.
前記自由視点画像データは、前記背景モデルデータ、および、前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データをさらに含むことを特徴とする請求項１〜４の何れか一項に記載の画像データ生成装置。 The free viewpoint metadata includes arrangement data indicating an arrangement position of each of one or more objects included in a shooting range of the viewpoint image data on background model data created as image data by modeling a background, Size data indicating the size, and normal data indicating the direction of the object by a normal of a rectangular area surrounding the object,
The free viewpoint image data further includes area image data for identifying the area of each object in the background model data and the viewpoint image data. The image data generation device described.
前記自由視点画像データは、視点を回転させて自由視点表示を行う際の視点の回転中心の切り替え候補を示す複数の回転起点データを含む自由視点メタデータと、複数の視点から撮影された視点画像データと、を含み、
前記自由視点表示を行う際の視点位置を、前記回転起点データに基づいて設定する視点設定部と、
前記自由視点画像データから、前記視点設定部が設定した視点位置からの画像を生成する自由視点画像生成部と、を具備することを特徴とする画像データ再生装置。 In an image data reproduction apparatus for reproducing free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint,
The free viewpoint image data includes free viewpoint metadata including a plurality of rotation starting point data indicating candidates for switching the rotation center of the viewpoint when the viewpoint is rotated to perform free viewpoint display, and a viewpoint image captured from a plurality of viewpoints. Data, and
A viewpoint setting unit that sets a viewpoint position when performing the free viewpoint display based on the rotation starting point data;
An image data reproducing apparatus comprising: a free viewpoint image generation unit that generates an image from the viewpoint position set by the viewpoint setting unit from the free viewpoint image data.
前記自由視点画像生成部が生成する前記画像からフレームアウトするオブジェクトが発生しないように前記視点位置の移動を制限するか、または
前記自由視点画像生成部が生成する前記画像内に特定のオブジェクトが入らないように前記視点位置の移動を制限することを特徴とする請求項６に記載の画像データ再生装置。 When the viewpoint setting unit moves the viewpoint position,
The movement of the viewpoint position is limited so that an object out of the image generated by the free viewpoint image generation unit is not generated, or a specific object is included in the image generated by the free viewpoint image generation unit. The image data reproducing apparatus according to claim 6, wherein movement of the viewpoint position is limited so as not to occur.
前記視点設定部は、前記視点位置を或るオブジェクトの配置位置を中心に回転させるときに、前記自由視点画像生成部が生成する前記画像から当該或るオブジェクトがフレームアウトする場合には、前記視点位置の回転中心を他の位置に移動させることを特徴とする請求項６または７に記載の画像データ再生装置。 The free viewpoint metadata is:
When the viewpoint setting unit rotates the viewpoint position around the arrangement position of a certain object and the certain object is out of frame from the image generated by the free viewpoint image generation unit, the viewpoint setting unit 8. The image data reproducing apparatus according to claim 6, wherein the rotational center of the position is moved to another position.
前記画像データ生成装置が生成した自由視点画像データを再生する画像データ再生装置とを備え、
前記画像データ生成装置は、視点を回転させて自由視点表示を行う際の視点の回転中心の切り替え候補を示す複数の回転起点データを含む自由視点メタデータと、前記視点画像データとを含む、前記自由視点画像データを生成し、
前記画像データ再生装置は、前記自由視点表示を行う際の視点位置を、前記回転起点データに基づいて設定する視点設定部と、前記自由視点画像データから、前記視点設定部が設定した視点位置からの画像を生成する自由視点画像生成部と、を具備することを特徴とする画像処理システム。 An image data generation device that inputs viewpoint image data captured from a plurality of viewpoints, and generates free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint using the input viewpoint image data;
An image data reproduction device for reproducing the free viewpoint image data generated by the image data generation device,
The image data generation device includes: free viewpoint metadata including a plurality of rotation start point data indicating candidates for switching the rotation center of the viewpoint when rotating the viewpoint to perform free viewpoint display, and the viewpoint image data, Free viewpoint image data is generated,
The image data reproduction device includes: a viewpoint setting unit that sets a viewpoint position for performing the free viewpoint display based on the rotation starting point data; and the viewpoint position set by the viewpoint setting unit from the free viewpoint image data. An image processing system comprising: a free viewpoint image generation unit that generates the image of
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013254362A JP6309749B2 (en) | 2013-12-09 | 2013-12-09 | Image data reproducing apparatus and image data generating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013254362A JP6309749B2 (en) | 2013-12-09 | 2013-12-09 | Image data reproducing apparatus and image data generating apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015114716A JP2015114716A (en) | 2015-06-22 |
| JP2015114716A5 JP2015114716A5 (en) | 2017-05-25 |
| JP6309749B2 true JP6309749B2 (en) | 2018-04-11 |
Family
ID=53528505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013254362A Expired - Fee Related JP6309749B2 (en) | 2013-12-09 | 2013-12-09 | Image data reproducing apparatus and image data generating apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6309749B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019231178A1 (en) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | Method and device for transmitting and receiving metadata about plurality of viewpoints |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101762041B1 (en) * | 2015-12-31 | 2017-08-04 | 서울과학기술대학교 산학협력단 | Apparatus and method for generating a free viewpoint image |
| KR101794709B1 (en) * | 2016-03-30 | 2017-11-08 | 한국과학기술연구원 | Method for generating image at an arbitrary viewpointrandom point, recording medium and device for performing the method |
| WO2017195513A1 (en) * | 2016-05-10 | 2017-11-16 | ソニー株式会社 | Information processing device, information processing system, information processing method, and program |
| JP6618117B2 (en) * | 2016-08-04 | 2019-12-11 | Kddi株式会社 | Billboard generating apparatus, method, and program for generating billboard of object |
| JP6918455B2 (en) * | 2016-09-01 | 2021-08-11 | キヤノン株式会社 | Image processing equipment, image processing methods and programs |
| JP6407225B2 (en) | 2016-09-30 | 2018-10-17 | キヤノン株式会社 | Image processing apparatus, image processing method, image processing system, and program |
| JP6973412B2 (en) * | 2016-12-28 | 2021-11-24 | ソニーグループ株式会社 | Information processing equipment and methods |
| JP7013139B2 (en) * | 2017-04-04 | 2022-01-31 | キヤノン株式会社 | Image processing device, image generation method and program |
| JP7080586B2 (en) * | 2017-04-04 | 2022-06-06 | キヤノン株式会社 | Information processing equipment, information processing methods and programs |
| JP7042561B2 (en) * | 2017-06-02 | 2022-03-28 | キヤノン株式会社 | Information processing equipment, information processing method |
| JP6924079B2 (en) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | Information processing equipment and methods and programs |
| WO2019003953A1 (en) * | 2017-06-29 | 2019-01-03 | ソニー株式会社 | Image processing apparatus and image processing method |
| JP6921686B2 (en) * | 2017-08-30 | 2021-08-18 | キヤノン株式会社 | Generator, generation method, and program |
| JP6513169B1 (en) * | 2017-12-14 | 2019-05-15 | キヤノン株式会社 | System, method and program for generating virtual viewpoint image |
| CN113593012A (en) * | 2017-12-14 | 2021-11-02 | 佳能株式会社 | Three-dimensional model generation device, generation method, and storage medium |
| JP6407460B1 (en) | 2018-02-16 | 2018-10-17 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP7165254B2 (en) * | 2018-02-23 | 2022-11-02 | Kddi株式会社 | System and method for reproducing replay video of free-viewpoint video |
| JP7054351B2 (en) * | 2018-02-23 | 2022-04-13 | Kddi株式会社 | System to play replay video of free viewpoint video |
| JP7045218B2 (en) * | 2018-02-28 | 2022-03-31 | キヤノン株式会社 | Information processing equipment and information processing methods, programs |
| JP7301507B2 (en) * | 2018-08-08 | 2023-07-03 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7245013B2 (en) | 2018-09-06 | 2023-03-23 | キヤノン株式会社 | Control device and control method |
| JP2019021333A (en) * | 2018-09-19 | 2019-02-07 | キヤノン株式会社 | Image processing device, image processing method and program |
| JP7068584B2 (en) * | 2018-09-28 | 2022-05-17 | 日本電信電話株式会社 | Information integration method, information integration device, and information integration program |
| JP6759375B2 (en) * | 2019-01-30 | 2020-09-23 | キヤノン株式会社 | Systems, methods and programs that generate virtual viewpoint images |
| JP2021043922A (en) * | 2019-09-13 | 2021-03-18 | キヤノン株式会社 | Information processor, system, generation method, and program |
| US20240314279A1 (en) * | 2021-02-25 | 2024-09-19 | Sony Group Corporation | Information processing device, information processing method, program, and display system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000057350A (en) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | Image processor, image processing method and image transmitting method |
| JP2001286671A (en) * | 2001-03-05 | 2001-10-16 | Namco Ltd | Sports game device |
| JP5366258B2 (en) * | 2010-02-17 | 2013-12-11 | Ｋｄｄｉ株式会社 | Virtual viewpoint image generation method and program based on geometric information in large space camera arrangement |
-
2013
- 2013-12-09 JP JP2013254362A patent/JP6309749B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019231178A1 (en) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | Method and device for transmitting and receiving metadata about plurality of viewpoints |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015114716A (en) | 2015-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6309749B2 (en) | Image data reproducing apparatus and image data generating apparatus | |
| JP2015187797A (en) | Image data generation device and image data reproduction device | |
| TWI740347B (en) | Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data | |
| US20230402067A1 (en) | Integration of audio into a multi-view interactive digital media representation | |
| JP2014215828A (en) | Image data reproduction device, and viewpoint information generation device | |
| US10440329B2 (en) | Hybrid media viewing application including a region of interest within a wide field of view | |
| KR102384489B1 (en) | Information processing apparatus, information providing apparatus, control method, and computer-readable storage medium | |
| KR102215166B1 (en) | Providing apparatus, providing method and computer program | |
| JP6787394B2 (en) | Information processing equipment, information processing methods, programs | |
| US11956408B2 (en) | Information processing system, information processing method, and storage medium | |
| KR102499904B1 (en) | Methods and systems for creating a virtualized projection of a customized view of a real world scene for inclusion within virtual reality media content | |
| CN111669567A (en) | Multi-angle free visual angle video data generation method and device, medium and server | |
| KR20190031943A (en) | Method and apparatus for providing 6-dof omni-directional stereoscopic image based on layer projection | |
| CN111669561A (en) | Multi-angle free visual angle image data processing method and device, medium and equipment | |
| US9338429B2 (en) | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor | |
| JP6934052B2 (en) | Display control device, display control method and program | |
| WO2016167160A1 (en) | Data generation device and reproduction device | |
| KR20130067855A (en) | Apparatus and method for providing virtual 3d contents animation where view selection is possible | |
| CN111669570A (en) | Multi-angle free visual angle video data processing method and device, medium and equipment | |
| CN111669569A (en) | Video generation method and device, medium and terminal | |
| KR102261242B1 (en) | System for playing three dimension image of 360 degrees | |
| CN111669603B (en) | Multi-angle free visual angle data processing method and device, medium, terminal and equipment | |
| JP7319340B2 (en) | Distribution server, distribution method and program | |
| JP7123222B1 (en) | Display control device, display control method and display control program | |
| JP6970143B2 (en) | Distribution server, distribution method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150909 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150911 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150915 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150915 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180315 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6309749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |