JP7344084B2 - Content distribution system, content distribution method, and content distribution program - Google Patents
Content distribution system, content distribution method, and content distribution program Download PDFInfo
- Publication number
- JP7344084B2 JP7344084B2 JP2019193351A JP2019193351A JP7344084B2 JP 7344084 B2 JP7344084 B2 JP 7344084B2 JP 2019193351 A JP2019193351 A JP 2019193351A JP 2019193351 A JP2019193351 A JP 2019193351A JP 7344084 B2 JP7344084 B2 JP 7344084B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- virtual object
- image
- virtual
- nominal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本開示の一側面はコンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラムに関する。 One aspect of the present disclosure relates to a content distribution system, a content distribution method, and a content distribution program.
実写画像と仮想オブジェクトとを含むコンテンツ画像を提供する仕組みが知られている。例えば、特許文献１には、取得した現実空間の画像における実オブジェクトを認識し、その実オブジェクトに対する仮想オブジェクトの重畳を許容する程度を示した情報と、仮想オブジェクトを対応づけて表示する実オブジェクトからの距離とに基づいて、現実空間の画像に対する該仮想オブジェクトの表示条件を決定し、その表示条件に基づいて現実空間の画像に仮想オブジェクトを重畳して表示する情報処理装置が記載されている。
2. Description of the Related Art A mechanism for providing a content image including a real image and a virtual object is known. For example,
実写画像と仮想オブジェクトとを含むコンテンツ画像において、該仮想オブジェクトをユーザに違和感なく見せることが望まれている。 In a content image that includes a real image and a virtual object, it is desired that the virtual object be shown to the user without causing any discomfort.
本開示の一側面に係るコンテンツ配信システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、実写画像領域を含むコンテンツ画像を取得し、第１仮想オブジェクトの第１公称寸法と、基準オブジェクトの基準公称寸法とを取得し、第１公称寸法と基準公称寸法との相対的関係が維持されるように、コンテンツ画像によって表現される空間内に第１仮想オブジェクトおよび基準オブジェクトを配置し、第１仮想オブジェクトおよび基準オブジェクトが配置された空間を表現するコンテンツ画像をユーザ端末上に表示させる。 A content distribution system according to one aspect of the present disclosure includes at least one processor. At least one processor obtains a content image including a live image region, obtains a first nominal dimension of a first virtual object and a reference nominal dimension of a reference object, and determines a relative relationship between the first nominal dimension and the reference nominal dimension. The first virtual object and the reference object are arranged in the space represented by the content image so that the virtual relationship is maintained, and the content image representing the space in which the first virtual object and the reference object are arranged is displayed on the user terminal. to be displayed.
本開示の一側面によれば、実写画像と仮想オブジェクトとを含むコンテンツ画像において、該仮想オブジェクトをユーザに違和感なく見せることができる。 According to one aspect of the present disclosure, in a content image that includes a live-action image and a virtual object, the virtual object can be shown to the user without feeling strange.
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In addition, in the description of the drawings, the same or equivalent elements are given the same reference numerals, and redundant description will be omitted.
［システムの概要］
実施形態に係るコンテンツ配信システム１はコンテンツ画像を少なくとも一つのユーザ端末２０に配信するコンピュータシステムである。コンテンツ画像とは、人が視覚を通して何らかの情報を認識することができる像のことをいう。コンテンツ画像は動画像（映像）でもよいし静止画でもよい。ユーザ端末２０は、コンテンツ配信システム１を利用する人であるユーザによって用いられるコンピュータである。配信とは、通信ネットワークまたは放送ネットワークを経由して情報をユーザに向けて送信する処理のことをいう。本開示では、配信は放送を含み得る概念である。コンテンツ配信システム１は、コンテンツ画像を示す電子データであるコンテンツ画像データを生成して該コンテンツ画像データをユーザ端末に送信する。ユーザ端末２０はそのコンテンツ画像データを受信および処理してコンテンツ画像を表示装置上に表示する。
[System overview]
The
図１はコンテンツ配信システム１の適用の一例を示す図である。本実施形態では、コンテンツ配信システム１はサーバ１０を備える。サーバ１０は、コンテンツ画像を少なくとも一つのユーザ端末２０に配信するコンピュータ（コンテンツ配信サーバ）である。サーバ１０は通信ネットワークＮを介して複数のユーザ端末２０と接続する。図１では５台のユーザ端末２０を示すが、ユーザ端末２０の個数は限定されない。通信ネットワークＮの構成は限定されない。例えば、通信ネットワークＮはインターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。図１に例示するようにユーザ端末２０の種類は限定されない。例えば、ユーザ端末２０は高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスなど）、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、ユーザ端末２０はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。
FIG. 1 is a diagram showing an example of application of the
本開示では、コンテンツ画像は、実写画像と仮想オブジェクトとが組み合わされることで生成される画像である。実写画像とは現実世界を映した画像のことをいい、カメラなどの撮像装置によって得られる。当然ながら実写画像により映された物体（本開示ではこれを「現実オブジェクト」という。）は現実世界に実際に存在する。仮想オブジェクトとは、現実世界（より具体的には、実写画像で表現される領域）には実際に存在せず、コンピュータシステム上でのみ表現される物体のことをいう。仮想オブジェクトは、実写画像とは独立した画像素材を用いて、２次元または３次元のコンピュータグラフィック（ＣＧ）によって表現される。仮想オブジェクトの表現方法は限定されない。例えば、仮想オブジェクトはアニメーション素材を用いて表現されてもよいし、実写画像に基づいて本物に近いように表現されてもよい。コンテンツ画像は、現実オブジェクトと仮想オブジェクトとが存在する仮想空間を表現する画像であるともいえる。仮想空間とは、コンピュータ上に表示される画像によって表現される仮想の２次元または３次元の空間のことをいう。見方を変えると、コンテンツ画像は、仮想空間内に設定された仮想カメラから見える風景を示す画像ということができる。仮想カメラは、コンテンツ画像を見るユーザの視線に対応するように仮想空間内に設定される。 In the present disclosure, a content image is an image generated by combining a real image and a virtual object. A live-action image is an image that reflects the real world, and is obtained using an imaging device such as a camera. Naturally, the object shown in the live-action image (referred to as a "real object" in this disclosure) actually exists in the real world. A virtual object is an object that does not actually exist in the real world (more specifically, an area represented by a real image) and is represented only on a computer system. A virtual object is expressed by two-dimensional or three-dimensional computer graphics (CG) using image materials independent of real images. The method of representing the virtual object is not limited. For example, the virtual object may be expressed using animation materials, or may be expressed based on a live-action image to appear close to the real thing. The content image can also be said to be an image representing a virtual space in which real objects and virtual objects exist. A virtual space refers to a virtual two-dimensional or three-dimensional space expressed by images displayed on a computer. From a different perspective, a content image can be said to be an image showing a landscape seen from a virtual camera set in a virtual space. The virtual camera is set in the virtual space so as to correspond to the line of sight of the user viewing the content image.
コンテンツ配信システム１は、第１仮想オブジェクトの公称寸法を仮想空間内の基準オブジェクトの公称寸法との相対的関係が維持されるように該第１仮想オブジェクトを該仮想空間内に配置する。「オブジェクトを配置する」とは、オブジェクト（例えば第１仮想オブジェクト）を決められた位置に置くことをいい、オブジェクトの位置の変更を含む概念である。コンテンツ配信システム１は第１仮想オブジェクトが配置された仮想空間を表現するコンテンツ画像をユーザ端末２０上に表示させる。第１仮想オブジェクトとは、その仮想空間に追加される仮想オブジェクトのことをいう。基準オブジェクトとは、仮想空間内に配置する第１仮想オブジェクトの寸法を決めるために用いられるオブジェクトのことをいう。基準オブジェクトは現実オブジェクトでもよいし仮想オブジェクトでもよい。
The
公称寸法とは、オブジェクトそのものの属性として設定されており且つ一般に公開されている寸法のことをいう。したがって、ユーザなどの人々は任意の情報源にアクセスしてその公称寸法を知ることができる。本実施形態では公称寸法の具体例として高さを示すが、公称寸法は他の長さを示してもよい。例えば公称寸法は幅を示してもよい。公称寸法は複数の長さの組合せ（例えば、高さと幅との組合せ）であってもよい。オブジェクトが人または人型のキャラクタであれば、高さを身長といい、幅を身幅と言い換えることができる。本実施形態では、第１仮想オブジェクトの公称寸法を「第１公称寸法」といい、基準オブジェクトの公称寸法を「基準公称寸法」という。現実オブジェクトを例に説明すると、エベレストの公称寸法（高さ）は８８４８ｍであり、東京タワーの公称寸法（高さ）は３３３ｍである。「公称寸法の相対的関係」とは、二つのオブジェクト間での公称寸法の大小関係のことをいい、比率で表すことができる。例えば、東京タワーの公称寸法とエッフェル塔（高さは３２４ｍ）との公称寸法との相対的関係は、１．０３（≒３３３／３２４）、０．９７（≒３２４／３３３）、３３３：３２４、３２４：３３３などのように数学的に表すことができる。 Nominal dimensions refer to dimensions that are set as attributes of the object itself and are publicly available. Therefore, people such as users can access any source of information to know its nominal dimensions. In this embodiment, height is shown as a specific example of the nominal dimension, but the nominal dimension may also indicate other lengths. For example, a nominal dimension may indicate width. The nominal dimensions may be a combination of lengths (eg, a combination of height and width). If the object is a person or a humanoid character, the height can be called height, and the width can be called body width. In this embodiment, the nominal dimensions of the first virtual object are referred to as "first nominal dimensions," and the nominal dimensions of the reference object are referred to as "reference nominal dimensions." Using real objects as an example, the nominal dimensions (height) of Everest are 8,848 m, and the nominal dimensions (height) of Tokyo Tower are 333 m. The term "relative relationship between nominal dimensions" refers to the relationship between the nominal dimensions of two objects, and can be expressed as a ratio. For example, the relative relationship between the nominal dimensions of Tokyo Tower and the nominal dimensions of the Eiffel Tower (height is 324 m) is 1.03 (≒333/324), 0.97 (≒324/333), 333:324. , 324:333, etc.
第１仮想オブジェクトと基準オブジェクトとの間の公称寸法の相対的関係が維持されるように第１仮想オブジェクトが仮想空間内に配置されるので、これら二つのオブジェクト間の寸法の大小関係は公称寸法に従う。したがって、コンテンツ画像上では第１仮想オブジェクトが違和感なく表示される。言い換えると、第１仮想オブジェクトの大きさをその公称寸法に従ってリアルにユーザに見せることができる。 Since the first virtual object is placed in the virtual space so that the relative relationship of the nominal dimensions between the first virtual object and the reference object is maintained, the size relationship between these two objects is based on the nominal dimensions. Follow. Therefore, the first virtual object is displayed without any discomfort on the content image. In other words, the size of the first virtual object can be realistically shown to the user according to its nominal dimensions.
コンテンツ配信システム１は様々な目的で用いられてよい。例えば、コンテンツ配信システム１は、ある一人のユーザが他のユーザに向けてライブコンテンツを配信するサービスのために用いられてもよい。このサービスはインターネット生放送ともいわれる。すなわち、コンテンツ配信システム１は配信者から提供されるコンテンツ映像をリアルタイムに視聴者に配信するために用いられてもよい。したがって、コンテンツ画像は、リアルタイムに配信されるライブコンテンツの画像であり得る。あるいは、コンテンツ配信システム１は、過去に撮影されたコンテンツ映像を視聴者に配信するために用いられてもよく、例えば、リアルタイム配信後の所与の期間においてコンテンツを視聴することが可能なタイムシフトのために用いられてもよい。コンテンツ配信システム１は静止画を配信するために用いられてもよい。
コンテンツ画像上には、仮想空間内で表現されるユーザの分身であるアバターが表現され得る。アバターは仮想オブジェクトの一例である。コンテンツ画像に含まれるアバターは限定されず、例えば、アバターは、配信者に対応してもよいし、配信者と共にコンテンツに参加すると共に該コンテンツを視聴するユーザである参加者に対応してもよい。参加者は視聴者の一種であるといえる。 An avatar, which is a user's alter ego expressed in a virtual space, may be displayed on the content image. An avatar is an example of a virtual object. The avatar included in the content image is not limited; for example, the avatar may correspond to the distributor, or may correspond to a participant who is a user who participates in the content together with the distributor and views the content. . Participants can be said to be a type of audience.
本実施形態では、ライブコンテンツの配信、すなわちコンテンツ映像のリアルタイム配信を例示する。また、配信者によって用いられるユーザ端末２０を配信者端末２１といい、視聴者によって用いられるユーザ端末２０を視聴者端末２２という。
In this embodiment, live content distribution, that is, real-time distribution of content video will be exemplified. Further, the
［システムの構成］
図２はコンテンツ配信システム１に関連するハードウェア構成の一例を示す図である。一例として、サーバ１０はハードウェア構成要素として、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、および通信部１０４を備える。
[System configuration]
FIG. 2 is a diagram showing an example of a hardware configuration related to the
プロセッサ１０１は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が挙げられるが、プロセッサ１０１の種類はこれらに限定されない。
主記憶部１０２は、サーバ１０を機能させるためのプログラム、プロセッサ１０１から出力された演算結果などを記憶する装置である。主記憶部１０２は例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のうちの少なくとも一つにより構成される。
The
補助記憶部１０３は、一般に主記憶部１０２よりも大量のデータを記憶することが可能な装置である。補助記憶部１０３は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部１０３は、少なくとも一つのコンピュータをサーバ１０として機能させるためのサーバプログラムＰ１と各種のデータとを記憶する。例えば、補助記憶部１０３は仮想オブジェクトおよび仮想空間のうちの少なくとも一つに関するデータを記憶してもよい。本実施形態では、コンテンツ配信プログラムはサーバプログラムＰ１として実装される。
The
通信部１０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部１０４は例えばネットワークカードまたは無線通信モジュールにより構成される。
The
サーバ１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上にサーバプログラムＰ１を読み込ませてそのプログラムを実行させることで実現される。サーバプログラムＰ１は、サーバ１０の各機能要素を実現するためのコードを含む。プロセッサ１０１はサーバプログラムＰ１に従って通信部１０４を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを実行する。このような処理によりサーバ１０の各機能要素が実現される。
Each functional element of the
サーバ１０は一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークを介してこれらのコンピュータが互いに接続されることで、論理的に一つのサーバ１０が構成される。
一例として、ユーザ端末２０はハードウェア構成要素として、プロセッサ２０１、主記憶部２０２、補助記憶部２０３、および通信部２０４、入力インタフェース２０５、出力インタフェース２０６、および撮像部２０７を備える。
As an example, the
プロセッサ２０１は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサ２０１は例えばＣＰＵまたはＧＰＵであり得るが、プロセッサ２０１の種類はこれらに限定されない。
主記憶部２０２は、ユーザ端末２０を機能させるためのプログラム、プロセッサ２０１から出力された演算結果などを記憶する装置である。主記憶部２０２は例えばＲＯＭおよびＲＡＭのうちの少なくとも一つにより構成される。
The
補助記憶部２０３は、一般に主記憶部２０２よりも大量のデータを記憶することが可能な装置である。補助記憶部２０３は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部２０３は、コンピュータをユーザ端末２０として機能させるためのクライアントプログラムＰ２と各種のデータとを記憶する。例えば、補助記憶部２０３は仮想オブジェクトおよび仮想空間のうちの少なくとも一つに関するデータを記憶してもよい。
The
通信部２０４は、通信ネットワークＮを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部２０４は例えばネットワークカードまたは無線通信モジュールにより構成される。
The
入力インタフェース２０５は、ユーザの操作または動作に基づいてデータを受け付ける装置である。例えば、入力インタフェース２０５は、キーボード、操作ボタン、ポインティングデバイス、マイクロフォン、センサ、およびカメラのうちの少なくとも一つによって構成される。キーボードおよび操作ボタンはタッチパネル上に表示されてもよい。入力インタフェース２０５の種類が限定されないことに対応して、入力されるデータは限定されない。例えば、入力インタフェース２０５はキーボード、操作ボタン、またはポインティングデバイスによって入力または選択されたデータを受け付けてもよい。あるいは、入力インタフェース２０５は、マイクロフォンにより入力された音声データを受け付けてもよい。あるいは、入力インタフェース２０５はセンサまたはカメラを用いたモーションキャプチャ機能によって検知されたユーザの非言語行動（例えば、視線、ジェスチャ、表情など）を示すデータをモーションデータとして受け付けてもよい。
The
出力インタフェース２０６は、ユーザ端末２０で処理されたデータを出力する装置である。例えば、出力インタフェース２０６はモニタ、タッチパネル、ＨＭＤおよびスピーカのうちの少なくとも一つによって構成される。モニタ、タッチパネル、ＨＭＤなどの表示装置は、処理されたデータを画面上に表示する。スピーカは、処理された音声データで示される音声を出力する。
The
撮像部２０７は、現実世界を映した画像を撮影する装置であり、具体的にはカメラである。撮像部２０７は動画像（映像）を撮影してもよいし静止画（写真）を撮影してもよい。動画像を撮影する場合には、撮像部２０７は映像信号を所与のフレームレートに基づいて処理することで、時系列に並ぶ一連のフレーム画像を動画像として取得する。撮像部２０７は入力インタフェース２０５としても機能し得る。
The
ユーザ端末２０の各機能要素は、プロセッサ２０１または主記憶部２０２の上にクライアントプログラムＰ２を読み込ませてそのプログラムを実行させることで実現される。クライアントプログラムＰ２は、ユーザ端末２０の各機能要素を実現するためのコードを含む。プロセッサ２０１はクライアントプログラムＰ２に従って通信部２０４、入力インタフェース２０５、出力インタフェース２０６、または撮像部２０７を動作させ、主記憶部２０２または補助記憶部２０３におけるデータの読み出しおよび書き込みを行う。この処理によりユーザ端末２０の各機能要素が実現される。
Each functional element of the
サーバプログラムＰ１およびクライアントプログラムＰ２の少なくとも一つは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。これらのプログラムは別々に提供されてもよいし、一緒に提供されてもよい。 At least one of the server program P1 and the client program P2 may be provided after being fixedly recorded on a tangible recording medium such as a CD-ROM, a DVD-ROM, or a semiconductor memory. Alternatively, at least one of these programs may be provided via a communication network as a data signal superimposed on a carrier wave. These programs may be provided separately or together.
図３はコンテンツ配信システム１に関連する機能構成の一例を示す図である。機能構成については、ユーザ端末２０を配信者端末２１と視聴者端末２２とに区別してその機能構成を説明する。
FIG. 3 is a diagram showing an example of a functional configuration related to the
サーバ１０は機能要素として受信部１１、オブジェクト設定部１２、および送信部１３を備える。受信部１１は、配信者端末２１からコンテンツ画像データを受信する機能要素である。オブジェクト設定部１２は、コンテンツ画像によって表現される仮想空間内に仮想オブジェクトを配置する機能要素である。送信部１３は、仮想オブジェクトが配置された仮想空間を示すコンテンツ画像データを配信者端末２１に送信する機能要素である。
The
サーバ１０は機能要素としてさらに収集部１４を備えてもよい。収集部１４は、インターネット上の電子文書を周期的に検索または取得することで、コンテンツ配信システム１で用いられる可能性があるオブジェクトの公称寸法を予め収集する機能要素である。すなわち、収集部１４はクローラ（ｃｒａｗｌｅｒ）として機能する。収集部１４はオブジェクトを一意に特定する識別子を用いた検索によって公称寸法を取得する。収集の対象となるオブジェクトは現実オブジェクトおよび仮想オブジェクトの少なくとも一方を含み、第１仮想オブジェクトおよび基準オブジェクトの少なくとも一方を含み得る。したがって、取得される公称寸法は第１公称寸法および基準公称寸法の少なくとも一方を含み得る。オブジェクトの識別子の構成は限定されず、例えば識別子はオブジェクトの名称で表されてもよいし、アルファベットおよび数字の少なくとも一方を用いて表されてもよい。収集部１４は、収集した公称寸法に関する情報を寸法データとして寸法データベース３０に予め格納する。寸法データベース３０は補助記憶部１０３内に構築されてもよいし、サーバ１０とは別のコンピュータ上に構築されてもよい。収集部１４が必須の構成要素ではないことに対応して、寸法データベース３０もコンテンツ配信システム１における必須の要素ではない。
The
寸法データの各レコードはオブジェクトの識別子および公称寸法を含み、寸法種別をさらに含んでもよい。寸法種別は、一つのオブジェクトが複数の寸法を有する場合に用いることができる。架空の怪獣であるゴジラ（登録商標）を例にとると、映画などの作品内で設定されたゴジラ（登録商標）の寸法（例えば５０ｍ、１１８．５ｍ、３００ｍなど）、ゴジラ（登録商標）の演者が着る着ぐるみの寸法（例えば２ｍなど）などの様々な公称寸法が存在する。寸法種別は、一つのオブジェクトについて複数の公称寸法を関連付けるために用いられる。 Each record of dimension data includes an object identifier and nominal dimensions, and may further include a dimension type. The dimension type can be used when one object has multiple dimensions. Taking the fictional monster Godzilla (registered trademark) as an example, the dimensions of Godzilla (registered trademark) set in movies and other works (for example, 50 m, 118.5 m, 300 m, etc.), and the dimensions of Godzilla (registered trademark) There are various nominal dimensions, such as the dimensions of a costume worn by a performer (for example, 2 meters). The dimension type is used to associate multiple nominal dimensions for one object.
配信者端末２１は機能要素として画像処理部２１１および送信部２１２を備える。画像処理部２１１は、撮像部２０７により撮影された実写画像に基づくコンテンツ画像データを生成する機能要素である。送信部２１２はそのコンテンツ画像データをサーバ１０に送信する機能要素である。
The
視聴者端末２２は機能要素として受信部２２１および表示制御部２２２を備える。受信部２２１は、サーバ１０からコンテンツ画像データを受信する機能要素である。表示制御部２２２はそのコンテンツ画像データを処理して、コンテンツ画像を表示装置上に表示する機能要素である。
The
ユーザ端末２０は、或る状況では配信者端末２１として機能し、別の状況では視聴者端末２２として機能してもよい。したがって、ユーザ端末２０は配信者端末２１および視聴者端末２２の双方の機能要素を備えてもよい。
The
［システムの動作］
図４は実写画像に基づくコンテンツ画像３００のいくつかの例を示す図である。実写画像は動画像（映像）を構成する一つのフレーム画像でもよいし、１枚の静止画でもよい。実写画像に対応して、コンテンツ画像３００もフレーム画像または静止画であり得る。配信者が屋外で撮影して配信者端末２１の撮像部２０７が実写画像を生成したとする。コンテンツ画像３００は、実写画像で表される領域である実写画像領域と、戦士３０１および巨人３０２という二つの仮想オブジェクトとを示す。戦士３０１および巨人３０２のうちの少なくとも一つはユーザに対応するアバターであってもよい。実写画像領域内には、道路３１１と複数のビル３１２という複数の現実オブジェクトが映っている。巨人３０２の身長（公称寸法）は戦士３０１の身長（公称寸法）の２倍であるとする。戦士３０１および巨人３０２の一方が第１仮想オブジェクトであり、他方が基準オブジェクトであるとする。図４の例（ａ），（ｂ），（ｃ）のいずれにおいても、戦士３０１および巨人３０２は道路３１１上に立っている。
[System operation]
FIG. 4 is a diagram showing some examples of
コンテンツ配信システム１は戦士３０１と巨人３０２との間の身長の相対的関係が１：２であることに基づいて、その相対的関係を維持するように戦士３０１および巨人３０２を仮想空間内に配置する。この結果、図４の例（ａ）のように戦士３０１と巨人３０２が横並びになった場合（厳密には、仮想カメラからの距離が戦士３０１と巨人３０２とで同じ場合）には、コンテンツ画像３００上での巨人３０２の見かけの長さも戦士３０１の２倍になる。
Based on the fact that the relative height relationship between the
図４の例（ｂ）は、コンテンツ画像３００が状態（ａ）であるときに配信者端末２１の撮像部２０７をティルティング（ｔｉｌｔｉｎｇ）したことに伴って、仮想カメラがさらに上方に向いた場面を示す。例（ｂ）では、身長が低い戦士３０１は顔の半分程度しか映っていないが、身長が戦士３０１の２倍ある巨人３０２は身体の半分以上が映っている。
Example (b) in FIG. 4 is a scene in which the virtual camera is directed further upward as a result of tilting the
図４の例（ｃ）は、巨人３０２が戦士３０１よりも奥に位置する場面を示す。これは、仮想空間において巨人３０２が戦士３０１よりも仮想カメラから離れていることを意味する。コンテンツ配信システム１は戦士３０１と巨人３０２との間の身長の相対的関係が１：２であることに基づいて、その相対的関係を維持するように戦士３０１および巨人３０２を仮想空間内に配置する。この場面でも、巨人３０２は戦士３０１との公称寸法の相対的関係と、仮想空間上での戦士３０１との位置関係とを反映して表示される。
Example (c) in FIG. 4 shows a scene where the giant 302 is located further back than the
第１仮想オブジェクトが配置される前のコンテンツ画像は、配信者端末２１で生成されてもよいし、サーバ１０で生成されてもよい。いずれにせよ、サーバ１０は、コンテンツ画像内で、第１仮想オブジェクトと基準オブジェクトとの間の公称寸法の相対的関係が維持されるように、仮想空間内に第１仮想オブジェクトを配置する。そして、サーバ１０は、第１仮想オブジェクトおよび基準オブジェクトが配置された仮想空間を示すコンテンツ画像を視聴者端末２２上に表示させる。基準オブジェクトは、第１仮想オブジェクトを仮想空間内に配置しようとする際に既に仮想空間内に存在してもよいし、第１仮想オブジェクトと同時にまたはその後に仮想空間内に配置されてもよい。
The content image before the first virtual object is placed may be generated by the
コンテンツ配信システム１の動作を説明するとともに、本実施形態に係るコンテンツ配信方法について説明する。図５は、コンテンツ配信システム１の動作を処理フローＳ１として示すシーケンス図である。以下では、配信者および視聴者がコンテンツ配信システム１にログインしており、配信者が視聴者に向けてコンテンツを配信可能であることを前提とする。また、以下では、画像処理に関して特に説明し、画像と共に配信者端末２１から視聴者端末２２に送信される音声データに関しては詳細な説明を省略する。
The operation of the
ステップＳ１１では、配信者端末２１が撮像部２０７を動作させて撮影を実行する。画像処理部２１１はその撮影により得られた実写画像に基づいてコンテンツ画像データを生成する。コンテンツ画像データの生成方法およびデータ構造は限定されない。例えば、画像処理部２１１は撮像部２０７から得られた実写画像をコンテンツ画像データに含めてもよい。あるいは、画像処理部２１１は、実写画像に映った配信者のモーションデータをコンテンツ画像データに含めてもよい。
In step S11, the
あるいは、画像処理部２１１は仮想オブジェクトに関するデータをコンテンツ画像データの少なくとも一部として設定してもよい。仮想オブジェクトは、実写画像に映った配信者に代わって表示されるアバター（すなわち、配信者に対応するアバター）を含んでもよい。配信者に対応するアバターを設定する場合には、画像処理部２１１は、実写画像に映った該配信者のモーションデータに基づいて該アバターの動作を設定し、その動作を示すモーションデータをコンテンツ画像データに含めてもよい。
Alternatively, the
あるいは、画像処理部２１１は実写画像に基づいて仮想空間を特定し、その仮想空間に関するデータ（仮想空間データ）をコンテンツ画像データに含めてもよい。仮想空間データは、配信者端末２１の位置に対応して設定される仮想カメラの位置を含んでもよい。仮想空間データは、仮想カメラの光軸方向（言い換えると、ｚ方向または奥行き方向）における各オブジェクトの位置に関する情報を含んでもよい。例えば、仮想空間データは、仮想カメラから各オブジェクトまでの距離（すなわち奥行き）を含んでもよい。撮像部２０７がデプスカメラを用いて構成される場合には、画像処理部２１１はそのデプスカメラによって測定された実写画像内の各現実オブジェクトまでの距離を取得してもよい。あるいは、画像処理部２１１は実写画像を機械学習などの手法により解析することで、仮想カメラの光軸方向におけるオブジェクト間の位置関係を算出してもよい。あるいは、画像処理部２１１は各仮想オブジェクトについて設定された位置または奥行きを取得してもよい。
Alternatively, the
ステップＳ１２では、画像処理部２１１が、オブジェクトが配置される位置を指定する。例えば、画像処理部２１１はその位置に関するユーザ入力を受け付けてもよいし、ライブコンテンツのシナリオに基づいてオブジェクトの位置を指定してもよい。位置が指定されるオブジェクトは限定されない。例えば、画像処理部２１１は第１仮想オブジェクトの位置を指定してもよいし、他の仮想オブジェクトの位置を指定してもよい。画像処理部２１１は、指定されたオブジェクトの位置をコンテンツ画像データに含める。
In step S12, the
ステップＳ１３では、配信者端末２１の送信部２１２がコンテンツ画像データをサーバ１０に送信する。サーバ１０では受信部１１がそのコンテンツ画像データを受信する。送信部２１２はコンテンツ画像データに対応する音声データもサーバ１０に送信する。
In step S13, the
ステップＳ１４では、サーバ１０のオブジェクト設定部１２が、コンテンツ画像によって表現される仮想空間を特定する。仮想空間の特定は、仮想空間内での仮想カメラ、１以上の現実オブジェクト、および、もしあれば１以上の仮想オブジェクトのそれぞれについて位置を特定する処理と、この段階での各現実オブジェクト（および、もしあれば各仮想オブジェクト）の寸法を特定する処理とを含み得る。配信者端末２１から受信したコンテンツ画像データのデータ構造が限定されないことに対応して、仮想空間の特定方法も限定されない。コンテンツ画像データが仮想空間データを含む場合には、オブジェクト設定部１２はその仮想空間データに基づいて仮想空間を特定してもよい。仮想空間データが、仮想カメラの光軸方向における各オブジェクトの位置情報を含まない場合には、オブジェクト設定部１２はコンテンツ画像データに基づいて、各オブジェクトの位置、またはオブジェクト間の位置関係を算出してもよい。コンテンツ画像データが仮想空間データを含まない場合には、オブジェクト設定部１２は実写画像を機械学習などの手法により解析することで仮想空間を特定してもよい。
In step S14, the
ステップＳ１５では、オブジェクト設定部１２が第１仮想オブジェクトを取得する。第１仮想オブジェクトの取得方法は限定されない。オブジェクト設定部１２は第１仮想オブジェクトを補助記憶部１０３から読み出してもよい。例えば、オブジェクト設定部１２は配信者または視聴者によって指定された第１仮想オブジェクトを読み出してもよいし、ライブコンテンツのシナリオに基づいて第１仮想オブジェクトを読み出してもよい。あるいは、オブジェクト設定部１２は配信者端末２１または視聴者端末２２から第１仮想オブジェクトのデータを受信することで第１仮想オブジェクトを取得してもよい。
In step S15, the
第１仮想オブジェクトは任意の物体を表現してよい。第１仮想オブジェクトは、現実世界には存在しない物体（例えば、架空のキャラクタ）を表現してもよいし、現実世界に存在する自然物または人工物（例えば、星、人、動物、植物、飛行機、自動車、建物）などを模したものでもよい。第１仮想オブジェクトは、配信者または参加者に対応するアバターでもよい。 The first virtual object may represent any object. The first virtual object may represent an object that does not exist in the real world (for example, a fictional character), or may represent a natural or artificial object that exists in the real world (for example, a star, a person, an animal, a plant, an airplane, It may also be an imitation of a car, building, etc. The first virtual object may be an avatar corresponding to a broadcaster or a participant.
ステップＳ１６では、オブジェクト設定部１２が第１公称寸法を取得する。オブジェクト設定部１２は、取得された第１仮想オブジェクトの識別子を用いた検索によって第１公称寸法を取得する。オブジェクト設定部１２は第１仮想オブジェクトの各種情報を含むモデルデータを記憶する記憶部を検索することで第１公称寸法を取得してもよい。モデルデータの各レコードはオブジェクトの識別子および公称寸法を含み、寸法種別をさらに含んでもよい。モデルデータを記憶する装置は限定されず、例えば補助記憶部１０３でもよいし、サーバ１０が通信ネットワークＮを介してアクセス可能なデータベースでもよい。このデータベースはコンテンツ配信システム１内に設けられてもよいし、コンテンツ配信システム１とは異なるコンピュータシステムに設けられてもよい。あるいは、オブジェクト設定部１２は寸法データベース３０を検索して、第１仮想オブジェクトの識別子に対応する公称寸法を取得してもよい。第１仮想オブジェクトについて複数の公称寸法が設定されている場合には、オブジェクト設定部１２は識別子および寸法種別に合致する第１公称寸法を取得する。寸法種別は、ユーザ（配信者または視聴者）によって設定されてもよいし、ライブコンテンツのシナリオに基づいて設定されてもよい。
In step S16, the
ステップＳ１７では、オブジェクト設定部１２が基準オブジェクトを選択して基準公称寸法を取得する。基準オブジェクトの選択方法は限定されない。例えば、オブジェクト設定部１２は仮想空間内の現実オブジェクト（すなわち、実写画像領域内に映っている現実オブジェクト）を基準オブジェクトして選択してもよい。あるいは、オブジェクト設定部１２は仮想空間内に既に配置されている仮想オブジェクト、または仮想空間にこれから配置される仮想オブジェクトを基準オブジェクトして選択してもよい。オブジェクト設定部１２は基準オブジェクトを、ユーザ（配信者または視聴者）に基づいて選択してもよいし、ライブコンテンツのシナリオに基づいて選択してもよい。基準オブジェクトは、配信者または参加者に対応するアバターでもよい。オブジェクト設定部１２は、選択した基準オブジェクトの公称寸法を基準公称寸法として取得する。オブジェクト設定部１２は、第１公称寸法に関して上述した様々な手法のうちの一つを用いて基準公称寸法を取得することができる。
In step S17, the
ステップＳ１８では、オブジェクト設定部１２が、第１公称寸法と基準公称寸法との相対的関係を維持するように第１仮想オブジェクトおよび基準オブジェクトを仮想空間に配置する。この処理により、仮想空間内での第１仮想オブジェクトおよび基準オブジェクトのそれぞれの寸法はその相対的関係に拘束される。
In step S18, the
基準オブジェクトが仮想オブジェクトである場合には、オブジェクト設定部１２は、仮想空間における第１仮想オブジェクトおよび基準オブジェクトのそれぞれの公称寸法と、仮想空間内の他のオブジェクトの公称寸法との相対的関係を維持しなくてもよい。例えば、仮想空間Ｖが第１仮想オブジェクト、第２仮想オブジェクトである基準オブジェクト、および別オブジェクト（これは現実オブジェクトでも仮想オブジェクトでもよい。）を含むとする。そして、第１仮想オブジェクト、基準オブジェクト、および別オブジェクトの公称高さがそれぞれ３ｍ、２ｍ、１０ｍであるとする。この場合、オブジェクト設定部１２は第１公称寸法と基準公称寸法との相対的関係を維持するので、仮想空間Ｖ内での第１仮想オブジェクトと基準オブジェクトとの高さの比は３：２である。しかし、オブジェクト設定部１２は、仮想空間Ｖ内での第１仮想オブジェクト、基準オブジェクト、および別オブジェクトの比を３：２：１０にしなくてもよい。一例として、オブジェクト設定部１２は仮想空間Ｖ内での第１仮想オブジェクトおよび基準オブジェクトの高さをそれぞれ１５ｍ、１０ｍと設定してもよい。この場合には、仮想空間Ｖ内での第１仮想オブジェクト、基準オブジェクト、および別オブジェクトの高さの比は３：２：２になる。
When the reference object is a virtual object, the
基準オブジェクトが仮想オブジェクトである場合には、オブジェクト設定部１２は、仮想空間における第１仮想オブジェクトおよび基準オブジェクトのそれぞれの公称寸法と、仮想空間内の他のオブジェクトの公称寸法との相対的関係を維持してもよい。上記の仮想空間Ｖを例に説明すると、オブジェクト設定部１２は第１仮想オブジェクトおよび基準オブジェクトの高さをそれぞれ３ｍ、２ｍと設定する。したがって、仮想空間Ｖ内での第１仮想オブジェクト、基準オブジェクト、および別オブジェクトの高さの比は３：２：１０になる。
When the reference object is a virtual object, the
このように、仮想空間において、第１仮想オブジェクトおよび基準オブジェクトのそれぞれの公称寸法と、他のオブジェクトの公称寸法との関係は任意に設定されてよい。また、第１仮想オブジェクトおよび基準オブジェクトの公称寸法を寸法種別に応じて設定することも可能である。したがって、一つの第１仮想オブジェクトを様々な大きさでコンテンツ画面上に映すことができる。例えば、人間の隣に同程度の大きさのゴジラ（登録商標）を配置したり、東京タワーの隣に同程度の大きさのゴジラ（登録商標）を配置したりすることができる。現実オブジェクトの大きさと整合するように人型のアバターの身長を設定することで（すなわち、人間の一般的な身長に合わせてアバターの大きさを設定することで）、現実感のあるコンテンツ画像を提供してもよい。 In this way, in the virtual space, the relationship between the respective nominal dimensions of the first virtual object and the reference object and the nominal dimensions of other objects may be set arbitrarily. Further, it is also possible to set the nominal dimensions of the first virtual object and the reference object according to the dimension type. Therefore, one first virtual object can be displayed in various sizes on the content screen. For example, Godzilla (registered trademark) of the same size can be placed next to a human, or Godzilla (registered trademark) of the same size can be placed next to Tokyo Tower. By setting the height of the humanoid avatar to match the size of the real object (i.e., by setting the avatar's size to match the general height of humans), content images with a realistic feel can be created. May be provided.
オブジェクト設定部１２は、第１仮想オブジェクトおよび基準オブジェクトを同じオブジェクト上に接するように位置させてもよい。すなわち、オブジェクト設定部１２は第１仮想オブジェクトおよび基準オブジェクトが接地するオブジェクトを合わせてもよい。図４の例（ａ）～（ｃ）はいずれも、オブジェクト設定部１２が戦士３０１および巨人３０２を道路３１１上に位置させることで得られるコンテンツ画像３００を示す。第１仮想オブジェクトおよび基準オブジェクトが接地するオブジェクトは平坦でなくてもよく、例えば、坂道のように傾斜していてもよいし、階段のように段状になっていてもよい。
The
オブジェクト設定部１２は第１仮想オブジェクトおよび基準オブジェクトのそれぞれの全体（全身）がコンテンツ画像内に収まるように、これらのオブジェクトのそれぞれについて位置および寸法を設定してもよい。オブジェクト設定部１２は、第１仮想オブジェクトおよび基準オブジェクトのそれぞれがアバターである場合にこの処理を実行してもよい。オブジェクト設定部１２はすべてのアバター（具体的には、配信者およびすべての参加者のアバター）の全身がコンテンツ画像内に収まるようにそれぞれのアバターの位置および寸法を設定してもよい。もちろんこれらの場合でも、オブジェクト設定部１２は第１公称寸法と基準公称寸法との相対的関係を維持する。
The
ステップＳ１９では、オブジェクト設定部１２が、第１仮想オブジェクトおよび基準オブジェクトが配置された仮想空間を示すコンテンツ画像データを生成する。コンテンツ画像データの生成方法およびデータ構造は限定されない。例えば、オブジェクト設定部１２は、実写画像と、各オブジェクトが配置された仮想空間を示す仮想空間データとを含むコンテンツ画像データを生成してもよい。この場合には、コンテンツ画像データは仮想空間における各オブジェクトの位置および寸法を含んでもよい。あるいは、オブジェクト設定部１２は、実写画像と仮想空間内の各オブジェクトとに基づくレンダリングを実行することでコンテンツ画像データを生成してもよい。この場合にはコンテンツ画像データはコンテンツ画像そのものを示す。
In step S19, the
ステップＳ２０では、サーバ１０の送信部１３が、その仮想空間を示すコンテンツ画像データを視聴者端末２２に送信する。視聴者端末２２では受信部２２１がそのコンテンツ画像データを受信する。送信部１３はコンテンツ画像データに対応する音声データも視聴者端末２２に送信する。
In step S20, the
ステップＳ２１では、視聴者端末２２の表示制御部２２２がそのコンテンツ画像データを処理して、コンテンツ画像を表示装置上に表示する。サーバ１０でレンダリングが実行されていない場合には、表示制御部２２２はコンテンツ画像データに基づくレンダリングを実行することでコンテンツ画像を表示する。コンテンツ画像データがコンテンツ画像そのものを示す場合には、表示制御部２２２はそのコンテンツ画像をそのまま表示する。視聴者端末２２は、コンテンツ画像の表示に合わせて音声をスピーカから出力する。
In step S21, the
複数の視聴者端末２２にライブコンテンツを提供する場合には、ステップＳ２０において送信部１３がそれぞれの視聴者端末２２にコンテンツ画像データを送信し、ステップＳ２１では、それぞれの視聴者端末２２で表示制御部２２２がコンテンツ画像を表示する。コンテンツ画像は複数の視聴者端末２２で同じであってもよい。すなわち、仮想空間における仮想カメラの位置が複数の視聴者端末２２で同じであってもよい。この場合には、複数の視聴者は同じコンテンツ画像を見ることになる。あるいは、コンテンツ画像は複数の視聴者端末２２の少なくとも一部において他の視聴者端末２２と異なってもよい。すなわち、仮想カメラの位置が複数の視聴者端末２２の少なくとも一部において他の視聴者端末２２と異なってもよい。この場合には、ライブコンテンツは複数の視聴者のそれぞれの視点で視聴される。
When providing live content to a plurality of
ライブコンテンツなどの動画像の配信では、処理フローＳ１は繰り返し実行される。当然ながら、撮影が進むにつれて実写画像内での現実オブジェクトは変わり得るし、実写画像内での現実オブジェクトの位置、大きさ、および向きの少なくとも一つも変わり得る。いずれにしても、各コンテンツ画像（すなわち、各フレーム画像）において第１公称寸法と基準公称寸法との相対的関係が維持される。処理フローＳ１の繰り返しの少なくとも一部においてステップＳ１２が省略されてもよい。 When distributing moving images such as live content, the processing flow S1 is repeatedly executed. Naturally, as the shooting progresses, the real object within the live image may change, and at least one of the position, size, and orientation of the real object within the live image may also change. In any case, the relative relationship between the first nominal dimension and the reference nominal dimension is maintained in each content image (ie, each frame image). Step S12 may be omitted in at least part of the repetition of the processing flow S1.
［マーカの表示］
上述したように、コンテンツ画像内にはユーザに対応するアバターが表示されてもよく、例えば配信者および１以上の参加者のアバターが表示され得る。コンテンツ画像が多くのアバターを含む場合には、配信者または参加者がコンテンツ画像内の自分のアバターを見失う可能性がある。配信者および各参加者が自分のアバターを視認できるように、オブジェクト設定部１２は、配信者および参加者のユーザ端末２０に表示されるコンテンツ画像データに、ユーザのアバターに関連付けて表示されるマーカの情報を含めてもよい。マーカは、或る一つのアバターを他のアバターと区別させるための表現のことをいう。配信者または参加者のユーザ端末２０では、表示制御部２２２がそのコンテンツ画像データを処理することで、該ユーザ端末２０のユーザのアバターに関連付けてマーカを表示する。オブジェクト設定部１２は、表示されるコンテンツ画像内に閾値以上のアバターが表示される場合に限って、コンテンツ画像内にマーカを表示させてもよい。閾値は任意に設定されてよく、例えば、１０、２０などでもよい。マーカを表示する際には、オブジェクト設定部１２は、第１公称寸法と基準公称寸法との相対的関係を維持するための処理を実行しなくてもよい。
[Marker display]
As mentioned above, avatars corresponding to users may be displayed within the content image, for example, avatars of the broadcaster and one or more participants may be displayed. If a content image includes many avatars, there is a possibility that a broadcaster or a participant may lose track of his or her avatar within the content image. In order for the broadcaster and each participant to visually recognize their own avatars, the
図６は、マーカが表されたコンテンツ画像の一例を示す図である。コンテンツ画像４００上には配信者および多数の参加者に対応する多数のアバター４１０が表示され、さらに、一つのアバター４１０に関連付けられたマーカ４２０が表示されている。マーカ４２０が付加されたアバター４１０に対応するユーザは、そのマーカ４２０を頼りにコンテンツ画像内の自分のアバター４１０を操作して、他のアバター４１０（すなわち、他のユーザ）と交流（例えば、握手、ハイタッチ、抱擁など）することができる。
FIG. 6 is a diagram illustrating an example of a content image in which a marker is displayed. A large number of
［効果］
以上説明したように、本開示の一側面に係るコンテンツ配信システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、実写画像領域を含むコンテンツ画像を取得し、第１仮想オブジェクトの第１公称寸法と、基準オブジェクトの基準公称寸法とを取得し、第１公称寸法と基準公称寸法との相対的関係が維持されるように、コンテンツ画像によって表現される空間内に第１仮想オブジェクトおよび基準オブジェクトを配置し、第１仮想オブジェクトおよび基準オブジェクトが配置された空間を表現するコンテンツ画像をユーザ端末上に表示させる。
[effect]
As described above, the content distribution system according to one aspect of the present disclosure includes at least one processor. At least one processor obtains a content image including a live image region, obtains a first nominal dimension of a first virtual object and a reference nominal dimension of a reference object, and determines a relative relationship between the first nominal dimension and the reference nominal dimension. The first virtual object and the reference object are arranged in the space represented by the content image so that the virtual relationship is maintained, and the content image representing the space in which the first virtual object and the reference object are arranged is displayed on the user terminal. to be displayed.
本開示の一側面に係るコンテンツ配信方法は、少なくとも一つのプロセッサを備えるコンテンツ配信システムによって実行される。コンテンツ配信方法は、実写画像領域を含むコンテンツ画像を取得するステップと、第１仮想オブジェクトの第１公称寸法と、基準オブジェクトの基準公称寸法とを取得するステップと、第１公称寸法と基準公称寸法との相対的関係が維持されるように、コンテンツ画像によって表現される空間内に第１仮想オブジェクトおよび基準オブジェクトを配置するステップと、第１仮想オブジェクトおよび基準オブジェクトが配置された空間を表現するコンテンツ画像をユーザ端末上に表示させるステップとを含む。 A content distribution method according to one aspect of the present disclosure is executed by a content distribution system including at least one processor. The content distribution method includes the steps of: acquiring a content image including a live-action image area; acquiring a first nominal dimension of a first virtual object; and a standard nominal dimension of a reference object; arranging the first virtual object and the reference object in the space represented by the content image so that a relative relationship with the content image is maintained; and the content representing the space in which the first virtual object and the reference object are arranged. displaying the image on the user terminal.
本開示の一側面に係るコンテンツ配信プログラムは、実写画像領域を含むコンテンツ画像を取得するステップと、第１仮想オブジェクトの第１公称寸法と、基準オブジェクトの基準公称寸法とを取得するステップと、第１公称寸法と基準公称寸法との相対的関係が維持されるように、コンテンツ画像によって表現される空間内に第１仮想オブジェクトおよび基準オブジェクトを配置するステップと、第１仮想オブジェクトおよび基準オブジェクトが配置された空間を表現するコンテンツ画像をユーザ端末上に表示させるステップとをコンピュータに実行させる。 A content distribution program according to one aspect of the present disclosure includes the steps of: acquiring a content image including a live-action image area; acquiring a first nominal dimension of a first virtual object; and a standard nominal dimension of a reference object; arranging the first virtual object and the reference object in a space represented by the content image such that a relative relationship between the first nominal dimension and the reference nominal dimension is maintained; and the first virtual object and the reference object are arranged. and displaying a content image representing the space on the user terminal.
このような側面においては、第１仮想オブジェクトと基準オブジェクトとの間の公称寸法の関係がコンテンツ画像上に反映されるので、第１仮想オブジェクトをユーザに違和感なく見せることができる。言い換えると、第１仮想オブジェクトの大きさをその公称寸法に従ってリアルにユーザに見せることができる。その結果、コンテンツ画像の魅力をより高めることが可能になる。 In this aspect, since the relationship of nominal dimensions between the first virtual object and the reference object is reflected on the content image, the first virtual object can be presented to the user without any discomfort. In other words, the size of the first virtual object can be realistically shown to the user according to its nominal dimensions. As a result, it becomes possible to further enhance the appeal of the content image.
上記の特許文献１には、５０×３０画素などのような、仮想オブジェクトの外接矩形サイズを取得し、その外接矩形の領域に対して画素のスコアを計算し、そのスコアに基づいて仮想オブジェクトを重畳することが記載されている。
In the above-mentioned
しかし、この技術は画素で示される寸法を考慮するものであって、オブジェクトの公称寸法を用いていない。したがって、特許文献１の技術は、第１仮想オブジェクトの第１公称寸法と、基準オブジェクトの基準公称寸法との相対的関係が維持されるように、空間内に第１仮想オブジェクトおよび基準オブジェクトを配置する処理を実行しない。
However, this technique considers dimensions in pixels and does not use the nominal dimensions of the object. Therefore, the technique of
これに対して、本開示の上記側面においては、第１公称寸法と基準公称寸法との相対的関係が維持されるように、第１仮想オブジェクトおよび基準オブジェクトが空間内に配置される。したがって、実写画像と仮想オブジェクトとを含むコンテンツ画像において、該仮想オブジェクトをユーザに違和感なく見せることができる。 In contrast, in the above aspect of the present disclosure, the first virtual object and the reference object are arranged in space so that the relative relationship between the first nominal dimension and the reference nominal dimension is maintained. Therefore, in a content image that includes a real image and a virtual object, the virtual object can be shown to the user without any discomfort.
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサが、第１仮想オブジェクトおよび基準オブジェクトのそれぞれの全体がコンテンツ画像内に収まるように、空間内に第１仮想オブジェクトおよび基準オブジェクトを配置してもよい。これらのオブジェクトの全体（全身）をコンテンツ画像上に映すことで、コンテンツ画像の視覚効果を高めることができる。 In a content distribution system according to another aspect, at least one processor positions the first virtual object and the reference object in space such that each of the first virtual object and the reference object is entirely contained within the content image. Good too. By projecting the entirety (whole body) of these objects on the content image, the visual effect of the content image can be enhanced.
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサが、第１仮想オブジェクトおよび基準オブジェクトが同じオブジェクト上に接するように、空間内に第１仮想オブジェクトおよび基準オブジェクトを配置してもよい。これらの２オブジェクトが接地するオブジェクトを合わせることで、コンテンツ画像の視覚効果を高めることができる。 In a content distribution system according to another aspect, at least one processor may arrange the first virtual object and the reference object in space such that the first virtual object and the reference object touch on the same object. By matching the objects that these two objects touch with the ground, the visual effect of the content image can be enhanced.
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサが、第１仮想オブジェクトおよび基準オブジェクトのうちの少なくとも一つのオブジェクトについて複数の公称寸法を記憶するデータベースを参照し、第１仮想オブジェクトについて複数の公称寸法が存在する場合には、該複数の公称寸法のうちの一つの公称寸法を第１公称寸法として取得し、基準オブジェクトについて複数の公称寸法が存在する場合には、該複数の公称寸法のうちの一つの公称寸法を基準公称寸法として取得してもよい。或るオブジェクトについて複数の公称寸法を用意し、その複数の候補の中から一つの公称寸法を選択することで、該オブジェクトを様々な大きさでコンテンツ画像上に映すことができる。 In a content distribution system according to another aspect, at least one processor references a database storing a plurality of nominal dimensions for at least one of the first virtual object and a reference object, and includes a plurality of nominal dimensions for the first virtual object. If there are nominal dimensions, one of the plurality of nominal dimensions is acquired as the first nominal dimension, and if there are multiple nominal dimensions for the reference object, one of the plurality of nominal dimensions is obtained. One of the nominal dimensions may be acquired as the reference nominal dimension. By preparing a plurality of nominal dimensions for an object and selecting one nominal dimension from among the plurality of candidates, the object can be displayed in various sizes on the content image.
他の側面に係るコンテンツ配信システムでは、少なくとも一つのプロセッサが、インターネット上の電子文書から、第１公称寸法および基準公称寸法のうちの少なくとも一つの公称寸法を予め収集して、該少なくとも一つの公称寸法をデータベースに予め格納し、コンテンツ画像の取得に応答して、第１公称寸法および基準公称寸法のうちの少なくとも一つをデータベースから取得してもよい。この仕組みによって公称寸法が自動的に収集されるので、人手に頼ることなく公称寸法を短時間で蓄積することができる。 In the content distribution system according to another aspect, at least one processor collects in advance at least one nominal dimension of a first nominal dimension and a reference nominal dimension from electronic documents on the Internet, and The dimensions may be prestored in a database, and at least one of the first nominal dimension and the reference nominal dimension may be obtained from the database in response to obtaining the content image. Since nominal dimensions are automatically collected through this mechanism, nominal dimensions can be accumulated in a short time without relying on human intervention.
他の側面に係るコンテンツ配信システムでは、コンテンツ画像が、配信者端末から複数の視聴者端末にリアルタイムに配信されるライブコンテンツの画像であり、第１仮想オブジェクトが、配信者に対応するアバターであってもよい。配信者に対応するアバターと基準オブジェクトとの間の公称寸法の関係がコンテンツ画像上に反映されるので、そのアバターをユーザに違和感なく見せることができる。その結果、ライブコンテンツの魅力をさらに高めることができる。 In the content distribution system according to another aspect, the content image is an image of live content distributed from a distributor terminal to a plurality of viewer terminals in real time, and the first virtual object is an avatar corresponding to the distributor. It's okay. Since the relationship of nominal dimensions between the avatar corresponding to the distributor and the reference object is reflected on the content image, the avatar can be shown to the user without any discomfort. As a result, the appeal of live content can be further enhanced.
他の側面に係るコンテンツ配信システムでは、基準オブジェクトが、配信者とは異なる参加者に対応するアバターであってもよい。配信者および参加者のアバター間の公称寸法の関係がコンテンツ画像上に反映されるので、これらのアバターをユーザに違和感なく見せることができる。その結果、ライブコンテンツの魅力をさらに高めることができる。 In the content distribution system according to another aspect, the reference object may be an avatar corresponding to a participant different from the distributor. Since the relationship of nominal dimensions between the avatars of the distributor and the participants is reflected on the content image, these avatars can be shown to the user without any discomfort. As a result, the appeal of live content can be further enhanced.
［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
[Modified example]
The detailed description has been made above based on the embodiments of the present disclosure. However, the present disclosure is not limited to the above embodiments. The present disclosure can be modified in various ways without departing from the gist thereof.
上記実施形態ではコンテンツ配信システム１がサーバ１０を用いて構成されたが、コンテンツ配信システムは、サーバ１０を用いないユーザ端末間の直接配信に適用されてもよい。この場合には、サーバ１０の各機能要素は、いずれかのユーザ端末に実装されてもよく、複数のユーザ端末に分かれて実装されてもよい。これに関連して、コンテンツ配信プログラムはクライアントプログラムとして実現されてもよい。コンテンツ配信システムはサーバを用いて構成されてもよいし、サーバを用いることなく構成されてもよい。
Although the
本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念である。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。 In this disclosure, the expression "at least one processor executes a first process, executes a second process, ... executes an n-th process" or an expression corresponding to this This concept includes a case where the executing entity (that is, the processor) of n processes from the first process to the nth process changes midway. That is, this expression is a concept that includes both a case in which all of the n processes are executed by the same processor, and a case in which the processors in the n processes are changed according to an arbitrary policy.
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。 The processing steps of the method executed by at least one processor are not limited to the examples in the above embodiments. For example, some of the steps (processes) described above may be omitted, or each step may be executed in a different order. Furthermore, any two or more of the steps described above may be combined, or some of the steps may be modified or deleted. Alternatively, other steps may be performed in addition to each of the above steps.
１…コンテンツ配信システム、１０…サーバ、１１…受信部、１２…オブジェクト設定部、１３…送信部、１４…収集部、２０…ユーザ端末、２１…配信者端末、２１１…画像処理部、２１２…送信部、２２…視聴者端末、２２１…受信部、２２２…表示制御部、３０…寸法データベース、３００…コンテンツ画像、３０１…戦士、３０２…巨人、３１１…道路、３１２…ビル、４００…コンテンツ画像、４１０…アバター、４２０…マーカ、Ｐ１…サーバプログラム、Ｐ２…クライアントプログラム。
DESCRIPTION OF
Claims (7)
前記少なくとも一つのプロセッサが、
配信者端末から複数の視聴者端末にリアルタイムに配信されるライブコンテンツの画像であって、かつ実写画像領域を含むコンテンツ画像を取得し、
配信者に対応するアバターである第１仮想オブジェクトの属性から、該第１仮想オブジェクトの第１公称寸法を予め収集し、
基準オブジェクトの基準公称寸法を取得し、
前記第１公称寸法と前記基準公称寸法との間の大小関係が維持されるように、前記コンテンツ画像によって表現される空間内に前記第１仮想オブジェクトおよび前記基準オブジェクトを配置し、
前記第１仮想オブジェクトおよび前記基準オブジェクトが配置された前記空間を表現する前記コンテンツ画像をユーザ端末上に表示させる、
コンテンツ配信システム。 comprising at least one processor;
the at least one processor,
Obtaining a content image that is an image of live content that is distributed in real time from a distributor terminal to multiple viewer terminals and that includes a live-action image area,
Collecting in advance a first nominal dimension of the first virtual object from the attributes of the first virtual object that is an avatar corresponding to the broadcaster,
Get the reference nominal dimensions of the reference object,
arranging the first virtual object and the reference object in a space represented by the content image so that a size relationship between the first nominal dimension and the reference nominal dimension is maintained;
displaying the content image representing the space in which the first virtual object and the reference object are arranged on a user terminal;
Content distribution system.
前記少なくとも一つのプロセッサが、前記第１仮想オブジェクトおよび前記基準オブジェクトのそれぞれの全体が前記コンテンツ画像内に収まるように、前記空間内に前記第１仮想オブジェクトおよび前記基準オブジェクトを配置する、
請求項１に記載のコンテンツ配信システム。 the reference object is a second virtual object,
the at least one processor positions the first virtual object and the reference object in the space such that each of the first virtual object and the reference object is entirely contained within the content image;
The content distribution system according to claim 1.
請求項１または２に記載のコンテンツ配信システム。 the at least one processor positions the first virtual object and the reference object in the space such that the first virtual object and the reference object touch on the same object;
The content distribution system according to claim 1 or 2.
前記第１仮想オブジェクトおよび前記基準オブジェクトのうちの少なくとも一つのオブジェクトについて複数の公称寸法を記憶するデータベースを参照し、
前記第１仮想オブジェクトについて前記複数の公称寸法が存在する場合には、該複数の公称寸法のうちの一つの公称寸法を前記第１公称寸法として取得し、
前記基準オブジェクトについて前記複数の公称寸法が存在する場合には、該複数の公称寸法のうちの一つの公称寸法を前記基準公称寸法として取得する、
請求項１～３のいずれか一項に記載のコンテンツ配信システム。 the at least one processor,
with reference to a database storing a plurality of nominal dimensions for at least one of the first virtual object and the reference object;
If the plurality of nominal dimensions exist for the first virtual object, one of the plurality of nominal dimensions is obtained as the first nominal dimension;
If the plurality of nominal dimensions exist for the reference object, one of the plurality of nominal dimensions is obtained as the reference nominal dimension;
The content distribution system according to any one of claims 1 to 3.
請求項１～４のいずれか一項に記載のコンテンツ配信システム。 the reference object is an avatar corresponding to a participant different from the broadcaster;
The content distribution system according to any one of claims 1 to 4.
配信者端末から複数の視聴者端末にリアルタイムに配信されるライブコンテンツの画像であって、かつ実写画像領域を含むコンテンツ画像を取得するステップと、
配信者に対応するアバターである第１仮想オブジェクトの属性から、該第１仮想オブジェクトの第１公称寸法を予め収集するステップと、
基準オブジェクトの基準公称寸法を取得するステップと、
前記第１公称寸法と前記基準公称寸法との間の大小関係が維持されるように、前記コンテンツ画像によって表現される空間内に前記第１仮想オブジェクトおよび前記基準オブジェクトを配置するステップと、
前記第１仮想オブジェクトおよび前記基準オブジェクトが配置された前記空間を表現する前記コンテンツ画像をユーザ端末上に表示させるステップと
を含むコンテンツ配信方法。 A content distribution method performed by a content distribution system comprising at least one processor, the method comprising:
acquiring a content image that is an image of live content that is distributed in real time from a distributor terminal to a plurality of viewer terminals and that includes a live-action image area;
collecting in advance a first nominal dimension of the first virtual object, which is an avatar corresponding to the broadcaster, from attributes of the first virtual object;
obtaining reference nominal dimensions of the reference object;
arranging the first virtual object and the reference object in a space represented by the content image so that a size relationship between the first nominal dimension and the reference nominal dimension is maintained;
A content distribution method comprising the step of displaying the content image representing the space in which the first virtual object and the reference object are arranged on a user terminal.
配信者に対応するアバターである第１仮想オブジェクトの属性から、該第１仮想オブジェクトの第１公称寸法を予め収集するステップと、
基準オブジェクトの基準公称寸法を取得するステップと、
前記第１公称寸法と前記基準公称寸法との間の大小関係が維持されるように、前記コンテンツ画像によって表現される空間内に前記第１仮想オブジェクトおよび前記基準オブジェクトを配置するステップと、
前記第１仮想オブジェクトおよび前記基準オブジェクトが配置された前記空間を表現する前記コンテンツ画像をユーザ端末上に表示させるステップと
をコンピュータに実行させるコンテンツ配信プログラム。 acquiring a content image that is an image of live content that is distributed in real time from a distributor terminal to a plurality of viewer terminals and that includes a live-action image area;
collecting in advance a first nominal dimension of the first virtual object, which is an avatar corresponding to the broadcaster, from attributes of the first virtual object;
obtaining reference nominal dimensions of the reference object;
arranging the first virtual object and the reference object in a space represented by the content image so that a size relationship between the first nominal dimension and the reference nominal dimension is maintained;
A content distribution program that causes a computer to execute the step of displaying the content image representing the space in which the first virtual object and the reference object are arranged on a user terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019193351A JP7344084B2 (en) | 2019-03-28 | 2019-10-24 | Content distribution system, content distribution method, and content distribution program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019062517A JP6609078B1 (en) | 2019-03-28 | 2019-03-28 | Content distribution system, content distribution method, and content distribution program |
| JP2019193351A JP7344084B2 (en) | 2019-03-28 | 2019-10-24 | Content distribution system, content distribution method, and content distribution program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019062517A Division JP6609078B1 (en) | 2019-03-28 | 2019-03-28 | Content distribution system, content distribution method, and content distribution program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020167661A JP2020167661A (en) | 2020-10-08 |
| JP2020167661A5 JP2020167661A5 (en) | 2022-07-01 |
| JP7344084B2 true JP7344084B2 (en) | 2023-09-13 |
Family
ID=87934812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019193351A Active JP7344084B2 (en) | 2019-03-28 | 2019-10-24 | Content distribution system, content distribution method, and content distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7344084B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018128815A (en) | 2017-02-08 | 2018-08-16 | ソフトバンク株式会社 | Information presentation system, information presentation method and information presentation program |
| JP2018142090A (en) | 2017-02-27 | 2018-09-13 | Kddi株式会社 | Character image generating device, character image generating method, program, recording medium and character image generating system |
| JP2019009752A (en) | 2017-06-20 | 2019-01-17 | 一般社団法人 日本画像認識協会 | Image processing device |
| JP6470859B1 (en) | 2018-03-08 | 2019-02-13 | 株式会社コロプラ | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar |
| JP2019047366A (en) | 2017-09-04 | 2019-03-22 | 株式会社ドワンゴ | Content delivery server, content delivery method and content delivery program |
-
2019
- 2019-10-24 JP JP2019193351A patent/JP7344084B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018128815A (en) | 2017-02-08 | 2018-08-16 | ソフトバンク株式会社 | Information presentation system, information presentation method and information presentation program |
| JP2018142090A (en) | 2017-02-27 | 2018-09-13 | Kddi株式会社 | Character image generating device, character image generating method, program, recording medium and character image generating system |
| JP2019009752A (en) | 2017-06-20 | 2019-01-17 | 一般社団法人 日本画像認識協会 | Image processing device |
| JP2019047366A (en) | 2017-09-04 | 2019-03-22 | 株式会社ドワンゴ | Content delivery server, content delivery method and content delivery program |
| JP6470859B1 (en) | 2018-03-08 | 2019-02-13 | 株式会社コロプラ | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020167661A (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862348B (en) | Video display method, video generation method, device, equipment and storage medium | |
| WO2016014233A1 (en) | Real-time immersive mediated reality experiences | |
| JPWO2016009865A1 (en) | Information processing apparatus and method, display control apparatus and method, playback apparatus and method, program, and information processing system | |
| CN110602517A (en) | Live broadcast method, device and system based on virtual environment | |
| CN111970532A (en) | Video playing method, device and equipment | |
| JP7512488B2 (en) | Image processing device, image processing method, and image processing system | |
| JP7202935B2 (en) | Attention level calculation device, attention level calculation method, and attention level calculation program | |
| CN114615513A (en) | Video data generation method and device, electronic equipment and storage medium | |
| JP6609078B1 (en) | Content distribution system, content distribution method, and content distribution program | |
| WO2021065928A1 (en) | Content distribution system, content distribution method, and content distribution program | |
| JP7496558B2 (en) | Computer program, server device, terminal device, and method | |
| JP6559375B1 (en) | Content distribution system, content distribution method, and content distribution program | |
| US20240153226A1 (en) | Information processing apparatus, information processing method, and program | |
| CN116964544A (en) | Information processing device, information processing terminal, information processing method, and program | |
| KR20180080012A (en) | The apparatus and method of musical contents creation and sharing system using social network service | |
| KR20190031220A (en) | System and method for providing virtual reality content | |
| JP7344084B2 (en) | Content distribution system, content distribution method, and content distribution program | |
| CN109005441B (en) | Virtual competition completion scene playing method and device, terminal and server | |
| CN116233513A (en) | Virtual gift special effect playing processing method, device and equipment in virtual reality live broadcasting room | |
| CN114915735A (en) | Video data processing method | |
| CN110166825B (en) | Video data processing method and device and video playing method and device | |
| CN113887354A (en) | Image recognition method and device, electronic equipment and storage medium | |
| JP7548785B2 (en) | Content distribution system, content distribution method, and content distribution program | |
| JP2021057017A (en) | Content distribution system, content distribution method and content distribution program | |
| JP2020167654A (en) | Content distribution system, content distribution method, and content distribution program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7344084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |