JP2019220932A - コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバ、および伝送路 - Google Patents

Abstract

【課題】放送などコンテンツにおいて、被撮影者とアバター（仮想的キャラクター）とが同じ画面に描画されるようにして、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを視聴者は十分に楽しむことができるとともに、被撮影者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる、コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバおよび伝送路を提供する。【解決手段】コンテンツ配信受信システム１において、演者２０と、ダミー物体２１とを一つの画面内に撮影する構成、その画面内におけるダミー物体２１の描画をアバターの画像５０ｃで置換してコンテンツ画像を生成する構成、を備える。【選択図】図１

Description

本開示は、現実の演者である被撮影者と仮想キャラクタ（アバター）とが参加する公開番組等のライブコンテンツを配信するコンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバ、および伝送路に関する。

従来より、地上デジタル放送、ＢＳデジタル放送、インターネット生放送など（以下ではこれらを包括して「放送」ともいう）では、複数の演者がシーンに登場する番組がしばしば放送されている。

例えば、従来技術にかかる放送番組の一シーンを模式的に示した図７（Ａ）では、インタビュウを受けるインタビュウイー１０１が、インタビュウを行うインタビュアー１０２と近い位置で相対しており、インタビュウイー１０１がとインタビュアー１０２とが一つのシーンに収まるよう、図示しないカメラが彼らを撮影してインタビュウシーン１００が生成され、これが放送に供されて視聴者が視聴する。カメラが彼ら二人により近づくか、あるいはカメラのレンズをより長焦点にズームアップすれば、図７（Ｂ）に見られるように同じインタビュウのバストショット１０３が得られる。

放送におけるこのようなインタビュウは、インタビュウイー１０１とインタビュアー１０２とが同じ場所にいない場合もあり、その場合には、従来技術にかかる放送番組の別な一シーンを模式的に示した図８（Ａ）のように、撮影現場に居るインタビュウイー１０７を単独でカメラが撮影してインタビュウイー１０７のみが現れるシーンが撮影され、インタビュアーは例えば放送局のスタジオに居てインタビュウイー１０７と会話を行うので、このインタビュアーは放送シーン１０６には現れず、ただインタビュアーの発話音声のみが放送される。

また、図８（Ｂ）に示すように、インタビュアー１１１は同じく、インタビュウイー１１０とは別な場所、例えば放送局のスタジオに居るものの、別なカメラにてインタビュアー１１１を撮影し、インタビュウイー１１０を撮影した主画面の内部に子画面１０９としてはめ込む、ピクチャーインピクチャーの手法でインタビュウシーン１０８が作成される場合もある。

このように放送内において複数の演者が登場するシーンは、インタビュウに限らず、例えば記者やアナウンサが事件が起きた現場からレポートを行う際に、放送局スタジオにいる別のアナウンサと会話を行うシーン、歌番組や漫才などの芸能番組、ドラマ、など多数ありうる。

ところで、ＣＧ（コンピュータグラフィック）技術を用いて作成した仮想的なキャラクター（以下「アバター」ともいう）を、同じくＣＧで作成した仮想的な３次元空間内に描出して移動や動作を行わせるゲーム、放送、コンテンツが盛んに制作されている。

例えば下記特許文献１には、仮想空間内におけるアバターの移動操作を行おうとする参加者が、現実の空間内における参加者の位置情報をＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）技術を利用して取得し、これを仮想空間内の位置情報に変換してアバターの仮想空間内位置操作に用いようとする構成が開示されている。

特許第４６３７８８９号公報

このように盛んに用いられるようになってきている仮想的キャラクター（アバター）を、ただ仮想的な空間内に描画するのではなく、現実の空間内に描画して、現実の演者である被撮影者（演技者、出演者、あるいはインタビュウを受ける通行人など）とアバターとが同じ画面に描画するようにして、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを楽しめるようにした提案が最近なされている。

しかしながら、このように現実空間の画像と、人工的なアバターとを合成して一つのシーンに描画するようにした放送あるいはコンテンツでは従来、次のような本質的な課題が存在し未解決であった。

先に説明したように、現実の演者複数を一つのシーンとして撮影した、例えば図７（Ａ），図７（Ｂ）に示す各シーンにおいては、登場する二人の演者１０１、１０２、１０４、１０５は互いに相手を視認し、直接会話をしているので、当然シーン中の会話は自然で違和感がなく、視聴者から見て自然である。

しかしながら、現実空間にいる現実の演者が、人工的なアバターと共演し一つのシーンに収まる番組を想定したとすると、アバターは実際には現実の演者の目の前には存在しないので、現実の演者は会話を行う相手が目の前にはおらず、一人であたかも会話を行うような演技を強いられることとなり、現実の演者が視線を投げる方向も定めることができず、シーン全体が不自然となってしまう。

そこで、先に示した図８（Ｂ）のように、現実の演者のみをカメラが撮影し、アバターは、はめ込み画面（ピクチャーインピクチャー）に登場するようにすれば、実際には同じ場所に存在しない現実の演者とアバターとが無理に一つの画面に描画されていないので、現実の演者が目の前に会話を行う相手がいないにも関わらずあたかもいるかのように話しているといった演技をする必要がないため不自然さはなくなるが、人工的なアバターを現実の空間内に描画するものとは異なるシーンとなってしまう。

従って、先に述べたような、現実の演者とアバターとを同じ画面に描画した場合に生じる、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを視聴者は十分に楽しむことができない恐れがあった。

そこで、本開示では、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消するための、コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバ、および伝送路を提供することを目的とする。

上記の課題を解決するために、本発明は、下記の１）乃至１１）に記載のコンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバ、および伝送路を提供する。
１）
被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信システムであって、
被撮影者とダミー物体とが一つのシーンに収まるよう撮影を行うシーン撮影用カメラ部、
撮影がなされたシーン中のダミー物体の画像を、仮想的キャラクターの画像へ置換をして配信する画像置換部、
を備えたことを特徴とする、コンテンツ配信システム。
２）
ダミー物体は、仮想的キャラクターの画像を表示するディスプレイを備えることを特徴とする、１）に記載のコンテンツ配信システム。
３）
画像置換部が配信する画像における、置換がなされた前記仮想的キャラクターの画像は、ダミー物体が備えるディスプレイに表示された仮想的キャラクターの画像とは異なる態様であることを特徴とする、２）に記載のコンテンツ配信システム。
４）
異なる態様は、異なる視点に基づくことを特徴とする、３）に記載のコンテンツ配信システム。
５）
ダミー物体は、シーン撮影用カメラ部とは異なる位置から被撮影者を撮影するカメラ及び／または被撮影者の音声を拾うマイクロフォンを有することを特徴とする、１）乃至４）のいずれか１項に記載のコンテンツ配信システム。
６）
仮想的キャラクターの外観表示態様を変更操作する操作部と、カメラおよび／またはマイクロフォンが収集した情報を表示する仮想的キャラクターの外観表示態様操作用表示部と、をさらに有することを特徴とする、５）に記載のコンテンツ配信システム。
７）
操作部は、ディスプレイに表示される仮想的キャラクターの外観表示態様、および／または、画像置換部が配信する画像中の前記仮想的キャラクターの画像の外観表示態様を変更操作するよう構成されたことを特徴とする、６）に記載のコンテンツ配信システム。
８）
画像置換部の配信画像を含んだコンテンツを通信路経由で放送する放送送信部と、放送中のコンテンツの画面中に表示させるユーザー投稿情報を受け付ける受信部とをさらに備え、且つ、ユーザー投稿情報は、仮想的キャラクターの画像を表示するディスプレイにもまた表示がなされるよう構成されたことを特徴とする、２）乃至７）のいずれか１項に記載のコンテンツ配信システム。
９）
画像置換部の配信画像を含んだコンテンツを通信路経由で放送する放送送信部と、放送中のコンテンツの画面中に表示させるユーザー投稿情報を受け付ける受信部とをさらに備え、且つ、前記ユーザー投稿情報は、仮想的キャラクターの外観表示態様操作用表示部にもまた表示がなされるよう構成されたことを特徴とする、６）乃至８）のいずれか１項に記載のコンテンツ配信システム。
１０）
被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信方法であって、
シーン撮影用カメラ部が、被撮影者とダミー物体とが一つのシーンに収まるよう撮影を行うステップ、
画像置換部が、撮影がなされたシーン中のダミー物体の画像を、仮想的キャラクターの画像へ置換をして配信するステップ、
を備えたことを特徴とする、コンテンツ配信方法。
１１）
請求項１０に記載のコンテンツ配信方法における各ステップをコンピュータが実行するコード群を含んだことを特徴とする、コンピュータプログラム。
１２）
被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信用サーバであって、
被撮影者とダミー物体とが一つのシーンに収まるよう撮影がなされたシーン中のダミー物体の画像を、仮想的キャラクターの画像へ置換をして配信するよう構成されたことを特徴とする、コンテンツ配信用サーバ。
１３）
１２）に記載のコンテンツ配信用サーバが前記配信を行った信号を伝送する伝送路。

本開示によれば、被撮影者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる。

本発明にかかるコンテンツ配信受信システムの構成を模式的に示した図である。 図１のコンテンツ配信受信システムが有するコンテンツ配信サーバのブロック図である。 図１のコンテンツ配信受信システムが有するアバター変更ユニットのブロック図である。 図１のコンテンツ配信受信システムが、被撮影者とアバターとを描画した画像を送信し表示する処理を示すフローチャートである。 図１のコンテンツ配信受信システムが、被撮影者視聴用のディスプレイにアバターを描画する処理を示すフローチャートである。 （Ａ）図１のコンテンツ配信受信システムが有するシーン撮影用カメラが撮影した画像の模式図である。（Ｂ）図１のコンテンツ配信受信システムが有するアバター変更ユニットが生成した、アバターの画像を示す模式図である。（Ｃ）図１のコンテンツ配信受信システムが有するコンテンツ配信サーバが生成する、被撮影者とアバターとを一つの画面に収めたシーンの模式図である。 従来技術にかかる放送における、シーンの模式図である。 従来技術にかかる放送における、シーンの模式図である。

以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、それぞれ例示に過ぎず、本発明の趣旨を脱しない範囲で種々の変形が可能であり、これらもまた本発明が包含する。

〔コンテンツ配信受信システム１の構成〕
図１は、本発明にかかるコンテンツ配信受信システム１の構成を模式的に示した図である。コンテンツ配信受信システム１は、現実の演者が撮影されるスタジオ、あるいは放送中継現場などである演者撮影現場２、アバターの動きなどをアバター操作者が操作するためにモーションキャプチャーシステムなどを備えたアバター操作スタジオ３、番組を放送するコンテンツ配信業者の配信環境４、放送番組を視聴するエンドユーザーであるコンテンツ閲覧者の閲覧環境５、にそれぞれ以下の構成が配置されている。

なお、上記の「現実の演者」とは、仮想キャラクター（アバター）ではない実際の被撮影者を指しており、演技を行う演者に限らず、例えば街頭インタビュウにおける通りがかりのインタビュウイーなども含んでいる。

このように異なる場所に各構成が配置されていることは本発明の実施に必須なものではなく、各構成のうちいずれかが、または全てが同一の場所に配置されていても良い。

演者撮影現場２には、演者２０が居て番組のために演技を行い、演者の近傍には、演者用表示スタンドユニット２１が配置されている。この演者用表示スタンドユニット２１には、演者２０を撮影してアバター操作者３０の視認に供するための演者撮影用カメラ２１ａ、演者２０の発話を拾って同じくアバター操作者３０の聴取に供したり、あるいは番組の音声として用いるための演者発話用マイク２１ｂ、アバター３０が発した発話音声あるいは放送ディレクター（図示しない）からの指令音声などを発話するための演者聴取用スピーカー２１ｃ、アバターの画像２１ｅを演者２０が視認し、この結果、あたかも演者２０が人工的なアバターと相対しているような環境を提供する演者視認用ディスプレイ２１ｄ、これら演者用表示スタンドユニット２１が備える各構成を支えるスタンド２１ｆなどを備えている。

また、演者撮影現場２にはシーン撮影用カメラ２２が配置され、演者２０と演者用表示スタンドユニット２１とが一つの画面（シーン撮影用カメラ撮影ゾーン２３）に収まるようにした撮影に用いられる。

演者用表示スタンドユニット２１とシーン撮影用カメラ２２の各信号系統は、インターネット通信網６０、６１、６２、６６を経由してコンテンツ配信サーバ４０とデータ接続している。

なお、インターネット回線６０、６１，６２，６６間の接続ノードについては説明や図示を省略する。本発明の実施にあたり、各箇所に説明を行う信号、データの伝送は種々の回線、通信網を用いることが可能でありインターネット回線６０、６１，６２，６６に限定されない。この点は以下の記載においても同様である。

アバター操作スタジオ３は、前述のとおりアバター操作者３０がモーションキャプチャー技術を用いてアバターの動きなどを操作するための場であり、図１ではその一例として、光学マーカー３１がアバター操作者３０の体の各所に取り付けられ、モーションキャプチャー用カメラ３２がこれら各光学マーカー３１を撮影して、後に示すアバター変更ユニット３４が三角測距の原理を用いて各光学マーカー３１の３次元空間内位置座標を検出している。

モーションキャプチャー技術として上記のような光学マーカーと、それに対応するカメラとの組み合わせにより実施するほかに、加速度センサーを用いてアバター操作者３０の動きを検知する方式や、高周帯域電磁波をアバター操作者３０に照射して反射して戻ってくる電磁波の解析結果からドップラー現象によりアバター操作者３０の体の動きを検出する方式など様々な方式を用いることが可能である。

アバター操作スタジオ３には、アバターの操作者用表示スタンドユニット３３が配置されており、同ユニット３３には、必要に応じて点滅をして現在オンエア中であることをアバターの操作者３０に知らせるタリーランプ３３ａ、アバターの操作者の発話音声を拾うためのアバターの操作者撮影用マイク３３ｂ、演者２０あるいは番組ディレクター（図示しない）などの発話音声を発声するアバターの操作者聴取用スピーカー３３ｃ、演者の画像３３ｅを表示して、遠方に居る演者２０とあたかも目の前で会話をしているごとき環境を提供するアバターの操作者視認用ディスプレイ３３ｄ、アバターの操作者用表示スタンドユニット３３の各構成を支えるスタンド３３ｆをそれぞれ備えている。なお、タリーランプ３３ａの近傍あるいは他の位置にアバターの操作者３０の顔の表情などを撮影するカメラ（図示しない）を備え、アバターのレンダリングにあたってアバターの操作者３０の顔の表情などを利用するように構成してもよい。

モーションキャプチャー用カメラ３２とアバターの操作者用表示スタンドユニット３３、の各信号系統は、インターネット通信網６３，６４を介してアバター変更ユニット３４とデータ接続をしている。アバター変更ユニット３４の構成は別途説明を行う。アバター変更ユニット３４はインターネット通信網６０、６５、６６を介してコンテンツ配信サーバ４０とデータ接続をしている。

なお、上記のアバター変更ユニット３４の一部の、あるいはすべての構成をコンテンツ配信サーバ４０内に含めるようにしてもよい。その場合、アバター変更ユニット３４の構成や機能、処理として説明を行った箇所は、コンテンツ配信サーバ４０の構成、機能、処理となる。

またコンテンツ配信業者の配信環境４にはコンテンツ配信サーバ４０が配置されており、その構成は別途説明を行う。

コンテンツ閲覧者の閲覧環境５には汎用のパーソナルコンピュータ５０が設けられており、コンテンツ閲覧者（図示しない）はパーソナルコンピュータディスプレイ５０ａに描画された番組を楽しむことができる。後で説明するように番組の画面には演者の画像５０ｂとアバターの画像５０ｃとが一緒に描画されるように構成されており、この結果コンテンツ閲覧者は、現実の演者とアバターとが同じ画面に描画されることによって、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを十分に楽しむことができる。

〔アバター変更ユニット３４の構成〕
アバター変更ユニット３４は、図３のブロック図に示すように、ユニット３４全体の統制制御を行うＣＰＵである制御ユニット３４０、メモリ３４１、モーションキャプチャー技術によりアバター操作者３０の動きをデータ化するモーショントラッカ３４３、メモリ３４１内のアバターデータメモリ３４１ｂに蓄積された、アバターの外観などのデータ（画像データ）とモーショントラッカ３４３が生成するアバター操作者３０の動きのデータとを用いて現在のアバターの姿勢に応じたＣＧ画像を生成するレンダリング部３４４、ユニット３４内外の通信送受を行う通信インターフェース３４５などを備えており、これら各構成はデータバスライン３４２を介して相互にデータ接続をしている。

またメモリ３４１が備えるプログラムメモリ３４１ａは、本願明細書記載実施の形態に開示された動作を含む各動作を制御ユニット３４０その他が実行するための実行コード群を含んだ、アバター変更ユニット３４が実行するべきコンピュータプログラムを読み出し可能に記憶しており、同じく一時メモリ３４１ｃはいわゆるキャッシュメモリとして使用される。

〔コンテンツ配信サーバ４０の構成〕
図２のブロック図に示すようにコンテンツ配信サーバ４０は、サーバ４０全体の統制制御を行うＣＰＵである制御ユニット４１、メモリ４２、シーン撮影用カメラ２２が撮影して画像に含まれている演者用表示スタンドユニット２１の画像がどのエリアであるかを特定するために、メモリ４２内のテンプレート画像メモリ４２ｂに記憶されているこの演者用表示スタンドユニット２１の画像をテンプレート（型紙）としてシーン撮影用カメラ２２が撮影して画像に対してすり合わせ法（統計的相関マッチング）などの技術を用いてエリアの特定を行うテンプレート画像トラッカ４４、アバター変更ユニット３４から送出された現在のアバターの画像を上記の特定されたエリアに重畳し、あるいは置換して、演者２０とアバターとが一緒に描画されている放送用コンテンツ画像を生成するコンテンツ画像生成部４５、サーバ４０内外間のデータ送受を行う通信インターフェース４６、をそれぞれ備えており、これら各構成はデータバスライン４３を介して相互にデータ接続をしている。

またメモリ４２が備えるプログラムメモリ４２ａは、本願明細書記載実施の形態に開示された動作を含む各動作を制御ユニット４１その他が実行するための実行コード群を含んだ、サーバ４０が実行するべきコンピュータプログラムを読み出し可能に記憶しており、同じく一時メモリ４２ｃはいわゆるキャッシュメモリとして使用される。

またコンテンツ配信サーバ４０は、後に説明する通り、被撮影者を仮想的キャラクター（アバター）とともに一つのシーン中に表示して配信するサーバであって、被撮影者とダミー物体とが一つのシーンに収まるよう撮影がなされたシーン中のダミー物体の画像を、仮想的キャラクターの画像へ置換をして配信するよう構成されている。また、コンテンツ配信サーバ４０が配信を行った信号は、伝送路であるインターネット通信網６０，６６，６７などが担持し、これら各伝送路を経由して伝送がなされる。

〔コンテンツ画像７３の生成および表示処理〕
次に、コンテンツ（放送）に用いるべき、演者２０とアバターとが一緒に描画されている画像７３（以下、「コンテンツ画像」とも呼び、図６（Ｃ）の模式図、あるいは図１中のパーソナルコンピュータディスプレイ５０ａ内にもその一例が示されている）が生成され、閲覧ユーザー（図示しない）が閲覧可能となるまでの処理を、図４のフローチャート、図６の模式図を援用して説明を行う。

まずアバター変更ユニット３４の制御ユニット３４０は、メモリ３４１内のアバターデータメモリ３４１ｂに蓄積された、コンテンツ画像に描画をしたいアバターのデータ（仮想的キャラクターの外観を表す画像データなど）を読み出す（ステップＳ１０１）。次に制御ユニット３４０は、モーショントラッカ３４３を統制制御して先に説明をしたモーションキャプチャー技術によりアバター操作者３０の動きを得てデータ化する（ステップＳ１０２）。

次に制御ユニット３４０は、得られたモーションキャプチャーデータと、アバターのデータとを用いて、アバターの３Ｄ描画画像を生成するレンダリングをレンダリング部３４４に行わせる（ステップＳ１０３）。レンダリングに際してはどの位置から見たアバターの画像を生成するかが、重要であるので、レンダリング部３４４はあらかじめコンテンツ配信サーバ４０からこの視点の位置の情報、具体的には図１における、演者撮影現場２中のシーン撮影用カメラ２２の位置の情報であって、後に説明するように、アバターの画像と置換をすべき対象物である演者用表示スタンドユニット２１の相対的な位置の情報が保存されている。この視点から見てアバターがどの方向を向いているようにレンダリングを行うかについて制約はないが、演者２０とアバターとが向かい合ってインテビュウを行っているシーンである場合には、アバターを横から見た情景のレンダリングとすることは適格な選択である。

なお、上記に説明を行った態様とは一部異なる構成とした別態様とすることができ、一つの別態様ではアバター変更ユニット３４はモーションキャプチャーにかかわる動作までのみを実施してその結果となるデータをコンテンツ配信サーバ４０へ送信し、コンテンツ配信サーバ４０では上記に説明をしたアバター画像のレンダリングを行うようにしてもよい。この場合、レンダリングにかかわる構成は、先の説明ではアバター変更ユニット３４に含まれるとしたことに代えて、コンテンツ配信サーバ４０に含まれることとする。

さらに、先に説明した、アバター操作スタジオ３に配置された一部あるいはすべての構成をコンテンツ配信業者の配信環境４や他の場所に配置し、それぞれの機能を有するようにしてもよい。

このような別態様における構成の相違点、処理の相違点は本明細書の各所説明箇所から容易に理解できるものであるので説明を省略する。

レンダリングにより得られたアバターの画像データは、通信インターフェース３４５、インターネット通信網６０、６５、６６を経由してコンテンツ配信サーバ４０へ伝送される（ステップＳ１０４）。

コンテンツ配信サーバ４０では伝送されたアバター画像のデータを受信するとともに（ステップＳ２０４）、あらかじめ次の動作を実行する。

まず、後にアバターの画像へ置換がされるべき対象物の画像であって、シーン撮影用カメラ２２が演者２０とともに撮影した画像（図６（Ａ）における演者用表示スタンドユニット２１）がテンプレート（型紙）画像としてあらかじめコンテンツ配信サーバ４０のテンプレート画像メモリ４２ｂに記憶されており、制御ユニット４１は、テンプレート画像トラッカ４４に対してそのテンプレート画像の読み出しを命じる（ステップＳ２０１）。

また制御ユニット４１の統制制御に応じて、シーン撮影用カメラ２２が演者２０とともに演者用表示スタンドユニット２１を撮影した画像７０（以下、「シーン撮影画像」ともいう）が、インターネット通信網６０、６２、６６、通信インターフェース４６経由で受信がなされる（ステップＳ２０２）。

次に、制御ユニット４１の統制制御に応じて、コンテンツ画像生成部４５が、受信されたシーン撮影画像７０中におけるテンプレート画像すなわち演者用表示スタンドユニット２１が描画された位置を特定する（ステップＳ２０３）。特定に際しては、シーン撮影画像７０に対して少しずつ位置をずらしながらテンプレート画像との相関マッチングを行うすり合わせ法により、最も相関の高い位置を選択する、などの方法があり、他の方法でもよい。

例えば、図示をしない操作者の操作に応じて、アバターの画像７２を描画すべき画面中の位置が決定されるようにしてもよい。

次にコンテンツ画像生成部４５は、特定されたテンプレート画像すなわち演者用表示スタンドユニット２１の位置において、このテンプレート画像すなわち演者用表示スタンドユニット２１の画像を、ステップＳ２０４で伝送されたアバターの画像７２で置換する（ステップＳ２０５）。置換により、画面中に演者２０とアバターの画像７２とが一緒に描画されたコンテンツ画像７３が生成されるので、このコンテンツ画像７３が通信インターフェース４６、インターネット通信網６０、６６、６７経由でパーソナルコンピュータ５０へ伝送がなされる（ステップＳ２０６）。すなわち、インターネット通信網６０、６６、６７は、コンテンツ配信サーバ４０が生成した信号あるいは情報である、被撮影者である演者２０と、ダミー物体とが一つのシーンに収まるよう撮影がなされたシーン中のダミー物体の画像を、仮想的キャラクター（アバター）の画像へ置換をして配信された信号あるいは情報を伝送し、あるいは担持（ｃａｒｒｙ）し、この後説明をおこなう受信用端末であるパーソナルコンピュータ５０などへ供給することとなる。

なお、上記の態様のように、アバター画像に置き換わるべきダミー物体（例示では演者用表示スタンドユニット２１）の画像をあらかじめテンプレートして保持しておき統計的処理によってそのダミー物体の描画位置をサーバ４０が判断する態様以外にも、操作を行う人が手作業で、画面内におけるアバターの描画位置を指定する方法としてもよい点を先に説明した。

一方、閲覧ユーザー（図示しない）が用いるパーソナルコンピュータ５０は、コンテンツ配信サーバ４０が送信するコンテンツ画像７３をパーソナルコンピュータディスプレイ５０ａに表示する（ステップＳ３０２）。

図４図示のフローチャートに示す通り、以上説明をした各処理は、終了操作を待つ判断ステップＳ１０５，Ｓ２０７、Ｓ３０３において終了操作が検知されない限り繰り返されるので、コンテンツ画像７３は繰り返し更新がされることとなり、この結果、閲覧ユーザーは、演者２０とアバターの画像７３とが一緒の画面中に描画された動画を閲覧することが可能となる。この時、演者２０は、演者用表示スタンドユニット２１を見て、あたかも現実の対話者のごとくに話をしたり視線を合わせたりしているシーンが置換前のシーン撮影画像７０であるので、置換後のコンテンツ画像７３を視認する閲覧ユーザーは、まるで演者２０がアバターと本当に相対して会話をしているような感覚を得ることができ、この結果、本実施形態によれば、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる。

あるいは、演者２０が直接アバターの方向を向いていない態様の描画においても、演者２０はあたかも演者視認用ディスプレイ２１ｄの位置にアバターが存在するように会話や演技を行うことができ、その様な態様においても、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる。

それゆえに、現実の演者とアバターとが同じ画面に描画するようにして、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを視聴者である閲覧ユーザーは十分に楽しむことが可能となる。

〔演者視認用ディスプレイ２１ｄにおけるアバターの画像２１ｅ表示の処理〕
以上は、閲覧ユーザー（図示しない）が閲覧を行う、パーソナルコンピュータディスプレイ５０ａの表示画面において、アバターの画像５０ｃが描画される処理を中心に説明を行った。

次に、閲覧ユーザーが閲覧することを主たる目的とはせず、演者２０が閲覧をする演者視認用ディスプレイ２１ｄにおけるアバターの画像２１ｅ表示の処理について説明を行う。

生成されたコンテンツ画像７３において、演者２０がアバターとあたかも相対し、向かい合い、視線を合わせているように描画を行うことは、本発明の効果を奏する上で好ましい点であることを先に説明した。

そこで、演者２０が相対している演者用表示スタンドユニット２１が備える演者視認用ディスプレイ２１ｄに、アバターが演者２０の方を向いている概略正面像が描画されれば、演者２０は本当にアバターと相対している感覚を持つことができ、この結果、閲覧ユーザーもまたコンテンツ画像７３を閲覧した際にリアルな感覚を得ることができる。

そのために、図５のフローチャートに示すように、アバター変更ユニット３４では、まずアバター変更ユニット３４の制御ユニット３４０が、メモリ３４１内のアバターデータメモリ３４１ｂに蓄積された、コンテンツ画像に描画をしたいアバターのデータ（仮想的キャラクターの外観を表す画像データなど）を読み出す（ステップＳ４０１）。次に制御ユニット３４０は、モーショントラッカ３４３を統制制御して先に説明をしたモーションキャプチャー技術によりアバター操作者３０の動きを得てデータ化する（ステップＳ４０２）。

次に制御ユニット３４０は、得られたモーションキャプチャーデータと、アバターのデータとを用いて、アバターの３Ｄ描画画像を生成するレンダリングをレンダリング部３４４に行わせる（ステップＳ４０３）。レンダリングに際してはどの位置から見たアバターの画像を生成するかが、重要であるので、レンダリング部３４はあらかじめコンテンツ配信サーバ４０からこの視点の位置の情報、具体的には図１における、演者撮影現場２中のシーン撮影用カメラ２２の位置の情報であって、後に説明するように、アバターの画像と置換をすべき対象物である演者用表示スタンドユニット２１の相対的な位置の情報が用いられる。この視点から見てアバターがどの方向を向いているようにレンダリングを行うかについて制約はないが、演者２０とアバターとが向かい合ってインテビュウを行っているシーンである場合には、アバターを正面から見た情景のレンダリングとすることは適格な選択である。

レンダリングにより得られたアバターの画像データは、通信インターフェース３４５、インターネット通信網６０、６５、６６を経由してコンテンツ配信サーバ４０へ伝送される（ステップＳ４０４、Ｓ５０１）。

コンテンツ配信サーバ４０は伝送されたアバターの画像を、そのままかあるいは適切な背景をつけるなど加工を行い、インターネット通信網６０、６１、６６経由で演者視認用ディスプレイ２１ｄへ送出して描画をさせる（ステップＳ５０２）。

図５図示のフローチャートに示す通り、以上説明をした各処理は、終了操作を待つ判断ステップＳ４０５，Ｓ５０３において終了操作が検知されない限り繰り返されるので、演者視認用ディスプレイ２１ｄに描画がなされるアバターの画像は繰り返し更新がされることとなり、この結果、演者２０は、アバターの画像の動画を閲覧することが可能となる。

この時、演者２０は、演者用表示スタンドユニット２１を見て、あたかも現実の対話者のごとくに話をしたり視線を合わせたりしているシーンが、先に説明をした置換前のシーン撮影画像７０であるので、置換後のコンテンツ画像７３を視認する閲覧ユーザーは、まるで演者２０がアバターと本当に相対して会話をしているような感覚を得ることができ、この結果、本実施形態によれば、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる。

あるいは、演者２０が直接アバターの方向を向いていない態様の描画においても、演者２０はあたかも演者視認用ディスプレイ２１ｄの位置にアバターが存在するように会話や演技を行うことができ、その様な態様においても、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる。

それゆえに、現実の演者とアバターとが同じ画面に描画するようにして、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを視聴者である閲覧ユーザーは十分に楽しむことが可能となる。

なお、演者視認用ディスプレイ２１ｄには、上記実施態様のようにアバターの画像２１ｅ以外にも、被撮影者が読むために作成された指示コメント（いわゆる「カンニングペーパー」、「カンペ」）や、番組のディレクターなどスタッフの画像（図示しない）や音声、を表示したり付属のスピーカーで発声するようにしてもよい。

〔ユーザー投稿情報の表示〕
以上に説明した実施形態のほかに、あるいはこの構成に加えて、次のような構成としてもよい。

インターネット通信網などを用いて生で放送を行うコンテンツなどを閲覧者（図示しない）が楽しむ方法として、コンテンツの感想や閲覧者のつぶやきなど（以下、「コメント」ともいう）を、閲覧者のパーソナルコンピュータ５０で入力操作して送信し、入力したこれらコメントをリアルタイムに、他の閲覧者使用端末（図示しない）で表示を行えば、コメントを書き込んだ閲覧者は自分の発言を他の閲覧者へ知らせることができるし、他人が書いたコメントを読む閲覧者は、自分が該当するコンテンツを閲覧して楽しむほかに他の閲覧者の考えや感想も知ることができるので、あたかも一つの会場に会してコンサートやイベントを楽しむような、疑似的な（バーチャルな）同時参加の感覚や連帯感を得ることができる。

その際に、本システム１では、いずれかの閲覧者が投稿したコメントを、コンテンツ配信サーバ４０を経由して演者視認用ディスプレイ２１ｄや、アバターの操作者視認用ディスプレイ３３ｄの少なくともいずれかにも表示されるように構成することができる。この結果、コメントを読んだ演者２０あるいはアバターの操作者３０は、上に述べた同時参加の感覚や連帯感を得て、よりリアルな演技や応答、アバターの操作が可能となる。

〔コンテンツ配信受信システム１における音声の取り扱い〕
先に説明をしたように、本実施形態にかかるコンテンツ配信受信システム１は、あたかも演者２０とアバターとが現実の空間内に一緒に存在しているかのようなコンテンツ画像７３を生成することができる。よりリアル感を増すために、このようなコンテンツ画像７３とともに、演者２０の発話音声、およびアバターの発話音声を例えばアバター操作者３０の発話で代替した音声、を放送に加えることは自然な発想であり、また重要な点である。そのために本システム１は、演者の発話を拾うための演者発話用マイク２１ｂや、アバター操作者３０の発話を拾うためのアバターの操作者撮影用マイク３３ｂを有しており、また演者２０の発話をアバター操作者３０が聴取するためのアバターの操作者聴取用スピーカー３３ｃや、アバター操作者３０の発話を演者２０が聴取するための演者聴取用スピーカー２１ｃが備えられており、これらを用いた音声信号の伝送は、先に説明をした各動画像の伝送にかかわる実施態様から明らかであるので、繰り返しとなる説明は避けることとする。

なお、本実施形態は放送コンテンツに関するものであるので、この放送が生放送である場合については、演者２０の発話音声や、アバターの発話音声を例えばアバター操作者３０の発話で代替した音声は、この生放送を視聴する汎用のパーソナルコンピュータでも発音することができるので、先に説明をした各スピーカー２１ｃ、３３ｃに代えて、汎用パーソナルコンピュータ付属するかまたは接続するスピーカーを利用してもよい。

同様に、演者２０を演者撮影用カメラ２１ａで撮影した画像３３ｅが、アバターの操作者視認用ディスプレイ３３ｄに描画がされれば、アバター操作者３０もまた、あたかも演者２０が目の前で相対しているような感覚でアバターの操作が行えるので、発明の効果をより向上させることができる。

〔変形例〕
以上説明をした本実施形態にかかるコンテンツ配信受信システム１は、以上に説明をした構成に限ることはなく種々の変形が可能であり、いずれも本発明が包含をする。

例えば、演者視認用ディスプレイ２１ｄを省略して、演者２０はアバター操作者３０の画像は視認しないながらもアバター操作者３０の音声のみを聴取して対話を行うようにしてもよいし、その様なシステムでは構成がよりシンプルとなり、コスト低減や信頼性向上が実現する。

あるいは、演者用表示スタンドユニット２１を用いるのではなく、単なる置物やぬいぐるみ、すなわちダミーの物体を配置して、演者２０が対話の動作を行い、先に説明をした置換と同じ処理によりダミー物体の表示部分をアバターの画像で置換して、コンテンツ画像７３を生成して閲覧に供するようにしてもよい。この場合、演者２０は、生放送であれば、この生放送の画像や音声によってアバターの動きや発話を認識できるので、同様に自然な感覚でアバターと演者２０とが同じ画面に描画された放送を閲覧ユーザーが楽しむことができ、その様なシステムもまた構成がよりシンプルとなり、コスト低減や信頼性向上が実現する。このように、演者２０が生放送の映像や音声を送出するパーソナルコンピュータ（図示しない）を自分も視聴しながら演じることとなり、パーソナルコンピュータはダミー物体（置物やぬいぐるみなど）の近傍に置かれていても、離れた場所に置かれていてもよく、このパーソナルコンピュータがシーン撮影用カメラ撮影ゾーン２３に含まれるようにしても、含まれないようにしてもよい。さらに、このパーソナルコンピュータ自身を、アバターの画像に描画が置き換えられるダミー物体として用いてもよい。

（発明の効果の説明）
放送などコンテンツにおいて、現実の演者とアバターとが同じ画面に描画するようにして、リアルな現場にはあり得ない人工的なキャラクターがいることの意外さや面白さ、あるいは仮想的で人工的であるはずのアバターにリアル感を付加する面白さ、などを視聴者は十分に楽しむことができるとともに、現実の演者と人工的（仮想的）なキャラクターであるアバターとが一緒に登場するシーンにおける不自然さを解消することができる、コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム、コンテンツ配信用サーバ、および伝送路を本発明は提供する。
本発明は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

１ コンテンツ配信受信システム
２ 演者撮影現場
３ アバター操作スタジオ
４ コンテンツ配信業者
５ コンテンツ閲覧者宅
２０ 演者
２１ 演者用表示スタンドユニット
２１ａ 演者撮影用カメラ
２１ｂ 演者発話用マイク
２１ｃ 演者聴取用スピーカー
２１ｄ 演者視認用ディスプレイ
２１ｅ アバターの画像
２１ｆ スタンド
２２ シーン撮影用カメラ
２３ シーン撮影用カメラ撮影ゾーン
３０ アバターの操作者
３１ モーションキャプチャー用光学マーカー
３２ モーションキャプチャー用カメラ
３３ アバターの操作者用表示スタンドユニット
３３ａ タリーランプ
３３ｂ アバターの操作者撮影用マイク
３３ｃ アバターの操作者聴取用スピーカー
３３ｄ アバターの操作者視認用ディスプレイ
３３ｅ 演者の画像
３３ｆ スタンド
３４ アバター変更ユニット
３４０ 制御ユニット
３４１ メモリ
３４１ａ プログラムメモリ
３４１ｂ アバターデータメモリ
３４１ｃ 一時メモリ
３４２ データバスライン
３４３ モーショントラッカ
３４４ レンダリング部
３４５ 通信インターフェース
４０ コンテンツ配信サーバ
４１ 制御ユニット
４２ メモリ
４２ａ プログラムメモリ
４２ｂ テンプレート画像メモリ
４２ｃ 一時メモリ
４３ データバスライン
４４ テンプレート画像トラッカ
４５ コンテンツ画像生成部
４６ 通信インターフェース
５０ パーソナルコンピュータ
５０ａ パーソナルコンピュータディスプレイ
５０ｂ シーン中の演者の画像
５０ｃ シーン中のアバターの画像
６０、６１、６２、６３、６４、６５、６６、６７ インターネット通信網

Claims (13)

1. 被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信システムであって、
   前記被撮影者とダミー物体とが一つのシーンに収まるよう撮影を行うシーン撮影用カメラ部、
   前記撮影がなされたシーン中の前記ダミー物体の画像を、前記仮想的キャラクターの画像へ置換をして配信する画像置換部、
   を備えたことを特徴とする、コンテンツ配信システム。
2. 前記ダミー物体は、前記仮想的キャラクターの画像を表示するディスプレイを備えることを特徴とする、請求項１に記載のコンテンツ配信システム。
3. 前記画像置換部が配信する画像における、置換がなされた前記仮想的キャラクターの画像は、前記ダミー物体が備えるディスプレイに表示された仮想的キャラクターの画像とは異なる態様であることを特徴とする、請求項２に記載のコンテンツ配信システム。
4. 前記異なる態様は、異なる視点に基づくことを特徴とする、請求項３に記載のコンテンツ配信システム。
5. 前記ダミー物体は、前記シーン撮影用カメラ部とは異なる位置から前記被撮影者を撮影するカメラ及び／または前記被撮影者の音声を拾うマイクロフォンを有することを特徴とする、請求項１乃至４のいずれか１項に記載のコンテンツ配信システム。
6. 前記仮想的キャラクターの外観表示態様を変更操作する操作部と、前記カメラおよび／またはマイクロフォンが収集した情報を表示する前記仮想的キャラクターの外観表示態様操作用表示部と、をさらに有することを特徴とする、請求項５に記載のコンテンツ配信システム。
7. 前記操作部は、前記ディスプレイに表示される前記仮想的キャラクターの外観表示態様、および／または、前記画像置換部が配信する画像中の前記仮想的キャラクターの画像の外観表示態様を変更操作するよう構成されたことを特徴とする、請求項６に記載のコンテンツ配信システム。
8. 前記画像置換部の配信画像を含んだコンテンツを通信路経由で放送する放送送信部と、前記放送中のコンテンツの画面中に表示させるユーザー投稿情報を受け付ける受信部とをさらに備え、且つ、前記ユーザー投稿情報は、前記仮想的キャラクターの画像を表示するディスプレイにもまた表示がなされるよう構成されたことを特徴とする、請求項２乃至７のいずれか１項に記載のコンテンツ配信システム。
9. 前記画像置換部の配信画像を含んだコンテンツを通信路経由で放送する放送送信部と、前記放送中のコンテンツの画面中に表示させるユーザー投稿情報を受け付ける受信部とをさらに備え、且つ、前記ユーザー投稿情報は、前記仮想的キャラクターの外観表示態様操作用表示部にもまた表示がなされるよう構成されたことを特徴とする、請求項６乃至８のいずれか１項に記載のコンテンツ配信システム。
10. 被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信方法であって、
    シーン撮影用カメラ部が、前記被撮影者とダミー物体とが一つのシーンに収まるよう撮影を行うステップ、
    画像置換部が、前記撮影がなされたシーン中の前記ダミー物体の画像を、前記仮想的キャラクターの画像へ置換をして配信するステップ、
    を備えたことを特徴とする、コンテンツ配信方法。
11. 請求項１０に記載のコンテンツ配信方法における各ステップをコンピュータが実行するコード群を含んだことを特徴とする、コンピュータプログラム。
12. 被撮影者を、仮想的キャラクターとともに一つのシーン中に表示して配信する、コンテンツ配信用サーバであって、
    前記被撮影者とダミー物体とが一つのシーンに収まるよう撮影がなされたシーン中の前記ダミー物体の画像を、前記仮想的キャラクターの画像へ置換をして配信するよう構成されたことを特徴とする、コンテンツ配信用サーバ。
13. 請求項１２に記載のコンテンツ配信用サーバが前記配信を行った信号を伝送する伝送路。

Images