JP2003284067A - 映像中継システム並びに映像送信装置及びそのプログラム並びに映像受信装置及びそのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 映像信号の符号化側の装置に負荷をかけず
に、画像劣化を低減させる映像中継システムを提供す
る。 【解決手段】 映像中継システム１は、背景映像符号化
手段２１、符号化背景映像送信手段２２、領域情報受信
手段２３、指定映像抽出手段２４、指定映像符号化手段
２５及び符号化指定映像送信手段２６を備える映像送信
装置２と、領域指定手段３０、領域情報送信手段３１、
符号化背景映像受信手段３３、背景映像復号化手段３
４、背景映像蓄積手段３５、符号化指定映像受信手段３
６、指定映像復号化手段３７及び映像合成手段３８を備
える映像受信装置３からなり、予め映像送信装置２から
映像全体を背景映像として映像受信装置３に送信してお
き、後から人物領域等の重要度の高い領域のみを時系列
に送信し、映像受信装置３で、先に受信した背景映像と
合成することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号の符号化
伝送技術に関し、特に、ビットレートが低い場合でも画
像劣化を軽減する映像中継システム並びに映像送信装置
及びそのプログラム並びに映像受信装置及びそのプログ
ラムに関する。

【０００２】

【従来の技術】従来、映像符号化方式としては、国際標
準化機関であるＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／
ＷＧ１１で標準化されたＩＳＯ／ＩＥＣ １３８１８
（ＭＰＥＧ−２）や、ＩＳＯ／ＩＥＣ １４４９６（Ｍ
ＰＥＧ−４）等がある。このＭＰＥＧ−２は、入力画像
を１６×１６画素（マクロブロック）の単位で、動き補
償予測を行い、この動き補償予測された画像と入力画像
との差分を、８×８画素のブロックに分割し、離散コサ
イン変換（ＤＣＴ：Discrete Cosine Transform）を行
う。ここで生成される変換係数を量子化し、符号化を行
うことで動画像を圧縮した符号化データが生成される。

【０００３】このように、ＤＣＴ等の直交変換を使用し
た符号化では、ブロック単位で符号化処理を行うため、
量子化による歪みがブロック境界で不連続として検知さ
れる、いわゆるブロック歪みや、高周波成分を粗く量子
化することで発生するモスキート歪み等の符号化歪みが
発生することがある。このような画質劣化を改善する手
法は、画像の動き等の特徴に基づいて符号量のビットの
配分を変更する方法等、種々提案されている。また、Ｍ
ＰＥＧ−４は、画像をオブジェクト毎に分けて符号化を
行うことができるため、通信回線等の伝送路のビットレ
ートが低い場合でも画像劣化を抑えた映像伝送を行うこ
とができる。

【０００４】

【発明が解決しようとする課題】しかし、遠隔地で撮影
した映像を映像送信装置で符号化して伝送し、その伝送
されたデータを、放送局の映像受信装置で復号して映像
を再生する映像中継放送のような形態において、例え
ば、衛星電話を用いて遠隔地から映像を映像受信装置に
伝送する場合、伝送に確保できるビットレートは６４ｋ
ｂｐｓ程度と低い。そのため、符号化された映像には著
しい画像劣化が生じ、前記従来の技術において、この画
像劣化を改善しようとすると、その改善手法の処理が高
度になればなるほど映像送信装置の演算量が増加し、映
像送信装置のハードウェア量、消費電力及び符号化を行
うための遅延時間が増大する。

【０００５】これは、ＭＰＥＧ−４のように画像をオブ
ジェクト毎に分けて符号化を行う場合においても同様
で、画像を意味内容に応じてオブジェクトに分割するに
は多くの演算量が必要となり、映像送信装置のハードウ
ェア量、消費電力及び符号化を行うための遅延時間が増
大する。

【０００６】このハードウェア量及び消費電力の増大
は、例えば、遠隔地から映像を伝送する場合、搬入する
機材が増えるとともに、現地で多くの電力を確保しなけ
ればならないという問題がある。また、符号化を行うた
めの遅延時間の増大は、例えば、映像を送信する側の人
間と、映像を受信する側の人間とが互いに話をする場
合、時間のずれが発生するため、うまくかみ合わないと
いう問題がある。

【０００７】本発明は、以上のような問題点に鑑みてな
されたものであり、映像送信装置の負荷を軽減させ、且
つ、画像劣化を低減させる映像中継システム並びに映像
送信装置及びそのプログラム並びに映像受信装置及びそ
のプログラムを提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は、前記目的を達
成するために創案されたものであり、まず、請求項１に
記載の映像中継システムは、以下の構成にかかるものと
した。すなわち、撮影範囲を固定した固定カメラで撮影
した映像を中継する映像中継システムにおいて、映像を
符号化して送信する映像送信装置を、固定カメラで撮影
した撮影領域全体の映像を背景映像として符号化した符
号化背景映像を映像受信装置へ送信する背景映像符号化
送信手段と、映像受信装置から、固定カメラで撮影した
映像の特定の領域を指定するための少なくとも位置及び
大きさを含んだ領域情報を受信する領域情報受信手段
と、その領域情報に基づいて、固定カメラで撮影した撮
影領域の映像から指定された領域の指定映像を抽出する
指定映像抽出手段と、この指定映像抽出手段で抽出され
た指定映像を符号化した符号化指定映像を映像受信装置
へ送信する指定映像符号化送信手段と、を備える構成と
した。

【０００９】さらに、映像受信装置を、領域情報を指定
するための領域指定手段と、この領域指定手段で指定さ
れた領域情報を映像送信装置へ送信する領域情報送信手
段と、映像送信装置から送信される符号化背景映像を受
信して復号化を行う符号化背景映像受信復号化手段と、
映像送信装置から送信される符号化指定映像を受信して
復号化を行う符号化背景映像受信復号化手段と、符号化
背景映像受信復号化手段で復号化された背景映像と、符
号化背景映像受信復号化手段で復号化された指定映像と
を合成する映像合成手段と、を備える構成とした。

【００１０】かかる構成によれば、映像中継システム
は、映像送信装置の背景映像符号化送信手段によって、
固定カメラで撮影した撮影領域全体の映像を背景映像と
して、予め映像受信装置へ符号化して送信しておく。そ
して、映像受信装置の領域指定手段によって指定された
固定カメラで撮影した映像の位置及び大きさを含んだ領
域情報を映像送信装置に送信することで、映像送信装置
の指定映像抽出手段によって、固定カメラで撮影した撮
影領域の映像から、その指定された領域の指定映像を抽
出し、指定映像符号化送信手段によって、その指定映像
を時系列に映像受信装置へ符号化して送信する。そし
て、映像受信装置では、先に受信して復号化した背景映
像と、時系列に送信されてくる符号化指定映像を受信し
て復号化した指定映像とを、映像合成手段によって合成
することで映像を再生する。

【００１１】なお、ここでいう背景映像とは、固定カメ
ラで撮影した撮影領域全体の映像であって、動きが少な
く静止画として扱うことができるものである。これによ
って、映像受信装置で再生された映像は、静止画である
背景映像上の指定された領域のみが逐次更新される。

【００１２】また、請求項２に記載の映像送信装置は、
撮影範囲を固定した固定カメラで撮影した撮影領域全体
の映像である背景映像と、外部から指定される少なくと
も位置及び大きさを含んだ領域情報に基づいて、固定カ
メラで撮影した映像から前記指定された領域を抽出した
指定映像とを個別に符号化して送信する映像送信装置で
あって、背景映像を符号化する背景映像符号化手段と、
この背景映像符号化手段で符号化した符号化背景映像を
映像受信装置へ送信する符号化背景映像送信手段と、領
域情報に基づいて、固定カメラで撮影した映像から指定
映像を抽出する指定映像抽出手段と、この指定映像抽出
手段で抽出した指定映像を符号化する指定映像符号化手
段と、この指定映像符号化手段で符号化した符号化指定
映像を映像受信装置へ送信する符号化指定映像送信手段
と、を備える構成とした。

【００１３】かかる構成によれば、映像送信装置は、背
景映像符号化手段によって、固定カメラで撮影した静止
画として扱うことができる映像を背景映像として符号化
し、符号化背景映像送信手段によって、予めその符号化
された符号化背景映像を映像受信装置へ送信しておく。
そして、外部から指定される位置及び大きさを含んだ領
域情報に基づいて、指定映像抽出手段が固定カメラで撮
影した映像から指定映像を抽出し、その指定映像を指定
映像符号化手段によって符号化し、その符号化された符
号化指定映像を符号化指定映像送信手段によって時系列
に映像受信装置へ送信する。

【００１４】これによって、この映像送信装置から符号
化背景映像と符号化指定映像とを受信した映像受信装置
は、符号化背景映像を復号化した背景映像を固定的に使
用して、その背景映像上に時系列に送信されてくる符号
化指定映像を復号化し合成することで、映像を再生する
ことができる。

【００１５】さらに、請求項３に記載の映像送信プログ
ラムは、撮影範囲を固定した固定カメラで撮影した撮影
領域全体の映像である背景映像と、外部から指定される
少なくとも位置及び大きさを含んだ領域情報に基づい
て、前記固定カメラで撮影した映像から前記指定された
領域を抽出した指定映像とを個別に符号化して送信する
ために、コンピュータを、以下の手段により機能させる
構成とした。

【００１６】すなわち、背景映像を符号化する背景映像
符号化手段、この背景映像符号化手段で符号化した符号
化背景映像を映像受信装置へ送信する符号化背景映像送
信手段、領域情報に基づいて、固定カメラで撮影した映
像から指定映像を抽出する指定映像抽出手段、この指定
映像抽出手段で抽出した指定映像を符号化する指定映像
符号化手段、この指定映像符号化手段で符号化した符号
化指定映像を映像受信装置へ送信する符号化指定映像送
信手段とした。

【００１７】かかる構成によれば、映像送信プログラム
は、背景映像符号化手段によって、固定カメラで撮影し
た静止画として扱うことができる映像を背景映像として
符号化し、符号化背景映像送信手段によって、予めその
符号化された符号化背景映像を映像受信装置へ送信して
おく。そして、外部から指定される位置及び大きさを含
んだ領域情報に基づいて、指定映像抽出手段が固定カメ
ラで撮影した映像から指定映像を抽出し、その指定映像
を指定映像符号化手段によって符号化し、その符号化さ
れた符号化指定映像を符号化指定映像送信手段によって
時系列に映像受信装置へ送信する。

【００１８】これによって、この映像送信装置から符号
化背景映像と符号化指定映像とを受信した映像受信装置
は、符号化背景映像を復号化した背景映像を固定的に使
用して、その背景映像上に時系列に送信されてくる符号
化指定映像を復号化し合成することで、映像を再生する
ことができる。

【００１９】また、請求項４に記載の映像受信装置は、
撮影範囲を固定した固定カメラで撮影した撮影領域全体
の映像である背景映像を符号化した符号化背景映像と、
固定カメラで撮影した映像から予め指定した領域を抽出
した指定映像を符号化した符号化指定映像とを、映像送
信装置から個別に受信して映像を再生する映像受信装置
であって、映像送信装置から送信される符号化背景映像
を受信する符号化背景映像受信手段と、この符号化背景
映像受信手段で受信した符号化背景映像を復号化する背
景映像復号化手段と、この背景映像復号化手段で復号化
された背景映像を蓄積する背景映像蓄積手段と、映像送
信装置から送信される符号化指定映像を受信する符号化
指定映像受信手段と、この符号化指定映像受信手段で受
信した符号化指定映像を復号化する指定映像復号化手段
と、この指定映像復号化手段で復号化された指定映像
と、背景映像蓄積手段に蓄積されている背景映像とを合
成する映像合成手段と、を備える構成とした。

【００２０】かかる構成によれば、映像受信装置は、符
号化背景映像受信手段によって、静止画として扱うこと
ができる背景映像を符号化した符号化背景映像を受信し
て、背景映像復号化手段によって、その符号化背景映像
を復号して背景映像蓄積手段に蓄積しておく。また、符
号化指定映像受信手段によって、符号化指定映像を時系
列に受信して、指定映像復号化手段によって、その符号
化指定映像を復号する。そして、映像受信装置は、背景
映像蓄積手段に蓄積してある背景映像を固定的に使用し
て、映像合成手段によって、その背景映像上に時系列に
送信されてくる指定映像を合成することで映像を再生す
る。

【００２１】さらに、請求項５に記載の映像受信装置
は、請求項４に記載の映像受信装置において、固定カメ
ラで撮影される映像から前記指定映像を抽出するため
の、少なくとも位置及び大きさを含んだ領域情報を指定
する領域指定手段と、この領域指定手段で指定された領
域情報を映像送信装置へ送信する領域情報送信手段と、
を備える構成とした。

【００２２】かかる構成によれば、映像受信装置は、映
像送信装置に接続された固定カメラで撮影される映像の
中で、人物等の動きのある領域あるいは逐次映像を更新
する必要のある領域を領域指定手段によって指定し、領
域情報送信手段によって、その指定領域を示す領域情報
を映像送信装置に通知する。そして、映像送信装置が、
映像受信装置からの指示に基づいて、固定カメラで撮影
される映像から指定映像を抽出して映像受信装置に送信
する。

【００２３】また、請求項６に記載の映像受信プログラ
ムは、撮影範囲を固定した固定カメラで撮影した撮影領
域全体の映像である背景映像を符号化した符号化背景映
像と、前記固定カメラで撮影した映像から予め指定した
領域を抽出した指定映像を符号化した符号化指定映像と
を、映像送信装置から個別に受信して映像を再生するた
めに、コンピュータを、以下の手段により機能させる構
成とした。

【００２４】すなわち、映像送信装置から送信される符
号化背景映像を受信する符号化背景映像受信手段、この
符号化背景映像受信手段で受信した前記符号化背景映像
を、前記背景映像に復号化して背景映像蓄積手段に蓄積
する背景映像復号化手段、映像送信装置から送信される
前記符号化指定映像を受信する符号化指定映像受信手
段、この符号化指定映像受信手段で受信した前記符号化
指定映像を復号化する指定映像復号化手段、この指定映
像復号化手段で復号化された指定映像と、背景映像蓄積
手段に蓄積されている背景映像とを合成する映像合成手
段とした。

【００２５】かかる構成によれば、映像受信プログラム
は、符号化背景映像受信手段によって、静止画として扱
うことができる背景映像を符号化した符号化背景映像を
受信して、背景映像復号化手段によって、その符号化背
景映像を復号化して背景映像蓄積手段に蓄積しておく。
また、符号化指定映像受信手段によって、符号化指定映
像を時系列に受信して、指定映像復号化手段によって、
その符号化指定映像を復号化する。そして、映像受信装
置は、背景映像蓄積手段に蓄積してある背景映像を固定
的に使用して、映像合成手段によって、その背景映像上
に時系列に送信されてくる指定映像を合成することで映
像を再生する。

【００２６】さらに、請求項７に記載の映像受信プログ
ラムは、請求項６に記載の映像受信プログラムにおい
て、固定カメラで撮影される映像から前記指定映像を抽
出するための、少なくとも位置及び大きさを含んだ領域
情報を指定する領域指定手段、この領域指定手段で指定
された領域情報を映像送信装置へ送信する領域情報送信
手段、として機能させる構成とした。

【００２７】かかる構成によれば、映像受信プログラム
は、映像送信装置に接続された固定カメラで撮影される
映像の中で、人物等の動きのある領域あるいは逐次映像
を更新する必要のある領域を領域指定手段によって指定
し、領域情報送信手段によって、その指定領域を示す領
域情報を映像送信装置に通知する。そして、映像送信装
置が、映像受信装置からの指示に基づいて、固定カメラ
で撮影される映像から指定映像を抽出して映像受信装置
に送信する。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２９】（映像中継システムの構成）図１は、映像
中継システムの全体構成を示す概略のブロック図であ
る。図１に示すように、映像中継システム１は、映像送
信装置２と、映像受信装置３とを伝送路５を介して接続
する構成とした。

【００３０】この映像中継システム１は、映像送信装置
２によって、撮影範囲を固定した固定カメラ７で撮影し
た撮影領域全体の動きのない静止した背景映像を、予め
映像受信装置３へ送信し、その後に、前記固定カメラの
撮影領域の中で人物領域等の動きのある領域として映像
受信装置３から指定された指定映像を順次時系列に映像
受信装置３へ送信し、映像受信装置３によって、予め受
信した前記背景映像に前記指定映像を順次合成すること
で、遠隔地からの映像を中継するシステムである。

【００３１】また、この中継に使用する伝送路５は、例
えば、通信衛星を利用する衛星電話を用いた無線通話路
とすることができる。なお、遠隔地に配置された映像送
信置２が、固定的に利用される場合は、伝送路５とし
て、ＩＳＤＮ回線や、専用回線等を用いる形態であって
もよい。

【００３２】ここで、図１及び図４を参照して、背景映
像と指定映像の関係について説明する。図４（ａ）は、
固定カメラ７で撮影した撮影領域全体の画像（中継映
像）を表わしている。また、図４（ｂ）は図４（ａ）の
背景領域を表わす背景映像を表わし、図４（ｃ）は図４
（ａ）の中で人物領域のみを指定して抽出した指定映像
を表わしている。

【００３３】例えば、映像送信装置２を遠隔地に設置
し、映像受信装置３を放送局に設置した映像中継システ
ム１において、遠隔地から映像を送信する場合、カメラ
（固定カメラ７）を固定し、登場人物を例えば画面の中
央に配置して、大きな動きがない図４（ａ）のような構
図がしばしば用いられる。このような構図においては、
登場人物の背景は静止しているものとして扱うことがで
き、登場人物のみが動いているとみなすことができる。

【００３４】そこで、この映像中継システム１は、図４
（ｂ）の静止画である背景映像を予め映像送信装置２か
ら映像受信装置３へ送信しておき、図４（ｃ）の動きの
ある領域（指定映像）のみを、順次時系列に映像送信装
置２から映像受信装置３へ送信し、映像受信装置３によ
って、予め受信した背景領域と時系列に送信されてくる
指定映像とを合成するものである。次に、図２及び図３
を参照して、映像中継システム１を構成する映像送信装
置２及び映像受信装置３について詳細に説明する。

【００３５】（映像送信装置の構成）まず、図２を参照
して映像送信装置２の構成について説明する。図２は、
図１に示した映像中継システム１の映像送信装置２の構
成を示すブロック図である。図２に示すように映像送信
装置２は、切替え手段２０、２７と、背景映像符号化手
段２１と、符号化背景映像送信手段２２と、領域情報受
信手段２３と、指定映像抽出手段２４と、指定映像符号
化手段２５と、符号化指定映像送信手段２６とを備える
構成とした。この映像送信装置２は、固定カメラ７で撮
影した撮影領域全体の映像（背景映像）と、固定カメラ
７で撮影した撮影領域の中で映像受信装置３から指示さ
れる指定領域（領域情報）の映像（指定映像）とを、切
替えて送信する装置である。

【００３６】切替え手段２０、２７は、固定カメラ７で
撮影した背景映像又は固定カメラ７で撮影した映像から
抽出される指定映像の入出力経路を切替えるものであ
る。この切替え手段２０は、固定カメラ７から入力され
る映像を後記する背景映像符号化手段２１又は指定映像
抽出手段２４に切替えるものである。また、切替え手段
２７は、後記する符号化背景映像送信手段２２及び符号
化指定映像送信手段２６の出力を切替えるものである。

【００３７】この切替え手段２０、２７は、手動によっ
てスイッチ等で切替える形態であっても構わないし、映
像受信装置３から通知される指定映像の領域を指定する
ための領域情報に切替え情報を付加して、その切替え情
報に基づいて入出力の切替えを行う形態であっても構わ
ない。

【００３８】背景映像符号化手段２１は、固定カメラ７
から入力される映像（映像信号）を背景映像として符号
化し、符号化背景映像として出力するものであり、例え
ば、ＭＰＥＧ−２により符号化を行う。この背景映像符
号化手段２１で符号化された符号化背景映像は、符号化
背景映像送信手段２２へ出力される。

【００３９】なお、この背景映像は、例えば映像を中継
放送する場合、予め中継放送前に送信されるもので、リ
アルタイム（実時間）で送信される必要はない。このた
め、背景映像符号化手段２１における符号化では、背景
映像を高画質、高解像度で符号化することができる。

【００４０】符号化背景映像送信手段２２は、背景映像
符号化手段２１で符号化された符号化背景映像を、伝送
路５を介して映像受信装置３へ送信するものである。な
お、この符号化背景映像送信手段２２における符号化背
景映像の送信では、リアルタイム伝送を行う必要はな
い。なお、背景映像符号化手段２１と符号化背景映像送
信手段２２とで、背景映像符号化送信手段を構成してい
る。

【００４１】領域情報受信手段２３は、指定映像の領域
の位置及び大きさを表わす領域情報を、伝送路５を介し
て映像受信装置３から受信するものである。この領域情
報受信手段２３で受信した領域情報は、指定映像抽出手
段２４へ通知される。

【００４２】指定映像抽出手段２４は、固定カメラ７か
ら入力される映像（映像信号）から、領域情報受信手段
２３から通知される領域情報に基づいて指定された領域
の映像（指定映像）を抽出するものである。なお、指定
映像抽出手段２４は、領域情報受信手段２３から通知さ
れる領域情報を、図示していないメモリ等の記憶手段に
記憶して、時系列に入力される映像から逐次その領域情
報を参照しながら指定映像を抽出する。ここで抽出され
た指定映像は、指定映像符号化手段２５へ出力される。

【００４３】指定映像符号化手段２５は、指定映像抽出
手段２４から入力される指定映像を符号化し、符号化指
定映像として出力するものであり、例えば、ＭＰＥＧ−
４により符号化を行う。この指定映像符号化手段２５で
符号化された符号化指定映像は、符号化指定映像送信手
段２６へ出力される。

【００４４】なお、指定映像は、映像中継においてリア
ルタイム（実時間）で送信される必要がある。このた
め、伝送路５のビットレートが低い場合、指定映像符号
化手段２５では符号量を減らして符号化を行う。ただ
し、この場合でも、固定カメラ７で撮影した映像をすべ
て符号化する場合に比べて、単位面積あたりの符号量を
多くとることができるので、画像の劣化を抑えることが
できる。

【００４５】符号化指定映像送信手段２６は、指定映像
符号化手段２５で符号化された符号化指定映像を、伝送
路５を介して映像受信装置３へ送信するものである。な
お、指定映像符号化手段２５と符号化指定映像送信手段
２６とで、指定映像符号化送信手段を構成している。

【００４６】以上、本発明に係る映像送信装置２の構成
について説明したが、映像送信装置２は、コンピュータ
において各手段を各機能プログラムとして実現すること
も可能であり、各機能プログラムを結合して映像送信プ
ログラムとして動作させることも可能である。

【００４７】（映像受信装置の構成）次に、図３を参照
して映像受信装置３の構成について説明する。図３は、
図１に示した映像中継システム１の映像受信装置３の構
成を示すブロック図である。図３に示すように映像受信
装置３は、領域指定手段３０と、領域情報送信手段３１
と、切替え手段３２と、符号化背景映像受信手段３３
と、背景映像復号化手段３４と、背景映像蓄積手段３５
と、符号化指定映像受信手段３６と、指定映像復号化手
段３７と、映像合成手段３８とを備える構成とした。こ
の映像受信装置３は、映像送信装置２から送信される背
景映像と指定映像とを合成して映像を生成するものであ
り、さらに、この指定映像の領域を映像送信装置２に対
して指示を行う装置である。

【００４８】領域指定手段３０は、外部の入力手段（図
示せず）から入力される位置及び大きさを示す領域情報
に基づいて、遠隔地の固定カメラ７で撮影された映像内
における、人物領域等の指定映像の位置及び大きさを指
定するものである。この領域指定手段３０は、後記する
背景映像復号化手段３４から背景映像を入力し、その背
景映像を外部の表示手段（図示せず）で領域を確認しな
がら、指定映像の位置及び大きさを指定する。例えば、
表示手段に背景映像と重畳して表示したマウス等の指示
位置を示すカーソルによって、映像受信装置３の操作者
が矩形領域を選択することで指定映像の位置及び大きさ
を指定することができる。

【００４９】なお、この場合の背景映像は、人物等を配
置した静止画とすることで、指定領域の設定を視覚に基
づいて容易に行うことができる。ここで指定された領域
情報は、領域情報送信手段３１及び映像合成手段３８へ
通知される。

【００５０】領域情報送信手段３１は、領域指定手段３
０で指定された領域情報を、伝送路５を介して遠隔地に
配置された映像送信装置２に送信するものである。な
お、ここで使用する伝送路５は、映像の伝送に電話回線
等の双方向の通信回線を利用すれば、この領域情報を送
信するために新たな伝送路を確保する必要はない。

【００５１】切替え手段３２は、映像送信装置２から送
信されてくる背景映像を符号化した符号化背景映像又は
指定映像を符号化した符号化指定映像の入出力経路を切
替えるものである。この切替え手段３２は、映像送信装
置２から送信される情報が、符号化背景映像の場合は、
符号化背景映像受信手段３３へ出力を切替えておき、符
号化指定映像の場合は、符号化指定映像受信手段３６へ
出力を切替えておくものである。

【００５２】この切替え手段３２は、手動によってスイ
ッチ等で切替える形態であっても構わないし、領域指定
手段３０で指定される指定映像の領域を指定するための
領域情報に切替え情報を付加して、その切替え情報に基
づいて入出力の切替えを行う形態であっても構わない。

【００５３】符号化背景映像受信手段３３は、符号化背
景映像を、伝送路５を介して映像送信装置２から受信す
るものである。なお、この符号化背景映像受信手段３３
における符号化背景映像の受信では、リアルタイム伝送
を行う必要はない。ここで受信した符号化背景映像は、
背景映像復号化手段３４に出力される。

【００５４】背景映像復号化手段３４は、符号化背景映
像受信手段３３から入力される符号化背景映像を復号し
て背景映像として出力するものである。この背景映像復
号化手段３４は、映像送信装置２の背景映像符号化手段
２１（図２参照）で用いた符号化方式、例えば、ＭＰＥ
Ｇ−２に基づいた復号処理を行う。この復号された背景
映像は、背景映像蓄積手段３５に蓄積される。

【００５５】背景映像蓄積手段３５は、背景映像復号化
手段３４で復号化された背景映像を蓄積しておくための
蓄積手段であり、一般的なハードディスクやメモリ等で
構成されている。ここに蓄積された符号化背景映像は、
映像合成手段３８によって読み出される。なお、符号化
背景映像受信手段３３と背景映像復号化手段３４と背景
映像蓄積手段３５とで、符号化背景映像受信復号化手段
を構成している。

【００５６】符号化指定映像受信手段３６は、符号化指
定映像を、伝送路５を介して映像送信装置２から受信す
るものである。この符号化指定映像受信手段３６で受信
した符号化指定映像は、映像中継においてリアルタイム
（実時間）で受信するものであり、受信後直ちに指定映
像復号化手段３７に出力される。

【００５７】指定映像復号化手段３７は、符号化指定映
像受信手段３６から入力される符号化指定映像を復号化
して指定映像として時系列に出力するものである。この
指定映像復号化手段３７は、映像送信装置２の指定映像
符号化手段２５（図２参照）で用いた符号化方式、例え
ば、ＭＰＥＧ−４に基づいた復号処理を行う。この復号
化された指定映像は、映像合成手段３８に出力される。
なお、符号化指定映像受信手段３６と指定映像復号化手
段３７とで、符号化背景映像受信復号化手段を構成して
いる。

【００５８】映像合成手段３８は、背景映像蓄積手段３
５に蓄積されている背景映像と、指定映像復号化手段３
７から入力される指定映像を合成して映像（映像信号）
として出力するものである。なお、この映像合成手段３
８は、背景映像には常に同一の背景映像を用い、その背
景映像に時系列に入力される指定映像を、領域指定手段
３０から通知される領域情報に基づいて指定された位置
に逐次合成することで、指定映像のみが逐次更新される
映像が出力される。

【００５９】なお、映像合成手段３８における映像の合
成は、一般的な映像合成技術によって実現することがで
きる。例えば、領域情報に基づいて、背景映像における
指定映像の領域を「１」、その指定領域以外の背景映像
の領域を「０」とするキー信号を生成する。そして、キ
ー信号が「１」の場合は指定映像の信号を出力し、キー
信号が「０」の場合は背景映像の信号を出力すること
で、背景映像上に指定映像を合成した映像を出力するこ
とができる。

【００６０】以上、本発明に係る映像受信装置３の構成
について説明したが、映像受信装置３は、コンピュータ
において各手段を各機能プログラムとして実現すること
も可能であり、各機能プログラムを結合して映像受信プ
ログラムとして動作させることも可能である。

【００６１】（映像中継システムの動作）次に、図１及
び図５を参照して映像中継システム１の動作について説
明する。図５は、映像中継システム１の動作を示すフロ
ーチャートである。以下、映像中継システム１の動作に
ついて、映像送信装置２と映像受信装置３の動作を情報
の送受信に基づいて交互に説明する。

【００６２】［映像送信装置２の動作１］まず、映像送
信装置２に接続された固定カメラ７で背景映像を撮影
し、（ステップＳ１）、背景映像符号化手段２１によっ
て、その背景映像を符号化し、符号化背景映像送信手段
２２によって、その符号化された背景映像（符号化背景
映像）を映像受信装置３へ送信する（ステップＳ２）。

【００６３】［映像受信装置３の動作１］映像受信装置
３は、符号化背景映像受信手段３３によって、映像送信
装置２から符号化背景映像を受信し、背景映像復号化手
段３４によって、その符号化背景映像を復号化する（ス
テップＳ３）。そして、符号化背景映像を復号化した背
景映像を背景映像蓄積手段３５に蓄積（保存）する（ス
テップＳ４）。

【００６４】［映像送信装置２の動作２］ステップＳ２
で符号化背景映像を映像受信装置３へ送信した後、映像
送信装置２は、固定カメラ７で背景に人物を配置した人
物付きの背景映像を撮影し、（ステップＳ５）、背景映
像符号化手段２１によって、その人物付きの背景映像を
符号化し、符号化背景映像送信手段２２によって、その
符号化された背景映像（人物付きの符号化背景映像）を
映像受信装置３へ送信する（ステップＳ６）。

【００６５】［映像受信装置３の動作２］映像受信装置
３は、符号化背景映像受信手段３３によって、映像送信
装置２から人物付きの符号化背景映像を受信し、背景映
像復号化手段３４によって、その人物付きの符号化背景
映像を復号化する（ステップＳ７）。そして、領域指定
手段３０によって、復号化された人物付きの背景映像を
表示手段（図示せず）で確認して、人物の領域である指
定映像の位置及び大きさ（領域情報）を指定する（ステ
ップＳ８）。そして、この領域情報を領域情報送信手段
３１によって、映像送信装置２へ送信する（ステップＳ
９）。

【００６６】［映像送信装置２の動作３］映像送信装置
２は、領域情報受信手段２３によって、映像受信装置３
から領域情報を受信し、その領域情報に基づいて指定映
像を抽出するための指定領域を設定する（ステップＳ１
０）。

【００６７】そして、映像送信装置２は、指定映像抽出
手段２４によって、固定カメラ７で撮影した映像から、
指定映像を抽出し（ステップＳ１１）、その指定映像を
指定映像符号化手段２５によって符号化し、符号化指定
映像送信手段２６によって、その符号化された指定映像
（符号化指定映像）を映像受信装置３へ送信する（ステ
ップＳ１２）。

【００６８】［映像受信装置３の動作３］映像受信装置
３は、符号化指定映像受信手段３６によって、映像送信
装置２から符号化指定映像を受信し、指定映像復号化手
段３７によって、その符号化指定映像を復号化する（ス
テップＳ１３）。そして、映像受信装置３は、映像合成
手段３８によって、この復号化された指定映像と、背景
映像蓄積手段３５に蓄積されている背景映像とを合成し
て（ステップＳ１４）、外部に映像（映像信号）として
出力する（ステップＳ１５）。

【００６９】そして、ステップ１１からステップＳ１５
までの各ステップを繰り返すことで、映像の中継を行
う。このステップＳ１１以降の動作中は、伝送路５上に
は、符号化指定映像しか伝送されず、ビットレートが低
い場合でも指定映像に与える符号量を多くとることがで
きるため、画像劣化の少ない映像を得ることができる。

【００７０】なお、映像中継中における指定映像の領域
（指定領域）の変更は、映像受信装置３の任意のタイミ
ングでステップＳ９で行ったように領域情報を映像送信
装置２へ送信し、映像送信装置２では、ステップＳ１２
の指定映像を映像受信装置３へ送信した後に、領域情報
を受信したかどうかを判定するステップを付加し、領域
情報を受信した場合は、その領域情報に基づいて指定映
像を抽出するための指定領域を変更して、ステップＳ１
１以降を実行することで、実現することができる。

【００７１】（映像中継システムの動作；映像信号の流
れ）次に、図１、図６及び図７を参照して、映像中継シ
ステム１の映像信号の流れを時系列に沿って説明する。
図６は指定映像の領域（指定領域）を予め指定する場合
の映像信号の流れを説明するための説明図であり、図７
は指定領域に変更がある場合の映像信号の流れを説明す
るための説明図である。

【００７２】まず、指定映像の領域（指定領域）を予め
指定する場合における映像中継システム１の映像信号の
流れについて、図６を参照して説明する。図６に示すよ
うに、まず最初に、静止画である背景映像５０が映像送
信装置２から映像受信装置３へ送信される。そして、背
景映像５０に人物を配置した人物付き背景映像５１が、
映像送信装置２から映像受信装置３へ送信される。そし
て、この人物付き背景映像５１を参照することで、映像
受信装置３は領域情報指定Ｔａの時刻に領域情報を指定
する。これによって、固定カメラ７から入力される映像
から前記領域情報で指示される指定領域５３の映像を抽
出した指定映像５４のみが映像送信装置２から映像受信
装置３へ送信される。

【００７３】この指定映像５４を受信した映像受信装置
３は、先に受信して記憶している背景映像５０と、時系
列に沿って順次送信される指定映像５４とを合成するこ
とで、合成映像５２を生成して出力する。

【００７４】次に、指定領域に変更がある場合の映像信
号の流れについて、図７を参照して説明する。図７に示
すように、すでに、静止画である背景映像５０が映像送
信装置２から映像受信装置３へ送信されており、予め設
定されている領域情報に基づいて指定映像５４が時系列
に映像送信装置２から映像受信装置３へ送信されている
ものとする。

【００７５】ここで、映像受信装置３は領域情報変更Ｔ
ｂの時刻に領域情報を指定する。すると、指定領域５３
の位置及び大きさが変更され、映像送信装置２から送信
される指定映像５４の位置及び大きさの異なる指定映像
５４が映像受信装置３へ送信される。そして、この指定
映像５４を受信した映像受信装置３は、先に受信して記
憶している背景映像５０と、時系列に沿って順次送信さ
れる指定映像５４とを合成する。このとき、領域情報変
更Ｔｂの時刻以降は指定映像５４を背景映像５０の更新
された位置に合成して、合成映像５２を生成して出力す
る。

【００７６】以上の動作によって、映像中継システム１
は、映像内における人物領域等の重要部分の解像度を向
上させることができ、画質の劣化を低減させることがで
きる。なお、映像送信装置２から映像受信装置３へ、背
景映像５０を複数フレーム分伝送しておいて、映像受信
装置３でその背景映像５０を繰り返して使用することで
擬似的に背景を動作させることも可能である。

【００７７】

【発明の効果】以上説明したとおり、本発明に係る映像
中継システム並びに映像送信装置及びそのプログラム並
びに映像受信装置及びそのプログラムでは、以下に示す
優れた効果を奏する。

【００７８】請求項１に記載の発明によれば、映像中継
システムは、予め固定カメラで撮影した静止画として扱
うことができる背景映像を映像送信装置から映像受信装
置に送信しておき、その後に映像受信装置で指定した領
域のみの映像である指定映像を送信するため、映像全体
を符号化伝送する場合に比べて画質の劣化を抑制するこ
とができる。また、ＤＣＴなどの直交変換を用いた符号
化において、伝送路のビットレートが低い場合に発生す
る符号化歪を抑えることができる。

【００７９】さらに、映像受信装置から映像送信装置に
対して、重要性の高い領域を通知することができるの
で、映像送信装置において画像認識等による領域判定を
行う必要がない。このため、映像送信装置のハードウェ
ア量や消費電力の増大や、符号化遅延を抑えることがで
きる。

【００８０】請求項２又は請求項３に記載の発明によれ
ば、映像送信装置又は映像送信プログラムは、予め固定
カメラで撮影した静止画として扱うことができる背景映
像を映像送信装置から映像受信装置に送信しておき、そ
の後に指定された領域のみの映像である指定映像を送信
するため、映像全体を符号化伝送する場合に比べて画質
の劣化を抑制することができる。

【００８１】また、符号化を行う領域を指定することが
できるので、映像全体を符号化する場合に比べて、符号
化を行うための遅延時間を低減させることができる。こ
れによって、映像を送信する側の人間と、映像を受信す
る側の人間とが互いに話をする場合でも遅延による違和
感を覚えることなく話をすることができる。

【００８２】請求項４又は請求項６に記載の発明によれ
ば、映像受信装置又は映像受信装置プログラムは、映像
送信装置から送信される固定カメラで撮影した静止画と
して扱うことができる背景映像を予め蓄積しておき、そ
の後に送信される指定映像を時系列に背景映像と合成す
るので、その指定映像には、映像全体を符号化伝送する
場合に比べて符号量を多く配分することが可能になるた
め、画質の劣化を抑制することができる。

【００８３】請求項５又は請求項７に記載の発明によれ
ば、映像受信装置又は映像受信装置プログラムは、映像
を利用する映像受信装置で、映像内で重要とみなされる
人物等が配置された領域を指定することができるので、
画質劣化を起こしたくない領域を任意に設定することが
できる。これにより、映像送信装置の符号化の負荷を低
減することができる。

【図面の簡単な説明】

【図１】本発明に係る映像中継システムの全体構成を示
すブロック図である。

【図２】本発明に係る映像送信装置の構成を示すブロッ
ク図である。

【図３】本発明に係る映像受信装置の構成を示すブロッ
ク図である。

【図４】背景映像と指定映像との関係を説明するための
説明図である。

【図５】本発明に係る映像中継システムの動作を示すフ
ローチャートである。

【図６】指定映像の領域を予め指定する場合の映像信号
の流れを説明するための説明図である。

【図７】指定映像の領域を変更する場合の映像信号の流
れを説明するための説明図である。

【符号の説明】

１……映像中継システム ２……映像送信装置 ５……伝送路 ７……固定カメラ ２０……切替え手段 ２１……背景映像符号化手段 ２２……符号化背景映像送信手段 ２３……領域情報受信手段 ２４……指定映像抽出手段 ２５……指定映像符号化手段 ２６……符号化指定映像送信手段 ２７……切替え手段 ３……映像受信装置 ３０……領域指定手段 ３１……領域情報送信手段 ３２……切替え手段 ３３……符号化背景映像受信手段 ３４……背景映像復号化手段 ３５……背景映像蓄積手段 ３６……符号化指定映像受信手段 ３７……指定映像復号化手段 ３８……映像合成手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 俊一 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 高木 健次 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 (72)発明者 久保田 正志 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 Ｆターム(参考） 5C059 KK15 MB21 PP28 PP29 RB02 RC11 SS06 SS20 UA02 UA05 UA38 UA39 5C063 AB03 AB07 CA23 DA07 DA13

Claims (7)

【特許請求の範囲】
1. 【請求項１】 撮影範囲を固定した固定カメラで撮影し
   た映像を中継する映像中継システムにおいて、 前記映像を符号化して送信する映像送信装置に、 前記固定カメラで撮影した撮影領域全体の映像を背景映
   像として符号化した符号化背景映像を映像受信装置へ送
   信する背景映像符号化送信手段と、 前記映像受信装置から、前記固定カメラで撮影した映像
   の特定の領域を指定するための少なくとも位置及び大き
   さを含んだ領域情報を受信する領域情報受信手段と、 前記領域情報に基づいて、前記固定カメラで撮影した撮
   影領域の映像から指定された領域の指定映像を抽出する
   指定映像抽出手段と、 この指定映像抽出手段で抽出された前記指定映像を符号
   化した符号化指定映像を映像受信装置へ送信する指定映
   像符号化送信手段と、を備え、 前記映像受信装置に、 前記領域情報を指定するための領域指定手段と、 この領域指定手段で指定された前記領域情報を前記映像
   送信装置へ送信する領域情報送信手段と、 前記映像送信装置から送信される前記符号化背景映像を
   受信して復号化を行う符号化背景映像受信復号化手段
   と、 前記映像送信装置から送信される前記符号化指定映像を
   受信して復号化を行う符号化指定映像受信復号化手段
   と、 前記符号化背景映像受信復号化手段で復号化された前記
   背景映像と、前記符号化指定映像受信復号化手段で復号
   化された前記指定映像とを合成する映像合成手段と、 を備えていることを特徴とする映像中継システム。
2. 【請求項２】 撮影範囲を固定した固定カメラで撮影し
   た撮影領域全体の映像である背景映像と、外部から指定
   される少なくとも位置及び大きさを含んだ領域情報に基
   づいて、前記固定カメラで撮影した映像から前記指定さ
   れた領域を抽出した指定映像とを個別に符号化して送信
   する映像送信装置であって、 前記背景映像を符号化する背景映像符号化手段と、 この背景映像符号化手段で符号化した符号化背景映像を
   映像受信装置へ送信する符号化背景映像送信手段と、 前記領域情報に基づいて、前記固定カメラで撮影した映
   像から前記指定映像を抽出する指定映像抽出手段と、 この指定映像抽出手段で抽出した前記指定映像を符号化
   する指定映像符号化手段と、 この指定映像符号化手段で符号化した符号化指定映像を
   前記映像受信装置へ送信する符号化指定映像送信手段
   と、 を備えていることを特徴とする映像送信装置。
3. 【請求項３】 撮影範囲を固定した固定カメラで撮影し
   た撮影領域全体の映像である背景映像と、外部から指定
   される少なくとも位置及び大きさを含んだ領域情報に基
   づいて、前記固定カメラで撮影した映像から前記指定さ
   れた領域を抽出した指定映像とを個別に符号化して送信
   するために、コンピュータを、 前記背景映像を符号化する背景映像符号化手段、 この背景映像符号化手段で符号化した符号化背景映像を
   映像受信装置へ送信する符号化背景映像送信手段、 前記領域情報に基づいて、前記固定カメラで撮影した映
   像から前記指定映像を抽出する指定映像抽出手段、 この指定映像抽出手段で抽出した前記指定映像を符号化
   する指定映像符号化手段、 この指定映像符号化手段で符号化した符号化指定映像を
   前記映像受信装置へ送信する符号化指定映像送信手段、 として機能させることを特徴とする映像送信プログラ
   ム。
4. 【請求項４】 撮影範囲を固定した固定カメラで撮影し
   た撮影領域全体の映像である背景映像を符号化した符号
   化背景映像と、前記固定カメラで撮影した映像から予め
   指定した領域を抽出した指定映像を符号化した符号化指
   定映像とを、映像送信装置から個別に受信して映像を再
   生する映像受信装置であって、 前記映像送信装置から送信される前記符号化背景映像を
   受信する符号化背景映像受信手段と、 この符号化背景映像受信手段で受信した前記符号化背景
   映像を復号化する背景映像復号化手段と、 この背景映像復号化手段で復号化された前記背景映像を
   蓄積する背景映像蓄積手段と、 前記映像送信装置から送信される前記符号化指定映像を
   受信する符号化指定映像受信手段と、 この符号化指定映像受信手段で受信した前記符号化指定
   映像を復号化する指定映像復号化手段と、 この指定映像復号化手段で復号化された前記指定映像
   と、前記背景映像蓄積手段に蓄積されている前記背景映
   像とを合成する映像合成手段と、 を備えていることを特徴とする映像受信装置。
5. 【請求項５】 前記固定カメラで撮影される映像から前
   記指定映像を抽出するための、少なくとも位置及び大き
   さを含んだ領域情報を指定する領域指定手段と、 この領域指定手段で指定された前記領域情報を前記映像
   送信装置へ送信する領域情報送信手段と、 を備えていることを特徴とする請求項４に記載の映像受
   信装置。
6. 【請求項６】 撮影範囲を固定した固定カメラで撮影し
   た撮影領域全体の映像である背景映像を符号化した符号
   化背景映像と、前記固定カメラで撮影した映像から予め
   指定した領域を抽出した指定映像を符号化した符号化指
   定映像とを、映像送信装置から個別に受信して映像を再
   生するために、コンピュータを、 前記映像送信装置から送信される前記符号化背景映像を
   受信する符号化背景映像受信手段、 この符号化背景映像受信手段で受信した前記符号化背景
   映像を、前記背景映像に復号化して背景映像蓄積手段に
   蓄積する背景映像復号化手段、 前記映像送信装置から送信される前記符号化指定映像を
   受信する符号化指定映像受信手段、 この符号化指定映像受信手段で受信した前記符号化指定
   映像を復号化する指定映像復号化手段、 この指定映像復号化手段で復号化された前記指定映像
   と、前記背景映像蓄積手段に蓄積されている前記背景映
   像とを合成する映像合成手段、 として機能させることを特徴とする映像受信プログラ
   ム。
7. 【請求項７】 前記固定カメラで撮影される映像から前
   記指定映像を抽出するための、少なくとも位置及び大き
   さを含んだ領域情報を指定する領域指定手段、 この領域指定手段で指定された前記領域情報を前記映像
   送信装置へ送信する領域情報送信手段、 として機能させることを特徴とする請求項６に記載の映
   像受信プログラム。