JPH0445681A - マルチメディア通信装置における動画像記憶方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野〕 本発明は動−像、音声、テキストの同時通信が可能なマ
ルチメディア通信装置における動画情報の符号化圧縮記
憶方法に関する。

〔従来の技術〕

従来の符号化圧縮した動画像を記憶するシステムでは、
特開昭６３−３１１８８８号公報に記載のように、カラ
ー動画像の記憶の際、伝送フレーム間の差分をとり、そ
の差分を予め予測した値と実際の差分値との予測誤差を
予′Ｉｓ誤差データとして符号化することで圧縮した情
報と、これより、圧縮率は蒋ちるが、単独でフレームを
形成できるフレーム内情報だけを用いて符号化して圧縮
した情報とを織り混ぜる方式をとっている。

そして、オペレータから適当なｈ生位置の指定があると
、指定のあった位置のデータがフレーム間予ｙｓ誤差を
符号化して得られたものか、フレーム内情報を符号化し
て得られたものかを判別する。

そして、そのデータがフレーム内情報を符号化して得ら
れたものならば、そのまま再生し、フレーム間予測誤差
を符号化して得られたものならば。

順外生方向に沿って最も近い位置に記録されているフレ
ーム内情権を符号化したデータを探し、その部分から復
号化、再生する。こうして、復号化を開始する時点を、
常に、フレーム内情軸を符号化したデータの部分にする
ことができるので初期画面が形成されてないと有意な情
報とならないフレーム間予測誤差を符号化したデータか
ら再生、復号化を開始し、フレーム内情報を符号化した
部分に達するまで、意味のない画面を表示し続けるとい
うことがないものとなっていた。

〔発明が解決しようとする課題〕

上記従来技術は、符号化圧縮し、記録されたカラー動画
像の６生に関するものであり、予め定められた方式によ
り符号化記録されたものを再生の対象にしていた。この
ため、通信路を介して動画像データを伝送し、動画像デ
ータの受信先で復号化、表示、及び、記憶するという動
画像通信システムに適用する点について考慮されておら
ず、フレーム間の差分を予測符号化圧縮したデータとフ
レーム内情報を符号化したデータを織り混ぜて送信した
場合、復号化した後、表示すると、フレーム内情報を符
号化したデータは伝送するデータ量が多く、フレームの
表示に時間を要する。このため、フレーム内情報を符号
化したフレームを挿入した周期で画像の動きが止まり、
スムースな動画像通信が行えないという問題があった。

また、動画像データの受信先で、ユーザが、任意の時点
からの動−像データの記憶を要求した際符号圧縮した形
でその時点から動画像データの記憶を行うことはできず
、記憶要求のあった時点から最初に受信したフレーム内
情報を符号化したデータを受信するまでの間は記録待ち
となるという問題があった。

゛本発明の目的は、フレーム間の差分を予測符号化して
圧縮した動画像データを伝送し、通信を行っている双方
向で受信した動画像データをリアルタイムに復号化、表
示するような動画像通信システムにおいて、動画通信の
リアルタイム性に影響を与えず、ユーザの要求した時点
から、動画像データを符号化圧縮して記憶することにあ
る。

本発明の他の目的は、動画像の通信に用いられている符
号化方式とは異なる方式で送信もしくは受信した動画像
を符号化して記憶することにある。

〔課題を解決するための手段〕

上記目的を達成するために、本発明は動画像の通信を行
う装置に、伝送されて来た動画像データを、−旦、復号
化し、復号化された動画像データを、再び、符号化する
ための記憶情報符号化部と、受信した情報の記憶を制御
する伝送情報記憶制御部とを設け、利用者の記憶要求の
あった時点で、表示のために復号化された動画像データ
を、再び。

符号化し、記憶するようにしたものである。

また、装置規模を大きくすることなく、上記目的を達成
するために１本発明は伝送情報記憶制御部のみを設け、
利用者の記憶要求のあった時点でリフレッシュ要求を動
画像の送信側に送出し、それに対応して受信する送信側
から送信して来るフレーム内情報を符号化したフレーム
のデータから記憶を開始するようにしたものである。

上記値の目的を達成するために、本発明は、記憶情報符
号化部の符号化器及び復号化器に動画像通信を行うため
の伝送情報符号化部の符号化器及び復号化器と異なるも
のを設け、動画像の通信に用いられている符号化方式と
は異なる符号化方式で、動画像を記憶−■能にしたもの
である。

また、上記他の目的を達成するために、本発明は伝送情
報符号化部の画像データ符号化の際の符号化パラメータ
と、記憶情報符号化部の符号化パラメータをそれぞれ独
立に設定可能とし、二つの符号化部の符号化アルゴリズ
ムが同じ場合にも。

符号化して圧縮する比率を食えて記憶することができる
ようにしたものである。

〔杵用〕

利用者が表７ｒＸ４１１を見ながら、相手側に送信する
動画像もしくは、相手側から伝送されて来た動画像の記
憶開始を指示すると、伝送情報記憶制御部が検出する。

そして、伝送情報記憶制御部は記憶情報符号化部に符号
化のためのパラメータをセットし、送信（ｄ号は画像入
力から取込み、受信信号は、伝送情報符号化部により復
号化された相手側からの画像データを入力として取り込
むように指示する。記憶情報符号化部では、パラメータ
のセット及び画像データの入力光の指示を受けると、画
像入力からの相手側に送出する画像データ、もしくは、
復号化された相手側からの両像データを記憶情報符号化
部の符号化器の入力として取り込み、符号化したデータ
を記憶部に対して送出する。

そして、利用者が動画像の記憶終了を要求すると、伝送
情報記憶制御部が検出し、記憶情報符号化部に、記憶部
へのデータ送出の停止を通知する。記憶情報符号化部で
は、記憶部へのデータ退出の停止通知を受け付ると、画
像入力からの相手側に送出する画像データ、もしくは、
復号化された相手側からの画像データの取り込みを停止
し、記憶部へのデータ送出を停止する。ここで、利用者
からの要求が無くとも、動画通信の終了を検出した場合
や、記憶部の記憶容量が無くなった場合には、記憶情報
符号化部に対してデータ送出停止を要求する。これによ
り、記憶情報符号化部が無意味な動作をすることはない
。

記憶情報符号化部を持たない場合、利用者から動画像の
記憶量、始の指示を受け付けると、伝送情報記憶制御部
で検出する。そして、伝送情報記憶制御部では、伝送情
報符号化部に対して、動画像送信側に画像のリフレッシ
ュ要求を出すようｊこ要求する。そして、受信画像記憶
の場合は、リフレッシュ要求に対応して相手側から送信
されて来るフレーム内情報を符号化した画像フレームの
到着を監視し、送信画像記憶の場合は、フレーム内情報
を符号化したフレームの生成を監視し、フレーム内情報
を符号化したフレームから記憶部へ送出する。そして、
動画像記憶の終了要求を伝送情報記憶制御部で受け付け
ると、相手側に送信する符号化した動画データもしくは
、相手側から送信されて来る動画データを記憶部に送出
するのを停止する。このようにして、記憶情報符号化部
を持たなくても符号化圧縮した形で動画像データを記憶
することができる。

〔実施例〕

以下、本発明の一実施例を図面を用いて説明する。第１
図は、本発明の一実施例のマルチメディア通信装置のブ
ロック図である０通常のマルチメディア通信装置は、装
置全体の制御を行う全体制御部１００９通信路１０２と
のインタフェースをとり、相手端末とのリンクの確立、
開放等を行い、相手側から受信した情報を装置内の必要
な部分に送出する通信制御部１０１．相手との間でマル
チメディア通信を行う際に、伝送する情報を符号化／復
号化する伝送情報符号化部１０２．及び、キーボード等
のテキスト入力部１１２．カメラ、マイク等の画像。

音声入力部１１３．デイスプレィ、スピーカ等の画像。

音声出力部１１４．及び、テキスト出力部１１５から構
成されている１本実施例では、動画像をフレーム間の差
分の子側誤差を符号化した形で記憶するため、相手から
の受信情報は、伝送情報符号化部１０３の復号化器１０
５により、−旦１画像出力装置１１４用の信号に復号化
し、そうして得られた動画像データを、記憶情報符号化
部１０７の符号化＠１０８の入力信号として取り込み相
手への送信情報は、伝送情報符号化部１０３の符号化器
１０４と同様の入力信号を取り込み、符号化圧縮した後
、符号化情報記憶部１１０を介して、外部記憶装置に記
憶するという手順をとる。ここで、伝送情報記憶制御部
１０６は、全体制御部１０Ｇから相手側への送信もしく
は。

相手側から受信した動画情報の記憶の開始、終了の指令
を受信し、それに応じて、記憶情報符号化部１０７や符
号化情報記憶部１１０に対する起動、停止処理を行う、
また、符号化情報記憶部１１０は、書き替え可能光磁気
ディスク等の外部記憶装置１１１とのインタフェースを
とり、マルチメディア情報の書き込み、読み出しを行う
、また、記憶情報符号化部１０７の符号化器１０８で動
画、音声を符号化する際の入力信号を、伝送情報符号化
部１０３の復号化器１０５で、復号化した後の信号とし
ているので、記憶のために符号化する際、データの送信
側で符号化した際のパラメータとは独立した符号化パラ
メータを選択することができる。この記憶情報符号化部
１０７の符号化器１０８に設定するパラメータは、利用
者が設定可能で、全体制御部１００が伝送情報記憶制御
１０６に伝達し、伝送情報記憶制御部１０６は、符号化
情報記憶要求発生時に、符号化器１０８に対してパラメ
ータを設定する。さらに、伝送情報符号化部１０３と、
記憶情報符号化部１０７は互いに独立な関係にあり、そ
れぞれが異なるアルゴリズムによる符号化圧縮方式とす
ることが可能である。従って、本発明の一実施例のよう
な構成をとる場合、伝送情報符号化部１０３と記憶情報
符号化部１０７を固定のものとせず、全体制御部１００
で相手側の符号化アルゴリズムに適した符号化方式の符
号化器、復号化器を持つものを伝送情報符号化部１０３
として選択し、他方を記憶情報符号化部１０７とするこ
とにより、二種類の符号化アルゴリズムの動画情報を記
憶することが可能となる。

第２図は１本発明の一実施例におけるマルチメディア通
信装置において、相手に符号化圧縮して送信する動画情
報及び、相手から送信されて来た符号化圧縮された動画
情報を記憶開始及び終了する際の伝送情報記憶制御部１
０６における処理手順を示したものであり、この図を用
いて、装置全体の動作を説明する。

マルチメディア通信を開始すると（ステップ２００）、
伝送情報記憶制御部１０６では、全体制御部１００から
の記憶開始要求を持つ（ステップ２０１）、利用者が伝
送情報の記憶を要求し、全体制御部１００が受け付け、
伝送情報記憶制御部１０６に記憶開始を要求すると、伝
送情報記憶制御部１０６では、記憶情報符号化部１０７
に対して、受信情報記憶の場合は、伝送情報符号化部１
０３の復号化器１０５から出力される信号を記憶情報符
号化部１０７の符号化器１０８の入力信号として取り込
み送信情報記憶の場合は、画像音声入力部１１３、及び
、テキスト入力部１１２からの信号を入力信号として取
り込み、符号化を開始するように指示する（ステップ２
０２）、この時符号化器１０８で符号化する際に必要な
パラメータ情報も伝送情報記憶制御部１０６から伝送す
る。そして。

符号化情報記憶部１１０に記憶情報符号化部１０７から
情報を取り込み、外部記憶装置１１１に転送するように
指示する（ステップ２０３）、この状態で、相手側から
受信した符号化された情報を、−旦、伝送情報符号化部
１０３の復号化器１０５で復号化し、その信号を画像、
音声、テキスト等の出方装置に出方しながら、もしくは
、相手にマルチメディア情報を出力しながら記憶情報符
号化部１０７の符号化器１０８に出力信号を取り込み、
符号化して外部記憶装置１１１に記憶している。そして
、全体制御部１００がらの記憶終了要求を待つ（ステッ
プ２０４）　、全体制御部１００における記憶終了要求
の送品の要因は、利用者による記憶終了操作の検知、マ
ルチメディア通信終了の検知、及び、符号化情報記憶部
１１０からの記憶エリア不足等による情報記憶不可通知
受信等である。そして、伝送情報記憶制御部１０６、で
全体制御部１００からの記憶終了要求を受け付けると、
記憶情報符号化部１０７に符号化を停止し、伝送情報符
号化部１０３の復号化器１０５がら呂カされる信号、も
しくは１画像音声入力部１１３のテキスト入力部１１２
から出力される信号の取り込みを停止するように指示す
る（ステップ２０５）　、それと同時に、符号化情報記
憶部１１０に、記憶情報符号化部１０７からの情報の取
り込みを終了し、それまでに受信した情報をすべて外部
記憶装置Ｉ！１１１に送出すると、外部記憶装Ｎ１１１
への情報の転送を終了するように指示する（ステップ２
０６）、このようにして、符号化情報の記憶を終了する
０本実施例によれば、相手に送信する情報と記憶する情
報は別々に取り込み、相手から受信した符号化圧縮され
た情報は、−旦、復号化するので、動画通信とは独立に
、動画像の入出力いずれの情報も符号化圧縮して記憶で
きる。それにより、動画像通信のように、フレーム間の
差分を取り予測値との誤差を符号化して相手に伝送する
ため、通常では、初期画像なしでは有意な情報を記憶で
きない場合も、送信、受信双方の表示画像に影響を与え
ることなく、送信もしくは、受信した情報を任意のタイ
ミングで符号化圧縮して記憶を開始することができる。

また、動画通信のための符号化と、その情報を記憶する
ための符号化を独立に行えるので、動画像通信に適用し
ている符号化方式、もしくは、動画像伝送方式とは異な
る記憶に適した符号化方式、もしくは、動画像伝送方式
で、動画像やその他の符号化情報を記憶することができ
るので、圧縮率を上げて記憶に必要な容量を節約したり
、読比しに適した形で記憶したりすることができる。

本実施例によれば、さらに、伝送情報符号化部と記憶情
報符号化部を固定のものとしないので、符号化アルゴリ
ズムの異なる二種類の符号化部を用意すれば、二種類の
符号化アルゴリズムの動画通信と、その際に送信もしく
は受信した情報の。

記憶を同時に行うことができる。

本発明の他の実施例を第３図、及び、第４図を用いて説
明する。第３図は、本発明の他の実施例のマルチメディ
ア通信装置のブロック図である。

本実施例でも、全体制御部３００９通信制御部３０１゜
伝送情報符号化部３０３．伝送情報記憶制御部３０６．
符号化情報記憶部３０７．及び、画像、音声、テキスト
の入出力部をマルチメディア通信装置の構成要素として
持つが、記憶する情報のための符号化部はない、従って
、本実施例では、利用者により動画情報の記憶を要求さ
れると、送信、受信画像とも、初期画像を得るために、
送信画像の記憶を要求された場合は自端末の伝送情報符
号化部に対して、受信画像の記憶を要求された場合は、
相手端末に対して、伝送する画像フレームのリフレッシ
ュ要求を出し、フレーム内情報を符号化した画像データ
を得る。そして、上記の結果得られた、フレーム内情報
を符号化した画像データから記憶を開始する。こうして
、記憶する画像データは初期画像以外は、フレーム間の
差分の予測誤差を符号化圧縮したデータとすることがで
きる。

第４図は、本発明の他の実施例におけるマルチメディア
通信装置において、相手に符号化圧縮して送信する動画
情報、及び、相手から送信されて来た符号化圧縮された
動画情報を記憶開始及び、終了する際の伝送情報記憶制
御部３０６における処理手順を示したものであり、この
図を用いて装置全体の動作を説明する。

マルチメディア通信を開始すると（ステップ４００）、
伝送情報記憶制御部３０６では、全体制御部３００から
の記憶開始要求を待つ（ステップ４０１）、利用者の伝
送情報記憶要求を全体制御部３００が受け付け、伝送情
報記憶制御部３０６に記憶開始を要求すると、伝送情報
記憶制御部３０６では、伝送情報符号化部３０３に対し
て、送信情報記憶の場合は、送信画像リフレッシュ要求
を指示し、受信情報記憶の場合は。

相手側に対して画像リフレッシュ要求を出すように指示
する（ステップ４０２）。こうして、フレーム間の差分
の予聞誤差を符号化して画像データとして通信する際に
必要な、初期画像となるフレーム内情報を符号化した画
像フレームデータを記憶用に得ることができる。そして
、リフレッシュ要求に対応して得られるフレーム内情報
を符号化した画像フレームデータの発生、及び、受信を
監視する（ステップ４０３）、送信画像リフレッシュ要
求を伝送情報符号化部３０３で受付けると、受付は時点
で処理中の次のフレームの画像データをフレーム内情軸
符号化する。そして、伝送情報記憶制御部３０６にフレ
ーム内情報符号化データ受付けを通知する。また、伝送
情報符号化部３０３で、相手からの受信画像のリフレッ
シュ要求を受付けると、リフレッシュ要求用のコマンド
を組立て、通信制御部を介して相手側へ送出する。そし
て、リフレッシュコマンドに対応して相手側が、フレー
ム内情報を符号化した画像フレームデータを送信してく
ると、伝送情報符号化部３０３は、伝送情報記憶制御部
３０６にフレーム内情報符号化データ受付を通知する。

こうして、伝送情報記憶制御部で、フレーム内情報符号
化データ受付けを検知すると（ステップ４０４）、符号
化情報記憶部３０７に伝送情報符号化部３０３から情報
を取り込むよう指示する（ステップ４０５）。そして、
符号化情報記憶部３０７では、送信情報記憶の場合は、
伝送情報符号化部３０３の符号化器３０４の出力情報を
取り込み、受信情報記憶の場合は、復号化器３０５への
入力情報を取り込む、そして、伝送情報記憶制御部３０
６では、全体制御部３００からの記憶終了要求を待つ（
ステップ４０６）、そして、全体制御部１００から記憶
終了要求を受付けると、符号化情報記憶部３０７に伝送
情報符号化部３０３からの情報取り込みを中止するよう
に指示する（ステップ４０７）、そして、伝送情報符号
化部３０３に対して、記憶用の情報の送出を停止するよ
うに指示する（ステップ４０８）。

以上のように、本実施例によれば、記憶要求の発生した
時点で、初期画像となるフレーム内情報符号化による画
像フレームデータの生成を開始すので、通常はフレーム
間差分の予測値との誤差の符号化により効率良く圧縮し
たデータを用いて動画通信を行うことが可能で、記憶開
始時を除いては、伝送エラーが発生しない限り、送受信
する動画像が、−旦、停止して見えるようなことはない
。

このように、特別な装置を増やすことなく、動画通信の
サービスの低下を伴うことなく、動画情報の記憶をする
ことができる。

〔発明の効果〕

本発明によれば、フレーム間の差分を予測し、誤差を符
号化圧縮してフレームデータとして送信する動画通信に
おいて、動画記憶が、動画通信には何も影響を与えない
ので、利用者は、記憶開始及び終了タイミングに留意す
ることなく、任意のタイミングで、動画の記憶開始、終
了を指示することができる。また、伝送情報の符号化方
式と。

記憶情報の符号化方式を異なる方式にすることができる
ので、記憶対象になる情報は高効率に圧縮して、記憶し
、伝送対象になる情報は、国際標準方式等の通信に適し
た符号化を行なって情報を伝送することができる。

【図面の簡単な説明】

第１図は、本発明の一実施例のマルチメディア通信装置
のブロック図、第２図は、第１図の伝送情報記憶制御部
における処理フローチャート、第３図は１本発明の他の
実施例のマルチメディア通信装置のブロック図、第４図
は、第３図の伝送情報記憶制御部における処理フローチ
ャートである。 １００・・・全体制御部、１０１・・・通信制御部、１
０３・・・伝送情報符号化部、　１０４，１０８・・・
符号化器、１０５．１０９・・・復号化器、１０６・・
・伝送情報記憶制御部。

Claims (1)

1. 【特許請求の範囲】 １、通信路に接続し、情報伝送路の設定、解放及び前記
   情報伝送路への情報の設定及び前記情報伝送路からの情
   報の取り込みを行う通信制御部と、映像や音声を符号化
   圧縮する符号化器と、前記符号化器が符号化した情報を
   復号化伸長する復号化器とから成る伝送情報符号化部と
   、外部記憶装置を制御する記憶部と、装置全体を制御す
   る全体制御部と、音声や画像を出力する音声・画像出力
   部と、音声や画像を入力する音声・画像入力部とを備え
   、映像、音声、テキスト情報を符号化して伝送し、動画
   像を画像フレーム間で予測符号化して伝送するマルチメ
   ディア通信装置において、 前記符号化器と前記復号化器とから成る記憶情報符号化
   部と、相手から受信した情報の記憶を制御する伝送情報
   記憶制御部とを設け、一旦、復号化した受信情報を、再
   び、符号化圧縮して記憶することを特徴とするマルチメ
   ディア通信装置における動画像記憶方式。 ２、請求項１において、前記伝送情報記憶制御部のみを
   設け、画像記憶要求を受け付けると画像リフレッシュ要
   求を送出し、初期画像を得ることにより、上記伝送情報
   符号化部の復号化器への入力信号もしくは、符号化器か
   らの出力信号と同様の符号化圧縮された情報を記憶する
   マルチメディア通信装置における動画像記憶方式。 ３、動画像をフレーム間で予測符号化して伝送するマル
   チメディア通信装置において、異なる符号化アルゴリズ
   ムの前記記憶情報符号化部と伝送情報記憶制御部とを設
   け、動画情報を伝送されてきた符号化方式と異なる方式
   で符号化圧縮して、記憶することを特徴とするマルチメ
   ディア通信装置における動画像記憶方式。