JP4496499B2 - ストリーム変換装置およびストリーム変換方法、プログラム、並びに記録媒体 - Google Patents

Description

本発明は、ストリーム変換装置およびストリーム変換方法、プログラム、並びに記録媒体に関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、ストリーム変換装置およびストリーム変換方法、プログラム、並びに記録媒体に関する。

例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。

画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。

また、例えば、伝送された画像信号が、放送局において編集される場合、編集はフレーム単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるGOP(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、GOPを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。

例えば、伝送路を介して送受信されるLong GOPのストリームデータを、Short GOPであるAll Intraのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。

符号化装置１は、圧縮されていない原画像の入力を受け、MPEGのLong GOPに符号化し、伝送路１１を介して、トランスコーダ２に、ストリームデータを送信する。

伝送路１１には、伝送に適したLong GOPのストリームデータが伝送される。

トランスコーダ２は、伝送路１１を介して供給された、MPEGのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化されたAll Intraのストリームデータ（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）を、SDTI CPインタフェースのフレーム編集装置３に出力する。

フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたAll Intraのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、MPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを、伝送路１１を介して、所定のデータ伝送先に出力する。

また、入力画像を高ビットレートでMPEGのLong GOPに符号化し、それを復号して低ビットレートのMPEGのLong GOPに再符号化することが可能なシステムについて、図２を用いて説明する。

符号化装置１は、供給された、圧縮されていない入力画像を、高ビットレートのMPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを出力する。トランスコーダ５１は、供給された高ビットレートのMPEGのLong GOPを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを、伝送路１１を介して、所定のデータ伝送先に出力する。

このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。

特開２０００−０５９７８８号公報

例えば、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、トランスコーダ１０１は、伝送路１１を介して、符号化装置１から送信されたMPEGのLong GOPの供給を受ける。

MPEGのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをMPEGのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。

このような再符号化による画質劣化を引き起こさないため、トランスコーダ１０１は、例えば、伝送路１１を介して、他のトランスコーダまたは符号化装置によって過去に符号化されたストリームデータの供給を受けた場合、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部１１１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、All Intraの符号化ストリーム上に、SMPTE（Society of Motion Picture and Television Engineers）328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。

フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ１０２に供給される。トランスコーダ１０２は、供給された、ヒストリー情報つきのAll Intraのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して出力する。

また、図２を用いて説明したように、非圧縮のデータを高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのMPEGのLongGOPに再符号化することが可能なシステムにおいて、再符号のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、符号化装置１により符号化されたMPEGのLong GOPのストリームの供給を受けたトランスコーダ１３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを出力する。

再符号化による画質劣化を引き起こさないため、ヒストリー情報や復号時に取得される符号化パラメータを用いるようにした場合、例えば、フレーム編集装置３において編集が行われた符号化ストリームにおいては画像データの連続性が途切れてしまうため、GOP内のフレーム間の相関情報は意味のないものとなる。したがって、再符号化による画質劣化を引き起こさないため、ヒストリー情報や復号時に取得される符号化パラメータを用いるようにした場合、ストリームデータの編集点を検出し、編集点においては、以前の符号化に関するヒストリー情報やパラメータ情報を利用せずに符号化を行う必要がある。

GOP単位の符号列編集において、編集に用いられる入力符号列Ａ、Ｂのヘッダから画像タイプ（Ｉ，Ｐ，Ｂ）を検出し、入力符号列Ａ、Ｂの画像タイプと、外部から入力される編集情報とに基づいて、編集点を示す符号（フラグ）が挿入されるか、または、書き換えるようにすることにより、ストリームデータの編集点を示すことができるようにした技術がある（例えば、特許文献２）。

特開２００３−１４３６０７

また、ストリームデータに、フレームまたはフィールドごとにカウントアップされるカウント数の情報を含ませるようにし、例えば、画像をつなぎ合わせたり、挿入したり、間引くことなどにより発生する画像の不連続点を、カウント数が連続しているか否かを基に、再符号化時に検出することができるようにした技術がある（例えば、特許文献３）。

特開２００１−１６９２７８

上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、以前の符号化のパラメータ情報を再利用して再符号化することはできない。

そして、編集点を検出するために、編集点を示す符号（フラグ）を挿入する技術を用いるようにした場合、符号化ストリームの授受が行われるシステム全体において、編集時には、編集点を示す所定の符号（フラグ）を挿入するようにし、符号化を行うときには、全ての符号化装置で所定の編集点を示す符号（フラグ）を検出することができなければならない。例えば、編集点を示す符号（フラグ）を挿入する機能を有さない編集装置が１台でもシステムに組み込まれてしまった場合、伝送される符号化ストリームに、符号化ストリームに編集点を示す所定の符号（フラグ）が挿入されていない編集点が存在してしまう可能性が発生してしまう。

一方、ストリームデータに、フレームまたはフィールドごとにカウントアップされるカウント数の情報を含ませるようにすれば、符号化ストリームが伝送される途中で、編集点を示す符号（フラグ）を挿入する機能を有さない編集装置がシステムに組み込まれていても、カウント数の連続性の有無を検出することにより、編集点であるか否かを判断することが可能となる。しかしながら、カウンタは、所定の有限の数までしかカウントすることができないため、編集点において、偶然にカウント数が連続してしまう可能性がある。また、複数のカメラを用いて同時に撮像が開始され、時間的に連続させて、撮像するカメラを切り替えて画像を編集するような場合、編集点であっても、カウント数が連続してしまう。具体的には、例えば、野球の中継を複数のカメラで行い、バックネット裏のカメラＡと外野席のカメラＢとが、同時に撮像をスタートさせた場合、カメラＡで撮像されたピッチャーの映像と、カメラＢで撮像された打者の映像とが時間的に連続して切替えら得たとき、その切替え点は編集点となるにもかかわらず、フレームまたはフィールドに含まれるカウント数の情報は連続する。

本発明はこのような状況に鑑みてなされたものであり、再符号化時に画像データの編集点を検出することができるようにするものである。

本発明の一側面のストリーム変換装置は、符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置であって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得する取得手段と、前記取得手段により取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出する編集点検出手段と、前記編集点検出手段により検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、前記取得手段により取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択する選択手段と、前記選択手段により選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する変換手段とを備える。

前記編集点検出手段には、前記取得手段により取得された前記追加符号化情報内の前記区別情報が変更されたことを検出した場合に、前記編集点を検出させるようにすることができる。

前記符号化ストリームは、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有するMPEG方式で符号化処理されているものとすることができる。

前記符号化ストリームは、全てのピクチャがIピクチャとして符号化処理されるAll Intra方式、または、Iピクチャ・Pピクチャ・Bピクチャの3種類のピクチャタイプで符号化処理されるLong GOP方式であるものとすることができる。

前記変換手段には、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有するMPEG方式で変換処理を行わせるようにすることができる。

前記変換手段には、全てのピクチャをIピクチャとして符号化処理するAll Intra方式、または、Iピクチャ・Pピクチャ・Bピクチャの3種類のピクチャタイプで符号化処理するLong GOP方式で変換処理を行わせるようにすることができる。

本発明の一側面のストリーム変換方法は、符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置のストリーム変換方法であって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得し、取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理するステップを含む。

本発明の一側面のプログラムは、符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるプログラムであって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報、および、前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータ、並びに、前記符号化ストリームの取得を制御し、取得が制御された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得が制御された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理するステップを含む処理をコンピュータに実行させる。

本発明の一側面の記録媒体に記録されているプログラムは、符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるプログラムであって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報、および、前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータ、並びに、前記符号化ストリームの取得を制御し、取得が制御された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得が制御された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と、符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとが、符号化ストリームとともに取得され、取得が制御された追加符号化情報内の区別情報が、フレーム毎に比較されることにより、符号化ストリームの編集点が検出され、検出された編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータが利用符号化パラメータとして選択され、編集点を含む所定区間以外の区間では、取得が制御された過去の符号化パラメータが利用符号化パラメータとして選択され、選択された利用符号化パラメータが利用されて、符号化ストリームが再符号化ストリームに変換処理される。

本発明の一側面によれば、編集点を検出することができ、特に、符号化装置を固有に区別可能な情報を含む情報を基に、編集点を検出することができるので、検出結果に基づいて、利用符号化パラメータを選択することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明の一側面のストリーム変換装置（例えば、図５のトランスコーダ１５２、図１６のトランスコーダ２３１）は、符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置であって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得する取得手段と、前記取得手段により取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出する編集点検出手段（例えば、図１２または図１７の編集点検出部２１７）と、前記編集点検出手段により検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、前記取得手段により取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択する選択手段（例えば、図１２または図１７の量子化値決定部２０８）と、前記選択手段により選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する変換手段（例えば、図５の復号部１２１または図１６の復号部１４１、および、図１２または図１７のＤＣＴ部２０６、量子化部２０７、ＶＬＣ部２０９、動き補償部２１３など）とを備える。

前記編集点検出手段は、前記取得手段により取得された前記追加符号化情報内の前記区別情報（例えば、Encoder_ID）が変更されたことを検出した場合に、前記編集点を検出することができる。

本発明の一側面のストリーム変換方法は、符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置のストリーム変換方法であって、画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得し（例えば、図１８のステップＳ６１乃至ステップＳ６３、図１９のステップＳ８１乃至ステップＳ８３、図２０のステップＳ１０１乃至ステップＳ１０３の処理）、取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し（例えば、図１８のステップＳ６６乃至ステップＳ６８、図１９のステップＳ８６乃至ステップＳ８８、図２０のステップＳ１０６乃至ステップＳ１０８の処理）、検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する（例えば、図２１のステップＳ１３４乃至ステップＳ１４５の処理、または、図２９のステップＳ２４４乃至ステップＳ２５９の処理）ステップを含む。

また、本発明の一側面のプログラム、または、記録媒体に記録されたプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、本発明の一側面の情報処理方法と同様である。

以下、図を参照して、本発明の実施の形態について説明する。

本発明を適用した、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図５を用いて説明する。

なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してある。すなわち、符号化装置１に変わって、符号化装置１５１を設け、トランスコーダ１０２に代わって、トランスコーダ１５２が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、トランスコーダ１５２は、符号化部１２２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒストリー情報）を選択することが可能な符号化部１６１が設けられ、符号化部１６１には、復号部１２１から出力される復号された信号のほかに、復号部１２１に入力されているストリームデータも入力されているほかは、トランスコーダ１０２と基本的に同様に構成されている。

符号化装置１５１は、圧縮されていない原画像の入力を受け、符号化処理を実行する。符号化装置１５１は、この符号化ストリームが、例えば、フレーム編集装置３において編集された後、トランスコーダ１５２の符号化部１６１が編集点を検出することができるように、追加符号化情報を生成して、符号化ストリームに付加する。

図６は、符号化装置１５１の構成を示すブロック図である。

フレームカウンタ１８１は、原画像の入力時にフレームシンクを検出して、１フレームごとに、カウント数をアップさせて、追加符号化情報生成部１８２に供給する。フレームカウンタ１８１は、カウント数に、例えば、65535など、所定の上限値を有しているので、カウント数が上限値に達した場合は、また、0から、新たにカウントを開始する。すなわち、後述する処理において、再符号化処理が実行される場合、カウントの上限値と0とは、連続したフレームであると認識される。

なお、カウントは１つずつカウントアップ、またはカウントダウンされる以外にも、例えば、２、または、それ以上の数を用いて、１フレームごとに所定数だけカウントアップまたはカウントダウンするようにし、計数されたカウント値を追加符号化情報生成部１８２に出力するようにしてもよい。

メモリ１８４には、この符号化装置１５１の機種を示す情報であるEncoder_ID、および、このエンコーダのシリアルナンバであるEncoder_Serial_Numberが予め記憶されている。換言すれば、Encoder_ID、および、Encoder_Serial_Numberは、エンコーダを固有に区別するために用いることができる区別情報である。

追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoder_ID、および、Encoder_Serial_Number、を読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。

符号化部１８５は、例えば、SDI（Serial Digital Interface）フォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された、Continuity_Counter、Encoder_ID、および、Encoder_Serial_Numberの情報を、追加符号化情報として、１フレームごとに付加して出力する。

すなわち、符号化部１８５により符号化された符号化ストリームに付加される追加符号化情報が、Continuity_Counter、Encoder_ID、および、Encoder_Serial_Numberであることにより、例えば、編集点において、偶然にカウント数が連続してしまったり、連続したフレームであることを示してしまうカウント値が得られるようなことがあっても、後述する再符号化処理時に、Encoder_ID、または、Encoder_Serial_Numberを基に、符号化を行ったのが異なる符号化装置であることが検出されれば、編集点であることを検出することが可能となる。

ここでは、符号化装置１５１を特定するために、機種を示す情報であるEncoder_ID、および、シリアルナンバであるEncoder_Serial_Numberが用いられている。シリアルナンバは、一般的には、何桁かの数字と、必要に応じて、機種を示す何文字かのアルファベットで表されているが、もし、シリアルナンバに機種を示すアルファベットが付加されていない場合、他機種で同じシリアルナンバの符号化装置が存在することになってしまう。他機種で同じシリアルナンバの符号化装置を同一の符号化装置と認識してしまうことを避けるためには、符号化装置１５１を特定するために、機種を示す情報であるEncoder_ID、および、シリアルナンバであるEncoder_Serial_Numberを用いると好適である。しかしながら、例えば、シリアルナンバに機種を示す何文字かのアルファベットが付加されており、他の機種を含めても、同一のシリアルナンバの符号化装置が他に存在しない（シリアルナンバのみで符号化装置が特定可能である）ようになされているのであれば、シリアルナンバに対応する情報であるEncoder_Serial_Numberのみを、符号化装置１５１を特定する情報として、メモリ１８４に記憶して、符号化部１８５により符号化された符号化ストリームに追加符号化情報として付加するようにしても良い。

なお、追加符号化情報に、Continuity_Counterが含まれておらず、少なくとも、Encoder_ID、および、Encoder_Serial_Numberなどの、符号化装置１５１を特定することができる情報のみが付加されている場合も、符号化を行った機器が異なることが検出されることによって、編集点を検出することができる。

また、追加符号化情報には、符号化装置１５１を特定するための情報に代わって、符号化装置１５１において符号化が開始された時点を示す情報を用いるようにしても良い。

追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されたフレームのカウント値の入力を受けると、１フレーム目の符号化の開始と同時となる時間情報として、タイマ１８３から現在の時刻、または、日時の情報を取得して、メモリ１８４に供給する。また、メモリ１８４は、追加符号化情報生成部１８２から供給された符号化の開始時刻または開始日時を示す情報の供給を受けて、Encoding_Start_Time_Codeとして記憶する。

Encoding_Start_Time_Codeには、符号化が開始された時点を示す情報として、開始時刻または開始日時を示す情報が記載されるが、この情報は、例えば、年、月、日、時、分、秒で構成される情報であっても、月、日、時、分、秒で構成される情報であっても、日、時、分、秒で構成される情報であっても、時、分、秒で構成される情報であっても、または、時、分で構成される情報であってもかまわないし、年、月、日、時、分、秒のうちのいずれか１つの情報であってもよい。すなわち、Encoding_Start_Time_Codeが異なるデータストリームが、同一時点で符号化が開始された一続きの符号化ストリームではないことを検出することができればよい。

追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoding_Start_Time_Codeを読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。

符号化部１８５は、例えば、SDIフォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された、Continuity_Counter、および、Encoding_Start_Time_Codeの情報を、追加符号化情報として、１フレームごとに付加して出力する。

これにより、例えば、編集点において、偶然にカウント値が連続してしまうようなことがあっても、後述する再符号化処理時に、Encoding_Start_Time_Codeを参照することにより、符号化が開始された日時が異なることが検出されれば、編集点であることが検出されるので、編集点において、偶然にカウント値が連続してしまうことにより、編集点を見逃してしまうことを防止することが可能となる。

なお、追加符号化情報に、Continuity_Counterが含まれておらず、少なくとも、符号化の開始時刻または開始日時を示す情報であるEncoding_Start_Time_Codeのみが付加されている場合も、符号化の開示時刻または開始日時が異なることが検出されることによって、編集点を検出することができる。

また、符号化装置１５１においては、符号化ストリームに付加される追加符号化情報を、Continuity_Counter、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberとしてもよい。

すなわち、追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されたフレームのカウント値の入力を受けると、１フレーム目の符号化の開始と同時となる時間情報として、タイマ１８３から現在の日時の情報を取得して、メモリ１８４に供給する。また、メモリ１８４は、追加符号化情報生成部１８２から供給された符号化の開始時刻を示す情報の供給を受けて、Encoding_Start_Time_Codeとして記憶する。

更に、メモリ１８４には、この符号化装置１５１の機種を示す情報であるEncoder_ID、および、このエンコーダのシリアルナンバであるEncoder_Serial_Numberが予め記憶されているようにし、追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberを読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。

符号化部１８５は、例えば、SDIフォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された追加符号化情報である、Continuity_Counter、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberの情報を、１フレームごとに付加して出力する。

なお、図６の符号化装置１５１においては、追加符号化情報生成部１８２により生成された追加符号化情報を、符号化ストリームの各フレームに付加して出力するものとして説明したが、符号化ストリームの各フレームに、追加符号化情報が正しくリンクされていれば、符号化ストリームと追加符号化情報とは、個別に出力されてもよい。また、符号化ストリームと追加符号化情報とは、伝送路１１を介してトランスコーダ１０１に送信されるのみならず、記録媒体に記録されて、トランスコーダ１０１に供給されるようにしてもよい。符号化ストリームと追加符号化情報とが、記録媒体に記録されてトランスコーダ１０１に供給されるようになされている場合、符号化ストリームの各フレームに、追加符号化情報が正しくリンクされていれば、符号化ストリームと追加符号化情報とは、異なる記録媒体に記録されて供給されるようにしてもよいことは言うまでもない。

次に、図７のフローチャートを参照して、符号化情報を含む符号化データ作成処理１について説明する。この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている場合について説明する。

ステップＳ１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。

ステップＳ２において、フレームカウンタ１８１は、符号化部１８５に供給される非圧縮画像データのフレームシンクを検出し、フレーム数をカウントする。

ステップＳ３において、符号化部１８５は、供給された非圧縮画像データに対して、符号化処理を実行する。

ステップＳ４において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）と、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。なお、Encoder_Serial_Numberのみで符号化装置１５１の特定が可能であれば、メモリ１８４に記憶され、追加符号化情報生成部１８２に取得される情報は、Encoder_Serial_Numberのみであってもかまわない。

ステップＳ５において、追加符号化情報生成部１８２は、取得した符号化装置を特定する情報（Encoder_ID、および、Encoder_Serial_Number）およびフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。

ステップＳ６において、符号化部１８５は、符号化データに供給された追加符号化情報を合成して出力する。

ステップＳ７において、符号化部１８５は、非圧縮画像データの供給が終了したか否かを判断する。ステップＳ７において、非圧縮画像データの供給が終了していないと判断された場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。ステップＳ７において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。

このような処理により、符号化データに、追加符号化情報として、符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）およびフレームのカウント値（Continuity_Counter）が付加されて出力されるので、この符号化データを再符号化する場合において、編集点を検出することが可能となる。

次に、図８のフローチャートを参照して、符号化情報を含む符号化データ作成処理２について説明する。なお、この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている必要はない。

ステップＳ２１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。

ステップＳ２２において、追加符号化情報生成部１８２は、タイマ１８３を参照して、年、月、日、時間、分、秒など、現在の時刻を示すための情報で構成される現在時刻情報を取得し、符号化開始時刻（Encoding_Start_Time_Code）として、メモリ１８４に記憶させる。

ステップＳ２３およびステップＳ２４において、図７のステップＳ２およびステップＳ３と同様の処理が実行される。すなわち、供給された非圧縮画像データのフレーム数がカウントされて、符号化処理が実行される。

ステップＳ２５において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化開始時刻（Encoding_Start_Time_Code）と、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。

ステップＳ２６において、追加符号化情報生成部１８２は、取得した符号化開始時刻（Encoding_Start_Time_Code）およびフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。

ステップＳ２７およびステップＳ２８において、図７のステップＳ６およびステップＳ７と同様の処理が実行される。すなわち、符号化データに供給された追加符号化情報が合成されて出力され、非圧縮画像データの供給が終了したか否かが判断されて、終了していないと判断された場合、処理は、ステップＳ２３に戻り、それ以降の処理が繰り返される。ステップＳ２８において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。

このような処理により、符号化データに、追加符号化情報として、符号化開始時刻（Encoding_Start_Time_Code）およびフレームのカウント値（Continuity_Counter）が付加されて出力されるので、後述する再符号化処理において、編集点を検出することが可能となる。

次に、図９のフローチャートを参照して、符号化情報を含む符号化データ作成処理３について説明する。この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている場合について説明する。

ステップＳ４１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。

ステップＳ４２において、追加符号化情報生成部１８２は、タイマ１８３を参照して、現在時刻情報を取得し、符号化開始時刻（Encoding_Start_Time_Code）として、メモリ１８４に記憶させる。

ステップＳ４３およびステップＳ４４において、図７のステップＳ２およびステップＳ３と同様の処理が実行される。すなわち、供給された非圧縮画像データのフレーム数がカウントされて、符号化処理が実行される。

ステップＳ４５において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）、並びに、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。なお、Encoder_Serial_Numberのみで符号化装置１５１の特定が可能であれば、メモリ１８４に記憶され、追加符号化情報生成部１８２に取得される情報は、Encoder_Serial_Numberのみであってもかまわない。

ステップＳ４６において、追加符号化情報生成部１８２は、取得した符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）並びにフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。

ステップＳ４７およびステップＳ４８において、図７のステップＳ６およびステップＳ７と同様の処理が実行される。すなわち、符号化データに供給された追加符号化情報が合成されて出力され、非圧縮画像データの供給が終了したか否かが判断されて、終了していないと判断された場合、処理は、ステップＳ４３に戻り、それ以降の処理が繰り返される。ステップＳ４８において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。

このような処理により、符号化データに、追加符号化情報として、符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）、並びに、フレームのカウント値（Continuity_Counter）が付加されて出力されるので、後述する再符号化処理において、図７または図８を用いて説明した処理よりも、高い精度で、編集点を検出することが可能となる。

また、図７乃至図９を用いて説明した処理により生成された追加符号化情報は、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとして用いるようにしても良い。更に、追加符号化情報は、再符号化時にヒストリーデータや符号化パラメータの再利用不可期間を決定するために用いられるのみならず、再生時の頭だしのポイント（例えば、DVDなどにおけるチャプターの開始点および終了点や、繰り返し再生用のスタートポイントおよびエンドポイントなどを含む）などを検出するために用いられたり、シーンチェンジを検出するために用いられる。シーンチェンジを検出することによって、例えば、符号化における量子化値の制御が最適化されたり、テレビジョン放送などの番組ストリームの中にコマーシャルに対応するストリームデータが挿入されている場合に、コマーシャルの挿入個所を検出するために利用したり、ストリームデータを用いて、自動的にサムネイル画像を生成してユーザに提示する場合のストリームデータの区切り位置を決定するために利用することが可能である。

再び、図５の説明に戻る。

トランスコーダ１０１は、伝送路１１から、追加符号化情報が付加されたMPEGのLong GOPの供給を受ける。

MPEGのLongGOPは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。トランスコーダ１０１は、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがLongGOPで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、伝送路１１を介して、トランスコーダ１０１に、MPEGのLong GOPストリームを送信した装置による符号化のパラメータ（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータ）を、All Intraのストリーム（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）上に、SMPTEに規定されている（SMPTE328M、SMPTE329M）ヒストリー情報（History data）として付加し、SDTI CPインタフェースのフレーム編集装置３に供給する。

図１０を用いて、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックス（SMPTE 329M）について説明する。

SMPTE 329Mのcompressed_stream_format_of_MPEG_2_recoding_set（）は、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user_data（0)関数、group_of_picture_header（）関数、extension_and_user_data（1)関数、picture_header（）関数、picture_coding_extension（）関数、re_coding_stream_info()関数、extension_and_user_data（2)関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。

next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数である。sequence_header（）関数によって定義されるデータエレメントには、例えば、画像の水平方向の画素数の下位１２ビットから成るデータであるhorizontal_size_value、画像の縦のライン数の下位１２ビットからなるデータであるvertical_size_value、発生符号量制御用の仮想バッファ（VBV；ビデオバッファベリファイヤ）の大きさを決める値の下位１０ビットデータであるVBV_buffer_size_valueなどがある。sequence_extension（）関数によって定義されるデータエレメントには、例えば、ビデオデータが順次走査であることを示すデータであるprogressive_sequence、ビデオデータの色差フォーマットを指定するためのデータであるchroma_format、Ｂピクチャを含まないことを示すデータであるlow_delayなどがある。

extension_and_user_data（ｉ)関数は、「ｉ」が２以外のときは、extension_data（）関数によって定義されるデータエレメントは記述されずに、user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。よって、 extension_and_user_data（0)関数は、 user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。そして、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1)関数によって定義されるデータエレメントが記述されている。

picture_headr（）関数によって定義されるデータエレメントには、例えば、ピクチャ層の開始同期コードを表すデータであるpicture_start_code、ピクチャの表示順を示す番号で、GOPの先頭でリセットされるデータであるtemporal_referenceなどがある。picture_coding_extension（）関数によって定義されるデータエレメントには、例えば、フレームストラクチャかフィールドストラクチャかを示すデータであり、フィールドストラクチャの場合は上位フィールドか下位フィールドかもあわせて示すデータであるpicture_structure、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータであるtop_field_first、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータであるq_scale_type、２：３プルダウンの際に使われるデータであるrepeat_firt_fieldなどがある。

re_coding_stream_info（）関数によって定義されるデータエレメントは、SMPTE327Mにおいて定義されている。extensions_and_user_data（2）については、図１１を用いて後述する。picture_data（）関数によって定義されるデータエレメントは、slice（）関数によって定義されるデータエレメントである。slice（）関数によって、macroblock（）が定義され、macroblock（）には、motion_vectors情報などが記載されている。

図１０で説明した、compressed_stream_format_of_MPEG_2_recoding_set（）のextension_and_user_data（2)内のuser_data(2)に記載される情報について、図１１を用いて説明する。

Stream_Information_Headerは、３２bitのデータであり、picture_layerのuser_dataでの識別用のHeader番号が記載されており、user_dataとしてこの情報を識別できる値が記載されている１６bitのStream_Information_Header、Strema_Information（）のbyte長を示す、８bitのLength、および、marker_bitsで構成されている。

Encoder_Serial_Numberは、エンコーダ（符号化部または符号化装置）に固有につけられる番号（シリアルナンバ）であり、１６bitの情報である。Encoder_IDは、エンコーダの機種を示すIDであり、１５bitの情報である。

続くEncoding_Start_Time_Codeは、このストリームの生成が開始された時刻を示す情報であり、各byteデータのmsbを、marker_bit＝１とする、８byteの情報である。ここでは、８byte中の６byteが用いられて、ストリームの生成が開始された年（Time_Year)、月（Time_Month)、日（Time_Day)、時（Time_Hour)、分（Time_Minute)、および、秒（Time_Second）が記載されている。これらの値は、１ストリーム中で一定値となる。

Encoder_Serial_Number、Encoder_ID、または、Encoding_Start_Time_Codeは、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとしても用いられる。

Generation_Counter （GenC）は、符号化の世代数を示すカウント数であり、４ bitの情報である。符号化の世代数は、SDI（Serial Digital Interface）データからASI（Asynchronous Serial Interface）データにエンコードするときにカウントが開始され（第１世代とされ）、ASIデータからASIデータへの再エンコード時、またはSDTI CP（Serial Data Transport Interface-Contents Package）データからASIデータの再エンコード時に、カウント数がインクリメントされる。

SDTI CPとは、Pro-MPEGフォーラムの推進でSMPTE326Mとして標準化された、MPEGデータをリアルタイムに伝送（同期転送）する世界標準規格であり、全てイントラフレーム（All Intra）である場合の伝送方式である。SDIとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ANSI/SMPTE259Mに規定されている。ASIとは、符号化されたMPEGのLong GOPのストリームデータの伝送方式である。

Continuity_Counterとは、フレームごとにインクリメントされるカウンタであり、最大値をすぎたら、再度、０からカウントが開始される。また、必要に応じて、フレーム数ではなく、フィールド数やピクチャ数をカウントするようにしても良い。

Continuity_Counterは、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとしても用いられる。

そして、これ以下に説明する情報は、デコーダ（復号部または復号装置）にて復号されたときに生成されるパラメータから抽出されて挿入される情報であるので、挿入前の状態においては、領域が確保されているだけである。

picture_coding_typeは、MPEG2規格に準拠した、ピクチャのコーディングタイプを示す３ bitの情報で、例えば、このピクチャは、Ｉピクチャであるか、Ｂピクチャであるか、Ｐピクチャであるかなどが示される。temporal_referenceは、MPEG2規格に準拠した、GOPの中の画像順を表す（ピクチャごとにカウントアップされる）１０bitの情報である。

reuse_levelとは、パラメータの再利用を規定するための７bitの情報である。error_flagは、各種エラーを通知するためのフラグである。

header_present_flag（Ａ）は、sequence header present flagと、GOP header present flagとの２bitのフラグ情報である。

extension_start_code_flagsは、SMPTE327Mに規定されている情報であり、各種の拡張IDが含まれているか否かを示す１６ｂｉｔのフラグ情報であり、０は拡張IDが含まれていないことを、１は拡張IDが含まれていることを示す。拡張IDには、例えば、sequence extension ID、 sequence display extension ID、quant matrix extension ID、copyright extension ID、sequence scalable extension ID、picture display extension ID、picture coding extension ID、picture spatial scalable extension ID、picture temporal scalable extension IDなどがある。

other_start_codes（図中other）は、ユーザデータのスタートコードがどのレイヤに含まれているか、または、シーケンスエラーコードおよびシーケンスエンドコードが含まれているか否かを示す５bitのフラグ情報である。

図中、Ｂと記載されているのは、reduced_bandwidth_flag（Ｂ）の１bitの情報であり、Cと記載されているのは、reduced_bandwidth_indicator（C）の２bitの情報である。num_of_picture_bytesは、ピクチャの発生量を示す２２bitの情報であり、レートコントロールなどに用いられる。

bit_rate_extensionは、１２bitの、ビットレートに関する拡張情報領域であり、bit_rate_valueは、１８bitの情報である。SMPTEに規定されているフォーマットにおいて、ビットレートの情報は、統計多重されることにより、しばしば、特定の値（例えば、“ｆｆ“）で記載されているため、この情報を、再符号化に用いることはできない。これに対して、bit_rate_extensionは、再符号化に用いるために、前の符号化における実際のビットレートの値が記載される領域である。

図５のトランスコーダ１０１の符号化部１１２において、図１０および図１１を用いて説明したようなヒストリーデータが付加されたAll Intraの符号化ストリームは、フレーム編集装置３にてフレーム編集される。そして、ヒストリー情報付のAll Intraのストリームデータは、トランスコーダ１５２に供給される。トランスコーダ１５２は、供給された、ヒストリー情報付のAll Intraのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータを、必要に応じて使用して、復号部１２１で復号された情報を、LongGOPに再符号化して出力する。

図１２は、符号化部１６１の構成を示すブロック図である。

ヒストリー抽出部２０１は、復号部１２１により復号された、ヒストリー情報付のAll Intraストリームから、ヒストリー情報を抽出して、制御部２１６に供給するとともに、映像ストリームをバッファ２０２に供給する。ヒストリー抽出部２０１により抽出されるヒストリー情報は、図１０および図１１を用いて説明したように、SMPTE 329Mにおいて規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）の形式で記載されており、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。バッファ２０２は、供給されたストリームデータを所定期間（少なくとも、Ｐピクチャ間隔よりも長い期間）バッファリングした後、映像ストリームを画像並べ替え部２０３に供給する。

編集点検出部２１７は、符号化部１６１に供給されたストリームデータ、または、ヒストリー抽出部２０１により抽出されたヒストリー情報に基づいて、編集点を検出する。すなわち、編集点検出部２１７は、内部に有するメモリに、１フレーム前の追加符号化情報（例えば、Encoding_Start_Time_Code、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoding_Start_Time_Code、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして）を保存し、図１３に示されるように、その次のフレームの追加符号化情報と比較して、連続性を示さない情報があるか否かを基に、編集点を検出する。なお、編集点検出部２１７は、追加符号化情報以外にも、例えば、ストリームデータに付加されている編集点を示すフラグ情報を検出することにより、編集点を検出するようにしても良い。

制御部２１６は、編集点検出部２１７から編集点を検出したことを示す信号の入力を受け、図１４に示されるように、編集点前のＰピクチャから、編集点後の所定のピクチャまでの期間だけ、パラメータ再利用不可期間を設定し、その期間は、ヒストリー抽出部２０１により抽出された、ヒストリー情報に含まれている過去の符号化のパラメータを用いずに符号化が実行されるように、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を制御する。パラメータ再利用不可期間の詳細については後述する。また、制御部２１６は、図１４を用いて説明したパラメータ再利用不可期間以外の期間においては、ヒストリー抽出部２０１により抽出された、ヒストリー情報に含まれている過去の符号化のパラメータを基に、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を、必要に応じて制御する。

更に、制御部２１６は、パラメータ再利用不可期間を設定した場合、その設定情報をヒストリー情報生成部２１８に供給する。ヒストリー情報生成部２１８は、制御部２１６から供給された、パラメータ再利用不可期間の設定情報を含むヒストリー情報を生成し、ＶＬＣ部２０９において符号化されるストリームデータに付加させる。

また、制御部２１６は、パラメータ再利用不可期間中に、編集点検出部２１７から編集点を検出したことを示す信号の入力を受けた場合、図１５に示されるように、後から検出された編集点の位置を基に、パラメータ再利用不可期間の終了点を設定することができるように、その内部のレジスタに、編集点検出フラグおよび再利用停止フラグを設け、編集点を検出したとき、編集点検出フラグをオンにし、その後、編集点の直前の再利用不可区間の始まりであるＰピクチャを検出して、再利用停止フラグをオンとして、再利用不可区間の設定のためのピクチャ数、または、Ｐピクチャの数のカウントを開始するとともに、編集点検出フラグをオフにする。そして、再利用停止フラグがオンの状態において、再度、編集点を検出したとき、編集点検出フラグをオンにし、再利用停止フラグをオンとした状態のまま、再利用不可区間の設定のためのピクチャ数、または、Ｐピクチャの数のカウントを一旦リセットした後、再開するようになされている。

制御部２１６は、ヒストリー抽出部２０１から、図１０および図１１を用いて説明したヒストリー情報の供給を受け、パラメータ再利用不可期間以外の期間において、ヒストリー情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部２０３、動きベクトル検出部２０５、量子化値決定部２０８、ストリームスイッチ２１９の一部、もしくは全ての処理を制御する。

具体的には、制御部２１６は、パラメータ再利用不可期間以外の期間において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayに記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldに、それぞれ記載されている情報である。

以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部２１６は、次に符号化する画像枠は、ヒストリー情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプ（図１１を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_type）の情報のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_valueおよびvertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseを比較することにより判断される。

画像並べ替え部２０３は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部２１６から供給された制御信号を基に、ヒストリー情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。

画像枠が一致していると判断された場合、制御部２１６は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueに記載されている。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatに記載されている。

動きベクトル検出部２０５は、制御部２１６から供給された制御信号を基に、過去の符号化における動きベクトル情報を、動きベクトルとして再利用する。

以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部２１６は、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。

量子化値決定部２０８は、制御部２１６からから供給された制御信号を基に、必要に応じて、再利用された量子化値を量子化部２０７に供給して、量子化を実行させる。

画像並べ替え部２０３は、制御部２１６の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部２０４、および、動きベクトル検出部２０５に供給する。

動きベクトル検出部２０５は、マクロブロックデータの入力を受け、制御部２１６の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ２１４に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部２１３に送出したり、制御部２１６から供給された過去の符号化の動きベクトルを再利用して、動き補償部２１３に送出する。

演算部２０４は、画像並べ替え部２０３から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部２０４は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。

ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。

まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部２０４は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてDCT（Discrete Cosine Transform ：離散コサイン変換）部２０６に送出する。DCT部２０６は、入力された演算データに対しDCT変換処理を行うことによりDCT係数化し、これをDCT係数データとして、量子化部２０７に送出する。

量子化部２０７は、量子化値決定部２０８から供給される量子化値Ｑに基づいて、入力されたDCT係数データに対して量子化処理を行い、量子化DCT係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部２０９および逆量子化部２１０に送出する。ここで、量子化部２０７は、量子化値決定部２０８から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。

逆量子化部２１０に送出された量子化DCT係数データは、量子化部２０７と同じ量子化ステップサイズによる逆量子化処理を受け、DCT係数データとして、逆DCT部２１１に送出される。逆DCT部２１１は、供給されたDCT係数データに逆DCT処理を施し、生成された演算データは、演算部２１２に送出され、参照画像データとしてフレームメモリ２１４に記憶される。

そして、演算部２０４は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。

動き補償部２１３は、フレームメモリ２１４に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部２０４は、マクロブロックデータについて、動き補償部２１３より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。

すなわち、順方向予測モードにおいて、動き補償部２１３は、フレームメモリ２１４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部２０４および演算部２１２に供給する。演算部２０４は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部２０４は、差分データをDCT部２０６に送出する。

演算部２１２には、動き補償部２１３より順方向予測画像データが供給されており、演算部２１２は、逆DCT部２１０から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ２１４に出力して記憶させる。

また、双方向予測モードにおいて、動き補償部２１３は、フレームメモリ２１４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部２０４および演算部２１２に供給する。演算部２０４は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部２０４は、差分データをDCT部２０６に送出する。

演算部２１２には、動き補償部２１３より双方向予測画像データが供給されており、演算部２１２は、逆DCT部２１０から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ２１４に出力して記憶させる。

かくして、符号化部１６１に入力された画像データは、動き補償予測処理、DCT処理および量子化処理を受け、量子化DCT係数データとして、ＶＬＣ部２０９に供給される。ＶＬＣ部２０９は、量子化DCT係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ２１５に送出する。バッファ２１５は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ２１９に出力する。

ストリームスイッチ２１９は、制御部２１６の制御に基づいて、バッファ２１５から供給された可変長符号化データを出力する。

量子化値決定部２０８は、バッファ２１５に格納される可変長符号化データの蓄積状態を常時監視しており、制御部２１６の制御に基づいて、蓄積状態を表す占有量情報、または、制御部２１６から供給される、過去の符号化のパラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。

量子化値決定部２０８は、上述したように、制御部２１６から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。

また、量子化値決定部２０８は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。

すなわち、量子化値決定部２０８は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部２０７に供給する。

ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（３）として表される。

ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt} ・・・（１）

ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。

ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／MBcnt ・・・（２）

ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt ・・・（３）

量子化値決定部２０８は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。

したがって、量子化値決定部２０８は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部２０７に供給する。

ｒ＝（２×ｂｒ）／ｐｒ ・・・（４）

Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５）

ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。

量子化部２０７は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってDCT係数データを量子化する。

これにより、量子化部２０７は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、DCT係数データを量子化することができる。

かくして、量子化部２０７では、バッファ２１５のデータ占有量に応じて、バッファ２１５がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化DCT係数データを生成することができる。

なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。

また、図４を用いて説明した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して、低ビットレートのLongGOPに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図１６は、本発明を適用した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのLongGOPに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してある。更に、図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図１６のシステムは、符号化装置１に代わって、図６を用いて説明した符号化装置１５１が備えられ、トランスコーダ１３１に代わって、トランスコーダ２３１が備えられ、トランスコーダ２３１は、符号化部１４２に代わって、供給されるストリームの条件に対応して、編集点付近の所定の再利用不可期間以外の期間において再利用可能な履歴情報（パラメータ情報）を選択して符号化に用いることが可能な符号化部２４１が設けられており、符号化部２４１には、復号部１４１から出力される復号された信号のほかに、復号部１４１に入力されているストリームデータも入力されているほかは、基本的に、トランスコーダ１３１と同様の構成を有する。

符号化装置１５１により符号化されたMPEGのLong GOPのストリーム（ASIストリーム）データの供給を受けたトランスコーダ２３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２４１に供給する。符号化部２４１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリーム（ASIストリーム）データを出力する。

図１７は、符号化部２４１の構成を示すブロック図である。なお、図１７においては、図１２の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、符号化部２４１は、ヒストリー抽出部２０１が省略され、復号部１４１から供給されるパラメータを取得して制御部２１６に供給する、パラメータ入力部２２１が設けられ、ヒストリー情報生成部２１８が省略されているほかは、図１２の符号化部１６１と、基本的に同様の構成を有するものである。

編集点検出部２１７は、符号化部１６１に供給されたストリームデータ、または、パラメータ入力部２５１により取得されたパラメータ情報に基づいて、編集点を検出する。すなわち、編集点検出部２１７は、内部に有するメモリに、１フレーム前の追加符号化情報（例えば、Encoding_Start_Time_Code、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoding_Start_Time_Code、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして）を保存し、図１３を用いて説明したように、その次のフレームの追加符号化情報と比較して、連続性を示さない情報があるか否かを基に、編集点を検出する。なお、編集点検出部２１７は、追加符号化情報以外にも、例えば、ストリームデータに付加されている編集点を示すフラグ情報を検出することにより、編集点を検出するようにしても良い。

制御部２１６は、編集点検出部２１７から編集点を検出したことを示す信号の入力を受け、図１４を用いて説明したように、パラメータ再利用不可期間を設定し、その期間は、パラメータ入力部２２１により抽出された、符号化パラメータ情報に含まれている過去の符号化のパラメータを用いずに符号化が実行されるように、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を制御する。また、制御部２１６は、パラメータ再利用不可期間以外の期間においては、パラメータ入力部２２１から、図１０および図１１を用いて説明したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、パラメータ情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部２０３、動きベクトル検出部２０５、量子化値決定部２０８、ストリームスイッチ２１９の一部、もしくは全ての処理を制御する。

具体的には、制御部２１６は、パラメータ再利用不可期間以外の期間において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayと同様にして、パラメータ情報に記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldと同様にして、パラメータ情報に、それぞれ記載されている情報である。

以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部２１６は、次に符号化する画像枠は、パラメータ情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプの情報（図１１を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_typeと同様にして、パラメータ情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseと同様にして、パラメータ情報に記載されている情報を比較することにより判断される。

画像並べ替え部２０３は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部２１６から供給された制御信号を基に、パラメータ情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。

画像枠が一致していると判断された場合、制御部２１６は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報と同様にして、パラメータ情報に記載されている情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueと同様にして、パラメータ情報に記載されている情報である。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatと同様にして、パラメータ情報に記載されている。

動きベクトル検出部２０５は、制御部２１６から過去の符号化の動きベクトル情報の供給を受け、動きベクトルとして再利用する。

以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部２１６は、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断し、一致していないと判断された場合、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。

量子化値決定部２０８は、制御部２１６からから供給された制御信号を基に、過去の符号化に用いられた量子化値を量子化部２０７に供給して、量子化を実行させる。

クロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、制御部２１６は、ストリームスイッチ２１９を制御して、復号部１４１に入力されたストリームデータを出力する。

なお、図１７の符号化部２４１においては、パラメータ情報に含まれる前の符号化に関する情報を再利用するか否かにかかわる制御部２１６の処理以外の通常の符号化処理については、図１２を用いて説明した符号化部１６１と同様の処理が実行されるので、その詳細な説明は省略する。

すなわち、図１２を用いて説明した符号化部１６１および図１７を用いて説明した符号化部２４１において、ヒストリー情報またはパラメータ情報を再利用しない場合、通常のエンコードが行われ、ピクチャタイプを再利用する場合、ヒストリー情報に含まれるSMPTE329Mのpicture_coding_type、または、パラメータ情報に含まれる同様の情報が再利用され、更に動きベクトルを再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0からq_scale_codeを除いた情報、または、パラメータ情報に含まれる同様の情報が再利用され、更に量子化値を再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0、または、パラメータ情報に含まれる同様の情報が再利用され、エンコーダへの入力ストリームが出力される場合、ストリームスイッチ２１９が制御されて、前段の復号部へ入力されたストリームデータが出力される。

図１８のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理１について説明する。

なお、編集点検出処理１は、図７を用いて説明した、追加符号化情報を含む符号化データ生成処理１において生成された符号化ストリームデータの編集点を検出する場合の処理である。

ステップＳ６１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。

ステップＳ６２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。

ステップＳ６３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを取得する。

ステップＳ６４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。

ステップＳ６４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ６５において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。

ステップＳ６４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ６６において、編集点検出部２１７は、ステップＳ６３において取得されたEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、内部のメモリに保存されているPrev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterと比較する。

ステップＳ６７において、編集点検出部２１７は、ステップＳ６６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Encoder_Serial_NumberとPrev_Encoder_Serial_Numberとが異なるものである、Encoder_IDとPrev_Encoder_IDとが異なるものである、または、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、のうちのいずれかの比較結果である。

ステップＳ６７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ６８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。

ステップＳ６７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ６８の処理の終了後、ステップＳ６９において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。

このような処理により、フレームのカウント値が連続しているか否かと、符号化を行った符号化装置が同一であるか否かを基に、編集点であるか否かが判断される。

次に、図１９のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理２について説明する。

なお、編集点検出処理２は、図８を用いて説明した、追加符号化情報を含む符号化データ生成処理２において生成された符号化ストリームデータの編集点を検出する場合の処理である。

ステップＳ８１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。

ステップＳ８２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。

ステップＳ８３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Continuity_Counter、および、Encoding_Start_Time_Codeを取得する。

ステップＳ８４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。

ステップＳ８４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ８５において、編集点検出部２１７は、取得したContinuity_Counter、および、Encoding_Start_Time_Codeを、それぞれ、として、内部のメモリに保存して、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。

ステップＳ８４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ８６において、編集点検出部２１７は、ステップＳ８３において取得されたContinuity_Counter、および、Encoding_Start_Time_Codeを、内部のメモリに保存されているPrev_Continuity_Counter、および、Prev_Encoding_Start_Time_Codeと比較する。

ステップＳ８７において、編集点検出部２１７は、ステップＳ８６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、または、Encoding_Start_Time_CodeとPrev_Encoding_Start_Time_Codeとが異なるものである、のうちのいずれかの比較結果である。

ステップＳ８７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ８８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。

ステップＳ８７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ８８の処理の終了後、ステップＳ８９において、編集点検出部２１７は、取得したContinuity_Counter、および、Encoding_Start_Time_Codeを、それぞれ、Prev_Continuity_Counter、および、Prev_Encoding_Start_Time_Codeとして、内部のメモリに保存し、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。

このような処理により、フレームのカウント値が連続しているか否かと、符号化の開始時刻が同一であるか否かを基に、編集点であるか否かが判断される。

図２０のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理３について説明する。

なお、編集点検出処理３は、図９を用いて説明した、追加符号化情報を含む符号化データ生成処理３において生成された符号化ストリームデータの編集点を検出する場合の処理である。

ステップＳ１０１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。

ステップＳ１０２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。

ステップＳ１０３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Encoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを取得する。

ステップＳ１０４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。

ステップＳ１０４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ１０５において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Code、および、Prev_Continuity_Counterとして、内部のメモリに保存して、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返る。

ステップＳ１０４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ１０６において、編集点検出部２１７は、ステップＳ１０３において取得されたEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを、内部のメモリに保存されているPrev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Codeおよび、Prev_Continuity_Counterと比較する。

ステップＳ１０７において、編集点検出部２１７は、ステップＳ１０６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Encoder_Serial_NumberとPrev_Encoder_Serial_Numberとが異なるものである、Encoder_IDとPrev_Encoder_IDとが異なるものである、Encoding_Start_Time_CodeとPrev_Encoding_Start_Time_Codeとが異なるものである、または、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、のうちのいずれかの比較結果である。

ステップＳ１０７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ１０８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。

ステップＳ１０７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ１０８の処理の終了後、ステップＳ１０９において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Codeおよび、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Code、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。

このような処理により、フレームのカウント値が連続しているか否か、符号化を行った符号化装置が同一であるか否か、および、符号化開始時間が同一であるか否かを基に、精度よく編集点であるか否かが判断される。

なお、図１８乃至図２０を用いて説明した処理により検出された編集点は、後述する符号化処理において、再利用禁止期間を設定するために用いられるのみならず、再生時の頭だしのポイントや、シーンチェンジの検出などに用いるようにしても良い。

次に、図２１のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１が、検出された編集点を基に、編集点前後の所定の期間（編集点前後の所定枚数のフレームの区間）である再利用禁止期間においては、ヒストリー情報やパラメータ情報を用いずに符号化を実行するようになされている、符号化処理１について説明する。

ステップＳ１３１において、図１２の符号化部１６１または図１７の符号化部２４１は、フレーム画像データとその付帯情報、すなわち、ヒストリー情報、または、パラメータ情報を取得する。

ステップＳ１３２において、符号化部１６１または符号化部２４１の制御部２１６は、編集点検出部２１７から供給された信号を基に、編集点が検出されたか否かを判断する。

ステップＳ１３２において、編集点が検出されたと判断された場合、ステップＳ１３３において、制御部２１６は、編集点検出フラグをONにする。

ステップＳ１３２において、編集点が検出されていないと判断された場合、または、ステップＳ１３３の処理の終了後、ステップＳ１３４において、制御部２１６は、内部のレジスタを参照し、編集点検出フラグがオフであるか否かを判断する。

ステップＳ１３４において、編集点検出フラグがオフではないと判断された場合、ステップＳ１３５において、制御部２１６は、バッファ２０２に保持されているストリームデータから、編集点の直前のＰピクチャを検出し、このＰピクチャから、後述する処理により、再利用再開されると判定されるピクチャの１つ前のピクチャまでを、再利用不可期間と設定する。

例えば、Ｂピクチャの符号化情報をもつ画像が編集点であることが検出された場合、その直前までのＢピクチャは、通常そのＢピクチャの前後のＰピクチャが参照されるようになされているため、編集点の１つ前のＰピクチャから編集点までのピクチャは、ヒストリー情報やパラメータ情報を再利用して符号化を行ってしまうことにより、ＶＢＶバッファの破綻が生じてしまう恐れがある。また、同様にして、編集点以降のピクチャにおいても、その前後のピクチャを参照した符号化が行われていることにより、編集点における不連続性の影響が及ぶ可能性がある期間については、ヒストリー情報やパラメータ情報を再利用して符号化を行うことを禁止する必要がある。

ステップＳ１３６において、制御部２１６は、内部のレジスタの再利用停止フラグをONにし、編集点検出フラグをOFFにする。

ステップＳ１３７において、制御部２１６は、内部のレジスタにおいて、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝0、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝0とリセットする。

ステップＳ１３８において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。

ステップＳ１３９において、制御部２１６は、パラメータまたはヒストリーの再利用を行わないで符号化処理を実行させるために、図１２の符号化部１６１または図１７の符号化部２４１の各部を制御し、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。

ステップＳ１３４において、編集点検出フラグがオフであると判断された場合、ステップＳ１４０において、制御部２１６は、内部のレジスタを参照し、再利用停止フラグがオフであるか、すなわち、再利用不可期間以外の期間であるか否かを判断する。ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、処理は、後述するステップＳ１４５に進む。

ステップＳ１４０において、再利用停止フラグがオフではない、すなわち、再利用不可期間中であると判断された場合、ステップＳ１４１において、図２２、図２４、または、図２６を用いて後述する、再利用再開判定処理が実行される。

ステップＳ１４１において、図２２を用いて後述する再利用判定処理１が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理１が実行されるようになされ、ステップＳ１４１において、図２４を用いて後述する再利用判定処理２が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理２が実行されるようになされ、ステップＳ１４１において、図２６を用いて後述する再利用判定処理３が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理３が実行されるようになされる。換言すれば、例えば、ステップＳ１４１において、図２２を用いて後述する再利用判定処理１が実行された後、次に実行されるステップＳ１４１において、図２４を用いて後述する再利用判定処理２や図２６を用いて後述する再利用判定処理３が実行されることはない。

ステップＳ１４２において、制御部２１６は、ステップＳ１４１において実行された再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が再開されるか否かを判断する。ステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断された場合、処理は、ステップＳ１３９に進み、それ以降の処理が繰り返される。

ステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断された場合、ステップＳ１４３において、制御部２１６は、内部のレジスタの再利用停止フラグをOFFにする。

ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、または、ステップＳ１４３の処理の終了後、ステップＳ１４４において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。

ステップＳ１４５において、図２８を用いて後述するパラメータ再利用符号化処理が実行されて、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。

ただし、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断されたり、または、パラメータまたはヒストリーの再利用が再開されると判断されても、その後の数ピクチャの間に編集点が検出された場合は、ステップＳ１３５の処理により、再利用不可区間に設定される可能性がある。したがって、ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、または、ステップＳ１４３の処理の終了後、一旦再利用不可期間以外であると判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合にのみ、バッファ２０２から出力された画像データに対して、ステップＳ１４５において、図２８を用いて後述するパラメータ再利用符号化処理が実行される。

このような処理により、再利用不可期間であるか否かに基づいて、符号化処理においてパラメータまたはヒストリーの再利用が行われるか否かが決定される。

次に、図２２のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理１について説明する。

ステップＳ１６１において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。

ステップＳ１６２において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。

ステップＳ１６２において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ１６３において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Iピクチャであるか否かを判断する。

ステップＳ１６３において、Iピクチャであると判断された場合、ステップＳ１６４において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ１６４の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。

ステップＳ１６２において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ１６３において、Iピクチャではないと判断された場合、ステップＳ１６５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ１６５の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。

このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２３に示されるように、編集点Ａに対して、時間的に１つ前の位置にあるＰピクチャから、編集点Ａから所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、再利用不可期間Ａとして定められる。また、編集点Ｂのように、数ピクチャしか隔てずにＩピクチャが存在する位置において編集点が存在した場合、そのＩピクチャでは再利用を再開せずに、編集点Ｂから、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャから、ヒストリー情報、または、パラメータ情報を再利用することができるようになされる。

なお、符号化部１６１においては、ステップＳ１６４において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。

次に、図２４のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理２について説明する。

ステップＳ１８１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。

ステップＳ１８１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ１８２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。

ステップＳ１８３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。

ステップＳ１８３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ１８４において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ１８４の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。

ステップＳ１８１において、Ｐピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ１８３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ１８５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ１８５の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。

このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２５に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャまでが、再利用不可期間として定められる。

なお、この処理においても、符号化部１６１においては、ステップＳ１８４において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。

次に、図２６のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理３について説明する。

ステップＳ２０１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。

ステップＳ２０１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ２０２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。

ステップＳ２０１において、Pピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ２０２の処理の終了後、ステップＳ２０３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。

ステップＳ２０３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ２０４において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。

ステップＳ２０５において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。

ステップＳ２０５において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ２０６において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Iピクチャであるか否かを判断する。

ステップＳ２０６において、Iピクチャであると判断された場合、ステップＳ２０７において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ２０７の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。

ステップＳ２０３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ２０５において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ２０６において、Iピクチャではないと判断された場合、ステップＳ２０８において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。

すなわち、ステップＳ２０８の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。

このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２７に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから再利用不可期間が開始され、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャからカウントして、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、再利用不可期間として定められる。

なお、符号化部１６１においては、ステップＳ２０７において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。

次に、図２８のフローチャートを参照して、図１２の符号化部１６１および図１７の符号化部２４１が実行する、パラメータ再利用符号化処理について説明する。

ステップＳ２２１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。

ステップＳ２２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ２２２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理が終了される。

ステップＳ２２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ２２３において、制御部２１６は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。

ステップＳ２２３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくとも１つが一致していないと判断された場合、ステップＳ２２４において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理が終了される。

ステップＳ２２３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ２２５において、制御部２１６は、ヒストリー情報に含まれているSMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_value、および、sequence_header（）関数のchroma_format、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照し、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断する。

ステップＳ２２５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも大きいか、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより小さいと判断された場合、ステップＳ２２６において、制御部２１６は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理が終了される。

ステップＳ２２５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、ステップＳ２２７において、制御部２１６は、復号部からパラメータが供給され（すなわち、ヒストリー情報が用いられて再利用符号化が行われるのではなく、パラメータ情報が用いられて再利用符号化が行われており）、かつ、供給されたパラメータ情報に含まれているSMPTE 329Mのsequence_header（）関数のchroma_formatと同様の情報を参照して、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断する。すなわち、符号化部２４１を含むトランスコーダ２３１が、例えば、４:２:０フォーマットから、４:２:２フォーマットへのフォーマット変換を行う場合などにおいては、クロマフォーマットが一致しないと判断される。

ステップＳ２２７において、復号部１４１からパラメータが供給されるのではなく、復号部１６１からヒストリー情報が供給されているか、または、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していないと判断された場合、ステップＳ２２８において、制御部２１６は、ピクチャタイプ、動きベクトル、および、量子化値の情報（q_scale）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、量子化値決定部２０８に、ヒストリー情報またはパラメータ情報に含まれていた量子化値を量子化部２０７に供給させて、量子化を実行させ、その他の各部を制御して、符号化を実行させ、処理が終了される。

ステップＳ２２７において、復号部１４１からパラメータが供給され、かつ、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、ステップＳ２２９において、制御部２１６は、ストリームスイッチ２１９を制御して、復号部１４１に入力されたストリームデータを出力し、処理が終了される。

このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。

なお、図２８のフローチャートによる説明においては、ステップＳ２２１、ステップＳ２２３、ステップＳ２２５、または、ステップＳ２２７の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。

すなわち、例えば、データ伝送のシステムにおいて、多くのパラメータが固定となっている場合など、所定の条件を満たしている場合においては、ステップＳ２２１、ステップＳ２２３、ステップＳ２２５、または、ステップＳ２２７のような条件判断を行うことなく、過去の符号化に関する情報であるヒストリー情報またはパラメータ情報を利用して再符号化を行うようにしてもよい。

図２１乃至図２８を用いて説明した処理においては、再利用不可期間か否かを基に、パラメータの再利用が可能か否かが決定されるようになされていたが、再利用不可期間に加えて、部分的再利用可能期間を設けることにより、パラメータ情報の再利用不可期間の後、一定期間、パラメータ情報を部分的に再利用可能な期間を設け、その後、パラメータ再利用符号化が可能なようにすることができる。このとき、制御部２１６は、内部のレジスタに、再利用停止フラグに代わって、再利用完全停止フラグおよび再利用部分停止フラグを設けるものとする。

図２９のフローチャートを参照して、部分的再利用可能期間を設ける場合の符号化処理２について説明する。

ステップＳ２４１乃至ステップＳ２４５においては、図２１のステップＳ１３１乃至ステップＳ１３５と同様の処理が実行される。

すなわち、フレーム画像データとその付帯情報が取得され、編集点が検出されたか否かを判断される。編集点が検出されたと判断された場合、編集点検出フラグがONとされ、編集点が検出されていないと判断された場合、または、編集点検出フラグがONとされた後、内部のレジスタが参照されて、編集点検出フラグがオフであるか否かが判断される。編集点検出フラグがオフではないと判断された場合、バッファ２０２に保持されているストリームデータから、編集点の直前のＰピクチャが検出され、このＰピクチャから、再利用不可期間が設定される。

ステップＳ２４６において、制御部２１６は、内部のレジスタの再利用完全停止フラグをONにし、再利用部分停止フラグをONにし、編集点検出フラグをOFFにする。

ステップＳ２４７乃至ステップＳ２４９において、図２１のステップＳ１３７乃至ステップＳ１３９と同様の処理が実行される。

すなわち、ピクチャ数をカウントするための変数Pic_contはPic_cont＝0に、Ｐピクチャの数をカウントするための変数P_Pic_contはP_Pic_cont＝0にリセットされる。そして、供給されたピクチャが、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングされた後、出力され、パラメータまたはヒストリーの再利用が行われずに符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。

ステップＳ２４４において、編集点検出フラグがオフであると判断された場合、ステップＳ２５０において、制御部２１６は、内部のレジスタの再利用完全停止フラグおよび再利用部分停止フラグがOFFであるか否かを判断する。ステップＳ２５０において、再利用完全停止フラグおよび再利用部分停止フラグがオフであると判断された場合、処理は、後述するステップＳ２５８に進む。

ステップＳ２５０において、内部のレジスタの再利用完全停止フラグまたは再利用部分停止フラグのいずれか少なくとも一方がオフではないと判断された場合、ステップＳ２５１において、図３０を用いて後述する、部分または完全な再利用再開判定処理が実行される。

ステップＳ２５２において、制御部２１６は、ステップＳ２５１の部分または完全な再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が完全に再開されるか否かを判断する。ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されると判断された場合、処理は、後述する、ステップＳ２５７に進む。

ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されないと判断された場合、ステップＳ２５３において、制御部２１６は、ステップＳ２５１の部分または完全な再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が一部再開されるか否かを判断する。ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されないと判断された場合、処理は、ステップＳ２４８に進む。

ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されると判断された場合、ステップＳ２５４において、制御部２１６は、内部のレジスタの再利用部分停止フラグをOFFにする。

ステップＳ２５５において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。ただし、パラメータまたはヒストリーの一部を再利用してもよいと判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合に、次のステップＳ２５６の処理を施される。

ステップＳ２５６において、図３２または図３３を用いて後述するパラメータ部分的再利用符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。

ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されると判断された場合、ステップＳ２５７において、制御部２１６は、内部のレジスタの再利用完全停止フラグをOFFにする。

ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されないと判断された場合、または、ステップＳ２５７の処理の終了後、ステップＳ２５８において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。ただし、パラメータまたはヒストリーを完全に再利用してもよいと判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合に、次のステップＳ２３９の処理を施される。

そして、ステップＳ２５９において、図２８を用いて説明したパラメータ再利用符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。

このような処理により、再利用不可期間であるか否か、または、再利用部分可能期間であるか否かに基づいて、符号化処理において、パラメータまたはヒストリーの再利用を完全に許可するか、部分的に許可するかが決定される。

次に、図３０のフローチャートを参照して、図２９のステップＳ２５１において実行される、部分または完全な再利用再開判定処理について説明する。

ステップＳ２７１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。

ステップＳ２７１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ２７２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。

ステップＳ２７１において、Ｐピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ２７２の処理の終了後、ステップＳ２７３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。

ステップＳ２７３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ２７４において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を部分的に再開することを可能とし、処理は、図２９のステップＳ２５２に戻る。

すなわち、ステップＳ２７４の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの再利用が完全には再開されないと判断されても、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されると判断されるので、少なくとも、再利用部分停止フラグはオフとなり、パラメータ部分的再利用符号化処理が実行される。

ステップＳ２７３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ２７５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を部分的にも完全にも再開することを不可とし、処理は、図２９のステップＳ２５２に戻る。

すなわち、ステップＳ２７５の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの再利用が完全には再開されないと判断されて、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されないと判断されるので、ステップＳ２４９において、パラメータおよびヒストリーの再利用を行うことなく符号化処理が実行される。

ステップＳ２７６において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。

ステップＳ２７７において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。

ステップＳ２７７において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ２７８において、制御部２１６は、この処理の後、図２９のステップＳ２４９、ステップＳ２５６、または、ステップＳ１５９において符号化されるピクチャは、Ｉピクチャであるか否かを判断する。

ステップＳ２７８において、Ｉピクチャであると判断された場合、ステップＳ２７９において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの完全な再利用が再開可能であるとし、処理は、処理は、図２９のステップＳ２５２に戻る。

すなわち、ステップＳ２７９の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの完全な再利用が再開されると判断されるので、再利用完全停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。

ステップＳ２７７において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ２７８において、Ｉピクチャではないと判断された場合、ステップＳ２８０において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの完全な再利用を再開することを不可とし、処理は、図２９のステップＳ２５２に戻る。

すなわち、ステップＳ２８０の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの完全な再利用が再開されないと判断されて、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されると判断されるので、再利用部分停止フラグはオフとなり、パラメータ部分的再利用符号化処理が実行される。

このような処理により、再利用が部分的に再開されるピクチャと、再利用が完全に開始されるピクチャが決定されるので、例えば、図３１に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから再利用不可期間が開始され、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャまでは、再利用不可区間とされて、ヒストリーおよびパラメータをまったく参照することなく符号化が実行される。そして、編集点から所定の数ｍ後のＩピクチャまたはＰピクチャからカウントして、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、部分的再利用可能期間として定められ、図３２または図３３を用いて後述する処理により定められる過去の符号化パラメータのうちの一部を再利用して、符号化処理が実行される。

なお、符号化部１６１の制御部２１６においては、図３０を用いて説明した処理により設定された再利用不可期間および部分再利用可能期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間および部分再利用可能期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間および部分再利用可能期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させるとともに、部分再利用可能期間においてヒストリー情報のうちの一部を再利用させて符号化させることができるので、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。

また、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理については、パラメータ再利用符号化処理において再利用が認められる符号化パラメータのうちの一部を再利用して符号化を実行するものである。この処理には、パラメータ再利用符号化処理において再利用が認められる符号化パラメータのうち、条件に基づいて、ピクチャタイプおよび動きベクトルの情報を再利用することができる場合が発生するパラメータ部分的再利用符号化処理１と、条件に基づいて、ピクチャタイプのみ再利用可能な場合が発生するパラメータ部分的再利用符号化処理２とがある。

次に、図３２のフローチャートを参照して、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理１について説明する。

ステップＳ３０１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。

ステップＳ３０１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ３０２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。

ステップＳ３０１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３０３において、制御部２１６は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。

ステップＳ３０３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくとも１つが一致していないと判断された場合、ステップＳ３０４において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。

ステップＳ３０３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ３０５において、制御部２１６は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。

このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を部分的に選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。

なお、図３２のフローチャートによる説明においては、ステップＳ３０１、または、ステップＳ３０３の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。

次に、図３３のフローチャートを参照して、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理２について説明する。

ステップＳ３２１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。

ステップＳ３２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ３２２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。

ステップＳ３２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３２３において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。

このような処理により、以前の符号化と今回の符号化とを比較して、条件が満たされている場合は、再利用可能な符号化情報として、ピクチャタイプのみを選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。

なお、図３３のフローチャートによる説明においても、ステップＳ３２１において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かが判断されているが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。

なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。

また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。

また、本発明は、フレーム内圧縮を行って画像を符号化する場合においても適用可能であることは言うまでもない。

更に、上述の実施の形態においては、本発明をMPEG方式によって圧縮符号化する符号化部１６１、または、符号化部２４１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。

なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。

すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図３４に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２７２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置２７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置２７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２７２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。

更に、復号装置２７１が完全に復号したベースバンド信号を、符号化装置２７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置２５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置２７２で構成されたトランスコーダ２８１においても、本発明は適用可能である。このようなトランスコーダ２８１は、例えば、スプライシングなどの編集を行う編集装置２８２が利用される場合などに用いられる。

上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１５２や、トランスコーダ２３１は、図３５に示されるようなパーソナルコンピュータ３０１により構成される。

図３５において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。 フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。 本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。 図５の符号化装置の構成を示すブロック図である。 追加符号化情報を含む符号化データ生成処理１を説明するためのフローチャートである。 追加符号化情報を含む符号化データ生成処理２を説明するためのフローチャートである。 追加符号化情報を含む符号化データ生成処理３を説明するためのフローチャートである。 SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明するための図である。 extension_and_user_data（2)内のuser_data(2)に記載されている情報について説明するための図である。 図５の符号化部の構成を示すブロック図である。 編集点検出について説明するための図である。 再利用不可期間の開始点について説明するための図である。 再利用不可期間中に再度編集点があった場合の再利用不可期間について説明するための図である。 本発明を適用した、MPEGのLong GOPのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。 図１６の符号化部の構成を示すブロック図である。 編集点検出処理１について説明するためのフローチャートである。 編集点検出処理２について説明するためのフローチャートである。 編集点検出処理３について説明するためのフローチャートである。 符号化処理１について説明するためのフローチャートである。 再利用再開判定処理１について説明するためのフローチャートである。 再利用再開判定処理１が実行された場合の再利用不可期間について説明するための図である。 再利用再開判定処理２について説明するためのフローチャートである。 再利用再開判定処理２が実行された場合の再利用不可期間について説明するための図である。 再利用再開判定処理３について説明するためのフローチャートである。 再利用再開判定処理３が実行された場合の再利用不可期間について説明するための図である。 パラメータ再利用符号化処理について説明するフローチャートである。 符号化処理２について説明するためのフローチャートである。 部分または完全な再利用再開判定処理について説明するためのフローチャートである。 部分または完全な再利用再開判定処理が実行された場合の再利用不可期間について説明するための図である。 パラメータ部分的再利用符号化処理１について説明するためのフローチャートである。 パラメータ部分的再利用符号化処理２について説明するためのフローチャートである。 本発明を適用可能な異なる装置の構成について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 伝送路， ３ フレーム編集装置， １１ 伝送路， １０１ トランスコーダ， １１１ 復号部， １１２ 符号化部， １２１ 復号部， １５１ 符号化装置， １５２ トランスコーダ， １８１ フレームカウンタ， １８２ 追加符号化情報生成部， １８３ タイマ， １８４ メモリ， １８５ 符号化部， １６１ 符号化部， ２０１ ヒストリー抽出部， ２０２ バッファ， ２０３ 画像並べ替え部， ２０４ 演算部， ２０５ 動きベクトル検出部， ２０６ DCT部， ２０７ 量子化部， ２０８ 量子化値決定部， ２０９ ＶＬＣ部， ２１０ 逆量子化部， ２１１ 逆DCT部， ２１２ 演算部， ２１３ 動き補償部， ２１４ フレームメモリ， ２１５ バッファ， ２１６ 制御部， ２１７ 編集点検出部， ２１８ ヒストリー情報生成部， ２１９ ストリームスイッチ， ２３１ トランスコーダ， ２４１ 符号化部， ２５１ パラメータ入力部

Claims (9)

1. 符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置において、
   画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得する取得手段と、
   前記取得手段により取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出する編集点検出手段と、
   前記編集点検出手段により検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、前記取得手段により取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択する選択手段と、
   前記選択手段により選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する変換手段と
   を備えるストリーム変換装置。
2. 前記編集点検出手段は、前記取得手段により取得された前記追加符号化情報内の前記区別情報が変更されたことを検出した場合に、前記編集点を検出する
   請求項１に記載のストリーム変換装置。
3. 前記符号化ストリームは、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有するMPEG方式で符号化処理されている
   請求項１に記載のストリーム変換装置。
4. 前記符号化ストリームは、全てのピクチャがIピクチャとして符号化処理されるAll Intra方式、または、Iピクチャ・Pピクチャ・Bピクチャの3種類のピクチャタイプで符号処理されるLong GOP方式である
   請求項３に記載のストリーム変換装置。
5. 前記変換手段は、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有するMPEG方式で変換処理を行う
   請求項１に記載のストリーム変換装置。
6. 前記変換手段は、全てのピクチャをIピクチャとして符号化処理するAll Intra方式、または、Iピクチャ・Pピクチャ・Bピクチャの3種類のピクチャタイプで符号化処理するLong GOP方式で変換処理を行う
   請求項５に記載のストリーム変換装置。
7. 符号化ストリームを再符号化ストリームに変換処理するストリーム変換装置のストリーム変換方法において、
   画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報と前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータとを、前記符号化ストリームとともに取得し、
   取得された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、
   検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、
   選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する
   ステップを含むストリーム変換方法。
8. 符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるプログラムであって、
   画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報、および、前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータ、並びに、前記符号化ストリームの取得を制御し、
   取得が制御された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、
   検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得が制御された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、
   選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
9. 符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるプログラムであって、
   画像データを符号化処理する符号化手段を特定する区別情報を含む追加符号化情報、および、前記符号化ストリームに対する過去の符号化処理または復号処理において利用された過去の符号化パラメータ、並びに、前記符号化ストリームの取得を制御し、
   取得が制御された前記追加符号化情報内の前記区別情報を、フレーム毎に比較することにより、前記符号化ストリームの編集点を検出し、
   検出された前記編集点を含む所定区間では、変換処理する際に生成する現在の符号化パラメータを利用符号化パラメータとして選択し、前記編集点を含む所定区間以外の区間では、取得が制御された前記過去の符号化パラメータを前記利用符号化パラメータとして選択し、
   選択された前記利用符号化パラメータを利用して、前記符号化ストリームを前記再符号化ストリームに変換処理する
   ステップを含む処理をコンピュータに実行させるプログラムが記録された記録媒体。

Images