以下、この発明の実施の一形態について図面を参照して説明する。この発明では、実際の放送や編集の対象とされるビデオデータおよびオーディオデータがディスク状記録媒体に記録されると共に、当該ビデオデータおよびオーディオデータに対応した補助的なビデオデータおよびオーディオデータと、メタデータとが同一のディスク上に記録される。なお、以下では、実際の放送や編集の対象とされるビデオデータおよびオーディオデータを本線系のAV(Audio/Video)データと呼ぶ。また、補助的なビデオデータおよびオーディオデータを補助AVデータと称し、補助AVデータのうちビデオデータを補助ビデオデータ、オーディオデータを補助オーディオデータとそれぞれ呼ぶ。
本線系のAVデータは、例えば、ビデオデータは、ベースバンドのビデオデータがMPEG2(Moving Pictures Experts Group 2)方式で圧縮符号化された、ビットレートが50Mbps(Mega bit per second)のビデオデータおよび/またはビットレートが25Mbpsのデータである。また、オーディオデータは、サンプリング周波数が48kHzで量子化ビット数が24ビットのデータおよび/または量子化ビット数が16ビットのデータである。この発明の実施の一形態では、本線系のAVデータのビデオデータおよびオーディオデータのそれぞれについて、これら方式の異なるデータを同一のディスク上に混在させて記録可能なようになっている。
また、補助AVデータは、本線系のAVデータに基づくより低ビットレートとしたオーディオ/ビデオデータであって、本線系AVデータのディスクへの記録時に、本線系のAVデータから作成される。補助ビデオデータは、例えばMPEG4方式で以て圧縮符号化される。また、補助オーディオデータは、詳細は後述するが、例えばA−Lawおよびサンプル間引きを用いて圧縮符号化される。これにより、補助AVデータは、本線系のAVデータに対して、ビットレートが例えば数Mbpsまで落とされる。
なお、周知のようにMPEG方式では、DCT(Discrete Cosine Transform)を用いたフレーム内圧縮符号化と、時系列方向の予測符号化を用いたフレーム間圧縮符号化とを用いてビデオデータを圧縮符号化する。ここで、時系列方向に予測符号化を行ったB(Bidirectionally)ピクチャおよびP(Predictive)ピクチャと、1画面(1フレーム)で完結するI(Intra)ピクチャとが定義され、GOP(Group Of Picture)は、最低1枚のIピクチャを含むそれ自身で完結したグループで、MPEGのストリームにおいて独立してアクセス可能な最小の単位とされる。
メタデータは、あるデータに関する上位データであり、各種データの内容を表すためのインデックスとして機能する。メタデータには、上述の本線系のAVデータの時系列に沿って発生される時系列メタデータと、本線系のAVデータにおけるシーン毎など、所定の区間に対して発生される非時系列メタデータの2種類がある。
次に、この発明の実施の一形態に適用可能なディスク状記録媒体(以下、ディスク)へのデータ配置について説明する。この発明の実施の一形態では、ディスク上に年輪を形成するようにしてデータを記録する。年輪データは、データの再生時間によって示されるデータ量を単位としてディスクに記録されるデータである。例えば本線系のオーディオデータおよびビデオデータに限定して説明すると、再生時間帯が対応するオーディオデータおよびビデオデータを、トラックの1周分以上のデータサイズを有する所定の再生時間単位毎に交互に配置して記録する。このように記録を行うことで、再生時間帯が対応するオーディオデータおよびビデオデータの組が時系列的に重層されて、年輪が形成される。
この実施の一形態では、実際には、再生時間帯が対応するオーディオデータおよびビデオデータに加え、これらのデータに再生時間帯が対応する補助AVデータおよび時系列メタデータを一組として記録することで年輪を形成し、光ディスク1に対するデータの記録を行う。
なお、年輪を形成するデータを年輪データと称する。年輪データは、ディスクにおける最小の記録単位であるセクタの整数倍のデータ量とされる。また、年輪は、その境界がディスクのセクタの境界と一致するように記録される。
図1は、光ディスク1に対して年輪データが形成された一例の様子を示す。この図1の例では、光ディスク1の内周側から順に、オーディオ年輪データ#1、ビデオ年輪データ#1、オーディオ年輪データ#2、ビデオ年輪データ#2、補助AV年輪データ#1および時系列メタ年輪データ#1が記録されており、この周期で年輪データが扱われる。時系列メタ年輪データ#1の外周側には、さらに、次の周期の年輪データの一部がオーディオ年輪データ#3およびビデオ年輪データ#3として示されている。
この図1の例は、時系列メタ年輪データの1年輪データ分の再生時間帯と補助AV年輪データの1年輪データ分の再生時間帯とが対応し、時系列メタ年輪データの1年輪データ分の再生時間帯とオーディオ年輪データの2周期分の再生時間帯が対応することを示している。同様に、時系列メタ年輪データの1年輪データ分の再生時間帯とビデオ年輪データの2周期分の再生時間帯が対応することを示している。このような、各年輪データの再生時間帯および周期の対応付けは、例えばそれぞれのデータレートなどに基づき設定される。なお、ビデオ年輪データやオーディオ年輪データの1年輪データ分の再生時間は、経験値的には1.5秒〜2秒程度が好ましい。
図2は、上述の図1のように年輪が形成された光ディスク1に対するデータの読み書きが行われる一例の様子を示す。光ディスク1に十分な大きさの連続した空き領域が存在し、その空き領域に欠陥が無い場合、オーディオデータ、ビデオデータ、補助AVデータ時系列メタデータの各データ系列から、再生時間帯に基づきそれぞれ生成されたオーディオ年輪データ、ビデオ年輪データ、補助AV年輪データおよび時系列メタ年輪データは、図2Aに一例が示されるように、光ディスク1の空き領域に対して、恰も一筆書きをするように書き込まれる。このとき、何れのデータの境界も、光ディスク1のセクタの境界と一致するように書き込まれる。光ディスク1からのデータの読み出しも、書き込み時と同様にして行われる。
一方、光ディスク1からある特定のデータ系列を読み出す場合には、読み出しデータ系列の記録位置にシークしてそのデータを読み出すという動作が繰り返される。図2Bは、このようにして補助AVデータの系列を選択的に読み出す様子を示す。例えば図1も参照し、補助AV年輪データ#1が読み出されたら、続いて記録されている時系列メタ年輪データ#1、オーディオ年輪データ#3およびビデオ年輪データ#3、ならびに、オーディオ年輪データ#4およびビデオ年輪データ#4(図示しない)をシークにより飛び越し、次の周期の補助AV年輪データ#2が読み出される。
このように、データの光ディスク1への記録を、再生時間を単位とし、再生時間帯に応じた年輪データとして周期的に行うことで、同じような再生時間帯のオーディオ年輪データとビデオ年輪データとが光ディスク1上の近い位置に配置されるので、光ディスク1から、再生時刻が対応するオーディオデータとビデオデータとを迅速に読み出して再生することが可能となる。また、年輪の境界とセクタの境界とが一致するように記録されるので、光ディスク1からオーディオデータまたはビデオデータだけを読み出すことが可能となり、オーディオデータまたはビデオデータだけの編集を迅速に行うことが可能となる。
また、上述したように、オーディオ年輪データ、ビデオ年輪データ、補助AV年輪データおよび時系列メタ年輪データは、光ディスク1のセクタの整数倍のデータ量を有し、さらに、年輪データの境界とセクタの境界とが一致するように記録されている。そのため、オーディオ年輪データ、ビデオ年輪データ、補助AV年輪データおよび時系列メタ年輪データのうち何れか1系列のデータだけが必要な場合に、他のデータの読み出しを行うことなく、必要なデータだけを読み出すことができる。
上述したような、年輪によるデータ配置の利便性を活かすためには、光ディスク1に対するデータの記録を、年輪の連続性が保証されるように行う必要がある。このことについて、図3を用いて説明する。例えば補助AV年輪データ(図3では「LR」と表示)だけ読み出すことを考える。
例えば記録時に連続した十分に大きな空き領域が確保されていれば、複数周期の年輪を連続的に記録することができる。この場合、図3Aに示されるように、時間的に連続する補助AV年輪データを、最小のトラックジャンプで読み出すことができる。すなわち、補助AV年輪データを読み出したら、次の周期の年輪における補助AV年輪データを読み出すという動作を繰り返すことが可能となり、ピックアップがジャンプする距離が最短となる。
これに対して、例えば記録時に連続した空き領域が確保できず、時間的に連続する補助AVデータを光ディスク1上の飛び飛びの領域に記録した場合、図3Bに一例が示されるように、最初の補助AV年輪データを読み出したら、例えば年輪の複数周期分に相当する距離をピックアップがジャンプして、次の補助AV年輪データを読み出さなければならない。この動作が繰り返されるため、図3Aに示される場合に比べて、補助AV年輪データの読み出し速度が低下してしまう。また、本線系のAVデータにおいては、図3Cに一例が示されるように、未編集AVデータ(AVクリップ)の再生が滞る可能性がある。
そこで、この発明の実施の一形態では、年輪の連続性を保証するために、年輪の複数周期分の長さを持つアロケーションユニットを定義し、年輪でデータを記録する際に、このアロケーションユニットで定義されたアロケーションユニット長を越える長さの、連続した空き領域を確保する。
図4を用いてより具体的に説明する。アロケーションユニット長は、予め設定される。アロケーションユニット長を、年輪で1周期に記録される各データの合計再生時間の複数倍に設定する。例えば、年輪の1周期に対応する再生時間が2秒であるとした場合、アロケーションユニット長を10秒に設定する。このアロケーションユニット長は、光ディスク1の空き領域の長さを計測する物差しとして用いられる(図4右上参照)。初期状態を、図4Aに一例が示されるように、使用済み領域が光ディスク1に対して飛び飛びに3箇所、配置されているものとし、使用済み領域に挟まれた部分を空き領域とする。
この光ディスク1に対してある程度の長さを有するAVデータと、当該AVデータに対応する補助AVデータとを記録する場合、先ず、アロケーションユニット長と空き領域の長さとを比較して、アロケーションユニット長以上の長さを有する空き領域を予約領域として確保する(図4B)。この図4の例では、2つの空き領域のうち、右側の空き領域がアロケーションユニット長より長いとされ、予約領域として確保される。次に、この予約領域に対して、予約領域の先頭から年輪データを順次連続的に記録する(図4C)。このように年輪データを記録していき、予約領域の空き領域の長さが次に記録する年輪データの1周期分の長さに満たないときは(図4D)、予約領域を開放し、図4Aのように、光ディスク1上のさらに他の空き領域に対してアロケーションユニット長を適用させながら、予約領域にできる空き領域を探す。
このように、複数周期分の年輪が記録できるだけの空き領域を探して、当該空き領域に年輪を記録することで、ある程度の年輪の連続性が保証され、年輪データの再生をスムースに行うことが可能とされる。なお、アロケーションユニット長は、上述では10秒に設定したが、これはこの例に限定されず、さらに長い再生時間に対応する長さをアロケーションユニット長として設定することができる。実際的には、10秒〜30秒の間でアロケーションユニット長を設定すると好ましい。
次に、この発明の実施の一形態におけるデータの管理構造について、図5、図6および図7を用いて説明する。この発明の実施の一形態では、データは、ディレクトリ構造で管理される。ファイルシステムとしては例えばUDF(Universal Disk Format)が用いられ、図5に一例が示されるように、ルートディレクトリ(root)の直下にディレクトリPAVが設けられる。この実施の一形態では、このディレクトリPAV以下を定義する。
すなわち、上述した、複数信号種のオーディオデータおよびビデオデータの1枚のディスク上への混在記録は、このディレクトリPAVの配下において定義される。この発明の実施の一形態におけるデータ管理が及ばないディレクトリPAVに対するデータの記録は、任意である。
ディレクトリPAVの直下には、4つのファイル(INDEX.XML、INDEX.RSV、DISCINFO.XMLおよびDISCINFO.RSV)が置かれると共に、2つのディレクトリ(CLPRおよびEDTR)が設けられる。
ディレクトリCLPRは、クリップデータを管理する。ここでいうクリップは、例えば撮影が開始されてから停止されるまでの、ひとまとまりのデータである。例えば、ビデオカメラの操作において、操作開始ボタンが押されてから操作停止ボタンが押される(操作開始ボタンが解放される)までが1つのクリップとされる。
このひとまとまりのデータとは、上述した本線系のオーディオデータおよびビデオデータと、当該オーディオデータおよびビデオデータから生成された補助AVデータと、当該オーディオデータおよびビデオデータに対応した時系列メタデータと非時系列メタデータとからなる。ディレクトリCLPRの直下に設けられたディレクトリ「C0001」、「C0002」、・・・には、クリップ毎に、クリップを構成するひとまとまりのデータが格納される。
図6は、ディレクトリCLPRの直下に設けられた、一つのクリップ「C0001」に対応するディレクトリ「C0001」の一例の構造を示す。以下、ディレクトリCLPRの直下の一つのクリップに対応するディレクトリを、適宜、クリップディレクトリと称する。クリップディレクトリ「C0001」に対して、上述のひとまとまりのデータのそれぞれがファイル名により区別されて格納される。この図6の例では、ファイル名は、12桁で構成され、デリミタ「.」より前の8桁のうち、前側5桁がクリップを識別するために用いられ、デリミタ直前の3桁は、オーディオデータ、ビデオデータ、補助AVデータといった、データのタイプを示すために用いられている。また、デリミタ後の3桁は拡張子であって、データの形式を示している。
より具体的には、この図6の例では、クリップ「C0001」を構成するひとまとまりのファイルとして、クリップ情報を示すファイル「C0001C01.SMI」、本線系ビデオデータファイル「C0001V01.MXF」、本線系の8ch分のオーディオデータファイル「C0001A01.MXF」〜「C0001A08.MXF」、補助AVデータファイル「C0001S01.MXF」、非時系列メタデータファイル「C0001M01.XML」、時系列メタデータファイル「C0001R01.BIM」およびポインタ情報ファイル「C0001I01.PPF」が、クリップディレクトリ「C0001」に格納される。
この発明の実施の一形態では、ディレクトリCLPR内におけるクリップディレクトリ間での上述のデータ信号種の混在は、許可される。例えば、本線系のビデオデータの信号種について、クリップディレクトリ「C0001」にシングルGOP、ビットレート50Mbpsのビデオデータを格納し、クリップディレクトリ「C0002」にロングGOP、ビットレート25Mbpsのビデオデータを格納することは可能である。一方、クリップディレクトリ内における各データ内でのデータ信号種の混在は、許可されない。例えば、ビデオデータにおいて、先頭からある時点まではビットレートモード50Mbpsで記録されており、その時点以降から末尾まではビットレートモード25Mbpsで記録されたようなビデオデータファイルは、格納できないものとされる。
なお、シングルGOPは、全てのフレームがIピクチャで構成され、1GOP=1フレームの構造となっているものであり、フレーム単位の編集に対して高画質を維持できる。ロングGOPは、フレームがIピクチャ、PピクチャおよびBピクチャにより構成され、Iピクチャで完結する複数フレームにより1GOPが形成される構造である。ロングGOPでは、Bピクチャを用いない構成とすることもできる。
説明は図5に戻り、ディレクトリEDTRは、編集情報が管理される。この発明の実施の一形態では、編集結果は、エディットリストやプレイリストとして記録される。ディレクトリEDTRの直下に設けられたディレクトリ「E0001」、「E0002」、・・・には、編集結果毎に、編集結果を構成するひとまとまりのデータが格納される。
エディットリストは、クリップに対する編集点(IN点、OUT点など)や再生順序などが記述されるリストであって、クリップに対する非破壊の編集結果と、後述するプレイリストとからなる。エディットリストの非破壊の編集結果を再生すると、リストの記述に従いクリップディレクトリに格納されたファイルを参照し、恰も編集された1本のストリームを再生するかのように、複数のクリップからの連続した再生映像が得られる。しかしながら、非破壊編集の結果では、ファイルの光ディスク1上での位置とは無関係にリスト中のファイルが参照されるため、再生時の連続性が保証されない。
プレイリストは、編集結果に基づき、リストにより参照されるファイルやファイルの部分が連続的に再生するのが困難であると判断された場合に、当該ファイルやファイルの一部を光ディスク1上の所定の領域に再配置することで、エディットリストの再生時の連続性を保証するようにしたものである。
編集作業により上述のエディットリストを作成した結果に基づき、編集に用いられるファイルの管理情報(例えば後述するインデックスファイル「INDEX.XML」)を参照し、編集作業に基づき非破壊で、すなわち、編集結果に基づき参照されるファイルが各クリップディレクトリに置かれたままの状態で、連続的な再生が可能か否かを、見積もる。その結果、連続的な再生が困難であると判断されると、該当するファイルを光ディスク1の所定領域にコピーする。この所定領域に再配置されたファイルを、ブリッジエッセンスファイルと称する。また、編集結果にブリッジエッセンスファイルを反映させたリストを、プレイリストと称する。
例えば、編集結果が複雑なクリップの参照を行うようにされている場合、編集結果に基づく再生の際に、クリップからクリップへの移行の際にピックアップのシークが間に合わない事態が発生する可能性がある。このような場合に、プレイリストが作成され、ブリッジエッセンスファイルが光ディスク1の所定領域に記録される。
図7は、ディレクトリEDTRの直下に設けられた、一つの編集結果「E0002」に対応するディレクトリ「E0002」の一例の構造を示す。以下、ディレクトリEDTRの直下の一つの編集結果に対応するディレクトリを、適宜、エディットディレクトリと称する。エディットディレクトリ「E0002」に対して、上述の編集結果により生成されたデータがそれぞれファイル名により区別されて格納される。ファイル名は、12桁で構成され、デリミタ「.」より前の8桁のうち、前側5桁がエディット作業を識別するために用いられ、デリミタ直前の3桁は、データのタイプを示すために用いられる。また、デリミタ後の3桁は拡張子であって、データの形式を示している。
より具体的には、この図7の例では、編集結果「E0002」を構成するファイルとして、エディットリストファイル「E0002E01.SMI」時系列および非時系列メタデータの情報が記述されるファイル「E0002M01.XML」、プレイリストファイル「E0002P01.SMI」、本線系データによるブリッジエッセンスファイル「E0002V01.BMX」および「E0002A01.BMX」〜「E0002A04.BMX」、補助AVデータによるブリッジエッセンスファイル「E0002S01.BMX」および時系列、非時系列メタデータによるブリッジエッセンスファイル「E0002R01.BMX」が、エディットディレクトリ「E0002」に格納される。
エディットディレクトリ「E0002」に格納されるこれらのファイルのうち影を付して示したファイル、すなわち本線系データによるブリッジエッセンスファイル「E0002V01.BMX」および「E0002A01.BMX」〜「E0002A04.BMX」、補助AVデータによるブリッジエッセンスファイル「E0002S01.BMX」および時系列、非時系列メタデータによるブリッジエッセンスファイル「E0002R01.BMX」は、プレイリストに属するファイルである。
なお、上述したように、エディットリストによりクリップディレクトリに格納された例えばビデオデータが参照される。クリップディレクトリ間では、異なるデータ信号種の混在が可能なので、結果的に、エディットリスト上では、異なるデータ信号種の混在が可能とされる。
説明は図5に戻り、ファイル「INDEX.XML」は、ディレクトリPAV以下に格納された素材情報を管理するインデックスファイルである。この例では、ファイル「INDEX.XML」は、XML(Extensible Markup Language)形式で記述される。このファイル「INDEX.XML」により、上述した各クリップおよびエディットリストが管理される。例えば、ファイル名とUMIDの変換テーブル、長さ情報(Duration)、当該光ディスク1全体を再生する際の各素材の再生順などが管理される。また、各クリップに属するビデオデータ、オーディオデータ、補助AVデータなどが管理されると共に、クリップディレクトリ内にファイルで管理されるクリップ情報が管理される。
ファイル「DISCINFO.XML」は、このディスクに関する情報が管理される。再生位置情報なども、このファイル「DISCINFO.XML」に保存される。
次に、この発明の実施の一形態に適用可能な記録再生装置について説明する。図8は、この記録再生装置のドライブ部10の一例の構成を示す。
記録時には、後述する信号処理部41(図9参照)から供給された記録データが、ECC(Error Correction Coding)部19およびメモリコントローラ17を介してメモリ18に溜め込まれる。メモリコントローラ17は、制御部20の制御に基づきメモリ18に対するアクセスを制御する。なお、制御部20は、マイクロコンピュータからなり、信号処理部41からの制御信号に基づきこのドライブ部10を制御する。
メモリ18に溜め込まれた記録データに対して、ECC部19によりエラー訂正単位毎にエラー訂正符号が生成される。ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号を使用することができる。積符号は、ビデオデータまたはオーディオデータの2次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを2重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。積符号で完結するデータ単位をECCブロックと称する。ECCブロックは、例えば64kバイト(65536バイト)のサイズを有する。メモリコントローラ17は、メモリ18からECCブロックを読み出し、変調/復調部16に記録データとして供給する。変調/復調部16は、この記録データを変調して記録信号を生成し、ピックアップ部13に供給する。
ピックアップ部13は、変調/復調部16から供給される記録信号に基づきレーザ光の出力を制御して、スピンドルモータ12により回転駆動される光ディスク1に記録信号を記録する。
なお、ピックアップ部13は、光ディスク1からの反射光を光電変換して電流信号を生成し、RF(Radio Frequency)アンプ14に供給する。RFアンプ14は、ピックアップ部13からの電流信号に基づいて、フォーカス誤差信号およびトラッキング誤差信号、ならびに、再生信号を生成し、トラッキング誤差信号およびフォーカス誤差信号をサーボ制御部15に供給する。また、RFアンプ14は、再生時に再生信号を変調/復調部16に供給する。
レーザ光の照射位置は、サーボ制御部15からピックアップ部13に供給されるサーボ信号により所定の位置に制御される。すなわち、サーボ制御部15は、フォーカスサーボ動作やトラッキングサーボ動作の制御を行う。具体的には、サーボ制御部15は、RFアンプ14からのフォーカス誤差信号とトラッキング誤差信号に基づいてフォーカスサーボ信号とトラッキングサーボ信号をそれぞれ生成し、ピックアップ部13のアクチュエータ(図示しない)に供給する。またサーボ制御部15は、スピンドルモータ12を駆動するスピンドルモータ駆動信号を生成して、光ディスク1を所定の回転速度で回転させるスピンドルサーボ動作の制御を行う。
さらにサーボ制御部15は、ピックアップ部13を光ディスク1の径方向に移動させてレーザ光の照射位置を変えるスレッド制御を行う。なお、光ディスク1の信号読み出し位置の設定は、信号制御部41から供給される制御信号に基づき、制御部20によって行われ、設定された読み出し位置から信号を読み出すことができるように、ピックアップ部13の位置が制御される。
スピンドルモータ12は、サーボ制御部15からのスピンドルモータ駆動信号に基づいて、光ディスク1をCLV(Constant Linear Velocity)またはCAV(Constant Angler Velocity)で回転駆動する。スピンドルモータ12の駆動方式は、信号処理部41から制御信号に基づき、CLVおよびCAVとで切り替え可能とされている。
再生時には、ピックアップ部13が光ディスク1にレーザ光を集光して照射し、光ディスク1からの反射光を光電変換した電流信号をRFアンプ14に供給する。変調/復調部16は、RFアンプ14から供給された再生信号を復調して再生データを生成し、メモリコントローラ17に供給する。メモリコントローラ17は、供給された再生データをメモリ18に書き込む。メモリ18からECCブロック単位で再生データが読み出され、ECC部19に供給される。ECC部19は、供給されたECCブロック単位の再生データのエラー訂正符号を復号化してエラー訂正を行う。エラー訂正された再生データは、信号処理部41に供給される。
図9は、この実施の一形態に適用可能な記録再生装置の全体の構成例を示す。信号処理部41に対して、図示されないドライブ部10、インターフェイス部40および操作部42が接続される。また、信号処理部41に対して、例えばLCD(Liquid Crystal Display)からなる表示部80が接続され、光ディスク1から再生された映像や、記録再生装置に対して入力された映像、ユーザインターフェイスなど、様々な表示が行われるようになっている。
信号処理部41において、FPGA(Field Programmable Gate Array)にドライブ部10が接続される。ドライブ部10と信号処理部41との間での記録データおよび再生データのやり取り、ならびに、ドライブ部10内の制御部20との間での制御信号のやり取りは、FPGA64を介して行われる。
FPGA64に対して、RAM65、エンコーダ66、デコーダ67、DVコーデック68、補助AVデータ用エンコーダ/デコーダ69が接続される。補助AVデータ用エンコーダ/デコーダ69は、補助ビデオデータのエンコードを行う。また、FPGA64に対して、バス70が接続される。バス70には、入力データ用のオーディオDSP(Digital Signal Processor)71、出力データ用のオーディオDSP72および補助AVデータ用オーディオDSP73が接続される。さらに、FPGA64は、バス60とFPGA74とが接続される。FPGA64は、RAM65に対するメモリコントローラとして機能すると共に、接続された各部間でのデータフローを制御するようになっている。
FPGA74に対して、RAM75が接続される。また、FPGA74に対して表示部80、出力端子81および入力端子82がそれぞれ接続される。FPGA74に対して、さらに、操作部42のマイクロコンピュータ(以下、マイコン)90が接続される。表示部80は、例えばLCD(Liquid Crystal Display)からなる表示素子と、表示素子を駆動するための駆動回路とを有する。FPGA74は、上述のFPGA64と同様に、RAM75に対するメモリコントローラとして機能すると共に、接続された各部間でのデータフローを制御するようになっている。
バス60は、例えばPCI(Peripheral Component Bus)バスである。バス60に対してCPU(Central Processing Unit)61、ROM(Read Only Memory)62およびRAM(Random Access Memory)63が接続される。RAM63は、CPU61のワークメモリとして用いられる。ROM62は、実際には2個の書き換え可能なフラッシュメモリからなり、そのうち一方はシステム起動用、他方はシステムが起動された後に用いられるプログラムやデータなどが予め格納される。また、RAM63および他方のROMは、図示されないCPUバスを介してCPU61に接続される。
CPU61は、他方のROMに格納されるプログラムに基づき、信号処理部41を制御すると共に、ドライブ部10における光ディスク1に対するアクセス制御や、メモリ18に対するアクセス制御を行う。また、CPU61は、図5〜図7を用いて説明した、光ディスク1上のディレクトリ構造を管理する。
インターフェイス部40において、バス50は、例えばPCIバスである。バス50がPCIブリッジ57を介してバス60に接続される。また、バス50に対して通信インターフェイス51、CPU(Central Processing Unit)52、ROM(Read Only Memory)53、RAM(Random Access Memory)54およびOSD(On Screen Display)部55が接続される。なお、CPU52、ROM53およびRAM54は、実際には、メモリコントローラやバスコントローラなどを介してバス50に接続される。RAM54は、CPU52のワークメモリとして用いられる。ROM53は、実際には2個の書き換え可能なフラッシュメモリからなり、一方はシステム起動用、他方はシステムが起動された後に用いられるプログラムやデータなどが予め格納される。
通信インターフェイス51は、CPU52の命令に基づき、外部のネットワークとの間の通信を制御する。例えば、通信インターフェイス51は、インターネットに対してFTP(File Transfer Protocol)によるデータ通信を行うことができる。OSD部55は、RAM56が接続され、CPU52から供給される表示制御命令に基づき、ユーザインターフェイスのための画像信号を生成する。
操作部42において、操作子部92は、各種スイッチ、ロータリーエンコーダなどの各種操作子を有し、これら操作子に対するユーザの操作に応じた信号を出力し、マイコン90に供給する。マイコン90は、操作子部92から供給された信号に基づき制御信号を生成し、FPGA74に供給する。制御信号は、制御の種類に応じてCPU61やCPU52に供給される。表示部91は、例えば操作子部92の各操作子にそれぞれ対応した複数のLED(Light Emitting Diode)からなり、操作子部92からの制御信号に基づき、マイコン90により点灯が制御される。オーディオメータ93は、例えば複数のLEDからなり、信号処理部41に入力されるオーディオデータまたは信号処理部41から出力されるオーディオデータのレベルがリアルタイムで表示される。
なお、ビデオのフレーム周期に対応したフレーム同期信号が、図示されないインターフェイスを介して外部から供給される。フレーム同期信号を、この記録再生装置内部で発生させてもよい。この記録再生装置各部の信号処理は、必要に応じてフレーム同期信号に対して同期的に行われる。例えば、本線系AVデータや補助AVデータに対するCPU61による処理命令は、フレーム同期信号に対して同期的に発行される。
このような構成において、記録時には、外部から供給されたビデオデータおよびオーディオデータが入力端子82に入力される。例えば、ビデオデータおよびオーディオデータは、図示されないビデオカメラから出力され、入力端子82に入力される。ビデオデータおよびオーディオデータは、RAM75に一旦バッファリングされてFPGA64に供給され、RAM65に溜め込まれる。
RAM65に溜め込まれたビデオデータおよびオーディオデータは、FPGA64により補助AVデータ用エンコーダ/デコーダ69および補助AVデータ用オーディオDSP73にそれぞれ供給され、補助AVデータが生成される。
補助AVデータ用エンコーダ/デコーダ69は、供給されたビデオデータをMPEG4方式で以て圧縮符号化し、補助ビデオデータとして出力する。補助AVデータ用エンコーダ/デコーダ69から圧縮符号化されて出力された補助ビデオデータは、RAM65に書き込まれる。補助AVデータ用エンコーダ/デコーダ69は、例えば1フレームのIピクチャと9フレームのPピクチャの計10フレームで1GOPを形成する。
なお、補助ビデオデータの解像度は、例えば、NTSCシステムの場合352画素×240ライン、PALシステムの場合352画素×288ラインとされる。本線ビデオデータの解像度がこれよりも高い場合には、補助AVデータ用エンコーダ/デコーダ69において、所定に間引き処理や補間処理を行う。また、補助ビデオデータの色空間は、輝度および色差により色を表現するYCbCr空間である。
オーディオデータは、補助AVデータ用オーディオDSP73において、必要に応じてレベル調整などの所定の信号処理を施され、さらに圧縮符号化され、補助オーディオデータとされる。詳細は後述するが、オーディオデータは、例えば間引きとA−Law符号化を用い、サンプリング周波数が48kHzから8kHzとされ、また、量子化ビット数が16ビットから8ビットのデータとされる。圧縮符号化された補助オーディオデータは、RAM65に書き込まれる。量子化ビット数が24ビットのオーディオデータは、例えばサンプル毎の下位8ビットを削除し、1サンプルが16ビットのデータとしてから圧縮符号化するようにできる。
ビデオデータおよびオーディオデータの、補助AVデータ用エンコーダ/デコーダ69および補助AVデータ用オーディオDSP73によるエンコード処理と並列的に、本線系AVデータのエンコード処理も行われる。上述したように、この実施の一形態による記録再生装置は、本線系のビデオデータの処理モードとして、例えばデータレートが50Mbpsおよび25Mbpsの2種類のモードを有する。
データレートが50Mbpsのモードの場合、RAM65から読み出されたビデオデータは、エンコーダ66に供給される。エンコーダ66は、ビデオデータに対してMPEG2による圧縮符号化を施す。このとき、エンコーダ/デコーダ69は、フレーム単位での編集を考慮し、フレーム間圧縮を行わず、全てIピクチャとしてエンコードを行う。また、エンコードは、エンコードされたデータのデータレートが50Mbpsになるように、フレーム毎や、フレームをさらに分割したマクロブロック毎に量子化係数などを適切に選択して行われる。エンコーダ66でエンコードされたビデオデータは、RAM65に一旦溜め込まれる。
データレートが25Mbpsのモードの場合、RAM65から読み出されたビデオデータは、DVコーデック部68に供給される。DVコーデック部68は、供給されたビデオデータに対して、例えばDVフォーマットに則った圧縮符号化処理を施す。DVコーデック部68でエンコードされたビデオデータは、RAM65に一旦溜め込まれる。
本線系のAVデータのうち本線オーディオデータは、FPGA64により、RAM65から読み出され、オーディオDSP71に供給される。オーディオDSP71でエンコードされた本線オーディオデータは、RAM65に溜め込まれる。
CPU61の命令に従い、RAM65に溜め込まれた本線系のオーディオデータおよびビデオデータの、年輪を形成するための所定の再生時間分が、記録フォーマットにマッピングされ、ドライブ部10に供給される。同様に、RAM65に溜め込まれた補助オーディオデータおよび補助ビデオデータは、補助AVデータのフォーマットにマッピングされ、年輪を形成するための所定の再生時間分がドライブ部10に供給される。
なお、メタデータは、例えばCPU62で所定に生成され、RAM54に溜め込まれる。RAM65に溜め込まれたメタデータは、本線系のAVデータおよび補助AVデータと同様にして、年輪を形成するための所定の再生時間分がドライブ部10に供給される。
CPU61により、ドライブ部10に対して、本線系のAVデータ、補助AVデータおよびメタデータを年輪を形成しながら光ディスク1に書き込むように命令が出される。この命令は、制御部20に供給される。CPU61からの命令に基づく制御部20の制御により、本線系のAVデータ、補助AVデータおよびメタデータは、ドライブ部10のECC部19でエラー訂正符号を付加され、信号処理部16で記録信号に変調される。そして、制御部20に書き込みアドレスを制御されて、光ディスク1に対して書き込まれる。
再生時には、ドライブ部10において、CPU61の命令に基づき制御部20により読み出しアドレスを制御され、光ディスク1から年輪単位でデータが読み出される。読み出されたデータは、既に説明したような処理を経てECC部19でエラー訂正符号を復号化されエラー訂正されて、ドライブ部10から出力される。ドライブ部10から出力された本線系のAVデータ、補助AVデータおよびメタデータは、FPGA64に供給され、RAM65に溜め込まれる。
RAM65に溜め込まれた本線系のAVデータにおいて、本線ビデオデータがデータレート50Mbpsのモードのデータであれば、当該本線ビデオデータは、デコーダ67に供給される。デ一方、本線ビデオデータがデータレート25Mbpsのモードのデータであれば、当該本線ビデオデータは、DVコーデック部68に供給される。コーダ67またはDVコーデック部68でデコードされた本線ビデオデータは、RAM65に溜め込まれる。
本線系のAVデータのうち本線オーディオデータは、FPGA64によりRAM65から読み出され、オーディオDSP72に供給される。オーディオDSP72でデコードされた本線オーディオデータは、RAM65に溜め込まれる。
本線系AVデータのデコード処理と並列的に、補助AVデータのデコード処理も行われる。RAM65に溜め込まれた補助AVデータのうち、補助ビデオデータは、FPGA64によりRAM65から読み出され、補助AVデータ用エンコーダ/デコーダ69に供給される。補助ビデオデータは、補助AVデータ用エンコーダ/デコーダ69でデコードされ、RAM65に溜め込まれる。同様に、補助オーディオデータは、FPGA64によりRAM65から読み出され、補助AVオーディオ用DSP73に供給される。補助オーディオデータは、補助AVオーディオ用DSP73でデコードされ、量子化ビット数を8ビットから16ビット(または24ビット)に戻されると共に、サンプルが補間され、サンプリング周波数が48kHzとされる。デコードされた補助オーディオデータは、RAM65に溜め込まれる。
RAM65にデコードされ溜め込まれた本線ビデオデータおよび本線オーディオデータ、ならびに、補助ビデオデータおよび補助オーディオデータは、図示されないフレーム同期信号に基づきCPU61にタイミング制御され、RAM65から同期的に読み出される。例えば、本線オーディオデータおよび補助オーディオデータは、CPU61の命令に基づきFPGA64にRAM65におけるアドレスポインタが制御され、ビデオデータと同期を取られながら、さらに本線および補助オーディオデータ間で同期を取られて、RAM65から読み出される。RAM65から読み出された本線および補助ビデオデータ、ならびに、本線および補助オーディオデータは、FPGA74に供給される。
FPGA74では、例えば本線ビデオデータを出力端子81に導出すると共に、補助ビデオデータを表示部80に供給する。それと共に、本線および補助オーディオデータを所定に選択して出力端子81に導出する。本線および補助オーディオデータは、CPU61の命令に基づき所定のタイミングで切り替えて出力することができる。このとき、切り替えタイミングにおいて、本線および補助オーディオデータにクロスフェード処理を施すと、切り替えノイズが軽減されて好ましい。
一方、上述したように、インターフェイス部40は、通信インターフェイス51を有し、例えばインターネットを介してFTP転送されたビデオデータやオーディオデータを受信し、ドライブ部10に送るようにできる。すなわち、FTP転送されたデータを通信インターフェイス51で受信し、バス50、PCIブリッジ57およびバス60を介してFPGA64に供給し、RAM65に溜め込むようにする。FTP転送により、非同期的に転送された例えばオーディオデータは、RAM65を用いて時間的に連続になるようにマッピングされる。
インターフェイス部40において、OSD部55は、CPU52から供給される表示制御命令に基づき、RAM56を用いて、GUI(Graphical User Interface)画面などを表示するための画像データを作成する。作成された画像データは、RAM56から読み出され、FPGA74に転送される。この画像データは、FPGA74により表示部80に供給され、表示部80に対して例えばGUI画面が表示される。
図10は、補助AVデータの一例のフォーマットを示す。補助AVデータは、図10Aに一例が示されるように、ヘッダ部と、複数のエディットユニットとからなる。エディットユニットの先頭に配置されるシステム部は、そのエディットユニットのヘッダである。エディットユニットにおいて、システム部に続けて補助ビデオデータ(ピクチャ)が格納され、さらに続けて補助オーディオデータ(サウンド)が格納される。補助ビデオデータは、MPEG4のエレメンタリストリーム(ES)である。補助オーディオデータは、8チャンネルのデータからなり、2チャンネル毎に対になって格納される。
エディットユニットは、年輪に対応し、補助ビデオデータおよび補助オーディオデータは、それぞれ1年輪分の再生時間(例えば2秒)に対応するデータである。また、1エディットユニットは、8ECCブロックからなる。ヘッダ部は、1ECCブロックからなる。
図10Bは、ビデオシステムがNTSCの場合の補助ビデオデータ格納部の一例の構成を示す。先頭の「K」部は、続くアイテムの属性が示される。例えば、「K」部によって、続くアイテムにMPEG4のエレメンタリストリームが格納されていることが示される。「L」部は、続くアイテムのデータ長が示される。この「K」部および「L」部を用いて、補助ビデオデータや2チャンネル毎に対にされた補助オーディオデータがそれぞれパッキングされる。
上述したように、この実施の一形態では、補助ビデオデータは、図10Dに一例が示されるように、1枚のIピクチャと9枚のPピクチャとからなる10フレームで1GOPが構成される。ビデオシステムがNTSCの場合、30フレーム/秒なので、1年輪が2秒の再生時間に対応しているとした場合、図10Bに一例が示されるように、1エディットユニット中に6GOPが含まれる。25フレーム/秒であるPALシステムの場合は、図10Cに一例が示されるように、1エディットユニット中に5GOPが含まれることになる。
補助オーディオデータについては、図10Eに一例が示されるように、第1および第2チャンネル、第3および第4チャンネル、第5および第6チャンネル、第7および第8チャンネルがそれぞれ対とされ、対毎に「K」部および「L」部でパッキングされる。Filler部は、1エディットユニットのデータ長が8ECCブロックになるように補助オーディオデータのデータ長を調整するためのダミーデータが詰め込まれる部分で、各チャンネル対毎にそれぞれ「K」部および「L」部でパッキングされる。
1つのチャンネル対は、図10Fに一例が示されるようになっている。すなわち、対とされたチャンネルのサンプルが、サンプル毎に交互に配置される。1つのチャンネル対に、ビデオシステムがNTSCの場合には2チャンネルで16016サンプル、PALの場合には2チャンネルで16000サンプルの補助オーディオデータが詰め込まれる。
図11および図12を用いて、この記録再生装置における補助オーディオデータの記録再生について説明する。図11は、補助オーディオデータの記録時の一例の動作を示す。なお、図11において、図9と共通する部分には同一の符号を付し、詳細な説明を省略する。この実施の一形態では、補助AVデータは、本線系のAVデータから作成され、本線系のAVデータと共に光ディスク1に記録される。入力端子82から入力された本線系のAVデータのうち本線系のオーディオデータ(以下、本線オーディオデータ)がRAM65の領域65Aに書き込まれる。なお、本線オーディオデータは、サンプリング周波数が48kHz、量子化ビット数が16ビットとする。
入力端子82から入力された本線オーディオデータは、RAM65の領域65Aに書き込まれる。この本線オーディオデータは、FPGA64に供給され、FPGA64内に構成されるFIFO(First In First Out)100に一旦溜め込まれる。本線オーディオデータは、FIFO100でタイミングを調整されながら読み出され、補助AVオーディオI/F(インターフェイス)101に供給される。補助AVオーディオI/F101は、ホストI/F102を介してバス60にアクセスし、CPU61との間でコマンドやデータのやり取りを行いながら、各種データ流れや入出力のタイミングを制御する。
DSPアドレス生成部103は、補助AVオーディオDSP73に対するアドレスを生成する。生成されたアドレスは、補助AVオーディオI/F101を介して補助AVオーディオDSP73に渡される。
補助AVオーディオI/F101は、ホストI/F102を介して渡されるCPU61の命令に基づき、FIFO100から本線オーディオデータを読み出し、DSPホストバスであるバス70を介して補助AVオーディオDSP73に供給する。本線オーディオデータは、補助AVオーディオDSP73内のインターフェイス110に受信される。信号処理カウンタ114は、受信されたデータに基づき、補助AVオーディオDSP73における処理を実行するためのカウンタを生成し、補助AVオーディオDSP73内の各部に供給する。
本線オーディオデータは、インターフェイス110から出力され、DSPメモリ111の領域111Aに溜め込まれる。DSPメモリ111から所定のタイミングで読み出された本線オーディオデータは、カットオフ周波数が4kHzのローパスフィルタ112を通過して4kHz以上の周波数成分をカットされ、間引き回路113に供給される。間引き回路113は、6サンプル毎に1サンプルを抽出して本線オーディオデータの間引きを行う。この間引き処理により、本線オーディオデータのサンプリング周波数が48kHzから8kHzにダウンサンプリングされ、データ量が1/6とされる。
なお、ローパスフィルタ112は、例えばタップ数が512タップのFIR(Finite Impulse Response)フィルタが用いられる。ローパスフィルタ112のフィルタ係数は、DSPメモリ111の領域111Bから供給される。
間引き回路113から出力されたオーディオデータは、DSPメモリ111の領域111Cに溜め込まれる。所定量が溜め込まれると、オーディオデータは、領域111Cから読み出され、インターフェイス110およびバス70を介してFPGA64に渡される。
補助AVオーディオDSP73でダウンサンプリングされてFPGA64に渡されたオーディオデータは、補助AVオーディオI/F101によりA−Lawエンコーダ104に供給される。A−Lawエンコーダ104は、供給されたオーディオデータをサンプル毎に瞬時圧縮し、量子化ビット数が16ビットのデータを、量子化ビット数が8ビットのデータに変換する。
本線オーディオデータは、上述した間引き回路113での間引きによる時間軸方向への1/6の圧縮と、このA−Lawエンコーダ104での語長圧縮による1/2の圧縮により、データ量が1/12に圧縮される。このようにして、本線オーディオデータから補助オーディオデータが作成される。この補助オーディオデータは、FIFO105を介してRAM65の領域65Bに書き込まれる。RAM65に所定量の補助オーディオデータが溜め込まれると、その補助オーディオデータがRAM65から読み出されてドライブ部10に送られる。
図12は、補助オーディオデータの再生時の一例の動作を示す。なお、図12において、図9および図11と共通する部分については同一の符号を付し、詳細な説明を省略する。光ディスク1から、本線系のAVデータと共に読み出された補助AVデータのうち補助オーディオデータがRAM65の領域65Cに書き込まれる。補助オーディオデータは、FIFO100を介してA−Lawデコーダ106に供給される。A−Lawデコーダ106は、供給された補助オーディオデータのA−Law圧縮をサンプル毎に瞬時伸長し、量子化ビット数を8ビットから16ビットへと変換する。量子化ビット数が16ビットとされた補助オーディオデータは、補助AVオーディオI/F101を介して補助AVオーディオDSP73に供給される。補助オーディオデータは、補助AVオーディオDSP73内のインターフェイス110に受信される。
補助AVオーディオデータは、インターフェイス110から出力され、DSPメモリ111の領域111Dに溜め込まれる。DSPメモリ111から所定のタイミングで読み出された補助オーディオデータは、補間回路115に供給され、各サンプル間に5個の0データが挿入される。この補間処理により、補助オーディオデータのサンプリング周波数が8kHzから48kHzにアップサンプリングされる。上述したA−Lawデコーダ106と、この補間回路115の処理により、補助オーディオデータは、サンプリング周波数が48kHz、量子化ビット数が16ビットのデータとされ、本線オーディオデータと同じフォーマットとされる。
補間回路から出力された補助オーディオデータは、ローパスフィルタ112により積分され、DSPメモリ111の領域111Eに溜め込まれる。領域111Eに溜め込まれた補助オーディオデータは、シャトル再生制御部117を介して出力される。このとき、出力データのレベルを6倍にして音量補正を行うと、好ましい。
シャトル再生制御部117は、領域111Eに溜め込まれた補助オーディオデータの読み出しを制御し、補助オーディオデータのシャトル再生(可変速再生)を行う。操作部42に対する所定の操作に応じてCPU61によりシャトル速度信号が生成され、シャトル再生アドレス生成部116に供給される。シャトル再生アドレス生成部116では、供給されたシャトル速度信号に基づきDSPメモリ111の領域111Eに溜め込まれた補助オーディオデータの読み出しアドレスを生成する。
例えば、シャトル速度信号により、記録時の速度に対して2倍の速度で再生するように指示された場合、領域111Eに溜め込まれた補助オーディオデータを1サンプルおきに読み出すようにアドレスが生成される。このアドレスは、シャトル再生制御部117に供給される。シャトル再生制御部117は、供給されたアドレスに従いDSPメモリ111の領域111Eに溜め込まれた補助オーディオデータを読み出し、出力する。任意のシャトル速度を指定された場合には、例えば補間処理によりサンプル間のデータを補間し、クロックに対応する位置のサンプルを作り出すことで、対応が可能である。補間処理としては、ラグランジェ補間を用いるのが、音質の面で好ましい。勿論、より容易な処理として、直線補間を用いることもできる。
また、詳細は後述するが、補助オーディオデータの記録時に、ローパスフィルタ112により4kHz以上の周波数帯域をカットしているため、6倍速までであれば、連続的に再生速度を変化させることができる。
なお、FPGA64では、再生オーディオ5F生成部107において、光ディスク1から読み出されドライブ部10から供給された本線系のAVデータに対応するフレーム同期信号が生成される。このフレーム同期信号は、補助AVオーディオDSP73に供給される。補助AVオーディオDSP73では、このフレーム同期信号に基づき、オーディオデータの再生をビデオデータに同期して制御できる。
周知のように、本線系のAVデータにおけるビデオデータがNTSC方式である場合、1フレーム中のオーディオサンプルは、5フレームを周期として1602サンプルおよび1601サンプルを交互に繰り返す。ビデオシステムがNTSCの場合、再生オーディオ5F生成部107では、この5フレーム周期のフレーム同期信号を生成する。シャトル再生の際には、例えば、シャトル速度に応じてこのフレーム同期信号の間隔が変化する。上述のシャトル再生制御部117は、このフレーム同期信号に基づきDSPメモリ111の領域111Eに溜め込まれた補助オーディオデータを読み出し、補助オーディオデータのシャトル再生を制御する。
次に、補助オーディオデータの作成について、より詳細に説明する。補助オーディオデータは、ビデオデータとの同期を取りながらの編集を可能としなければならない。そのため、補助オーディオデータの作成には、オーディオデータの1サンプル毎に圧縮を行う瞬時圧伸を用いることが好ましい。この実施の一形態では、時間軸方向を圧縮するサンプリング周波数変換と、語長を圧縮する対数圧縮とを組み合わせて瞬時圧伸を行っている。この実施の一形態では、瞬時圧伸の方式として、A−Law方式を用いる。
A−Law方式や、関連する圧伸方式であるμ−Law方式は、データの小振幅時には、量子化ステップを小さく設定し、大振幅時には、量子化ステップを大きく設定することで語長の圧縮を行うものである。A−Law方式は、圧伸特性の曲線を13本の折線で近似させたものであり、主に欧州での電話音声のPCMに広く使われている。μ−Law方式は、圧伸特性の曲線を15本の折線で近似させたものであり、主に日本やアメリカでの電話音声のPCMに広く使われている。オーディオデータの圧縮方式として、瞬時圧伸の一種であるA−Law方式やμ−Law方式を用いることで、準瞬時圧伸であるAAC(Advanced Audio Coding)やAC−3(Audio Compression−3)を用いるよりもビデオデータとの同期を正確にとることができる。
上述したように、この発明の実施の一形態では、補助オーディオデータの記録時に予め帯域制限を行うことで、オーディオデータの所定倍速までの可変速再生を可能としている。先ず、図13を参照して、補助オーディオデータの作成について説明する。補助オーディオデータは、ローパスフィルタ(LPF)131、間引き部132および圧縮部133により、以下のようにダウンサンプリングされて作成される。
本線オーディオデータがローパスフィルタ131に入力される。ローパスフィルタ131は、ダウンサンプリング後のサンプリング周波数に応じて不要な周波数領域の信号を取り除く。サンプリング周波数が48kHzの本線オーディオデータをサンプリング周波数が8kHzのオーディオデータにダウンサンプリングする場合、サンプリング定理に基づき、ローパスフィルタ131として4kHzをカットオフ周波数とするローパスフィルタを用いる。例えば、直線位相のFIR(Finite Impulse Response)フィルタをローパスフィルタ131として用いることで、音質劣化を最小限にすることができる。この実施の一形態では、通過域が3.5kHzであり、次数が512タップであるFIRフィルタを用いている。
ローパスフィルタ131で不要な周波数領域の信号が取り除かれたオーディオデータは、間引き部132に入力される。間引き部132は、サンプルの間引きによりサンプリング周波数変換を行う。サンプリング周波数が48kHzの本線オーディオデータを8kHzにダウンサンプリングする場合、間引き部132は、連続するオーディオデータの6サンプルに付き1サンプルを抽出することで、1/6に間引く。これにより、オーディオデータのサイズは、間引き前のオーディオデータに対し、時間軸方向に1/6に圧縮される。
間引き部132で間引き処理されたオーディオデータは、圧縮部133に入力され、A−Law方式による対数圧縮により量子化ビット数を16ビットから8ビットに変換する。これにより、オーディオデータのサイズは、圧縮前の1/2に語長圧縮される。したがって、本線オーディオデータは、上述した間引き部132による間引き処理と合わせて、データサイズが1/12に圧縮される。なお、圧縮部133での圧縮方式は、A−Law方式に限らず、μ−Law方式など他の圧縮方式を用いることもできる。
以上のように、ダウンサンプリング処理部によって、サンプリング周波数が48kHzであり、量子化ビット数が16ビットである本線オーディオデータから、サンプリング周波数が8kHzであり、量子化ビット数が8ビットである補助オーディオデータが作成される。補助オーディオデータは、RAM65に書き込まれる。
図14を参照して、補助オーディオデータの再生用オーディオデータへの変換について説明する。補助オーディオデータは、伸張部134、ゼロ詰め部135、ローパスフィルタ136および増幅部137により以下のようにアップサンプリングされ、再生用オーディオデータに変換される。
先ず、補助オーディオデータが伸張部134に入力される。伸張部134は、A−Law方式による対数伸張を行い、量子化ビット数を8ビットから16ビットに変換する。なお、伸張部134および上述した圧縮部133での量子化ビット数の変換は、演算量の観点から予め作成しておいた入出力変換テーブルを用いることが好ましい。それにより、DSP(Digital Signal Processor)でのリアルタイム処理を容易とすることができる。
伸張部134で伸張処理されたオーディオデータは、ゼロ詰め部135に入力される。ゼロ詰め部135は、入力されたオーディオデータのサンプル間に値がゼロのサンプルを所定数、挿入する。サンプリング周波数が8kHzの補助オーディオデータを48kHzにアップサンプリングする場合、入力されたオーディオデータのサンプル間にゼロ値のサンプルを5個ずつ挿入する。
ゼロ詰め部135でゼロ詰め処理されたオーディオデータは、ローパスフィルタ136に入力され、不要な周波数領域の信号が取り除かれる。サンプリング周波数が8kHzのオーディオデータを48kHzにアップサンプリングする場合、サンプリング定理に基づき、ローパスフィルタ136として4kHzをカットオフ周波数とするローパスフィルタを用いる。例えば、直線位相のFIRフィルタをローパスフィルタ136として用いることで音質劣化を最小限にすることができる。この実施の一形態では、通過域が3.5kHzであり、次数が512タップであるローパスフィルタ131と同じ特性のFIRフィルタを用いており、ローパスフィルタ131とローパスフィルタ136とを共通して用いることができる。
ローパスフィルタ136で不要な周波数領域の信号が取り除かれたオーディオデータは、増幅部137に入力され、増幅される。ローパスフィルタ136から入力されるオーディオデータは、ゼロ詰めされたデータであり、上述したローパスフィルタ131に入力された本線オーディオデータと比べて、ゼロ詰めされた分だけエネルギーが小さくなっている。これを補償するために、増幅部137による増幅を行う。この例では、ゼロ詰め部135で各サンプル間に5個のゼロ値データが詰められているため、増幅部137により振幅を6倍に増幅する。
以上のように、アップサンプリング処理部によって、サンプリング周波数が8kHzであり、量子化ビット数が8ビットである補助オーディオデータが、サンプリング周波数が48kHzであり、量子化ビット数が16ビットである再生用オーディオデータに変換される。補助オーディオデータから変換された再生用オーディオデータは、RAM65に書き込まれる。
次に、上述したような変換処理に係る補助オーディオデータの可変速再生について説明する。ここで、補助オーディオデータの原音の波形および周波数スペクトラムが図15に一例を示すようであるとする。図15Aは、縦軸を振幅、横軸を時間とした原音の時間軸波形であり、図15Bは、縦軸を振幅、横軸を周波数とした原音の周波数スペクトラムである。この表記は、図16および図17についても、それぞれ同様とする。なお、以下に示す図中のFsは、サンプリング周波数を示す。
ここで、図15に示す信号特性の原音を2倍速、すなわち原音の再生時間に対して1/2の再生時間で再生する(以下、2倍速再生と称する)場合について考える。図15に示す原音に対し、単純にサンプリング周波数を2倍とすることで、2倍速再生が可能である。この場合の波形を図16に示す。図16Aに示すように単純にサンプリング周波数を2倍にすると、図16Bの周波数スペクトラムに示されるように、オーディオデータのピッチが2倍になる。
図16Aのようにサンプリング周波数が2倍のままでは出力できないので、サンプリング周波数を元の値に戻す必要がある。図17Aのように、単純に間引いてサンプリング周波数を1/2、すなわち元の周波数にすると、図17Bに周波数スペクトルで示されるように、エイリアシングを生じる。そこで、図17Cに示すように、予めローパスフィルタで帯域制限を行ってから間引くと、図17Dに示すように、エイリアシングを生じない。
補助オーディオデータの作成の際に、予めこの帯域制限を行った上で、サンプリング周波数を1/Nにダウンサンプリングしていれば、作成された補助オーディオデータを高速再生する際のエイリアシング除去のためのローパスフィルタ処理は、N倍速再生までは不要となる。上述した補助オーディオデータの作成では、間引き部132によりサンプリング周波数を1/6にダウンサンプリングしているため、6倍速再生までは、再生側のエイリアシング除去用のローパスフィルタが不要ということになる。したがって、6倍速再生までは、補助オーディオデータの再生速度を、良好な音質を保ったまま、連続的に変化させることが可能となる。
そのため、恰もアナログオーディオテープを用いて早送り再生を行ったかのような、音声が連続し高速で再生された再生音声を、光ディスク1を用いて得ることができる。ビデオクリップの変化点や、編集点、シーンチェンジ点では、再生音声が一旦途切れたり、再生される音声に質的な変化が現れることが多く、これらは耳で聞いたときに容易に判別可能である。この実施の一形態では、上述のようにして、光ディスク1を用いて恰もアナログテープを用いたときのように、高速再生における連続的な再生音声を出力させることができ、これを用いてクリップや編集点の検索を行うことができる。
一方、図示しないが、原音の再生時間に対して長い再生時間で再生する場合、サンプリング周波数を単純に小さくすると、ピッチが1/2になる。これをゼロ詰めなどにより補間してサンプリング周波数を2倍にすると、エイリアシングを生じる。この場合には、ゼロ詰めした結果得られた信号をローパスフィルタで帯域制限して補間すると、エイリアシングを生じなくすることができる。
ここで、メモリ上への補助オーディオデータの配置について説明する。図18は、上述した記録再生装置内における再生時の補助オーディオデータの流れを概略的に示す。補助オーディオデータを再生するには、光ディスク1から補助オーディオデータを読み出し、読み出した補助オーディオデータをRAM65に一時的に溜め込む。RAM65に溜め込まれた補助オーディオデータは、補助AVデータ用オーディオDSP73に供給される。図14を参照して説明したように、補助AVデータ用オーディオDSP73は、RAM65から供給された補助オーディオデータに対してサンプルレート変換(8kHz→48kHz)等のアップサンプリング処理を行い、再生オーディオデータに変換する。補助AVデータ用オーディオDSP73で変換した再生オーディオデータは、出力端子81から出力される。
図10に示したように、この実施の一形態では、再生時間が2秒のデータで年輪が構成されており、ビデオシステムがNTSCの場合、一つの年輪内には、オーディオ1チャンネル当たり60フレーム分の補助オーディオデータが埋め込まれている。光ディスク1から読み出された補助オーディオデータは、RAM65に年輪毎にバッファリングされる。既に説明したように、年輪は、再生時間帯が対応した単位再生時間分のビデオデータおよびオーディオデータの組からなっている。すなわち、RAM65は、補助オーディオデータを単位時間再生時間毎に記憶する。
図19は、RAM65への補助オーディオデータのマッピング形態の一例を示す。RAM65へは、補助オーディオデータが年輪単位で溜め込まれる。例えば、図19に示すように年輪#N、年輪#(N+1)、・・・の補助オーディオデータがRAM65上にマッピングされる。
RAM65から読み出された補助オーディオデータは、補助AVデータ用オーディオDSP73のDSPメモリ111に対し、以下のように転送されて記憶される。補助オーディオデータは、RAM65からDSPメモリ111に対して年輪単位で転送され、アドレスを連続的に配置されて書き込まれる。DSPメモリ111に書き込まれた補助オーディオデータは、余分なデータのないオーディオデータであり、アドレスを連続的に配置することで、読み出した際にデータの繋ぎ目であっても音声に切れ目が生じないようにできる。DSPメモリ111に記憶された補助オーディオデータは、DSPメモリ111からサンプル単位で読み出される。
上述したように、補助オーディオデータを再生する場合は、図14に示したアップサンプリング部で補助オーディオデータをサンプルレート変換して本線オーディオデータと同じサンプリング周波数とされる。サンプルレート変換後の補助オーディオデータに施すローパスフィルタ136での処理は、時間的に連続するオーディオデータで行わなければならない。そのため、補助オーディオデータを再生する場合に、ローパスフィルタ136のタップ数に応じた数の前後のサンプルが必要となる。ローパスフィルタ136が512タップのFIRフィルタの場合には、再生補助オーディオデータの前後256サンプル分だけ必要となる。
このように、年輪単位でRAM65に溜め込まれた補助オーディオデータを、DSPメモリ111上にアドレスを連続的に配置することで、時間的に連続した補助オーディオデータを得ることができる。
RAM65からDSPメモリ111へは、再生時の再生速度に応じて補助オーディオデータが転送される。ここで、補助オーディオデータを35倍速で再生する場合について考える。この場合、1フレーム周期内(NTSCの場合、1/30秒以内)に35フレーム分の補助オーディオデータをRAM65から読み出し、DSPメモリ111へ転送して記憶すればよい。例えば、図19に示す年輪#Nから補助オーディオデータを35倍速で再生する場合、35倍速再生を開始してから1フレーム周期内に35フレーム分の補助オーディオデータをDSPメモリ111上に連続して配置する必要がある。
上述したように、RAM65には年輪単位で補助オーディオデータが溜め込まれているため、実際には、図20に示すように、35倍速再生を開始してから1フレーム周期内に年輪#Nの60フレーム分の補助オーディオデータがDSPメモリ111に転送され、アドレス的に連続して配置される。すなわち、1フレーム周期内に再生される補助オーディオデータに対して、25フレーム分だけ先読みされる。
ここで25フレーム分先読みしているため、次のフレーム周期では、補助オーディオデータを10フレーム分だけRAM65から読み出し、DSPメモリ111上にアドレス的に連続して配置すればよい。RAM65には、年輪単位で補助オーディオデータが溜め込まれている。年輪#(N+1)の60フレーム分の補助オーディオデータがDSPメモリ111に転送されアドレス的に連続して配置される。この場合、当該次フレーム周期の再生データに対して、60−10=50フレーム分の補助オーディオデータが先読みされることになる。さらに次のフレーム周期では、直前のフレーム周期で50フレーム分先読みされているため、その先読みされた補助オーディオデータを用いる。
補助オーディオデータは、データレートが低いため、1フレームの時間内に35フレーム分のデータを全て取得することができる。すなわち、DSPメモリ111上では、全ての補助オーディオデータ(35倍速ならば1フレーム周期内に35フレームのデータ)が揃うため、サーチ音の品質が向上する。
このように、RAM65に年輪単位で記憶されている補助オーディオデータをDSPメモリ111上にアドレス的に連続となるよう配置し、次の年輪データのマッピングを予め先読みしておくことにより、このような、35倍速再生といった、光ディスク1への記録時よりも非常に速い速度での再生を実現することができる。
なお、本線オーディオデータについても、オーディオDSP72上のメモリのデータ配置を、DSPメモリ111に対する補助オーディオデータの配置と同様にするとよい。これにより、年輪データに対して時間的に連続する前後のサンプルが得られ、本線オーディオデータの光ディスク1からの読み出しの際のデータレートの範囲内で、高速再生が可能となる。
現状では、本線オーディオデータであれば2倍速程度、補助オーディオデータであれば40倍速程度まで、光ディスク1から全てのオーディオデータを取得することができる。なお、実際には、35倍速再生などの速い速度での再生を行うと、再生された音声がホワイトノイズに近いものとなり、音声を識別することは困難である。このような場合でも、上述したオーディオメータ93上には音量レベルが略リアルタイムに表示されるため、音声の有無の判別を目視で確認することができる。これは、ビデオデータのクリップや編集点など所望の場所を素早く探し出すのに大変有効である。
このように、光ディスク1上で、離散的に記録されていた補助オーディオデータを連続データに並べ替え、任意のサーチ速度でサンプルレート変換を行いながら再生させることで、サーチ時であっても聞き取り易い良好な音声を出力することができる。
この実施の一形態では、上述のように、年輪構造により時間的に分断された形で光ディスク1に記録されたオーディオデータを、切れ目なく再生することができる。年輪を跨ぐような形でデータにアクセスして高速再生を行う場合であっても、サーチ速度を落とすことなく、ファイルの跨ぎ点でも連続的に音を繋げてサンプルレート変換を行いながら、シームレスなサーチができる。
ここでは、記録時と同じ時間方向における高速再生について説明したが、これはこの例に限られない。補助オーディオデータをDSPメモリ111上にアドレスを連続的に配置して書き込んでいるので、例えば、記録時と逆方向に向けての再生、所謂リバース再生を行う場合に、DSPメモリ111上に存在する補助オーディオデータを利用することができ、光ディスク1からデータを読み込まずに済む。
上述では、RAM65には、光ディスク1から読み出したデータが記録されるとしたが、RAM65に溜め込まれるデータは、これに限ったものではない。例えば、FTP転送などにより外部から供給された非固定長および/または非同期なデータをRAM65に溜め込むような場合にも、この実施の一形態を適用することができる。この場合、RAM65に対して非固定長および/または非同期で溜め込まれた補助オーディオデータを、書き込まれた単位でRAM65から読み出すことになる。読み出した補助オーディオデータは、DSPメモリ111に対して転送しアドレスを連続的に配置して書き込み、サンプル単位で読み出す。
同様にして、ファイル単位で光ディスク1に記録されたオーディオデータに対しても適用することができる。
次に、ビデオデータとオーディオデータとの同期処理について説明する。上述したように、CPU61は、ビデオのフレーム周期に対応したフレーム同期信号(以下、ビデオ用フレーム同期信号と称する)に基づきRAM65に対する本線ビデオデータおよび本線オーディオデータ、ならびに、補助ビデオデータおよび補助オーディオデータの入出力のタイミングを制御している。
ビデオ用フレーム同期信号は、ビデオデータのタイミング周期を示す信号である。CPU61は、ビデオデータの記録や再生を制御すると共に、オーディオデータの記録や再生を制御している。したがって、CPU61がフレーム同期信号を監視しながらオーディオデータの記録や再生の開始を指示すれば、ビデオデータとオーディオデータとの時間位相を合わせることができる。
しかしながら、実際には、CPU61の動作速度やCPU61上で動作するOS(Operating System)のオーバヘッドなどの影響を受けるため、指示を発行するまでの時間がばらついてしまう。そのため、CPU61は、ビデオデータとオーディオデータとの時間位相をフレーム単位で合わせることはできるものの、オーディオデータのサンプリング周期(例えば、サンプリング周波数Fsが48kHzの場合、1/Fs=1/48kHz=21μs)の時間精度でビデオデータとオーディオデータとの時間位相が合うようにするのは困難である。
さらに、上述したように、オーディオデータは、入出力する際にレベル調整などの信号処理が行われる。したがって、オーディオデータの記録時は、入力されたオーディオデータがRAM65に到達するまでに遅延が生じ、再生時は、RAM65からオーディオデータが出力されるまでに遅延が生じる。そのため、記録時には、入力端子82から入力されたオーディオデータのRAM65への書き込みを、遅延分だけ遅らせる必要があり、再生時には、出力端子81から出力するオーディオデータのRAM65からの読み出しを、遅延分だけ先行させる必要がある。
この実施の一形態では、ビデオ用フレーム同期信号から、これらの遅延を考慮したフレーム同期信号(以下、オーディオ用フレーム同期信号)を生成し、生成したオーディオ用フレーム同期信号によってRAM65に対するオーディオデータの入出力のタイミングを制御している。なお、オーディオ用フレーム同期信号は、記録用と再生用との2種類を生成する。
図21は、ビデオ用フレーム同期信号とビデオ用フレーム同期信号に基づき生成されるオーディオ用フレーム同期信号の一例のタイミングチャートである。図21Aは、ビデオ用フレーム同期信号を示す。このビデオ用フレーム同期信号をオーディオデータのサンプリング周波数で正規化し、図21Bに示すオーディオ用フレーム同期信号を生成する。
上述したように、オーディオデータの記録時には、入力されたオーディオデータがRAM65に到達するまでに遅延が生じるため、記録用のオーディオ用フレーム同期信号は、入力端子82からRAM65への到達時間分だけビデオ用フレーム同期信号よりも遅延するよう設定する。例えば、ビデオ用フレーム同期信号よりも数十サンプル分だけ遅延させる。これにより、図21Cに示す記録用のオーディオ用フレーム同期信号が生成される。
また、オーディオデータの再生時には、RAM65からオーディオデータが出力されるまでに遅延が生じるため、RAM65からデータ出力端子への到達分だけビデオ用フレーム同期信号よりも先行するように設定する。例えば、数十サンプル分、好ましくは、外部での信号処理時間を考慮して、ビデオデータよりもより先行して出力できるように、さらに多くのサンプル数分を先行させる。
このように設定することで、CPU61は、オーディオ用フレーム同期信号単位でオーディオデータを扱うことができ、オーディオデータをビデオデータとサンプリング周期の時間精度で合わせることができる。なお、オーディオ用フレーム同期信号の遅延量は、実際のオーディオデータに対する処理に基づき予め求めることができる。この設定は、ソフトウェアによって個々の装置に適した量に調整することができる。
CPU61は、ビデオフレーム毎に、次のビデオフレームのRAM65に対する書き込みアドレスをセットできる。次のフレームのRAM65への書き込みアドレスが分かっていれば、CPU61は、フレーム毎に記録用または再生用のオーディオ用フレーム同期信号をトリガとして、入力用のオーディオDSP71、出力用のオーディオDSP72および補助AVデータ用オーディオDSP73の制御を行うことができる。
なお、既に説明したが、ビデオシステムがNTSCの場合とPALの場合とでは、1フレーム内におけるオーディオサンプルの数が異なる。ビデオシステムがPALの場合には、フレーム周波数の25Hzがオーディオデータのサンプリング周波数である48kHzと整数比(1920倍)の関係にあるため、毎フレームで、ビデオデータとオーディオデータとの位相が合う。
一方、ビデオシステムがNTSCの場合は、フレーム周波数が29.97Hzであって、オーディオデータのサンプリング周波数である48kHzと整数比の関係に無く、5フレームに1回、ビデオデータとオーディオデータとの位相が合うことになる。この5フレームシーケンスにより、各フレームに格納されるサンプル数は、第1シーケンスから順に、1602サンプル、1601サンプル、1602サンプル、1601サンプル、1602サンプルとなる。DVビデオの場合は、1600サンプル、1602サンプル、1602サンプル、1602サンプル、1602サンプルとなる。
ビデオシステムがNTSCの場合は、オーディオ用フレーム同期信号を、この5フレームシーケンスに合わせて作成する。オーディオ用フレーム同期信号を5フレームシーケンスに準じた周期で生成し、光ディスク1に記録する際には、先頭が第1シーケンスから始まるように記録用のオーディオ用フレーム同期信号の位相を制御し、再生する際には、先頭が第1シーケンスから始まるように再生用のオーディオ用フレーム同期信号の位相を制御する。これにより、記録時と同じ位相で5フレームシーケンスの管理が行える。または、先頭のフレームシーケンス番号を光ディスク1に記録し、再生時に同じフレームシーケンス番号になるように、再生用のオーディオ用フレーム同期信号を制御する。
本線オーディオデータと補助オーディオデータとの間でサンプル単位で同期を取ることによって、本線オーディオデータのエラー箇所を補助オーディオデータでコンシールする処理が可能となる。また、この同期により、オーディオデータの再生速度を連続的に変化させる際に、低速側では本線オーディオデータを用い、高速側では補助オーディオデータとを用い、低速側と高速側との切り替え点で、本線オーディオデータと補助オーディオデータとを切り替えて再生するような処理が可能となり、可変速再生をより高音質に行うことができる。以下に、本線オーディオデータと補助オーディオデータとの同期について説明する。
図22は、本線オーディオデータと補助オーディオデータとの間でサンプル単位の同期を取るための一例の構成を示す。なお、図22において、上述した図9と共通する部分には同一の符号を付し、詳細な説明を省略する。再生メモリコントローラ150および151は、それぞれ、RAM65からの本線オーディオデータおよび補助オーディオデータの読み出しを制御するためのDMA(Direct Memory Access)コントローラである。再生メモリコントローラ150および151は、例えばFPGA64において実現される。
再生メモリコントローラ150および151に対して、クロック信号として、オーディオデータのサンプリング周波数に対応したクロックLRCKと、オーディオ用フレーム同期信号とを供給する。そして、CPU61から、RAM65に対する読み出し開始位置を指定するスタートアドレスと、再生速度とを再生メモリコントローラ150および151にそれぞれ入力する。これにより、再生メモリコントローラ150および151からRAM65に対して、RAM65から本線オーディオデータおよび補助オーディオデータを読み出すための再生アドレス制御信号がそれぞれ供給される。
なお、この実施の一形態では、クロックLRCKの周波数は、48kHzとされる。また、ここでは、再生速度は、記録時と等速の再生速度を1倍速とした場合の倍率で表される。
図示されない光ディスク1に記録された本線オーディオデータおよび補助オーディオデータは、CPU61により、光ディスク1上に記録されている、記録データの時間情報(例えばファイル「INDEX.XML」内のDuration)に基づき、RAM65へのデータ転送を制御するDMA(Direct Memory Access)コントローラ150および151が設定され、RAM65に転送される。RAM65に転送された本線オーディオデータおよび補助オーディオデータは、それぞれRAM65の異なる領域にそれぞれ溜め込まれる。
本線オーディオデータおよび補助オーディオデータのRAM65からの読み出し開始位置を指示するスタートアドレスと、再生速度とがCPU61により再生メモリコントローラ150および151にそれぞれ設定されると、次のフレームから、本線オーディオデータおよび補助オーディオデータがRAM65から読み出され、再生が開始される。補助オーディオデータは、伸長部152に供給され、既に説明したように、A−Lawの伸張処理、ローパスフィルタ処理およびゼロ詰め処理を施され、本線オーディオデータのサンプリング周波数および量子化ビット数のオーディオデータとされ、出力される。
なお、詳細は後述するが、CPU61から伸長部152に対して再生位相信号が供給される。伸長部152では、この再生位相信号に基づき、ゼロ詰め処理によるアップサンプル処理の際に時間軸方向にオフセットが付加され、本線オーディオデータに対する再生位相が調整される。
本線オーディオデータの読み出し制御を行う再生メモリコントローラ150について、図23を用いてより詳細に説明する。スタートアドレスと再生速度は、ラッチ回路160に供給される。スタートアドレスおよび再生速度は、ラッチ回路160でそれぞれラッチされ、オーディオ用フレーム同期信号のタイミングで、セレクタ162の一方の入力端および加算器161にそれぞれ供給される。
加算器161の出力がセレクタ162の他方の入力端に供給される。セレクタ162は、CPU61によりスタートアドレスが設定されると、一方の入力端を選択し、その他の場合は、他方の入力端が選択される。すなわち、セレクタ162は、オーディオ用フレーム同期信号の周期で一方の入力端を選択し、スタートアドレスを出力することになる。セレクタ162の出力は、ラッチ回路163でラッチされ、クロックLRCKのタイミングで出力される。ラッチ回路163の出力は、小数点以下切り捨て部164と加算器161とに供給される。加算器161では、ラッチ回路163から出力された値と、ラッチ回路160から供給された再生速度とを加算する。ラッチ回路163の出力は、小数点以下切り捨て部164で小数点以下を切り捨てられ、整数部だけがRAM65に対する本線オーディオデータの読み出しアドレスとして出力される。
このような構成により、再生メモリコントローラ150では、CPU61から設定されたスタートアドレスに対して、再生速度を本線オーディオデータのサンプリング周期で累積して、本線オーディオデータをRAM65から読み出す際の読み出しアドレスを出力する。
例えば再生速度が記録時と等しい1倍速であれば、サンプリング周期毎に、アドレスが1、2、3、・・・と1ずつ増加する。また、再生速度が2倍速であれば、サンプリング周期毎に、アドレスが2、4、6、・・・と2ずつ増加する。なお、この場合アドレスは、RAM65から読み出すオーディオサンプルに対応する。
なお、再生速度は、小数点以下が12ビット、整数部が8ビットの2’sコンプリメント表現のデータで行うことで、低速から高速までの再生速度を表現している。
図24は、補助オーディオデータの読み出し制御を行う再生メモリコントローラ151の一例の構成を示す。スタートアドレスと再生速度は、ラッチ回路170に供給される。スタートアドレス、再生速度および再生位相は、ラッチ回路170でそれぞれラッチされ、オーディオ用フレーム同期信号のタイミングで、セレクタ174の一方の入力端、加算器172および伸長部152にそれぞれ供給される。
加算器172の出力は、補助オーディオデータの本線オーディオデータに対するダウンサンプリング比(この実施の一形態では6)で除され、整数部すなわち商が加算器173に供給されると共に、剰余がラッチ回路171でラッチされる。ラッチ回路171でラッチされた値は、クロックLRCKのタイミングで出力され、加算器172で再生速度と加算される。なお、ラッチ回路171は、ラッチした値がスタートアドレス設定時にゼロクリアされる。
一方、加算器173の出力は、セレクタ174の他方の入力端に供給される。セレクタ174は、CPU61によりスタートアドレスが設定されると、一方の入力端を選択し、その他の場合は、他方の入力端が選択される。すなわち、セレクタ174は、オーディオ用フレーム同期信号の周期で一方の入力端を選択し、スタートアドレスを出力することになる。セレクタ174の出力は、ラッチ回路175でラッチされ、クロックLRCKのタイミングで出力される。ラッチ回路175の出力は、小数点切り捨て部176と加算器173とに供給される。加算器173では、加算器172の出力を6で除した商と、ラッチ回路175の出力とを加算する。
ラッチ回路175の出力は、小数点以下切り捨て部176で小数点以下を切り捨てられ、整数部だけがRAM65に対する補助オーディオデータの読み出しアドレスとして出力される。
この例では、補助オーディオデータは、サンプリング周波数が元の本線オーディオデータの48kHzから8kHzにダウンサンプリングされているため、RAM65における補助オーディオデータの読み出しアドレスの増減は、本線オーディオデータに対して1/6になる。これは、本線オーディオデータに比べ、再生速度が1/6になったのと等価であると考えることができる。しかしながら、再生メモリコントローラ151の構成を、上述した図23の再生メモリコントローラ150と同様の構成として、再生速度を1/6にしてスタートアドレスと累積したのでは、再生速度を1/6にするときの誤差も累積され、再生アドレスがずれていってしまう。
そこで、再生速度の累積は、加算器172の出力をダウンサンプリング比の6で除した剰余をクロックLRCK毎に再生速度に累積することで行い、加算器172の加算結果を6で除した商を、サンプリングクロックLRCK毎にスタートアドレスに対して累積することで、RAM65に対する補助オーディオデータの読み出しアドレスを得ている。これによれば、ラッチ回路175の出力は、補助オーディオデータのサンプリング周期毎に再生速度に応じた値だけ増加されることになり、再生速度を1/6にする場合のような誤差の累積が起こらない。
例えば再生速度が記録時と等しい1倍速であれば、補助オーディオデータのサンプリング周期、すなわち6クロックLRCK毎に、アドレスが1、2、3、・・・と1ずつ増加する。また、再生速度が2倍速であれば、6クロックLRCK毎に、アドレスが2、4、6、・・・と2ずつ増加する。
ここで、補助オーディオデータは、サンプリング周波数が48kHzから8kHzにダウンサンプリングされているため、データ列が本線オーディオデータに比べて6倍の粗さになっている。そのため、図25に一例が示されるように、補助オーディオデータは、そのままでは、再生開始ポイントが本線オーディオデータと一致できない場合が生じる。
図25Aは、本線オーディオデータの一例のデータ列を示す。本線オーディオデータは、サンプリング周波数が48kHzであって、各データ(サンプル)は、1/48kHzの間隔で並んでいる。これに対し、補助オーディオデータは、サンプリング周波数が8kHzであって、図25Bに一例が示されるように、各データは、本線オーディオデータの6倍の1/8kHzの間隔となっている。再生開始ポイントが、図25Aのように本線オーディオデータの先頭のサンプル以外、例えば3番目のサンプルである場合、補助オーディオデータは、対応する位置にサンプルが無く、再生開始ポイントが本線オーディオデータと補助オーディオデータとで一致できない。
そこで、補助オーディオデータのスタートアドレスを、再生位相を考慮して設定することで、補助オーディオデータにおけるデータ列の粗さを補って、本線オーディオデータと補助オーディオデータとの再生開始ポイントが一致するようにしている。
再生位相は、スタートアドレスに対する48kHzサンプリング周期換算のオフセット値とする。補助オーディオデータの本線オーディオデータに対するダウンサンプリング比が6のこの例では、オフセット値を0〜5の値で設定する。例えば、オフセット値が0のときは、補助オーディオデータをサンプリング周波数が8kHzによるサンプル位置そのものとする。また、例えばオフセット値が2のときは、図25Bに示されるように、サンプリング周波数が8kHzのサンプル位置に対して、2/48kHzだけ時間の進んだ位置からの再生とする。このオフセット値は、実際には、サンプリング周波数を8kHzから48kHzにアップサンプリングするときに付加する。図12の例でいえば、補間回路115においてオフセット値が付加される。オフセット値は、CPU61から与えられる。
上述したように、本線オーディオデータと補助オーディオデータとの同期を取ることで、本線オーディオデータのエラー箇所を、補助オーディオデータを用いてコンシールすることができる。図26を用いて、このコンシール処理について概略的に説明する。上述したように、記録データは、ECCブロック単位でエラー訂正符号を付加されて光ディスク1に記録される。光ディスク1から再生された再生データに対して、エラー訂正符号のエラー訂正能力を超えてエラーが存在する場合、ECC部19は、エラーを訂正せずに、エラー位置に対応してエラーフラグを立てる。
そこで、図26Aに一例が示されるように、あるECCブロック(図26Aにおいて斜線を付して示す)の本線オーディオデータに対してエラーフラグが立てられていれば、そのECCブロックに対応する補助オーディオデータを、エラーフラグが立てられた本線オーディオデータとすげ替えて出力する(図26B)。次のECCブロックで本線オーディオデータにエラーフラグが立てられていなければ、出力されるオーディオデータを補助オーディオデータから本線オーディオデータに戻す。本線オーディオデータと補助オーディオデータとの同期がサンプル単位で取られているので、データの切り替え点で再生音の時間的なズレが発生せず、スムースに切り替えることができる。
なお、本線オーディオデータと補助オーディオデータとの切り替え点において、一方の再生音量を徐々に下げつつ、他方の再生音量を徐々に上げる、所謂クロスフェードを行ってもよい(図26C)。クロスフェードの処理は、例えば、CPU61の命令に基づきFPGA74内部で行われる。エラー部分の前後でクロスフェード処理を行うことで、本線オーディオデータと補助オーディオデータとの切り替え点を滑らかに再生できる。
また、上述したように、本線オーディオデータと補助オーディオデータとの同期を取ることで、再生速度を連続的に変化させる可変速再生をより高音質に行うことができる。図27を用いて、この再生速度を連続的に変化させる場合の処理について、概略的に説明する。図27Aに一例が示されるように、再生速度を連続的に変化させた場合に、ある再生速度Sまでは本線オーディオデータを用いて可変速再生を行い、その再生速度S以上の再生速度が指示されると、再生に用いるオーディオデータを本線オーディオデータから補助オーディオデータに切り替えるようにする(図27B)。高速側から低速側へ再生速度を変化させる場合も、同様である。再生速度Sは、例えば本線オーディオデータを光ディスク1から再生したときに転送可能なデータレートの上限に対応する再生速度である。
この場合にも、図27Cに一例が示されるように、再生速度Sと、再生速度Sよりも多少低い再生速度の間で、本線オーディオデータおよび補助オーディオデータのクロスフェード処理を行うことで、切り替え点を滑らかに再生できる。
なお、上述では、この発明が光ディスク1上に年輪単位でデータを記録するフォーマットに対して適用されるように説明したが、これはこの例に限定されない。例えば、年輪構造を持たず、ファイル単位で記録を行う通常のフォーマットに対してこの発明を適用することも可能である。