JP2006050230A - フレームレート変換方法、変換装置、画像信号記録装置および再生装置 - Google Patents

Abstract

【課題】画像のフレームレートを変換する際、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのないようにすること。
【解決手段】画像信号のフレームの繰返し挿入または間引きによってフレームレートを変換する場合、挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出する。検出された動き量の大きさが、ゆっくりした動き（しきい値Ｘ１としきい値Ｘ２の間）と判断した場合には、そのフレームの繰返し挿入または間引きを禁止する。
【選択図】図１

Description

本発明は、第１のフレームレートで記録された画像信号を、これと異なる第２のフレームレートの画像信号に変換するフレームレート変換方法および変換装置に関するものである。また本発明は、これを用いた画像信号記録装置および再生装置に関する。

画像信号フォーマットとして、ＮＴＳＣ方式における毎秒約３０フレームのフレームレートと、ＰＡＬ方式における毎秒２５フレームのフレームレートが存在する。また、映画は毎秒２４コマのフィルムで撮られているため、画像信号は毎秒２４フレームのフレームレートとなる。従来、映画コンテンツを記録媒体に記録する場合には、予めＮＴＳＣ方式ないしＰＡＬ方式に変換した上で記録していた。しかしながら、この方法では、記録する情報に無駄が生じやすく、画質も劣化しやすい。そこで、記録媒体上に記録するデータを毎秒２４フレームの画像として記録しておく方法が提案されている。これにより、映画フィルムから直接エンコードを行うことができるので、画質の劣化がなく、記録する情報に無駄がない。

これらの画像信号をテレビ（モニター）に表示したり、記録装置に記録する場合には、表示装置や記録装置のフレームレートに合わせるよう変換する必要がある。フレームレートの変換のため、各種の技術が提案されてきた。

ＮＴＳＣ方式とＰＡＬ方式の相互変換については、例えば特許文献１に記載される。

映画の毎秒２４フレームとＮＴＳＣ方式（毎秒約３０フレーム）との変換には、２−３プルダウンと呼ばれる変換技術が用いられ、例えば特許文献２に引用されている。

特開２００２−３６９１５５号公報 特開平９−３０７８６２号公報

通常のフレームレートの変換では、フレーム数が不足する場合には同一画像フレームを繰返し挿入し、フレーム数が過剰な場合には、フレーム画像を間引きすることによる。例えば、毎秒２４フレームの画像を、毎秒３０フレーム（６０フィールド）に変換するためには、奇数フレームを２フィールドに、偶数フレームを３フィールドに変換する。毎秒２４フレームの画像を毎秒２５フレームに変換するためには、１秒に１回だけ、同一フレームを繰返して挿入する。これらの場合、挿入するタイミングは、フレーム数が所定数になる毎に周期的に挿入する。間引きについても、同様に周期的に行う。

フレームを挿入する位置が静止画像の場合には、同一画像を繰返し挿入しても不自然さは生じない。しかし、挿入位置が動画像の場合には、挿入位置で動きが止まるため、動きが不自然で、見にくい画像となってしまう。間引きについても、静止画像では問題ないが、動画像では間引き位置で動きが速まり不自然となる。

本発明の目的は、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのないようなフレームレート変換方法、変換装置、これを用いた記録装置、再生装置を提供することにある。

本発明のフレームレート変換方法は、第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するものであって、第１の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御するものである。

ここで、画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、フレームの繰返し挿入または間引きを禁止する。また、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、動きベクトル量の画面全体での総和量から求める。あるいは、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、変化量の画面全体での総和量から求める。

本発明のフレームレート変換装置は、第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するものであって、第１の画像信号の各フレームを一時記憶する画像バッファメモリと、第１の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートにて読み出す読出手段とを備える。

本発明の画像信号記録装置は、第１のフレームレートを有する画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換し、圧縮符号化して記録媒体に記録するものであって、第１のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートに変換して読み出す読出手段と、読み出した画像信号を圧縮符号化するエンコーダ部と、圧縮符号化された画像信号を記録媒体に記録する記録部とを備える。

本発明の画像信号再生装置は、記録媒体から圧縮符号化され第１のフレームレートを有する画像信号を再生し、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換するものであって、記録媒体から圧縮符号化された画像信号を再生する再生部と、再生された画像信号を復号化するデコーダ部と、復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートに変換して読み出す読出手段とを備える。

本発明によれば、フレームレート変換において、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのない画像変換方法と変換装置を提供できる。

以下本発明のフレームレート変換方法、変換装置、およびこれを用いた画像信号記録装置および再生装置について、実施例を用いて説明する。

図１は、本発明にかかるフレームレート変換装置の一実施例を示すブロック図である。この実施例では、フレームレートが毎秒２４フレームの画像信号を、フレームの繰返し挿入（補間）により、フレームレートが毎秒２５フレームの画像信号に変換する場合を説明する。図１中、１０１は画像信号入力端子、１０２は動き検出部、１０３は補間可否判別部、１０４は画像バッファメモリ、１０５は読み出し部、１０６は画像信号出力端子である。すなわち、従来方式では、１秒に１回の割合で周期的に同一フレームを繰返して挿入（補間）していたものであるが、本実施例では、動き検出部１０２と補間可否判別部１０３を設け、補間の制御を行う構成としている。

画像信号入力端子１０１には、毎秒２４フレームの画像信号が入力される。入力された画像信号は、動き検出部１０２および画像バッファメモリ１０４に入力される。

動き検出部１０２では、入力された画像信号を隣接する直前のフレームの画像信号と比較し、フレーム間の画像の動きの大きさを検出する。動き検出部１０２の動作を、図２を用いて説明する。

図２は、隣接する２つのフレーム画面の一例を表し、（ａ）は直前のフレームの画面を示し、（ｂ）は現フレームの画面を示す。

動き検出部１０２では、連続する２つの画面を比較し、画面内の画像の動きを検出する。具体的には、画面上をいくつかの矩形領域に分割し、各領域の画像が次の画面でどの領域に移動したかを、色彩ならびに輝度で比較し、移動量を求める。

図２の例では、（ａ）内に矩形で表した領域Ｃの画像が、（ｂ）では右上方向の領域Ｄに移動していることが分かる。すなわち、領域Ｃから領域Ｄへの移動量を、ベクトル形式で、例えば、右に１５０ピクセル、上に３０ピクセルのように表現して、定量化する。

画面上の全ての矩形領域、あるいは代表となるいくつかの矩形領域についての移動ベクトル量を求め、それらの総和を計算することにより、画像の動き量を表す指標として使用する。動き検出部１０２は、このようにして求めた画像の動き量を動き検出結果として、補間可否判断部１０３に提供する。

補間可否判別部１０３では、動き検出部１０２から提供された画像の動き量の大きさから、当該フレーム画像の補間の可否を判断する。具体的には、動き量の大きさを（１）静止状態、（２）ゆっくりとした動き、（３）速い動き、の３段階に区分し、補間の可否を判断する。

（１）静止状態とは、画面が静止した状態または画像の動きが非常に小さい状態である。静止状態では、画面上の動きがほとんどないため、同一の画像を補間しても、視覚的に全く違和感を与えない。

（２）ゆっくりとした動きとは、カメラがゆっくりとパンしたり、画面内の物体がゆっくりと移動しているような場合である。このような場合、視聴者は画面内の物体を十分目で追うことが可能であり、同一画像を繰返して挿入すると、その画像部分が一瞬停止したように見え、なめらかな画像の動きの中では非常に目立ちやすい。

（３）速い動きは、カメラが高速で移動し、背景が目まぐるしく変化したり、画面上の物体が高速で移動しているような場合である。このような場合には、視聴者の視点が追従できず、繰返し挿入を行っても目立ちにくい。

従って、（１）（３）の場合は繰返し挿入（補間）することを許可し、（２）のゆっくりとした動きの場合には、補間を禁止する。補間可否判別部１０３は、どの段階かを判別し、（２）の場合には、補間禁止信号を出力する。

一方、画像信号入力端子１０１から入力された画像信号は、画像バッファメモリ１０４にも入力される。画像バッファメモリ１０４は、入力された画像信号をフレーム単位で一時記憶しておき、読み出し部１０５からの読み出し指令に従って出力する。画像バッファメモリ１０４は、数フレーム、または数１０フレーム分の画像の記憶が可能な容量とする。

読み出し部１０５は、入力された画像信号のフレーム数、および出力端子に出力を行うべき画像信号のフレーム数をそれぞれカウントしている。入力画像信号は毎秒２４フレームなので、１秒間に２４だけカウントを行う。一方、出力画像信号は毎秒２５フレームなので、１秒間に２５だけカウントを行う。これらカウント数の差分から、フレームの補間の要否タイミングを判断する。そして、補間可否判別部１０３からの補間禁止信号に従い、補間処理を行う。

ここで、動き検出部１０２の行う画像の動き量の検出方法について、より具体的に説明する。原画像は、横７２０ピクセル、縦５７６ピクセルの画素数を有するものとする。マクロブロックの大きさを１６×１６ピクセルとすると、画面は、横４５×縦３６のマクロブロックに分割される。ここでは、マクロブロック単位での画像の動きを表現する。

ゆっくりとした動きの画像とは、例えば、１０秒程度かけて１画面を水平にパンするような速さの画像である。一方、動きの速い画像とは、１画面を１秒以内でパンするような速さの画像である。すなわち、ゆっくりとした動きの場合、１秒間に７２ピクセルの移動を伴うので、毎秒２４フレームの場合、各マクロブロックの動き量は、１フレームあたり３ピクセルとなり、全マクロブロックの動き量の総和は、４５×３６×３＝４８６０ピクセルである。一方、動きの速い画像では、１秒間に７２０ピクセルの移動を伴うので、１フレームあたり３０ピクセルであり、全マクロブロックの動き量の総和は、４８６００ピクセルである。これらの計算から、全マクロブロックの動き量の総和が約５０００ピクセル未満の場合には、静止画像と判断し、全マクロブロックの動き量の総和が約５００００ピクセル以上の場合には、動きの速い画像と判断することができる。そして、その中間である５０００以上５００００ピクセル未満の場合には、ゆっくりとした動きと判断する。これらのしきい値Ｘ１，Ｘ２を基準に３段階に区分する。

各マクロブロックの動き量は、入力する画像データからその都度計算するか、ＭＰＥＧストリーム形式の画像データ中に含まれる動きベクトルを抽出して利用することができる。これを前記動き量の２つのしきい値とそれぞれ比較することにより、どの段階の動きかを求め、フレーム挿入の可否を判断する。具体的には、マクロブロックの動き量の総和がＸ１（＝５０００ピクセル）未満またはＸ２（＝５００００ピクセル）以上の場合にはフレーム挿入を許可し、Ｘ１以上でＸ２未満の場合にはフレーム挿入を禁止する。

図３は、本実施例にかかる動き検出部による動き量検出値と、フレーム挿入の可否結果の対応を示す。縦軸にマクロブロックの動き量の総和を、横軸に時間軸をとっている。時間とともにマクロブロックの動き量の総和が変化する。マクロブロックの動き量がＸ１（＝５０００ピクセル）以上かつＸ２（＝５００００）未満の期間が、フレーム挿入禁止となる。

上記実施例では、マクロブロック単位での動きベクトルを利用して画像の動き量を検出し、フレーム挿入の可否を判断していたが、これに限定されるものではない。例えば、画面上の輝度の分布の変化を検出して画像の動きを検出することもできる。すなわち、画像が動けば、これに伴って輝度分布も移動するからである。この場合、画面上の各マクロブロック毎に、輝度の平均値を計算し、前後のフレームで、輝度の平均値がどの程度変化したかを求める。例えば、マクロブロックの輝度の平均値が１０％以上変化した場合に、そのマクロブロックに動きがあったと判断することができる。上記手順により、画面上の全てのマクロブロックについて動きの有無を検出する。動き「有」とされたマクロブロックが全マクロブロックの５％以下の場合には、静止画像と判断する。一方、動き「有」とされたマクロブロックが全マクロブロックの５０％以上の場合には、動きの速い画像と判断する。その中間５％以上で５０％未満の場合は、ゆっくりとした動きの画像と判断する。この場合のしきい値は、Ｘ１＝５％、Ｘ２＝５０％と設定する。このように、画面上の輝度の変化を検出することで、前記動きベクトルの計算法よりも簡単に、画像の動きの大きさを判別することができる。

上記した具体的数値は一例であり、表示装置や画像の種類等により適宜設定することができる。画像の動きの検出方法はこれ以外にも様々な方法が考えられる。画像の動きが画面内で不均一の場合には、画面全体の総和（平均）でなく、最大に変化した位置における最大変化量を用いることもできる。また画像の比較を行う場合、隣接する複数個のフレーム画像間で比較を行えば、より精度の高い判断をすることができる。

図４は、フレームレート変換における入力画像と出力画像の時間的関係を、フレーム番号を付して示した図である。ここでは、周期的に補間する場合を示す。入力画像に対し出力画像は、所定時間だけ遅延して出力されるが、簡単のために対応するフレームを同位置に合わせて表示している。入力画像は、フレーム番号１から順に入力される。入力画像のフレームレートは、毎秒２４フレームである。一方、出力画像のフレーム番号は、毎秒２５フレームにてカウントされるので、１秒目に２５フレームとなる。この時点で、入力フレームとのフレーム数の差分が生じ、同一の入力フレーム（２４フレーム目）を２回繰返して出力（１回分挿入）し、フレーム補間を行う。これにより、入力画像のフレームレートを出力画像のフレームレートに変換して出力する。

図５は、図４において、本実施例の補間禁止信号が入力された場合の入力画像と出力画像の時間的関係を示す。図５では、入力画像の２フレーム目から２９フレーム目にかけて、補間可否判別部１０３からの補間禁止信号が入力されている。開始より１秒経過した時点で、入力画像は２４フレームであり、出力画像は２５フレームとなるので、１フレームの差分が発生する。しかしながら、出力フレームの２フレーム目から３０フレーム目に関しては、補間を禁止する補間禁止信号が付与されているので、この期間、補間は行わず、入力画像をそのまま出力する。入力画像の３０フレーム目からは、補間禁止信号が解除されているので、この時点で３０フレーム目の画像を繰返して出力し、フレーム番号のずれを吸収する。以上のような処理により、入力画像と出力画像のフレームレートの変換を行う。この時、ゆっくりとした動きの場面では補間を禁止することで、補間したことが目立ちにくく、視聴者に違和感を与えることがない。

以上のように、本実施例にかかるフレームレート変換装置は、フレームレートの異なる画像に変換する場合、フレーム画像の繰返しにより補間したことが目立ちにくく、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることがない。

上記実施例では、フレームレートを毎秒２４フレームから毎秒２５フレームに変換する場合について述べたが、これ以外の変換にも適用できることは言うまでもない。例えば、フレームレートを２４→３０、２５→３０への変換でも有効である。

さらに、本発明はフレームレートを下げるためにフレームを間引く逆変換の場合にも適用できる。すなわち、ゆっくりした動きの画像からフレームを間引くと、一瞬その時点での動きが速まるので、視聴者に違和感を与える。そこで、ゆっくりした動きの場合には、間引き禁止信号を発生させ、その画像の間引きを禁止する。これにより、フレームレートを２５→２４、３０→２４、３０→２５に変換する逆変換を好適に実現できる。

図６は、本発明にかかるフレームレート変換装置を有する画像信号再生装置の一実施例を示すブロック図である。本装置は、光ディスク媒体から画像信号を再生し、かつ再生信号のフレームレートを変換する機能を有する。５０１はディスク装置、５０２は出力制御部、５０３は音声デコーダ、５０４は音声信号出力端子、５０５は画像デコーダ、５０６は第１の画像信号出力端子、５０７はフレームレート変換部、５０８は第２の画像信号出力端子、５０９はシステム制御部、５１０はリモコン受信部である。フレームレート変換部５０７は、画像デコーダ５０５から出力された画像信号のフレームレートを変換して、第２の画像信号出力端子５０８に出力する。なお、ディスク装置５０１は外部装置として接続しても良い。

次に、再生装置の動作を説明する。ディスク装置５０１には、毎秒２４枚のフレームレートで画像信号を記録した光ディスクがセットされているものとする。画像信号は、ＭＰＥＧ方式に従い圧縮符号化されている。ディスク装置５０１は、システム制御部５０９からの指令に従い、光ディスク上から画像信号などのデータの読み出しを行う。

ユーザーがリモコン（図示せず）を用いて再生開始を指示すると、リモコンからの信号がリモコン受信部５１０により受信され、システム制御部５０９に入力される。システム制御部５０９は、入力された再生開始指令を受け、光ディスクからのデータ再生動作を開始する。

再生動作を開始すると、システム制御部５０９は、光ディスク上に記録されているファイルを識別するために、ファイル管理情報の読み出しを開始する。光ディスク上には、ファイル管理情報として、例えば、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）形式の情報が記録されているので、ＵＤＦの仕様に従い、ファイル管理情報を読み出す。ファイル管理情報には、光ディスク上に記録されている全てのファイルのファイル識別子（ファイル名）、記録開始セクター番号、記録データ長などの情報が含まれている。

システム制御部５０９は、これらファイル管理情報を用いて、光ディスク上に記録されているファイルを認識し、再生に必要なデータの読み出しを行う。具体的には、まず、メニュー画面表示のためのメニュー情報を読み出し、その情報に基づき、画面にメニューを表示する。メニュー情報には、光ディスク上に記録されている各コンテンツのタイトル名、代表的な画面のサムネイル（縮小画面）およびそのコンテンツに対応したファイル識別子などが含まれており、これらを画面上に表示することにより、ユーザーは所望のコンテンツを選択することができる。ユーザーは、表示されたメニュー画面から所望のコンテンツをリモコンの左右ボタンなどで選択し、決定ボタンで指定する。

ユーザーのリモコン操作は、リモコン受信部５１０を介してシステム制御部５０９に入力され、再生が指定されたコンテンツの再生を開始する。具体的には、再生が指示されたコンテンツに対応したファイルの読み出すために、システム制御部５０９は、ディスク装置５０１に対して、コンテンツに対応したファイルの記録されている光ディスク上のセクターデータの読み出しを指示する。

セクターデータの読み出しが指示されると、ディスク装置５０１は、指定されたセクターのデータを読み出すため、光ディスクを所定の速度で回転させるとともに、光ピックアップを所定のセクター位置に移動し、レーザー光により光ディスク上の情報の読み出しを行う。光ディスクから読み出された情報は、ディスク装置内の信号処理回路により所定の復調処理・誤り訂正処理などが行われ、セクターデータとして出力制御部５０２に入力される。

出力制御部５０２は、光ディスク上から読み出されたセクターデータを所定の処理により、ＭＰＥＧ形式パケットに変換し、音声デコーダ５０３および画像デコーダ５０５に供給する。ここで、ＭＰＥＧパケットは、１８８バイトの長さであり、光ディスク上には、ＭＰＥＧパケットに４バイトのパケットヘッダーを付加した形で記録されている。このパケットヘッダーのうち、３０ビットはパケットの送出時刻を示すタイムスタンプ（時刻情報）として使用される。すなわち、出力制御部５０９は、出力時刻を計時する計時回路を有しており、計時回路で計時された時刻と、各パケットに付加されているタイムスタンプとを比較し、時刻が一致した時点で、パケットの出力を行う。これにより、各パケットの出力タイミングを制御することができる。

音声デコーダ５０３は、出力制御部５０２から入力されたＭＰＥＧパケットのうち、音声情報の含まれた音声パケットを使用し、音声のデコード（復号化）を行う。デコードされた音声信号は、音声出力端子５０４を介して、外部に接続されているアンプやスピーカーから音声として出力される。

画像デコーダ５０５は、出力制御部５０２から入力されたＭＰＥＧパケットのうち、画像情報の含まれたパケットを使用し、画像信号のデコード（復号化）を行う。ここで、画像デコーダ５０５によりデコードされた画像は、毎秒２４フレームのフレームレートを持つ画像信号である。この毎秒２４フレームの画像信号は、第１の画像信号出力端子５０６を介して接続される外部のモニターテレビに送られ、画像として表示される。ただし、これを表示するには、フレームレートが毎秒２４フレームに対応したモニターテレビでなければならない。

本実施例の再生装置では、フレームレートの異なるＮＴＳＣ形式専用のモニターテレビやＰＡＬ形式専用のモニターテレビでも表示可能とするために、フレームレート変換部５０７を有している。

すなわち、画像デコーダ５０５から出力された毎秒２４フレームの画像信号は、フレームレート変換部５０７に入力され、ここで毎秒２５フレームまたは毎秒３０フレームの画像信号に変換され、第２の画像信号出力端子５０８に出力される。ここで、日本国内やアメリカ向けの製品では、ＮＴＳＣ形式に対応した毎秒３０フレームの画像信号に変換して出力する。一方、ヨーロッパ向けの製品では、ＰＡＬ形式に対応した毎秒２５フレームの画像信号に変換して出力するように構成する。もちろん、フレームレート変換部５０７を、切り替えによりＮＴＳＣ形式とＰＡＬ形式の双方に対応できるように構成しても良い。この場合、切り替えスイッチないし、ソフトウェアの設定などにより切り替えが可能なようにすればよい。あるいは、フレームレート変換部５０７を２つ設け、それぞれがＮＴＳＣ形式およびＰＡＬ形式の出力を行うように構成し、それぞれの出力を、それぞれの画像信号出力端子から出力するように構成してもよい。

ここで、フレームレート変換部５０７の変換方法は、前記実施例で述べた通りである。画像デコーダ５０５から出力された毎秒２４フレームの画像信号を、画像の動き量に応じてフレーム補間するタイミングを調整し、フレームレート変換を行う。

以上のようにして、光ディスク上に毎秒２４フレームのフレームレートで記録されている画像信号を再生し、毎秒３０フレームまたは毎秒２５フレームの画像信号に変換して出力することができる。

実施例１，２では、動き検出のため前後の画面を矩形領域に分割し、動きベクトルを計算していたが、これに限定されるものではない。例えば、光ディスク上に記録されているＭＰＥＧ方式のストリームでは、フレーム前後の画像の類似性を用いてデータ圧縮を行っている。また、１６×１６ピクセルのブロックごとに、動きベクトルを使用して、画像の補間処理を行っている。すなわち、ＭＰＥＧストリーム中には、既に動きベクトルの情報が含まれており、この動きベクトルを抽出して画像の動きの大きさを判断することができる。

図７は、本発明にかかるフレームレート変換装置の他の実施例を示すブロック図である。ここでは、ＭＰＥＧストリーム中の動きベクトルを用いて画面の動き量を検出し、フレームレート変換を行うものである。６０１はストリーム入力端子、６０２は動きベクトル検出部であり、その他の記号は図１と同じである。

動きベクトル検出部６０２では、ＭＰＥＧ方式でエンコードされたストリーム中に含まれる動きベクトル情報を検出する。検出した動きベクトルから、動きベクトルの平均値を求め、これを画像の動き量として使用する。これにより、前後の画像間の動き量を新たに計算することなく、各画像における動きの大きさを知ることができ、回路規模やメモリの削減を行うことができる。なお、動きベクトルは、全ての画像に含まれているわけではないが、数フレーム分の平均値を用いることにより、各画像における動きの大きさとして用いることが可能である。動きベクトル検出部６０２により検出された画像の動き量は、補間可否判別部１０３に入力され、動き量に応じて、フレーム補間の可否を判断する。補間可否判別部１０３は、ゆっくりした動きの画像の場合には、フレーム補間を禁止するための補間禁止信号を読み出し部１０５に対して出力する。

図８は、図７に示したフレームレート変換装置を用いた画像信号再生装置の他の実施例を示すブロック図である。この再生装置では、出力制御部５０２から出力されたＭＰＥＧストリームは、画像デコーダ５０５に入力するとともに、フレームレート変換部７０１にも入力される。フレームレート変換部７０１の内部は図７に示した通りで、ＭＰＥＧストリームは、入力端子６０１を介して動きベクトル検出部６０２に入力される。

動きベクトル検出部６０２では、ＭＰＥＧストリーム中の動きベクトル情報を検出し、画像の動き量を求める。補間可否判別部１０３は、動き量に応じてフレーム補間を禁止するための補間禁止信号を出力する。

一方、ＭＰＥＧストリームは画像デコーダ５０５によりデコード（復号化）され、フレームレート変換部７０１の画像信号入力端子１０１に入力する。そして画像バッファメモリ１０４に一時記憶され、読み出し部１０５により所定のタイミングで読み出される。その際、補間可否判別部１０３からの補間禁止信号による補間の制限を行いながら、フレームレートが変換された画像信号を第２の画像信号出力端子５０８から出力する。

以上のように、ＭＰＥＧストリーム中に含まれる動きベクトル情報を用いて画像の動き量の検出を行うので、回路規模を削減することができる。

本発明にかかるフレームレート変換装置は、再生装置のみならず、記録装置においても適用可能である。図９は、本発明にかかるフレームレート変換装置を有する画像信号記録装置の一実施例を示すブロック図である。９０１は音声信号入力端子、９０２は音声エンコーダ、９０３は画像信号入力端子、９０４はフレームレート変換部、９０５は画像エンコーダ、９０６は記録制御部である。他の符号は、図６と共通である。

図９の記録装置では、フレームレートが毎秒２５フレームの画像信号（ＰＡＬ形式）を入力し、フレームレートが毎秒２４フレームの画像信号に変換して記録する場合を例に示す。毎秒２５フレームの画像信号を毎秒２４フレームの画像信号に変換するには、基本的には１秒間に１フレーム分の画像を間引く必要がある。その場合、静止画像や動きの速い画像からフレームを間引いても目立ちにくいが、ゆっくりとした動きの画像からフレームを間引くと非常に目立つ。従って、入力する画像信号の動き量に応じてフレームの間引きの可否を制御する。

毎秒２４フレームに変換された画像信号は、画像エンコーダ９０５により例えばＭＰＥＧ２のパケット形式に圧縮符号化され、記録制御部９０６に入力される。音声信号は音声エンコーダ９０２により圧縮符号化され、記録制御部９０６に入力される。

記録制御部９０６では、入力された画像および音声のＭＰＥＧパケットに所定のタイムスタンプを付加し、光ディスク上に記録可能な記録データの形式に変換を行う。システム制御部５０９は、ディスク装置５０１を制御し、ディスク上の所定のセクター位置に記録を行う。記録終了後、システム制御部５０９は、記録したデータを読み出し可能なようにファイル管理情報を書き換える。

本実施例の記録装置では、ＰＡＬ形式の画像信号をフレームレートを毎秒２４フレームに低減して記録しているので、記録するデータ量を少なくできるため、符号化効率が向上する。また、フレームレート毎秒３０フレームのＮＴＳＣ信号についても、２−３プルダウンの逆変換を使用することにより、毎秒２４フレームの画像信号として記録することが可能である。その結果、ＰＡＬ、ＮＴＳＣ双方の画像信号を毎秒２４フレームで記録することができ、互換性の面からも望ましい。

本実施例の装置によりフレームレート毎秒２４フレームで記録した光ディスクは、前述の実施例の再生装置を用いることにより、ＰＡＬ、ＮＴＳＣ形式のフレームレートに変換して読み出すことが可能であることはいうまでもない。

上記各実施例では、記録媒体として光ディスクを用いる場合を説明したが、これに限定されず、磁気記録媒体や半導体メモリなど任意の媒体に適用できる。

本発明にかかるフレームレート変換装置の一実施例を示すブロック図。 隣接する２つのフレーム画面の一例を示す図。 動き量検出値とフレーム挿入の可否結果の対応を示す図。 フレームレート変換における入力画像と出力画像の関係を示す図。 補間禁止信号が入力された場合の、入力画像と出力画像の関係を示す図。 本発明にかかる画像信号再生装置の一実施例を示すブロック図。 本発明にかかるフレームレート変換装置の他の実施例を示すブロック図。 本発明に係る画像信号再生装置の他の実施例を示すブロック図。 本発明にかかる画像信号記録装置の一実施例を示すブロック図。

符号の説明

１０２…動き検出部、１０３…補間可否判別部、１０４…画像バッファメモリ、１０５…読み出し部、５０１…ディスク装置、５０２…出力制御部、５０３…音声デコーダ、５０５…画像デコーダ、５０７…フレームレート変換部、５０９…システム制御部、５１０…リモコン受信部、６０２…動きベクトル検出部、７０１…フレームレート変換部、９０２…音声エンコーダ、９０４…フレームレート変換部、９０５…画像エンコーダ、９０６…記録制御部。

Claims (12)

1. 第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するフレームレート変換方法であって、
   上記第１の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、
   検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御することを特徴とするフレームレート変換方法。
2. 請求項１に記載のフレームレート変換方法であって、
   前記画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換方法。
3. 請求項１または請求項２に記載のフレームレート変換方法であって、
   前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。
4. 請求項１または請求項２に記載のフレームレート変換方法であって、
   前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。
5. 請求項１ないし請求項４のいずれか１項に記載のフレームレート変換方法であって、
   前記第１のフレームレートと前記第２のフレームレートは、一方が毎秒２４フレームであり、他方が毎秒２５フレームであることを特徴とするフレームレート変換方法。
6. 第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するフレームレート変換装置であって、
   上記第１の画像信号の各フレームを一時記憶する画像バッファメモリと、
   上記第１の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
   検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
   上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートにて読み出す読出手段と、
   を備えることを特徴とするフレームレート変換装置。
7. 請求項６に記載のフレームレート変換装置であって、
   前記判別手段は、前記動き検出手段により検出された画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換装置。
8. 請求項６または請求項７に記載のフレームレート変換装置であって、
   前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。
9. 請求項６または請求項７に記載のフレームレート変換装置であって、
   前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。
10. 請求項６ないし請求項９のいずれか１項に記載のフレームレート変換装置であって、
    前記第１のフレームレートと前記第２のフレームレートは、一方が毎秒２４フレームであり、他方が毎秒２５フレームであることを特徴とするフレームレート変換装置。
11. 第１のフレームレートを有する画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換し、圧縮符号化して記録媒体に記録する画像信号記録装置であって、
    上記第１のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、
    上記画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
    該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
    上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートに変換して読み出す読出手段と、
    該読み出した画像信号を圧縮符号化するエンコーダ部と、
    該圧縮符号化された画像信号を記録媒体に記録する記録部と、
    を備えることを特徴とする画像信号記録装置。
12. 記録媒体から圧縮符号化され第１のフレームレートを有する画像信号を再生し、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換する画像信号再生装置であって、
    上記記録媒体から上記圧縮符号化された画像信号を再生する再生部と、
    該再生された画像信号を復号化するデコーダ部と、
    該復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、
    上記再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
    該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
    上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートに変換して読み出す読出手段と、
    を備えることを特徴とする画像信号再生装置。

Images