JP5219646B2 - 映像処理装置及び映像処理装置の制御方法 - Google Patents

Description

本発明は、映像信号のフレームレートを変換する映像処理装置及びその制御方法に関し、特に、複数の映像を１つの画面に表示するマルチ画面表示のための合成映像信号のフレームレートを変換する映像処理装置及びその制御方法に関する。

テレビ、携帯電話、その他の映像を表示する表示装置において、映像信号のフレームレートを低フレームレートから高フレームレートに変換する技術が知られている。フレームレートの変換は、元の映像信号（低フレームレートの映像信号）のフレームから新たな補間フレームを生成し、生成された補間フレームを元の映像信号のフレーム間に内挿する技術である。これにより、映像信号のフレームレートを低フレームレートから高フレームレートに変換することができ、映像を滑らかに表示することが可能となる。

映像信号のフレームレートを低フレームレートから高フレームレートに変換する為の補間フレームの生成方法として、元の映像信号のフレームの画像から動きベクトルを検出し、検出された動きベクトルに基づいて補間フレームの画像を生成する方法がある。動きベクトルは、例えば、ブロックマッチング法を用いて検出される。

ブロックマッチング法は、一般に、元の映像信号における複数のフレームの画像を所定サイズの複数の画像ブロックに分割し、画像ブロック単位でマッチングを行うことにより、動きベクトルを検出する方法である。複数のフレームの内、動きベクトルの検出の基準となるフレームを、基準フレームとする。即ち、基準フレームは、動きベクトルの検出の対象とされるフレームである。基準フレームに対して動きベクトルを検出するために参照するフレームを、参照フレームとする。即ち、参照フレームは、基準フレームを構成する画像ブロックとのマッチングの対象となる画像フレームである。なお、基準画像フレームと参照画像フレームは、時間的にどちらが先であっても良い。

入力された映像信号がレターボックス或いはサイドパネルといった方式でアスペクト比が変換されている映像の信号である場合、映像信号は映像が表示される映像領域と映像が表示されない映像外領域とを含む信号となる。このような映像信号に対して、ブロックマッチングを行うと、補間フレームの画像に歪みなどが生じることがある。これは、映像領域と映像外領域との境界を含む画像ブロックでは、正確な動きベクトルを検出することが困難であるからである。具体的には、映像外領域では基準フレームと参照フレームの画像の間で動き（変化）が無いのに対し、映像領域では基準フレームと参照フレームの画像の間で動きがあるために、そのような問題が生じる。

そのような問題に鑑みた従来技術は、例えば、特許文献１に開示されている。特許文献１には、映像外領域を検出或いは設定、または、映像外領域に関する情報を外部から取得することにより、映像領域のみに対してブロックマッチングを行う技術が開示されている。それにより、映像領域と映像外領域との境界による画像の歪みなどを防ぐことができ、高画質の補間フレームの画像を生成する事ができる。

特開２００５−００６２７５号公報

しかしながら、特許文献１に開示されている技術を用いても、映像領域の境界を正確に
検出することができず、補間フレームの画像に歪みが生じる場合があった。例えば、複数の映像を１つの画面に表示するマルチ画面表示のための合成映像信号のフレームレートを変換する際に、そのような問題が生じる。具体的には、そのような問題は、各映像が配置される領域（配置領域）がＰｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ（ＰｉｎＰ）のように配置されている場合、映像の配置領域間の境界が映像領域として認識されるために生じる。映像の配置領域間の境界が映像領域として認識されると、そのような境界を含む画像ブロックに対しても動きベクトルを検出してしまうため、動きベクトルの誤検出を招く虞があるのである。各映像の配置領域が、Ｐｉｃｔｕｒｅ ｏｕｔ Ｐｉｃｔｕｒｅ（ＰｏｕｔＰ）や、互いに重なり合うように配置されている場合も同様である。

そこで、本発明は、複数の映像を１つの画面に表示するマルチ画面表示のための合成映像信号のフレームレートを変換する場合であっても、画質劣化の無い補間フレームの画像を生成することができる映像処理装置及びその制御方法を提供することを目的とする。

本発明の第１の画像処理装置は、
複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置であって、
前記合成画像信号の入力フレームの画像から動きベクトルを検出する動きベクトル検出手段と、
前記検出された動きベクトルに基づいて、複数の入力フレームの間を補間するための補間フレームの画像を生成する補間画像生成手段と、
を有し、
前記動きベクトル検出手段は、前記入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、前記配置領域のそれぞれについて個別に前記動きベクトルを検出し、
前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
ことを特徴とする。

また、本発明の第２の画像処理装置は、
複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置であって、
前記合成画像信号の入力フレームの画像を、当該入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、当該複数の配置領域のそれぞれに対応する複数の部分画像に分割する分割手段と、
前記部分画像のそれぞれから個別に動きベクトルを検出する動きベクトル検出手段と、
前記検出された動きベクトルに基づいて、前記部分画像に対応する補間画像を生成する補間画像生成手段と、
前記補間画像生成手段で生成された各部分画像に対応する補間画像を合成して、複数の入力フレームの間を補間するための補間フレームの画像を生成する合成手段と、
を有し、
前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
ことを特徴とする。

また、本発明の第１の画像処理装置の制御方法は、
複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置の制御方法であって、
前記合成画像信号の入力フレームの画像から動きベクトルを検出するステップと、
前記検出された動きベクトルに基づいて、複数の入力フレームの間を補間するための補間フレームの画像を生成するステップと、
を有し、
前記動きベクトルは、前記入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、前記配置領域のそれぞれについて個別に検出され、
前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
ことを特徴とする。

また、本発明の第２の画像処理装置の制御方法は、
複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置の制御方法であって、
前記合成画像信号の入力フレームの画像を、当該入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、当該複数の配置領域のそれぞれに対応する複数の部分画像に分割するステップと、
前記部分画像のそれぞれから個別に動きベクトルを検出するステップと、
前記検出された動きベクトルに基づいて、前記部分画像に対応する補間画像を生成するステップと、
前記生成された各部分画像に対応する補間画像を合成して、複数の入力フレームの間を補間するための補間フレームの画像を生成するステップと、
を有し、
前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
ことを特徴とする。

本発明によれば、マルチ画面に合成された合成映像信号に対してフレームレートの変換を行う場合であっても、画質劣化の無い補間フレームを生成することができる映像処理装置及びその制御方法を提供することができる。

本発明は、映像信号のフレームレートを変換する映像処理装置及びその制御方法に関し、特に、複数の映像を１つの画面に表示するマルチ画面表示のための合成映像信号のフレームレートを変換する映像処理装置及びその制御方法に関する。マルチ画面表示は、例えば、ＰｉｎＰ表示、ＰｏｕｔＰ表示、複数の映像を互いに重なり合うように配置した表示などである。

以下、本実施形態に係る映像処理装置の具体的な実施例について説明する。なお、以下の実施例では、本実施形態に係る映像処理装置を、合成映像（合成映像信号による映像）を表示するマルチ画面映像表示システムに適用した場合について説明する。以下の実施例では、本実施形態に係る映像処理装置を補間フレーム生成回路部とする。

＜実施例１＞
図１は、本発明の実施例１に係るマルチ画面映像表示システムの概略構成を示すブロック図である。本実施例に係るマルチ画面映像表示システム１００は、入力された複数の映像信号の中から複数の映像信号を選択し、選択された複数の映像信号をマルチ画面表示のための合成映像信号に合成する。そして、合成映像信号のフレームレートの変換を行う。

本実施例に係るマルチ画面映像表示システム１００は、チューナＡ１０１、チューナＢ１０２、レコーダ１０３、映像選択回路部１０４、マルチ画面合成回路部１０５、補間フレーム生成回路部１０６、制御部１０９、表示装置１１０などを有する。入力される映像信号（入力映像信号）は、チューナＡ１０１、チューナＢ１０２、及び、レコーダ１０３から入力される映像信号に限らない。入力映像信号の数及び入力形態は特に限定しない。

映像選択回路部１０４は、複数の入力映像信号の中から任意の数の映像信号を選択する。

マルチ画面合成回路部１０５は、映像選択回路部１０４で選択された複数の映像信号を、制御部１０９からの制御信号に基づいて合成する。具体的には、マルチ画面合成回路部
１０５は、選択された複数の映像信号をマルチ画面表示のための合成映像信号に合成する。マルチ画面合成回路部１０５は、出力信号として、合成映像信号１０７とレイアウト信号１０８を出力する。なお、本実施例では、合成映像信号はフレーム単位で出力されるものとする。レイアウト信号１０８は、レイアウト情報を表す信号である。レイアウト情報は、出力された合成映像信号のフレーム（補間フレーム生成回路部１０６へ入力される合成映像信号のフレーム；入力フレーム）の画像内に配置されている複数の映像のそれぞれの配置領域を示す信号配置領域を示す情報である。レイアウト信号１０８は、例えば、映像毎の配置領域の座標を表す信号、配置領域を映像毎に表すイネーブル信号、映像外領域の色を表す信号などである。

補間フレーム生成回路部１０６は、マルチ画面合成回路部１０５で合成された合成映像信号１０７とレイアウト信号１０８に基づいて、複数の入力フレームの間を補間するための補間フレームの画像を生成する。補間フレーム生成回路部１０６の動作についての詳細な説明は後述する。

制御部１０９は、映像選択回路部１０４で選択された複数の映像信号を合成する際に、各映像の拡大縮小率、配置座標などを表す制御信号であって、マルチ画面合成回路部１０５の動作に必要な制御信号を出力する。

表示装置１１０は、補間フレーム生成回路部１０６から出力された映像信号に応じて、映像を表示する。表示装置１１０としては、電子放出素子を有する表示装置、プラズマディスプレイ素子を有する表示装置、液晶素子を有する表示装置、有機ＥＬ素子を有する表示装置などを適用すればよい。

図２，３に、マルチ画面合成回路部１０５で合成された映像信号（合成映像信号）の表示例を示す。なお、図２，３はあくまで一例であり、合成に用いる映像信号の数、合成映像内における各映像の配置領域の大きさ、位置などは特に限定されない。また、合成する信号の種類は映像信号に限らない。合成する信号は、フレームレートの変換を行うのに適している信号であれば、データ放送やＵｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）に関する信号であってもよい。

図２は、合成映像信号１０７が２つの映像のＰｏｕｔＰ表示を表す映像信号である場合の表示例を示す。合成映像２００は、配置領域Ａの第一映像２０１と配置領域Ｂの第二映像２０２とが隣接して配置され、それら以外の領域が映像外領域２０３となるように合成された映像である。

図３（ａ）は、合成映像信号１０７が２つの映像のＰｉｎＰ表示または一方の映像に他方の映像が重なるように配置された表示を表す映像信号である場合の表示例を示す。図３（ａ）の合成映像３００は配置領域Ａの第一映像３０１中に配置領域Ｂの第二映像３０２が存在するように配置され、それら以外の領域が映像外領域３０３となるように合成された映像である。図３（ｂ）は、合成映像３００において、配置領域Ｂの第二映像３０２と映像外領域３０３とを除いた、配置領域Ａの第一映像３０１のみを示した図である。図３（ｃ）は、合成映像３００において、配置領域Ｂの第二映像３０２のみを示した図である。

次に、補間フレーム生成回路部１０６について詳しく説明する。図４は、補間フレーム生成回路部１０６の機能構成の一例を示すブロック図である。補間フレーム生成回路部１０６は、フレームメモリ４０１、動きベクトル検出部４０２、補間画像生成部４０３、信号切り換え部４０４、タイミング制御部４０６などを有する。

フレームメモリ４０１は、入力フレームの画像を記憶する。フレームメモリ４０１としては、揮発性メモリ、不揮発性メモリ、ハードディスクなどの記録媒体を適用すればよい。なお、フレームメモリ４０１は、過去に入力されたフレームの画像も記憶する。フレームメモリ４０１に記憶される過去に入力されたフレームの画像の数は、補間フレームの画像を生成するのに必要な数以上であればよい。

動きベクトル検出部４０２は、合成映像信号の入力フレームの画像から動きベクトルを検出する。動きベクトルの検出には、例えば、ブロックマッチング法などを用いればよい。本実施例では、動きベクトル検出部４０２は、レイアウト信号１０８（レイアウト情報）に基づいて、入力フレームの画像内に配置されている複数の映像のそれぞれの配置領域について、個別に動きベクトルを検出する。動きベクトル検出部４０２の動作についての詳細な説明は後述する。

補間画像生成部４０３は、動きベクトル検出部４０２で検出された動きベクトルに基づいて、補間フレームの画像を生成する。生成された補間フレームの画像はフレームメモリ４０１に一時的に記憶される。補間画像生成部４０３の動作についての詳細な説明は後述する。

信号切り換え部４０４は、表示装置１１０へ出力する映像信号４０５を切り換える。具体的には、信号切り換え部４０４は、フレームメモリ４０１に記憶されている入力フレームの画像を表す信号と、補間画像生成部４０３で生成された補間フレームの画像を表す信号とを切り換える。

タイミング制御部４０６は、フレームメモリ４０１、動きベクトル検出部４０２、補間画像生成部４０３、及び、信号切り換え部４０４に対し、それらの動作に必要な信号を送信する。それらの動作に必要な信号は、例えば、同期信号、タイミング制御信号、フレームメモリ４０１内に記憶されている画像のアドレス指定に関する信号などである。画像のアドレス指定に関する信号は、例えば、信号切り換え部４０４で表示装置１１０へ出力する映像信号を選択するために用いられる。

以下、動きベクトル検出部４０２と補間画像生成部４０３の機能について詳しく説明する。

動きベクトル検出部４０２は、フレームメモリ４０１に記憶されている複数のフレームの画像の内、入力フレームの画像から、画像ブロック毎に動きベクトルを検出する。ここで、動きベクトル検出部４０２はレイアウト信号１０８（レイアウト情報）に基づいて動きベクトルの探索範囲を限定する。以下、レイアウト情報が、入力フレームの画像内に配置されている各映像の配置領域の四隅の座標を表す情報である場合について説明する。

例えば、図２に示す合成映像２００の場合、動きベクトル検出部４０２は、レイアウト信号１０８に含まれている配置領域Ａの四隅の座標に基づいて、配置領域Ａ内のみから動きベクトルを検出する。これにより第一映像２０１についての動きベクトルが検出される。第二映像２０２については、同様に、配置領域Ｂ内のみから動きベクトルを検出する。映像外領域２０３については、動きベクトルの検出を行わず、動きベクトルの大きさをゼロとみなす。

また、図３に示す合成映像３００の場合、動きベクトル検出部４０２は、レイアウト信号１０８に含まれている配置領域Ａと配置領域Ｂの四隅の座標に基づいて、配置領域Ａ内のみから動きベクトルを検出する。具体的には、配置領域Ａの四隅の座標を結んだ領域と配置領域Ｂの四隅の座標を結んだ領域との間の領域内のみから動きベクトルを検出する。
これにより、第一映像３０１についての動きベクトルが検出される。第二映像３０２については、図２の場合と同様に、配置領域Ｂの四隅の座標に基づいて、配置領域Ｂ内のみから動きベクトルを検出する。映像外領域３０３については、動きベクトルの検出を行わず、動きベクトルの大きさをゼロとみなす。なお、画像ブロックのサイズや形状などは、任意に設定可能である。

なお、本実施例では配置領域Ａと配置領域Ｂを区別する為に各配置領域の四隅の座標を用いたが、各配置領域を判断できる情報及び信号であれば他の情報及び信号であっても良い。

補間画像生成部４０３は、映像外領域２０３及び３０３については、動きベクトルの大きさがゼロである為、入力フレームの画像と同じ画素値を生成する。また、レイアウト信号１０８が背景色を表す情報を含んでいる場合には、映像外領域に対して入力フレームの画像と同じ画素値を生成するのではなく、当該背景色を表す画素値を生成してもよい。配置領域Ａ及び配置領域Ｂ内については、個別に検出された動きベクトルに基づいて各位置の画素値を生成する。それにより補間フレームの画像が生成される。そして、補間画像生成部４０３は、生成した補間フレームの画像をフレームメモリ４０１に一時的に記憶しておく。

上述したように、本実施例では、合成映像信号のフレームレートを変換する際に、入力フレームの画像内に配置されている複数の映像のそれぞれの配置領域について、個別に動きベクトルを検出する。これにより、合成映像信号のフレームレートを変換する場合であっても、入力フレームの画像内に配置されている映像間の境界線の影響を無くすことができるため、正確な動きベクトルを検出することができる。また、レイアウト信号を用いるという簡易な方法で入力フレームの画像内に配置されている複数の映像のそれぞれの配置領域を識別するため、これらの配置領域を検出するための検出回路が不要となり、大きなコスト削減効果を得ることができる。なお、一方の配置領域の映像の画像ブロックにマッチする画像ブロックが他方の配置領域の映像から検出されること（誤検出）を防ぐことができるのは、言うまでも無い。

＜実施例２＞
次に、本発明の実施例２に係るマルチ画面映像表示システムについて説明する。本実施例に係るマルチ画面映像表示システムは、図１に示した実施例１に係るマルチ画面映像表示システムと同様の構成を有する。但し、補間フレーム生成回路部１０６の構成は、実施例１と異なるものとする（実施例１と区別するため、本実施例では補間フレーム生成回路部１０６を補間フレーム生成回路部２１０６と記載する）。そのため、本実施例では、図５に示す補間フレーム生成回路部２１０６についてのみ説明する。なお、本実施例では、合成映像信号が、実施例１と同様に、図２及び図３に示すような合成映像を表す映像信号である場合について説明する。但し、実施例１と同様に、図２，３はあくまで一例であり、合成に用いる映像信号の数、合成映像内における各映像の配置領域の大きさ、位置などは特に限定されない。

図５は、本実施例に係る補間フレーム生成回路部２１０６の機能構成の一例を示すブロック図である。補間フレーム生成回路部２１０６は、分割部５０１、フレームメモリ５０２、動きベクトル検出部５０３、補間画像生成部５０４、画像合成部５０５、タイミング制御部５０７などを有する。

分割部５０１は、合成映像信号１０７の入力フレームの画像を、レイアウト信号１０８（レイアウト情報）に基づいて、複数の配置領域（入力フレームの画像内に配置される複数の映像のそれぞれの配置領域）のそれぞれに対応する複数の部分画像に分割する。例え
ば、図２に示す合成映像２００は、レイアウト信号１０８に基づいて、配置領域Ａの第一映像２０１、配置領域Ｂの第二映像２０２、及び、映像外領域２０３に分割される。図３に示す合成映像３００は、図３（ｂ）に示す配置領域Ｂを除いた配置領域Ａの第一映像３０１、図３（ｃ）に示す配置領域Ｂの第二映像３０２、及び、映像外領域３０３に分割される。

フレームメモリ５０２は、入力フレームの画像として、分割部５０１で分割された入力フレームの画像の部分画像（各配置領域の画像）を記憶する。なお、フレームメモリ５０２は、過去に入力されたフレームの画像の部分画像も記憶する。フレームメモリ５０２に記憶される過去に入力されたフレームの画像の部分画像の数は、後述する補間画像を生成するのに必要な数以上であればよい。

動きベクトル検出部５０３は、入力フレームの画像の部分画像のそれぞれから個別に動きベクトルを検出する。動きベクトルの検出には、例えば、ブロックマッチング法などを用いればよい。図２に示す合成映像２００の場合、フレームメモリ５０２に部分画像として分けて記憶されている第一映像２０１と第二映像２０２に対して、個別に動きベクトルを検出する。同様に、図３に示す合成映像３００の場合、図３（ｂ）に示す第一映像３０１と図３（ｃ）に示す第二映像３０２に対して、個別に動きベクトルを検出する。なお、画像ブロックのサイズや形状などは、任意に設定可能である。

補間画像生成部５０４は、動きベクトル検出部５０３で検出された動きベクトルに基づいて、部分画像に対応する補間画像（補間フレームの画像の部分画像）を生成する。即ち、図２に示す合成映像２００の場合、配置領域Ａの第一映像２０１に対応する部分画像と、配置領域Ｂの第二映像２０２に対応する部分画像とから補間画像が個別に生成される。同様に、図３に示す合成映像３００の場合、配置領域Ａの第一映像３０１に対応する部分画像と、配置領域Ｂの第二映像３０２に対応する部分画像とから補間画像が個別に生成される。生成された各部分画像に対応する補間画像はフレームメモリ５０２に一時的に記憶される。なお、各補間画像は、従来の補間フレームの画像を生成する方法と同様の方法により生成すればよい。

画像合成部５０５は、入力フレームの各部分画像、または、補間画像生成部５０４で生成された各部分画像に対応する補間画像を合成する。これにより、入力フレームの画像または補間フレームの画像が生成される（入力フレームの各部分画像を合成することにより入力フレームの画像が生成され、各補間画像を合成することにより補間フレームの画像が生成される）。具体的には、画像合成部５０５は、レイアウト信号１０８とタイミング制御部５０７からのタイミング制御信号とに基づいて合成処理を行う。入力フレームの画像を生成するか、補間フレームの画像を生成するかは、タイミング制御信号により制御される。生成された入力フレームの画像、または、補間フレームの画像は、映像信号５０６として表示装置１１０へ出力される。

タイミング制御部５０７は、フレームメモリ５０２、動きベクトル検出部５０３、補間画像生成部５０４、及び、画像合成部５０５に対し、それらの動作に必要な信号を送信する。フレームメモリ５０２、動きベクトル検出部５０３、補間画像生成部５０４、及び、画像合成部５０５の動作に必要な信号は、例えば、同期信号、タイミング制御信号、フレームメモリ５０２内に記憶されている画像のアドレス指定に関する信号などである。画像のアドレス指定に関する信号は、例えば、画像合成部５０５で合成に用いる部分画像や補間画像などを選択するために用いられる。

上述したように、本実施例では、合成映像信号のフレームレートを変換する際に、入力フレームの画像を部分画像に分割し、各部分画像から個別に動きベクトルを検出する。そ
して、検出された動きベクトルに基づいて、部分画像に対応する補間画像を生成・合成して、補間フレームの画像を生成する。これにより、合成映像信号のフレームレートを変換する場合であっても、入力フレームの画像内に配置されている映像間の境界線の影響を無くすことができるため、正確な動きベクトルを検出することができる。

＜実施例３＞
図６は、本発明の実施例３に係るマルチ画面映像表示システムの概略構成を示すブロック図である。本実施例に係るマルチ画面映像表示システム３１００は、図１に示した実施例１及び実施例２に記載のマルチ画面映像表示システム１００に対して、制御信号６００だけを追記したものである。制御信号６００は、入力フレームの画像内に配置されている複数の映像のうち、少なくとも１つの映像の配置領域のサイズが変化していることを表す信号であり、制御部３１０９から補間フレーム生成回路部３１０６へ送られる。なお、本実施例では、実施例１と区別するため、補間フレーム生成回路部１０６及び制御部１０９を、それぞれ、補間フレーム生成回路部３１０６及び制御部３１０９と記載する。本実施例では、補間フレーム生成回路部３１０６について説明し、それ以外の各部については、図１に示した実施例１及び実施例２と同様である為、説明を省略する。

本実施例では、合成映像信号が、図７に示すように２つの映像の合成映像（マルチ画面表示）を表す映像信号である場合について説明する。図７（ａ）は、２つの映像の表示サイズ（配置領域のサイズ）を変更する前の状態を表す図である。図７（ｂ）は、図７（ａ）に示す合成映像７００内の映像（第一映像７０１や第二映像７０２）に対し表示サイズの変更を行っている状態を示す図である。具体的には、図７（ｂ）は、配置領域Ａの第一映像７０１に対して縮小処理を行い（第一映像７０５）、配置領域Ｂの第二映像７０２に対して拡大処理を行っている（第二映像７０６）様子を表している。但し、実施例１，２と同様に、図７はあくまで一例であり、合成に用いる映像信号の数、合成映像内における各映像の配置領域の大きさ、位置などは特に限定されない。

図８、図９、図１０及び図１１は、本実施例に係る補間フレーム生成回路部３１０６の機能構成の一例を示すブロック図である。図８，９は、それぞれ、図６における制御信号６００が、タイミング制御部８０１，８０２に入力される場合を示す図である。なお、タイミング制御部８０１，８０２以外の各部については、図４，５に示す補間フレーム生成回路部１０６（実施例１），２１０６（実施例２）と同様である為、説明を省略する。

図８，９の例では、制御部３１０９から制御信号６００が出力されている場合に、フレームメモリ（フレームメモリ４０１，５０２）に記憶した入力フレームの画像を補間フレームの画像を出力するタイミングで出力する。即ち、入力フレームの画像内に配置されている複数の映像のうち、少なくとも１つの映像の配置領域のサイズが変化している場合に、当該処理を行う。

具体的には、図８におけるタイミング制御部８０１は、制御信号６００を受信している間、信号切り換え部４０４にフレームメモリ４０１に記憶されている入力フレームの画像を出力するように信号を与える。また、図９に記載のタイミング制御部８０２は、制御信号６００を受信している間、画像合成部５０５に入力フレームの画像の部分画像を合成して出力するように信号を与える。

図１０，１１は、それぞれ、図６における制御信号６００が、動きベクトル検出部８０３，８０４に入力される場合を示す図である。なお、動きベクトル検出部８０３，８０４以外の各部については、図４，５に示す補間フレーム生成回路部１０６（実施例１），２１０６（実施例２）と同様である為、説明を省略する。

図１０，１１の例では、制御部３１０９から制御信号６００が出力されている場合に、検出する全ての動きベクトルをゼロとみなす（動きベクトルの検出を行うか否かは問わない）。即ち、入力フレームの画像内に配置されている複数の映像のうち、少なくとも１つの映像の配置領域のサイズが変化している場合に、当該処理を行う。それにより、入力フレームの画像と同一の画像を補間フレームの画像として生成する。

配置領域のサイズが変化している最中に入力フレームの画像から正確な動きベクトルを検出するのは困難であるため、そのような画像に対しては簡易な方法で補間フレームの画像を生成するのが好ましい。本実施例では、上述したように、合成映像信号のフレームレートを変換する際に、制御部から制御信号が出力されている場合には、入力フレームの画像と同一の画像が補間フレームの画像として出力される。それにより、入力フレームの画像から動きベクトルを検出するのに適していない状況を除外することができる。

以上述べたように、上記実施例１〜３では、マルチ画面に合成された合成映像信号に対してフレームレートの変換を行う場合であっても、画質劣化の無い補間フレームを生成することができる。

図１は、本発明の実施例１に係るマルチ画面映像表示システムの概略構成を示すブロック図である。 図２は、合成映像信号が２つの映像のＰｏｕｔＰ表示を表す映像信号である場合の表示例を示す図である。 図３（ａ）は、合成映像信号が２つの映像のＰｉｎＰ表示または一方の映像に他方の映像が重なるように配置された表示を表す映像信号である場合の表示例を示す図であり、図３（ｂ）は、合成映像における第一映像のみを示した図であり、図３（ｃ）は、合成映像における第二映像のみを示した図である。 図４は、本発明の実施例１に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。 図５は、本発明の実施例２に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。 図６は、本発明の実施例３に係るマルチ画面映像表示システムの概略構成を示すブロック図である。 図７は、合成映像信号が、２つの映像の合成映像を表す映像信号である場合の表示例を示す図であり、図７（ａ）は、２つの映像の表示サイズを変更する前の状態を表す図であり、図７（ｂ）は、図７（ａ）に示す合成映像内の映像に対し表示サイズの変更を行っている状態を示す図である。 図８は、本発明の実施例３に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。 図９は、本発明の実施例３に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。 図１０は、本発明の実施例３に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。 図１１は、本発明の実施例３に係る補間フレーム生成回路部の機能構成の一例を示すブロック図である。

符号の説明

１０６，２１０６，３１０６ 補間フレーム生成回路部
１０７ 合成映像信号
１０８ レイアウト信号
４０１，５０２ フレームメモリ
４０２，５０３，８０３，８０４ 動きベクトル検出部
４０３，５０４ 補間画像生成部
４０４ 信号切り替え部
４０５，５０６ 映像信号
４０６，５０７，８０１，８０２ タイミング制御部
５０１ 分割部
５０５ 画像合成部
６００ 制御信号

Claims (8)

1. 複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置であって、
   前記合成画像信号の入力フレームの画像から動きベクトルを検出する動きベクトル検出手段と、
   前記検出された動きベクトルに基づいて、複数の入力フレームの間を補間するための補間フレームの画像を生成する補間画像生成手段と、
   を有し、
   前記動きベクトル検出手段は、前記入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、前記配置領域のそれぞれについて個別に前記動きベクトルを検出し、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
   ことを特徴とする画像処理装置。
2. 複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置であって、
   前記合成画像信号の入力フレームの画像を、当該入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、当該複数の配置領域のそれぞれに対応する複数の部分画像に分割する分割手段と、
   前記部分画像のそれぞれから個別に動きベクトルを検出する動きベクトル検出手段と、
   前記検出された動きベクトルに基づいて、前記部分画像に対応する補間画像を生成する補間画像生成手段と、
   前記補間画像生成手段で生成された各部分画像に対応する補間画像を合成して、複数の入力フレームの間を補間するための補間フレームの画像を生成する合成手段と、
   を有し、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記
   補間フレームの画像として出力される
   ことを特徴とする画像処理装置。
3. 前記入力フレームの画像を記憶するフレームメモリを有し、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記記憶した入力フレームの画像が補間フレームの画像を出力するタイミングで出力される
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記動きベクトルの大きさをゼロとみなすことにより、前記入力フレームの画像と同一の画像が前記補間フレームの画像として生成される
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置の制御方法であって、
   前記合成画像信号の入力フレームの画像から動きベクトルを検出するステップと、
   前記検出された動きベクトルに基づいて、複数の入力フレームの間を補間するための補間フレームの画像を生成するステップと、
   を有し、
   前記動きベクトルは、前記入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、前記配置領域のそれぞれについて個別に検出され、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
   ことを特徴とする画像処理装置の制御方法。
6. 複数の画像を１つの画面に表示するマルチ画面表示のための合成画像信号のフレームレートを変換する画像処理装置の制御方法であって、
   前記合成画像信号の入力フレームの画像を、当該入力フレームの画像内に配置されている複数の画像のそれぞれの配置領域を示すレイアウト情報に基づいて、当該複数の配置領域のそれぞれに対応する複数の部分画像に分割するステップと、
   前記部分画像のそれぞれから個別に動きベクトルを検出するステップと、
   前記検出された動きベクトルに基づいて、前記部分画像に対応する補間画像を生成するステップと、
   前記生成された各部分画像に対応する補間画像を合成して、複数の入力フレームの間を補間するための補間フレームの画像を生成するステップと、
   を有し、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記入力フレームの画像と同一の画像が前記補間フレームの画像として出力される
   ことを特徴とする画像処理装置の制御方法。
7. 前記画像処理装置は、前記入力フレームの画像を記憶するフレームメモリを有し、
   前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記記憶した入力フレームの画像が補間フレームの画像を出力するタイミングで出力される
   ことを特徴とする請求項５または６に記載の画像処理装置の制御方法。
8. 前記入力フレームの画像内に配置されている複数の画像のうち、少なくとも１つの画像の配置領域のサイズが変化している場合に、前記動きベクトルの大きさをゼロとみなすことにより、前記入力フレームの画像と同一の画像が前記補間フレームの画像として生成される
   ことを特徴とする請求項５または６に記載の画像処理装置の制御方法。

Images