JP5534948B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

近年、映像圧縮技術の進歩により放送電波のデジタル化が図られ、デジタルテレビ信号を放送電波にのせて伝送するデジタル放送が急速に普及している。デジタル放送は、有効走査線数が４８０本である標準テレビフォーマットから１０８０本である高精細度テレビフォーマット（ＦＨＤ）まで対応している。このようなデジタル放送に対応する放送受信装置では、１０８０本のデジタルテレビ信号を受信した状態のまま表示できる表示装置を備え、画像処理回路も高精細度テレビフォーマットまでの映像信号に対応した構成が一般的となっている。

一方、２０００万画素を超える解像度の静止画像データを生成可能なデジタルカメラがある。画像サイズがＦＨＤサイズを超える映像信号を上記放送受信装置で処理するには、別途画像処理回路を設けることで、より高い解像度の映像信号に対する処理を可能にする必要がある。若しくは、事前に専用回路を用いて解像度をＦＨＤの解像度にダウンコンバートすることで、ＦＨＤの映像信号に対応した画像処理回路で処理可能とする必要がある。

また、回路の増加を避けることを目的として、静止画像データの縮小処理や絵作り処理と、動画像データに対する画像処理とを共通の処理回路で行う技術が提案されている（例えば特許文献１参照）。特許文献１には、動画像データを処理する回路において、処理可能な解像度を超える静止画像データを処理する場合に、該静止画像データを処理可能な解像度の分割データに分割して処理する方法が開示されている。

動画像データ用の処理回路を流用した静止画像データに対する画像処理は、ユーザが映像を視聴中に行うことが有効である。例えば、画像サイズがＦＨＤサイズを超えるＪＰＥＧデータの画像サイズをＦＨＤサイズに縮小処理する場合、ユーザが視聴している映像から次に表示するであろうＪＰＥＧデータを判断し、該ＪＰＥＧデータをあらかじめ先読みして縮小しておけばよい。それにより、そのＪＰＥＧデータに基づく映像（ＪＰＥＧ画像）を表示する指示があった時点で即座に縮小したＪＰＥＧ画像を表示することができ、効率的な画像処理が実現できる。

特開平１１−３５５７７３号公報

しかしながら、動画像データに対する画像処理と静止画像データに対する画像処理を共通の処理回路で行う構成では、動画像データと静止画像データの両方を同時に処理することはできない。即ち、動画像データの表示中に静止画像データの解像度変換処理や高画質化処理を行うことはできない。また、静止画像データの画像処理中に、動画像データを表示することはできない。
そのため、動画像データに基づく映像（動画像）を表示中にバックグラウンドで静止画像データに対する処理を行うと、動画像のフレームを更新することができなくなる。その結果、静止画像データに対する処理の間、同一の画像（フレーム）が継続して表示（フリ
ーズ出力）されることになる。

このようなフリーズ出力は、動画像を視聴するユーザに違和感やストレスを与えてしまう。しかしながら、フリーズ出力をしなければ、動画像の表示中にバックグラウンドで静止画像データに対する画像処理を行うことができず、効率的に画像処理を行うことができない。

本発明は、共通の画像処理回路を用いて、動画像データに対する画像処理のバックグラウンドで他の画像データに対する画像処理を動画像の表示に支障をきたすことなく実行するための技術を提供することを目的とする。

本発明の画像処理装置は、共通の画像処理回路を用いて、動画像データに対する画像処理と他の画像データに対する画像処理とを行う画像処理装置であって、複数の画像データを記憶する記憶媒体から取得した複数の画像データから複数のサムネイル画像を生成し、複数のサムネイル画像を並べたサムネイル一覧画像の一覧画像データを生成する生成手段と、画像処理の対象である前記動画像データである前記一覧画像データから、映像の動きの無い静止シーンまたは静止領域を検出する検出手段と、前記サムネイル一覧画像に含まれる少なくともいずれかのサムネイル画像に対応する画像データに対する画像処理の指示を出す指示手段と、前記検出手段の検出結果に基づいて、前記画像処理回路で実行する画像処理を、前記動画像データに対する画像処理と、前記サムネイル画像に対応する画像データに対する画像処理との間で切り替える制御を行う制御手段と、を有し、画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出され、かつ、前記指示手段により前記サムネイル画像に対応する画像データに対する画像処理の指示が出された場合に、前記制御手段は、前記一覧画像データの前記静止シーンまたは静止領域に対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする。

本発明の画像処理装置の制御方法は、共通の画像処理回路を用いて、動画像データに対する画像処理と他の画像データに対する画像処理とを行う画像処理装置の制御方法であって、複数の画像データを記憶する記憶媒体から取得した複数の画像データから複数のサムネイル画像を生成し、複数のサムネイル画像を並べたサムネイル一覧画像の一覧画像データを生成する生成ステップと、画像処理の対象である前記動画像データである前記一覧画像データから、映像の動きの無い静止シーンまたは静止領域を検出する検出ステップと、前記サムネイル一覧画像に含まれる少なくともいずれかのサムネイル画像に対応する画像データに対する画像処理の指示を出す指示ステップと、前記検出ステップでの検出結果に基づいて、前記画像処理回路で実行する画像処理を、前記動画像データに対する画像処理と、前記サムネイル画像に対応する画像データに対する画像処理との間で切り替える制御を行う制御ステップと、を有し、画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出され、かつ、前記指示ステップにより前記サムネイル画像に対応する画像データに対する画像処理の指示が出された場合に、前記制御ステップでは、前記一覧画像データの前記静止シーンまたは静止領域に対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする。

本発明によれば、共通の画像処理回路を用いて、動画像データに対する画像処理のバックグラウンドで他の画像データに対する画像処理を動画像の表示に支障をきたすことなく実行することができる。

実施例１，２に係る画像処理装置の機能構成を示すブロック図。 実施例１に係る静止検出部の機能構成の一例を示すブロック図。 サムネイルリスト画像の一例を示す図。 メニュー付きサムネイルリスト画像の一例を示す図。 実施例１に係るＪＰＥＧ先読み処理の一例を示すタイミングチャート図。 実施例２に係る静止検出部の機能構成の一例を示すブロック図。 実施例２に係るＪＰＥＧ先読み処理の一例を示すタイミングチャート図。 実施例３に係る画像処理装置の機能構成を示すブロック図。

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処理装置は、共通の画像処理回路を用いて、動画像データに対する画像処理のバックグラウンドで他の画像データに対する画像処理を行う。本実施例では他の画像データが静止画像データである場合について説明するが、他の画像データは動画像データであってもよい。

図１は、本実施例に係る画像処理装置の機能構成を示すブロック図である。
図１において、符号１０１は、表示する画像データの生成、制御を行う表示制御部を示す。表示制御部１０１は、例えば、ユーザ操作や保持された映像コンテンツの管理、装置全体の制御を行う。表示制御部１０１は、表示映像生成部１０２、映像出力部１０３、メモリ１０４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、操作入力部１０６、制御コマンド通信部１０７、バス１０８などを有する。

ＣＰＵ１０５は、主にソフトウェアによって行われる制御、動作を担う。
メモリ１０４は、プログラムデータ、画像データを格納する。
バス１０８は、各機能ブロック間のデータやコマンドの伝送を仲介するバスである。

操作入力部１０６は、リモートコントローラ（以下、リモコンと呼ぶ）１１０からのユーザ操作を受け付け、ユーザ操作の内容（ユーザからの指示）に応じた信号をバス１０８に出力する。
コンテンツ保持部１０９は、画像データ（静止画像データ、動画像データ）を記憶する記憶媒体である。コンテンツ保持部１０９は、画像処理装置に内蔵された記憶媒体であってもよいし、着脱可能な外付けの記憶媒体であってもよい。コンテンツ保持部１０９としては、例えば、磁気ディスク、光ディスク、不揮発性メモリ等を利用できる。

表示制御部１０１は、ユーザからの指示に応じて、コンテンツ保持部１０９から画像データを読み出し、画像処理部１１１に送る。なお、画像処理部１１１に送る画像データは、コンテンツ保持部１０９に格納されたものに限らない。例えば、放送されている画像データやビデオ再生装置からの画像データであってもよい。

表示映像生成部１０２は、コンテンツ保持部１０９からの画像データを用いて、所定の画像データを生成する。表示映像生成部１０２は、例えば、サムネイルリスト画像、メニュー画像などの画像データ（動画像データ）を生成する。
映像出力部１０３は、表示映像生成部１０２で生成された動画像データやコンテンツ保持部１０９に格納された動画像データ、コンテンツ保持部１０９に格納された静止画像データを画像処理部１１１に出力する。具体的には、動画像データは動画像データバス１２１を経由して画像処理部１１１に出力され、静止画像データはＪＰＥＧデータバス１２２を経由して画像処理部１１１に出力される。本実施例では、静止画像データがＪＰＥＧ圧縮されたＪＰＥＧデータであるものとするが、これに限定するものではない。例えば、静止画像データは、ＰＮＧ，ＪＰＥＧ，ＧＩＦ，ＢＭＰ，ＴＩＦＦなどの形式の画像データであってもよい。

制御コマンド通信部１０７は、画像処理部１１１と表示制御部１０１が連携するための制御コマンドを後述するＣＰＵ１１６へ出力する。連携動作とは、例えば、表示制御部１０１から出力される画像データの種類、内容などに応じて、画像処理部１１１が動作する
ことである。

画像処理部１１１は、表示制御部１０１から画像データを受け取り、該画像データに解像度変換処理、高画質化処理などの画像処理を施して最終的に表示部１２３で表示する画像データを生成する。例えば、映像出力部１０３からの入力動画像データに対しては、１秒間に６０枚または１２０枚で送られてくる各フレームに対して、解像度変換処理や高画質化処理を施す。静止画像データに対しては、例えば、画像サイズが表示部１２３で表示可能なサイズ（本実施例ではＦＨＤサイズ）を超える静止画像データの画像サイズをＦＨＤサイズに縮小する処理を施す。

映像出力部１０３からの入力動画像データは、静止検出部１１２、高画質化処理部１１４を通って画像出力用フレームメモリ１１９に格納される。静止検出部１１２の機能については、後に詳述する。高画質化処理部１１４では、画像データをユーザにとってより望ましい画質で表示するために、表示部１２３の表示能力に応じて、画像データの画像サイズの変更（画像の拡大や縮小）や、輝度情報や色情報の変換処理を行う。

ＪＰＥＧデータは、ＪＰＥＧデコード部１１７でデコードされる。デコードされたＪＰＥＧデータは、画像処理用フレームメモリ１１８に格納される。ＪＰＥＧデータの画像サイズがＦＨＤサイズを超える場合、ＪＰＥＧデータの画像サイズは表示部１２３の表示能力に合わせてＦＨＤサイズまで縮小される（縮小処理）。本実施例では、ＪＰＥＧデータに対し、動画像データ用のリソースである高画質化処理部１１４を流用して上記縮小処理や、輝度情報や色情報の変換処理が行われる。
しかしながら、このような画像処理回路（高画質化処理部１１４）は表示部１２３で表示可能な画像サイズ（ＦＨＤサイズ）までの画像データしか処理することはできない。そこで、高画質化処理部１１４は、ＦＨＤサイズ以上のＪＰＥＧデータを縮小するために、画像処理用フレームメモリ１１８内からＪＰＥＧデータを処理可能なサイズ（分割データ）に分割して読み出し、分割データの縮小処理を行う。縮小処理された分割データ（縮小分割データ）は、再度画像処理用フレームメモリ１１８内に格納される。この分割、縮小処理を分割回数分繰り返し、画像処理用フレームメモリ１１８内で縮小分割データが結合される。以上のようにして、ＦＨＤサイズまでの画像データに対応した処理回路を流用してＪＰＥＧデータの画像サイズがＦＨＤサイズに縮小処理される。

このように、本実施例では、動画像データと静止画像データは共通の処理回路（高画質化処理部１１４）で処理される。しかしながら、高画質化処理部１１４は、動画像データに対する処理を行っている間は、ＪＰＥＧデータに対する処理を行うことができない。具体的には、動画像データのフレームが例えば１／６０秒毎または１／１２０秒毎に更新され、フレーム毎に画像処理を行う必要がある場合は、ＪＰＥＧデータの縮小処理の時間を確保することができない。

縮小処理が完了したＦＨＤサイズのＪＰＥＧデータは、再度、高画質化処理部１１４に読み出され、画像出力用フレームメモリ１１９に格納される。
画像出力用フレームメモリ１１９は、画像処理された画像データを表示部１２３へ出力する（出力手段）。
表示部１２３は、入力された画像データを表示する表示装置である。表示部１２３としては、電子放出素子、液晶素子、プラズマ素子、有機ＥＬ素子などを有する表示装置を用いることができる。なお、表示部１２３は、画像処理装置の一部であってもよいし、画像処理装置とは別体の装置であってもよい。

静止検出部１１２は、画像処理の対象である入力動画像データ（動画像データバス１２１を介して入力される動画像データ）から映像の動きの無い静止シーンを検出する（検出
手段）。本実施例では、静止シーンとして映像の動きの無いフレーム（静止フレーム）を検出する。具体的には、静止検出部１１２に入力されたフレームＡの画像データが静止判定用フレームメモリ１１３に記憶され、静止判定用フレームメモリ１１３から１つ前のフレームＢの画像データが読み出される。静止検出部１１２は、フレームＡとフレームＢの画像データの差分から、フレームＡが静止フレームか否かの判定を行う。静止検出部１１２での判定結果は静止判定信号として高画質化処理部１１４及び画像出力用フレームメモリ１１９に出力される。また、静止フレームから出力される静止判定信号は１フレーム遅延した信号となるため、静止検出部１１２は、フレームＢを画像データとして高画質化処理部１１４に出力する。

ＣＰＵ１１６は、画像処理部１１１の各機能を制御する。例えば、静止検出部１１２の検出結果に基づいて、高画質化処理部１１４（画像処理回路）で実行する画像処理を、動画像データに対する画像処理と静止画像データに対する画像処理との間で切り替える制御を行う（制御手段）。具体的には、画像処理の対象となる入力動画像データから静止シーンが検出された場合に、ＣＰＵ１１６は、入力動画像データの静止シーン以外のシーンに対する画像処理を実行するように高画質化処理部１１４を制御する。そして、静止シーンに対する画像処理を省略して、その空き時間を静止画像データに対する画像処理に割り当てるように高画質化処理部１１４を制御する。本実施例では、画像処理の対象となる入力動画像データから静止フレームが検出された場合に、ＣＰＵ１１６は、入力動画像データの静止フレーム以外のフレームに対する画像処理を実行するように高画質化処理部１１４を制御する。そして、静止フレームに対する画像処理を省略して、その空き時間を静止画像データに対する画像処理に割り当てるように高画質化処理部１１４を制御する。画像処理部１１１の各機能の制御は、表示制御部１０１と連携して行われる。ＣＰＵ１１６は、制御コマンド通信部１０７からの制御情報を受け取り、該情報に従って動作することで連携動作を実現する。

図２は、静止検出部１１２の機能構成の一例を示すブロック図である。
符号１１２１は、画素毎に、入力されたフレームと静止判定用フレームメモリ１１３から読み出されたフレームとの画像データの差分を求める減算器を示す。減算器１１２１は、連続する２つのフレーム間の画素毎の輝度値の差分を算出する。
符号１１２２は、減算器１１２１にて算出された差分の絶対値を求める絶対値器を示す。
符号１１２３は、絶対値器１１２２にて求まった絶対値と所定の閾値ｔｈ１（０よりも大きな所定の輝度値）とを比較する画素閾値フィルタ回路を示す。画素閾値フィルタ回路１１２３は、絶対値器１１２２で求まった絶対値が閾値ｔｈ１よりも小さい場合に、その画素が映像の動きの無い画素（静止画素）であると判断して“０”を出力する。絶対値器１１２２で求まった絶対値が閾値ｔｈ１以上である場合には、その画素が映像の動きのある画素（動き画素）であると判断して“１”を出力する。

符号１１２４は、画素閾値フィルタ回路１１２３から出力される“１” （動き画素）
の数を計数する画素カウンタを示す。画素カウンタ１１２４は、動画像データバス１２１を介して入力されるデータ有効信号（ＤａｔａＥｎａｂｌｅ）が有効な期間に計数処理を行う。計数した値は動画像データバス１２１を介して入力される垂直同期信号（ＶＳｙｎｃ）によりクリアされる。
符号１１２５は、画素カウンタ１１２４にて計数された値と所定の閾値ｔｈ２（例えば、１０個）とを比較するフレーム閾値フィルタ回路を示す。フレーム閾値フィルタ回路１１２５は、画素カウンタ１１２４にて計数された値が閾値ｔｈ２よりも小さい場合に、そのフレームが静止フレームであると判断して“１”を出力する。画素カウンタ１１２４にて計数された値が閾値ｔｈ２以上である場合には、そのフレームが映像の動きのあるフレーム（動きフレーム）であると判断して“０”を出力する。また、フレーム閾値フィルタ
回路１１２５の判断は、画素カウンタ１１２４にて計数された値がＶＳｙｎｃによりクリアされる直前に行われる。フレーム閾値フィルタ回路１１２５の出力信号は、静止判定信号として静止検出部１１２から出力される。

次に、本実施例において表示される映像及び画像処理装置の動作の例について説明する。図３に本実施例で想定するサムネイルリスト画像の一例を示す。サムネイルリスト画像２０１では、コンテンツ保持部１０９が保持する静止画像データおよび動画像データの一覧を確認できるように、各画像データの縮小画像（サムネイル画像２０２〜２１３）が並んでいる。これらのサムネイル画像は元のＪＰＥＧデータやＭＰＥＧデータに関連付けられてコンテンツ保持部１０９内に格納されており、表示映像生成部１０２はサムネイル画像を組み合わせてサムネイルリスト画像を生成する。このサムネイルリスト画像の表示中は、動画像データに対応するサムネイル画像が、例えば１／１５秒毎に更新されるものとする。

ユーザは、複数のサムネイル画像から一つを選択することができる。図３の例では、選択されているサムネイル画像はカーソル２１４で示される。ユーザは、リモコン１１０の上下左右ボタンを操作することにより、カーソル２１４の位置をサムネイルリスト画像２０１内の他のサムネイル画像の位置に移動させることができる。
ユーザは、所望のサムネイル画像の位置へカーソル２１４を移動した後、例えば、当該サムネイル画像に対応するＪＰＥＧデータに基づく映像を表示部１２３の画面全体に表示するための操作（全画面表示操作）を行う。

図４に、メニュー画像を含むサムネイルリスト画像（メニュー付きサムネイルリスト画像３０１）の一例を示す。メニュー付きサムネイルリスト画像３０１は、ユーザがサムネイル画像（図４の例ではサムネイル画像２１２）にカーソル２１４を移動させて、該サムネイル画像を選択する操作（例えば決定ボタンの操作）を行うことで表示される画像である。図４に示すメニュー画像の選択項目「ＯＫ」，「キャンセル」のうち、「ＯＫ」を選択するとサムネイル画像２１２に対応するＪＰＥＧデータに基づく映像を表示部１２３の画面全体に表示する処理（全画面表示処理）が行われる。ここで、サムネイル画像２１２に対応するＪＰＥＧデータの画像サイズはＦＨＤサイズを超えるため、画像処理部１１１の処理回路を用いてＦＨＤサイズに解像度変換され、高画質化処理される。

上記全画面表示処理の高速化には、ＪＰＥＧ先読み処理が有効である。ＪＰＥＧ先読み処理とは、ＪＰＥＧデータを読み出してデコード（復号）及び縮小（解像度変換）する処理を、ユーザが「ＯＫ」を選択する前に予め行う処理である。例えば、カーソル２１４が合っているサムネイル画像２１２に対応するＪＰＥＧデータを、ＪＰＥＧ先読み処理の対象とする。ただし、サムネイルリスト画像の全てのサムネイル画像をＪＰＥＧ先読み処理の対象とし、例えば左上のサムネイル画像２０２に対応するＪＰＥＧデータから順番にＪＰＥＧ先読み処理を行っていってもよい。サムネイルリスト画像の表示中にＪＰＥＧ先読み処理をしておけば、ユーザが静止画像の全画面表示操作を実行した際に、すでにＦＨＤサイズに縮小処理されたＪＰＥＧデータが存在することとなる。そのため、待ち時間無く該ＪＰＥＧデータに基づく映像を表示することができる。

しかしながら、ＪＰＥＧ先読み処理の間は、画像処理部１１１がＪＰＥＧデータに対する処理を行うため、動画像データを処理して表示することができない。このように、画像処理部１１１が動画像データの処理に替えて画像処理用フレームメモリ１１８内のＪＰＥＧデータの縮小処理を行う場合、表示部１２３の表示は、同一のフレームの画像データを出力し続けるフリーズ出力となる。この動作は、画像出力用フレームメモリ１１９内の１フレームの画像データを表示部１２３に出力し続けることで実現される。即ち、ユーザがリモコン１１０を操作してサムネイル画像を選択しようとしても、カーソル２１４が移動
しなかったり、メニュー画像３０２が表示されなかったりしてしまう。そこで、本実施例では、静止検出部１１２にて入力動画像データの静止シーンを検出し、静止シーンの処理を省略する。そして、その空き時間にＪＰＥＧ先読み処理を行う。静止シーンでは映像の動きが無いため、静止シーンについてフリーズ出力しても動画像の表示に支障をきたすことは無い。

図５のタイミングチャート図に、本実施例に係る画像処理装置においてＪＰＥＧ先読み処理が行われる様子を示す。
動画像データバス１２１には、垂直同期信号（ＶＳｙｎｃ）、水平同期信号（ＨＳｙｎｃ）、データ有効信号（ＤａｔａＥｎａｂｌｅ）、入力動画像データ、及び、入力動画像データに同期したクロック信号が表示制御部１０１から出力される。表示制御部１０１から出力される動画像データは、動きフレームだけで構成されているわけでなく、例えば、図３に示したようなサムネイルリスト画像２０１のように、１つ前のフレームに対して変化のない静止フレームを含むことがある。具体的には、サムネイルリスト画像内に動画像データに対応するサムネイル画像が含まれており、そのサムネイル画像が１／１５秒毎に更新される場合、更新されない期間は前のフレームから変化がない静止フレームとなる。

静止検出部１１２は、表示制御部１０１から出力されるフレームが動きフレームであるか静止フレームであるかを判定し、その結果を高画質化処理部１１４及び画像出力用フレームメモリ１１９に出力する。一方、ＣＰＵ１１６は、ＪＰＥＧ先読み処理の対象であるＪＰＥＧデータが画像処理用フレームメモリ１１８内にあることが表示制御部１０１から制御コマンド通信部１０７を介して通知される。そのような通知があると、ＣＰＵ１１６は、高画質化処理部１１４及び画像出力用フレームメモリ１１９へ、処理対象のＪＰＥＧデータがあることを通知する（静止画処理命令）。

高画質化処理部１１４は、静止画処理命令が通知されているときに、静止検出部１１２から静止判定信号“１”が出力されると、動画像データに対する画像処理（動画処理）からＪＰＥＧデータに対する画像処理（静止画処理）へ画像処理を切り替える。そのとき、画像出力用フレームメモリ１１９は、表示部１２３へ同一のフレームの画像データを出力し続ける（フリーズ出力）。即ち、画像出力用フレームメモリ１１９は、静止シーンのデータとして、前フレームの当該静止シーンに対応するシーンのデータを出力する。本実施例では、静止フレームのデータとして、前フレームのデータを出力する。
高画質化処理部１１４は、上記ＪＰＥＧデータに対する画像処理を完了すると、当該画像処理が完了したことをＣＰＵ１１６に通知する。そして、ＣＰＵ１１６は、その通知に応じて静止画処理命令を解除する。

上述したように、高画質化処理部１１４が表示対象の動画像データ以外の画像データに対する画像処理を行っている間、表示部１２３での表示画像の更新は止まることとなる。しかしながら、本実施例では、入力動画像データが静止フレームのデータである期間に動画像データに対する画像処理に替えて他の画像データに対する処理（例えばＪＰＥＧ先読み処理）が行われる。それにより、動画像の表示に影響を与えることなく（ユーザに違和感を与えることなく）、他の画像データに対する画像処理を行うことが可能となる。

なお、図５のタイミングチャート図では、高画質化処理部１１４がＪＰＥＧデータに対する画像処理を行うのに３フレームの期間を要し、静止検出部１１２にて検出される静止フレームが４フレーム連続する例を示した。ここで、ＪＰＥＧデータの処理に４フレームの期間以上の期間を要する場合のように、検出された静止フレームが連続する期間がＪＰＥＧデータに対する処理に要する期間より短い場合には、次の静止フレームの検出を待ってＪＰＥＧデータの処理が再開される。
また、静止フレームか否かは、画素毎の動き情報から判定される。具体的には、図２に
示した通り、閾値ｔｈ２よりも少ない数の画素が動き画素と判定されても、静止検出部１１２では静止フレームとして判定される。例えば、図３で示したサムネイルリスト画像２０１の中の一つのサムネイル画像が動画像であったとしても静止フレームと判断して、ＪＰＥＧ先読み処理を行うことが可能となる。具体的には、そのような構成は、サムネイルリスト画像２０１中の１つのサムネイル画像の画素数よりも少し大きな値を閾値ｔｈ２として設定することで実現できる。
なお、本実施例では、高画質化処理部１１４及び画像出力用フレームメモリ１１９が、ＣＰＵ１１６からの静止画処理命令と静止検出部１１２からの静止判定信号を受けてＪＰＥＧ先読み処理を行う構成とした。しかしながら、構成はこれに限らない。例えば、ＣＰＵ１１６が静止検出部１１２から静止判定信号を読み出し、静止画処理命令と静止判定信号の論理積（ＡＮＤ）の結果をＶＳｙｎｃに同期して出力する構成であってもよい。そして、高画質化処理部１１４及び画像出力用フレームメモリ１１９は、該論理積の結果に応じてＪＰＥＧ先読み処理を行えばよい。
なお、本実施例では、ＪＰＥＧデータの画像サイズをＦＨＤサイズへ変換する解像度変換処理（縮小処理）をバックグラウンドで行う構成について説明したが、ＪＰＥＧデータに対する処理は解像度変換処理に限らない。例えば、印刷用のデータに変換するための高画質化処理をバックグラウンドで行う構成であってもよい。

＜実施例２＞
実施例１では、フレーム単位で動画像データに対する画像処理と他の画像データに対する画像処理を切り替える構成について説明した。本実施例では、動画像データの領域毎に処理を切り替える例として、ライン毎に処理を切り替える構成について説明する。具体的には、本実施例では、画像処理の対象である入力動画像データから映像の動きの無いライン（静止ライン）の検出を行う。そして、画像処理の対象となる入力動画像データから静止ラインが検出された場合に、静止ラインのデータが入力されている間に他の画像データに対する画像処理を行う。ただし、動きのない静止ラインを検出する代わりに、動きのない静止領域を検出する場合にも適用可能である。

実施例２に係る画像処理装置の機能構成は実施例１（図１）と同様である。但し、本実施例では、静止検出部１１２が、画像処理の対象である入力動画像データから静止ラインの検出を行い、その検出結果を高画質化処理部１１４、及び、画像出力用フレームメモリ１１９へ出力する。そして、ＣＰＵ１１６は、画像処理の対象となる入力動画像データから静止ラインが検出された場合に、入力動画像データの静止ライン以外のラインに対する画像処理を実行するように高画質化処理部１１４を制御する。そして、静止ラインに対する画像処理を省略して、その空き時間を他の画像データに対する画像処理に割り当てるように高画質化処理部１１４を制御する。即ち、高画質化処理部１１４は、ＣＰＵ１１６から静止画処理命令が出力されている場合に、静止ラインに対する画像処理は行わずに、他の画像データに対する画像処理を行う。このとき、画像出力用フレームメモリ１１９は、表示部１２３へ、静止ラインのデータとして、前フレームの当該ラインに対応するラインのデータを出力する。その結果、画像出力用フレームメモリ１１９からは、静止ラインのデータとして、既に書き込まれているデータ（前フレームのデータ）が表示部１２３へ出力されることとなる（フリーズ出力）。そして、それ以外のラインに関してはフリーズ出力することなく更新されたデータが出力されることとなる。

図６は、本実施例に係る静止検出部１１２の機能構成の一例を示すブロック図である。実施例１（図２）と同じ機能については同じ符号を付し、説明は省略する。
符号１２４４は、画素閾値フィルタ回路１１２３から出力される“１”の数を計数する画素カウンタを示す。画素カウンタ１２４４は、動画像データバス１２１を介して入力されるデータ有効信号が有効な期間に計数処理を行う。計数した値は動画像データバス１２１を介して入力される水平同期信号（ＨＳｙｎｃ）によりクリアされる。
符号１２４５は、画素カウンタ１２４４にて計数された値と所定の閾値ｔｈ３とを比較するライン閾値フィルタ回路を示す。ライン閾値フィルタ回路１２４５は、画素カウンタ１２４４にて計数された値が閾値ｔｈ３よりも小さい場合に、そのラインが静止ラインであると判断して“１”を出力する。画素カウンタ１２４４にて計数された値が閾値ｔｈ３以上である場合には、そのラインが映像の動きのあるライン（動きライン）であると判断して“０”を出力する。また、ライン閾値フィルタ回路１２４５の判断は、画素カウンタ１２４４にて計数された値がＨＳｙｎｃによりクリアされる直前に行われる。
符号１２４６は、ライン閾値フィルタ回路１２４５から出力されるライン毎の動き判定結果を有効ライン数分（１フレーム分）保持するライン動き情報管理部を示す。ライン動き情報管理部１２４６は、ＶＳｙｎｃのタイミングで、保持している上記判定結果を出力すると共にクリアする。ライン動き情報管理部１２４６の出力信号は、静止判定信号として静止検出部１１２から出力される。

図７のタイミングチャート図に、本実施例に係る画像処理装置においてＪＰＥＧ先読み処理が行われる様子を示す。
静止検出部１１２は、表示制御部１０１から出力されるフレームに静止ラインがあるか否かを判定し、その結果を高画質化処理部１１４及び画像出力用フレームメモリ１１９に出力する。高画質化処理部１１４は、ＣＰＵ１１６から静止画処理命令が発行されているときは、静止判定信号が“１”のラインに対する画像処理を行う期間にＪＰＥＧデータの縮小処理を行う。このとき、画像出力用フレームメモリ１１９は、表示部１２３へ前フレームの同じラインのデータを出力する。

以上の処理により、入力動画像データの静止ライン（または静止領域）の期間に動画像データに対する画像処理に替えて他の画像データに対する画像処理（例えばＪＰＥＧ先読み処理）が行われる。それにより、動画像の表示に影響を与えることなく他の画像データに対する画像処理を行うことが可能となる。

＜実施例３＞
実施例１，２では、図４で示したようなグラフィック画像（メニュー画像）を含む画像データが表示制御部１０１で生成されるものとした。しかしながら、グラフィック画像のデータ（グラフィックデータ）を画像処理部１１１が生成し、動画像データバス１２１を介して入力される動画像データと合成する構成が考えられる。具体的には、生成したグラフィックデータには画像処理の影響を及ぼさないように、入力動画像データに画像処理を施した後でグラフィック画像を合成する構成が考えられる。このような構成においては、グラフィック画像の変化（動き）が、動画像データバス１２１を介して入力される動画像データを監視しているだけでは判断できない。
本実施例では、入力される動画像データと画像処理部１１１で生成したグラフィックデータとを当該動画像データに対する画像処理の後で合成する構成においてＪＰＥＧ先読み処理を行う構成について説明する。例えば、図３に示したようなサムネイルリスト画像内に、所定時間毎（例えば１秒毎）に更新されるアニメーション画像が含まれる場合を想定するものである。つまり、サムネイルリスト画像内に、静止画像データに対応するサムネイル画像の他、グラフィックデータに対応するアニメーション画像が含まれるような場合を想定する。

図８は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
図８に示すように、本実施例に係る画像処理装置は、実施例１，２（図１）の構成に加え、グラフィック合成部１１５を更に有する。グラフィック合成部１１５は、画像処理された動画像データにグラフィックデータを合成する（合成手段）。具体的には、バス１２０を介してＣＰＵ１１６から送られる描画コマンドに従いグラフィックデータを生成し、高画質化処理部１１４から出力される画像データと合成して画像出力用フレームメモリ１
１９に出力する。また、本実施例では、ＣＰＵ１１６が、静止検出部１１２から静止判定信号を読み出し、高画質化処理部１１４及び画像出力用フレームメモリ１１９に出力するものとする。

以下、本実施例に係る画像処理装置の具体的な動作の一例について説明する。
ＣＰＵ１１６は、ＣＰＵ１０５から制御コマンド通信部１０７を介して図４に示したメニュー画像３０２の表示を指示されると、バス１２０を介してグラフィック合成部１１５へ描画コマンドを送信する。
グラフィック合成部１１５は、送信された描画コマンドに従いグラフィックデータを生成し、高画質化処理部１１４から出力される画像データと合成して画像出力用フレームメモリ１１９に出力する。
グラフィック合成部１１５で合成するグラフィックデータが更新されると、ＣＰＵ１１６は、グラフィックデータが更新されたことを検出し、静止検出部１１２の検出結果（静止判定信号）を補正する。具体的には、ＣＰＵ１１６は、グラフィックデータの更新の検出結果に基づいて、動画像データの少なくともグラフィックデータが合成されるシーン（または領域）が静止シーン（または領域）とならないように、静止判定信号を補正する（補正手段）。例えば、更新されたグラフィックデータを含むフレーム（またはライン）の動き情報を“０（動きあり）”に補正し、高画質化処理部１１４及び画像出力用フレームメモリ１１９に設定する。

本実施例の構成によれば、グラフィックデータが更新されたことに応じて、該グラフィックデータが合成されるシーン（または領域）の動き情報が“動きあり”とされる。それにより、動画像データとグラフィックデータとを動画像データに対する画像処理の後で合成する構成においても、動画像の表示に影響を与えることなく他の画像データに対する画像処理（例えばＪＰＥＧ先読み処理）を行うことが可能となる。

以上述べたように、本実施形態に係る画像処理装置及びその制御方法によれば、動画像データから静止シーン（または領域）が検出される。そして、静止シーン（または領域）に対する画像処理が省略され、その空き時間に他の画像データに対する画像処理が実行される。また、表示装置へは、静止シーン（または領域）のデータとして、前フレームのデータ（または前フレームの当該静止領域に対応する領域のデータ）が出力される。それにより、共通の画像処理回路を用いて、動画像データに対する画像処理のバックグラウンドで他の画像データに対する画像処理を動画像の表示に支障をきたすことなく実行することができる。

１１２ 静止検出部
１１４ 高画質化処理部
１１９ 画像出力用フレームメモリ

Claims (18)

1. 共通の画像処理回路を用いて、動画像データに対する画像処理と他の画像データに対する画像処理とを行う画像処理装置であって、
   複数の画像データを記憶する記憶媒体から取得した複数の画像データから複数のサムネイル画像を生成し、複数のサムネイル画像を並べたサムネイル一覧画像の一覧画像データを生成する生成手段と、
   画像処理の対象である前記動画像データである前記一覧画像データから、映像の動きの無い静止シーンまたは静止領域を検出する検出手段と、
   前記サムネイル一覧画像に含まれる少なくともいずれかのサムネイル画像に対応する画像データに対する画像処理の指示を出す指示手段と、
   前記検出手段の検出結果に基づいて、前記画像処理回路で実行する画像処理を、前記動画像データに対する画像処理と、前記サムネイル画像に対応する画像データに対する画像処理との間で切り替える制御を行う制御手段と、
   を有し、
   画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出され、かつ、前記指示手段により前記サムネイル画像に対応する画像データに対する画像処理の指示が出された場合に、前記制御手段は、前記一覧画像データの前記静止シーンまたは静止領域に対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする画像処理装置。
2. 前記サムネイル一覧画像に含まれる複数のサムネイル画像のうちいずれかを選択するユーザの操作を受け付ける入力手段を更に有し、
   前記指示手段は、ユーザに選択されたサムネイル画像に対応する画像データに対する画像処理の指示を出す請求項１に記載の画像処理装置。
3. 前記指示手段は、前記サムネイル一覧画像に含まれる全てのサムネイル画像に対応する画像データに対する画像処理の指示を出す請求項１に記載の画像処理装置。
4. 前記生成手段は、動画像データから動画像のサムネイル画像を生成する請求項１〜３のいずれか１項に記載の画像処理装置。
5. 表示装置に、前記画像処理された一覧画像データを出力する出力手段を更に有し、
   画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出された場合に、前記出力手段は、前記静止シーンまたは静止領域のデータとして、前フレームのデータを出力することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記検出手段は、前記一覧画像データから、映像の動きの無い静止シーンとして静止フレームを検出し、
   画像処理の対象となる前記一覧画像データから前記静止フレームが検出された場合に、前記制御手段は、前記一覧画像データの前記静止フレームに対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記一覧画像データから、映像の動きの無い静止領域として静止ラインを検出し、
   画像処理の対象となる前記一覧画像データから前記静止ラインが検出された場合に、前記制御手段は、前記一覧画像データの前記静止ラインに対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
8. 前記画像処理された一覧画像データにグラフィックデータを合成する合成手段と、
   合成するグラフィックデータが更新されたことを検出し、当該検出結果に基づいて、前記一覧画像データの少なくとも前記グラフィックデータが合成される領域が静止領域とならないように、前記検出手段の検出結果を補正する補正手段と、
   を更に有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記サムネイル画像に対応する画像データに対する画像処理は、当該画像データをデコードする処理または解像度変換する処理を含むことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 共通の画像処理回路を用いて、動画像データに対する画像処理と他の画像データに対する画像処理とを行う画像処理装置の制御方法であって、
    複数の画像データを記憶する記憶媒体から取得した複数の画像データから複数のサムネイル画像を生成し、複数のサムネイル画像を並べたサムネイル一覧画像の一覧画像データを生成する生成ステップと、
    画像処理の対象である前記動画像データである前記一覧画像データから、映像の動きの無い静止シーンまたは静止領域を検出する検出ステップと、
    前記サムネイル一覧画像に含まれる少なくともいずれかのサムネイル画像に対応する画像データに対する画像処理の指示を出す指示ステップと、
    前記検出ステップでの検出結果に基づいて、前記画像処理回路で実行する画像処理を、前記動画像データに対する画像処理と、前記サムネイル画像に対応する画像データに対する画像処理との間で切り替える制御を行う制御ステップと、
    を有し、
    画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出さ
    れ、かつ、前記指示ステップにより前記サムネイル画像に対応する画像データに対する画像処理の指示が出された場合に、前記制御ステップでは、前記一覧画像データの前記静止シーンまたは静止領域に対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする画像処理装置の制御方法。
11. 前記サムネイル一覧画像に含まれる複数のサムネイル画像のうちいずれかを選択するユーザの操作を受け付ける入力ステップを更に有し、
    前記指示ステップでは、ユーザに選択されたサムネイル画像に対応する画像データに対する画像処理の指示を出す請求項１０に記載の画像処理装置の制御方法。
12. 前記指示ステップでは、前記サムネイル一覧画像に含まれる全てのサムネイル画像に対応する画像データに対する画像処理の指示を出す請求項１０に記載の画像処理装置の制御方法。
13. 前記生成ステップでは、動画像データから動画像のサムネイル画像を生成する請求項１０〜１２のいずれか１項に記載の画像処理装置の制御方法。
14. 表示装置に、前記画像処理された一覧画像データを出力する出力ステップを更に有し、
    画像処理の対象となる前記一覧画像データから前記静止シーンまたは静止領域が検出された場合に、前記出力ステップでは、前記静止シーンまたは静止領域のデータとして、前フレームのデータを出力することを特徴とする請求項１０〜１３のいずれか１項に記載の画像処理装置の制御方法。
15. 前記検出ステップでは、前記一覧画像データから、映像の動きの無い静止シーンとして静止フレームを検出し、
    画像処理の対象となる前記一覧画像データから前記静止フレームが検出された場合に、前記制御ステップでは、前記一覧画像データの前記静止フレームに対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする請求項１０〜１４のいずれか１項に記載の画像処理装置の制御方法。
16. 前記検出ステップでは、前記一覧画像データから、映像の動きの無い静止領域として静止ラインを検出し、
    画像処理の対象となる前記一覧画像データから前記静止ラインが検出された場合に、前記制御ステップでは、前記一覧画像データの前記静止ラインに対する画像処理を省略して、その空き時間を前記サムネイル画像に対応する画像データに対する画像処理に割り当てるように前記画像処理回路を制御することを特徴とする請求項１０〜１４のいずれか１項に記載の画像処理装置の制御方法。
17. 前記画像処理された一覧画像データにグラフィックデータを合成する合成ステップと、
    合成するグラフィックデータが更新されたことを検出し、当該検出結果に基づいて、前記一覧画像データの少なくとも前記グラフィックデータが合成される領域が静止領域とならないように、前記検出ステップの検出結果を補正する補正ステップと、
    を更に有することを特徴とする請求項１０〜１６のいずれか１項に記載の画像処理装置の制御方法。
18. 前記サムネイル画像に対応する画像データに対する画像処理は、当該画像データをデコードする処理または解像度変換する処理を含むことを特徴とする請求項１０〜１７のいずれか１項に記載の画像処理装置の制御方法。

Images