JP6362317B2 - 映像処理装置、映像処理装置の制御方法 - Google Patents

Description

本発明は、高画質なフリーズ映像を表示する技術に関する。

デジタルテレビなどの映像処理システムは、入力された映像データに対して、ＩＰ変換、ノイズリダクション、色調整、解像度変換など様々な映像処理を適用後、映像データをパネルに出力することで映像を表示している。そのような映像処理システムでは、複数の映像処理部が、フレームメモリを介して、映像データを受け渡しながら、順次映像処理を行っている。また、映像データの入力タイミングとパネルへの出力タイミングの調整や、複数フレームの映像データを参照する映像処理部のため、映像処理システムは、複数フレーム分の映像データを保持している。

現在、デジタルテレビでは、ＦｕｌｌＨＤ（１９２０ｘ１０８０）が一般的な解像度である。しかし、４Ｋ２Ｋ（４０９６ｘ２１６０）やスーパーハイビジョン（７６８０ｘ４３２０）といった、より高解像度な映像の規格化が進み、それらの映像を表示するための映像処理システムが求められている。また、さらなる高画質化のため、様々な映像処理が新たに提案されている。即ち、扱う映像データのデータサイズ、そして、映像データに対して行われる映像処理の数は、増えつづけている。従って、フレームメモリを介して順次映像処理を行なうにあたって、フレームメモリへの書き込み、及び、フレームメモリからの読み出しされる映像データのデータ量が飛躍的に増大している。

そこでフレームメモリへの書き込みデータ量やフレームメモリからの読み出しデータ量を削減するために、圧縮伸長技術を用いた方法が提案されている。

特許文献１には、入力された映像データを圧縮してから、フレームメモリへ書き込みを行うと共に、フレームメモリから読み出した映像データを伸長してから映像処理を行う映像処理システムについて記載されている。

また、特許文献１には、スチル画面に映像を表示する場合や、高品位ＴＶに映像を表示する場合は、映像の圧縮率を引き上げる設定を行う一方、装置がバッテリ駆動のため消費電力を抑えたい場合は映像の圧縮率を引き下げる設定を行うことが記載されている。

また、特許文献２には、ＭＰＥＧで圧縮された映像の表示中にフリーズ指示（静止画モード選択）をした場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのうち、Ｉピクチャを表示させることが記載されている。

特開２０１０−１７１６０９号公報 特開２０００−３０８０１６号公報

しかしながら、フリーズ指示に応じて低品質な映像フレームがフリーズ表示される恐れがあった。

例えば、フレームメモリ内に圧縮率が異なる複数の映像フレームが記憶されているときにフリーズ指示が入力された場合、最も圧縮率が高い映像フレームがフリーズ表示されると、品質の悪い映像がフリーズ表示されることになってしまった。

また、例えば、シーンチェンジ等の発生によりフレームメモリ内の映像フレームの圧縮率が一時的に高くなっているときにフリーズ指示が入力された場合、フレームメモリ内の品質が悪い映像フレームがフリーズ表示される恐れがあった。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、フリーズ指示に応じて表示される映像の品質を向上させることである。

上記課題を解決するために、本発明の映像処理装置は、例えば以下の構成を有する。すなわち、複数の映像フレームを入力する入力手段と、前記入力手段により入力された映像フレームを圧縮パラメータに基づいて圧縮する圧縮手段と、前記圧縮手段により圧縮がなされた映像フレームをメモリへ記憶させる記憶制御手段と、前記メモリに記憶された前記圧縮がなされた映像フレームに基づく映像を表示させる表示制御手段と、前記表示制御手段による表示映像に関する所定指示の入力に応じて他の映像よりも長い時間表示させる映像に対応する映像フレームを、前記メモリに記憶された複数の映像フレームの圧縮パラメータに基づいて前記複数の映像フレームから決定する決定手段であって、前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている第１の映像フレームと第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が高い圧縮パラメータに対応する場合、前記所定指示の入力後に前記メモリに記憶された第３の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定し、前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが前記所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている前記第１の映像フレームと前記第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が低い圧縮パラメータに対応する場合、前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定する決定手段とを有する。

本発明によれば、フリーズ指示に応じて表示される映像の品質を向上できる。

実施形態における映像処理装置の構成図 実施形態における各映像フレームの圧縮パラメータとデータサイズを示す図 本実施形態における映像処理装置の処理を説明するためのフローチャート

図１、図２、図３を用いて、実施形態について説明する。

図１は、本実施形態の映像処理装置の機能を説明するためのブロック図である。映像処理装置１０１は、フレームメモリ１０２、映像入力部１０４、映像処理部Ａ１０５、映像処理部Ｂ１０６、映像出力部１０７、圧縮部Ａ１０８、伸長部Ａ１０９、圧縮部Ｂ１１０、伸長部Ｂ１１１、圧縮部Ｃ１１２、伸長部Ｃ１１３を含んで構成される。また、映像処理装置１０１は、制御部１１４、保持フレーム情報保持部１１５、フリーズフレーム決定部１１６、履歴情報保持部１１７を含んで構成される。なお、本実施形態の映像処理装置１０１は表示パネル１０３に接続されている。なお、映像処理装置１０１と表示パネル１０３は一体型の装置であっても良い。映像処理装置１０１は、例えば、大型テレビやラップトップＰＣやタブレットＰＣやスマートフォンであってもよい。また、映像処理装置１０１は、例えば、プロジェクターなどの投影型の映像処理装置であってもよい。映像処理装置１０１をプロジェクターで実現する場合、映像処理装置１０１は、表示パネル１０３の代わりに、例えばスクリーンに対して映像データの出力を行う。

映像処理装置１０１は、ベースバンドの映像データを受け取り、映像フレーム単位で圧縮と伸長を行いながら、フレームメモリ１０２を介して、高画質処理などの映像処理を順次行い、映像処理済みの映像フレームを映像データとして表示パネル１０３へ出力する。

入力される映像データと出力する映像データのタイミングは、一定であるため、映像処理装置１０１は、所定の映像処理を一定の時間内に行う必要がある。例えば、映像処理装置１０１は、１秒間に３０枚の映像フレームを入力した場合、１秒間に３０枚の映像処理済みの映像フレームを表示パネル１０３へ出力する。ただし、映像処理にフレームレートを向上させる映像処理が含まれている場合は、この例に限らない。フレームレートを向上させる映像処理が行われた場合、例えば、１秒間に３０枚の映像フレームの入力に対して、１秒間に６０枚の映像フレームが表示パネル１０３へ出力される。

なお、本実施形態では映像処理をフレーム単位で行う例を中心に説明するが、映像フレームを複数のブロックに分割し、ブロック単位で映像処理を行う場合にも本発明は適用可能である。

映像処理装置１０１は、フレームメモリ１０２に対するデータ読込みやデータ書き込みのデータ量を抑えるために、圧縮伸長部を導入している。

映像入力部１０４は、ベースバンドの映像データを受け取ると、映像データを圧縮部Ａ１０８へ渡す。圧縮部Ａ１０８は、映像入力部１０４からの映像データをフレーム単位で圧縮し、圧縮済みの映像フレームをフレームメモリ１０２へ書き込む。なお、本実施形態の映像処理装置１０１のフレームメモリ１０２は、圧縮部Ａ１０８、圧縮部Ｂ１１０、圧縮部Ｃ１１２、伸長部Ａ１０９、伸長部Ｂ１１１、伸長部Ｃ１１３と共通バスで接続されている。

伸長部Ａ１０９は、フレームメモリ１０２から、圧縮部Ａ１０８により書き込まれた圧縮済み映像フレームを読み出し、伸長後、映像処理部Ａ１０５へ渡す。映像処理部Ａ１０５は、伸長部Ａ１０９から受け取った映像フレームに対して、高画質化などの映像処理Ａを行い、映像処理後の映像フレームを圧縮部Ｂ１１０へ渡す。

圧縮部Ｂ１１０は、映像処理部Ａ１０５からの映像フレームを圧縮し、フレームメモリ１０２に書き込む。伸長部Ｂ１１１は、フレームメモリ１０２から、圧縮部Ｂ１１０が書き込んだ圧縮済みの映像フレームを読み出し、伸長後、映像処理部Ｂ１０６へ渡す。映像処理部Ｂ１０６は、伸長部Ｂ１１１から受け取った映像フレームに対して、高画質化などの映像処理Ｂを行い、映像処理後の映像フレームを圧縮部Ｃ１１２へ渡す。

圧縮部Ｃ１１２は、映像処理部Ｂ１０６からの映像フレームを圧縮し、フレームメモリ１０２に書き込む。伸長部Ｃ１１３は、フレームメモリ１０２から、圧縮部Ｃ１１２が書き込んだ圧縮済みの映像フレームを読み出し、伸長後、映像出力部１０７へ渡す。

映像出力部１０７は、表示パネル１０３が要求するタイミングに合わせて、映像フレームを映像データとして、表示パネル１０３へ出力する。これにより、表示パネル１０３上に映像が表示される。

映像処理装置１０１の映像処理部Ａ１０５、Ｂ１０６および映像出力部１０７は並行して動作する。そのため、圧縮部Ａ１０８、伸長部Ａ１０９、圧縮部Ｂ１１０、伸長部Ｂ１１１、圧縮部Ｃ１１２、伸長部Ｃ１１３はそれぞれ、フレームメモリ１０２に対して同時アクセスを行う。なお、映像処理の内容によっては、１つの映像フレームの全体がフレームメモリ１０２に書き込まれてから処理が開始されるケースや、複数の映像フレームがフレームメモリ１０２に書き込まれてから処理が開始されるケースがある。例えば、映像処理部Ａ１０５が映像を上下反転する映像処理を行う場合、１つの映像フレームがフレームメモリ１０２に書き込まれた後に、映像フレームの最後から読み出しを行う。従って、映像を上下反転する映像処理を行う場合には、フレームメモリ１０２に１つの映像フレームの全体が書き込まれてから、処理が行われることになる。

また、例えば、超解像処理を行う映像処理の中には、他の映像フレームを参照して１つの高解像度な映像フレームを作成する映像処理がある。この映像処理を映像処理部Ｂ１０５が行う場合、フレームメモリ１０２には、複数の映像フレーム（例えば３つの映像フレーム）が保持されてから処理が開始されることとなる。

本実施形態の映像処理装置１０１は、３つの映像フレーム１１８、１１９と１２０を、フレームメモリ１０２に保持しており、必要に応じて、３つの映像フレームを用いて高解像度な映像フレームを作成する映像処理を行うことが可能である。すなわち、本実施形態の映像処理装置１０１は、映像入力部１０４が映像データを受け取ってから、映像出力部１０７が当該映像データを出力するまでに、少なくとも映像フレーム３つ分の時間遅延を生じさせる。映像フレーム１１９は、映像フレーム１１８の時間的に次の映像フレームである。また、映像フレーム１２０は、映像フレーム１１９の時間的に次の映像フレームである。すなわち、映像フレームは、映像フレーム１１８、映像フレーム１１９、映像フレーム１２０の順序で表示される。

本実施形態のフレームメモリ１０２は、圧縮部Ｃ１１２による圧縮済みの映像フレーム１１８と、圧縮部Ｂ１１０による圧縮済みの映像フレーム１１９と、圧縮部Ａ１０８による圧縮済みの映像フレーム１２０を記憶している。この場合に映像フレーム１２０がフリーズ表示する映像フレームとして決定された場合、映像フレーム１２０の映像データが伸長部Ａ１０９により伸長され、映像処理部Ａ１０５で映像処理された後、圧縮部Ｂ１１０で圧縮され、フレームメモリ１０２に記憶される。そして、映像フレーム１２０の映像データは、伸長部Ｂ１１１により伸長され、映像処理部Ｂ１０６で映像処理された後、映像出力部１０７で出力される。

一方、映像フレーム１１９がフリーズ表示する映像フレームとして決定された場合、映像フレーム１１９の映像データが伸長部Ｂにより伸長され、映像処理部Ｂ１０６で映像処理された後、映像処理部１０７で出力される。圧縮部Ｃによる圧縮済みの映像フレーム１１８がフリーズ表示する映像フレームとして決定された場合は、映像フレーム１１８の映像データが伸長部Ｃ１１３により伸長されて映像出力部１０７で出力される。このように、フレームメモリ１０２内に記憶されている映像フレームのうち、どの映像フレームをフリーズ表示させるかによって、フリーズ表示の開始までにかかる処理や処理時間が異なる。ただし、圧縮部Ｃ１１２による圧縮済みの３つの映像フレームをフレームメモリ１０２に記憶させるようにしてもよい。この場合、フレームメモリ１０２は、少なくとも５つの映像フレームを記憶するだけのメモリ領域を備えることが必要となる。

本実施形態での圧縮部および伸長部で用いる圧縮伸長技術は、映像フレーム単位で、一枚の静止画として圧縮を行うＪＰＥＧ圧縮とする。ただし、圧縮方式はＪＰＥＧに限らない。ＪＰＥＧ圧縮における画質劣化の大小は、圧縮時に用いる量子化テーブルのパラメータ値によって決まる。また、用いる量子化テーブルのパラメータ値によって、圧縮後の圧縮データサイズも異なる。例えば、同じ映像フレームに対してＪＰＥＧ圧縮を行う場合、高画質となる量子化テーブルのパラメータを用いると、低画質となる量子化テーブルのパラメータを用いた場合に比べ、画質の劣化は少なくなるが、圧縮後の圧縮データサイズは大きくなる。また、同じ量子化テーブルのパラメータを用いて映像フレームをＪＰＥＧ圧縮したとしても、映像フレームの周波数特性が異なると、圧縮データサイズは異なる。

本実施形態では、より低画質になるように量子化テーブルのパラメータ値（圧縮パラメータ）を変更することを、圧縮パラメータを下げる（圧縮品質を下げる）と表現する。また、より高画質になるように量子化テーブルのパラメータ値（圧縮パラメータ）を変更することを圧縮パラメータを上げる（圧縮品質を上げる）と表現する。なお、同じ映像フレームを圧縮する場合、高い圧縮パラメータで圧縮した場合のほうが、低い圧縮パラメータで圧縮した場合よりも、圧縮後の映像フレームのデータ量は多くなる。また、同じ映像フレームを圧縮する場合、高い圧縮パラメータで圧縮した場合のほうが、低い圧縮パラメータで圧縮した場合よりも、圧縮前の映像フレームと伸長後の映像フレームの画素値の差は小さくなる。すなわち、高い圧縮パラメータで圧縮した場合の方が、低い圧縮パラメータで圧縮した場合よりも映像フレームは低い圧縮率で圧縮されることになる。本実施形態では、所定パラメータ（基準パラメータ）以上の圧縮パラメータで圧縮された映像フレームを圧縮品質が良い映像フレームであると表現する。ある映像フレームに対して、所定パラメータ以上の圧縮パラメータで圧縮した場合は、所定パラメータ未満で圧縮した場合よりも、低い圧縮率で当該映像フレームが圧縮されることになる。

上記に述べたように、本映像処理装置１０１は、フレームメモリ１０２へアクセスするデータ量を一定量以内に抑え、フレームメモリ１０２の帯域破綻を防ぐために圧縮伸長技術を導入している。制御部１１４は、フレームメモリ１０２へアクセスされるデータ量を一定量以内に抑えるため、各映像フレームの圧縮データサイズ（圧縮後のデータサイズ）を監視し、圧縮部Ａ１０８、圧縮部Ｂ１１０と圧縮部Ｃ１１２の圧縮パラメータを動的に変更する。

フレームメモリ１０２の帯域に余裕があるにもかかわらず、必要以上に圧縮品質を下げると、必要以上に表示映像が劣化することになる。そこで、制御部１１４は、各圧縮部における圧縮後のデータサイズ（圧縮データサイズ）が、それぞれの圧縮部に割り当てられた、ある目標範囲のデータサイズに収まるよう、各圧縮部における圧縮パラメータを動的に変更する。すなわち、制御部１１４は圧縮部に対する圧縮制御を行う。また、制御部１１４は、ユーザ指示などによる映像処理モードの変更に対応するため、映像入力部１０４、映像処理部Ａ１０５、映像処理部Ｂ１０６、映像出力部１０７、伸長部Ａ１０９、伸長部Ｂ１１１および、伸長部Ｃ１１３の制御も行う。

また、圧縮部Ａ１０８は、制御部１１４により制御される圧縮パラメータで映像フレームの圧縮を行う通常圧縮部と、最低品質の圧縮パラメータで映像フレームの圧縮を行う高圧縮部との２つの圧縮部を内部に持つ。２つの圧縮部は同時に動作することが可能で、フレームメモリ１０２に圧縮済の映像フレームのデータを書き込む。圧縮部Ｂ１１０や圧縮部Ｃ１１２も圧縮部Ａ１０８と同様に、通常圧縮部と高圧縮部を持つ。ただし、圧縮部Ａ１０８のみ、高圧縮部を持つような構成にすることも可能である。

高圧縮部は、入力映像データが、シーンチェンジなどで、突然、複雑な映像に変化した場合に、最低品質の圧縮パラメータで映像フレームの圧縮を行ない、圧縮後の映像フレームをフレームメモリ１０２に書き込む。これは以下の理由による。すなわち、シーンチェンジ等の発生により映像が突然変化した場合において、制御部１１４により制御される圧縮パラメータに基づく圧縮を行うと、圧縮後の映像フレームのデータサイズが目標のデータサイズをオーバーするケースが発生しうる。そこで、高圧縮部は、シーンチェンジ等、映像の大きな変化の発生を検知して、最低品質の圧縮パラメータで映像フレームの圧縮を行う。

高圧縮部が映像フレームの圧縮をした後、制御部１１４は、通常圧縮部で用いる圧縮パラメータを最低品質の圧縮パラメータよりも所定値だけ高い圧縮パラメータに設定すると共に、次の映像フレームの圧縮を通常圧縮部に実行させる。そして、制御部１１４は、各映像フレームの圧縮後のデータサイズが目標のデータサイズを上回らないようにしつつ、各映像フレームの圧縮品質を上げるように、徐々に圧縮パラメータを変更する。

すなわち、圧縮部Ａ１０８は、表示順序が連続する第１及び第２の映像フレームとの差分が第１の差分の場合は、通常圧縮部で第２の映像フレームの圧縮を行う。一方、圧縮部Ａ１０８は、第１及び第２の映像フレームの差分が第１の差分よりも大きい第２の差分の場合は、高圧縮部で第２の映像フレームの圧縮を行う。このようにすることで、圧縮部Ａ１０８は、映像フレーム間の差分が第１の差分の場合のほうが、第２の差分の場合よりも、第２の映像フレームを高い圧縮率で圧縮される。

図１に示すように、本実施形態の映像処理装置１０１には、フリーズ指示１２１を入力することが可能である。フリーズ指示とは、表示される映像をフリーズさせるため指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。

本実施形態では、例えば、動画の表示中に、ユーザが画面ストップなどの操作を行うと、フリーズ指示１２１が、映像処理装置１０１へ送られる。

なお、フリーズ指示１２１が入力されたタイミングに応じて、フリーズ表示する映像フレームを一意に決定してしまうと、フリーズ指示１２１が入力されたタイミングによっては、品質の悪い（画質が低い）映像フレームがフリーズ表示されてしまう可能性がある。そこで本実施形態の映像処理装置１０１は、フリーズ表示される映像フレームの品質ができるだけ高くなるように制御を行なう。

図１に示すように、本実施形態の映像処理装置１０１は、保持フレーム情報保持部１１５、フリーズフレーム決定部１１６、履歴情報保持部１１７を有している。

保持フレーム情報保持部１１５は、フレームメモリ１０２内に記憶されている各映像フレームの圧縮品質（圧縮パラメータ）および圧縮データサイズ（圧縮後の映像フレームのデータサイズ）を含む情報を保持するモジュールである。なお、本実施形態における圧縮パラメータは、量子化テーブルのパラメータ値に対応する。保持フレーム情報保持部１１５が保持する情報は、制御部１１４により随時更新される。

本実施形態のフレームメモリ１０２は、３つの映像フレームを保持しているため、保持フレーム情報保持部１１５は、保持フレーム（Ｆｎ）１１８、保持フレーム（Ｆｎ＋１）１１９、保持フレーム（Ｆｎ＋２）１２０に関する情報を保持している。

なお、本実施形態では、圧縮部Ａ１０８、圧縮部Ｂ１１０、圧縮部Ｃ１１２がある映像フレームの圧縮のために用いる圧縮パラメータは同じである。すなわち、圧縮部Ａ１０８、圧縮部Ｂ１１０、圧縮部Ｃ１１２は、映像フレーム１１８の圧縮のために第１の圧縮パラメータを共通して用いると共に、映像フレーム１１９の圧縮のために第２の圧縮パラメータを共通して用いる。従って、本実施形態の保持フレーム情報保持部１１５は、フレームメモリ１０２に記憶される３つの映像フレームのそれぞれに１対１で対応づけて、圧縮パラメータを保持している。ただし、圧縮部に応じて異なる圧縮パラメータで、１つの映像フレームを圧縮することも可能である。この場合、保持フレーム情報保持部１１５は、１つの映像フレームに対して、複数の圧縮パラメータを対応づけて保持する。そして、フリーズフレーム保持部１１６は、１つの映像フレームに対応づけられた複数の圧縮パラメータのうち、最も高い圧縮率に対応する圧縮パラメータを、当該映像フレームの圧縮パラメータとして参照する。

フリーズフレーム決定部１１６は、ユーザ操作により入力されたフリーズ指示１２１を受信すると、保持フレーム情報保持部１１５に保持されている情報を参照し、３つの映像フレームの圧縮パラメータが所定の基準を満たしているか否かを判定する。フリーズフレーム決定部１１６は、３つの映像フレームの中に、圧縮パラメータが所定の基準を満たしている映像フレームが存在する場合、所定の基準を満たしている映像フレームからフリーズ表示する映像フレームを決定する。そして、フリーズフレーム決定部１１６は、フリーズ表示させる映像フレームを識別するための識別情報を制御部１１４へ通知する。なお、本実施形態では、３つの映像フレームをフレームメモリ１０２に保持する例を中心に説明しているが、３つに限らない。

また、３つの映像フレームの中に所定の基準を満たしている圧縮パラメータの映像フレームが存在しない場合、フリーズフレーム決定部１１６は、フレームメモリ１０２内の映像フレームで最も圧縮パラメータが高い映像フレームを特定する。そして、フリーズフレーム決定部１１６は、履歴情報保持部１１７を参照する。履歴情報保持部１１７には、直近の一定期間分の映像フレーム（例えば、３つの映像フレーム）の圧縮品質（圧縮パラメータ）および圧縮データサイズ（圧縮後の映像フレームのデータサイズ）の情報を保持している。

すなわち、保持フレーム情報保持部１１５は、映像処理装置１０１が、現在、フレームメモリ１０２内に記憶している映像フレームの情報を保持するモジュールである。また、履歴情報保持部１１７は、映像処理装置１０１が、以前、フレームメモリ１０２内に記憶されていた映像フレームの情報を保持するジュールである。

フリーズフレーム決定部１１６は、履歴情報保持部１１７に保持されている情報を用いて、今後一定期間内（例えば、５つの映像フレーム以内）に、圧縮品質の良い映像フレームを得る可能性が高いか否かを判定する。圧縮品質の良い映像フレームを得る可能性が高くないと判定すると、フリーズ表示する映像フレームの候補として特定された映像フレームをフリーズ表示させる映像フレームとして決定し、その映像フレームの識別情報を制御部１１４に通知する。

一方、圧縮品質の良い映像フレームを得る可能性が高いと判定された場合、フリーズフレーム決定部１１６は、フリーズ指示が入力されてから一定期間内に入力された映像フレームの圧縮パラメータを監視する。そして、フリーズフレーム決定部１１６は、フリーズ表示させる映像フレームの候補を特定してから一定期間内に、所定の基準を満たす圧縮パラメータの映像フレームを発見すると、その映像フレームをフリーズ表示する映像フレームとして決定する。一方、フリーズフレーム決定部１１６は、フリーズ表示させる映像フレームの候補を特定してから一定期間内に、所定の基準を満たす圧縮パラメータの映像フレームを発見しなかった場合、当該候補をフリーズ表示する映像フレームとして決定する。

ただし、フリーズフレーム決定部１１６は、フリーズ表示させる映像フレームの候補を特定してから一定期間内に入力された映像フレームのうち、最も圧縮品質の良い映像フレームをフリーズ表示させる映像フレームとして決定してもよい。

なお、本実施形態のフリーズフレーム決定部１１６は、一定期間内に圧縮品質の良い映像フレームを得る可能性が高いか低いかを、過去に入力された映像フレームの圧縮品質の変化の状況に基づいて判定する。判定方法の詳細は後述する。フリーズフレーム決定部１１６は、一定期間内に圧縮品質の良い映像フレームを得る可能性が高いと判定すると、当該一定期間分の新たに入力された映像フレームの圧縮品質を監視する。

フリーズフレーム決定部１１６は、内部に、カウンタと映像処理を継続する映像フレーム数の最大値を持つ。フリーズフレーム決定部１１６は、フリーズ指示が入力されてから１映像フレーム分の映像処理を完了するたびに、カウントアップする。そして、フリーズフレーム決定部１１６は、圧縮品質が所定の基準を満たす映像フレームが現れないまま、カウント値が閾値（映像処理を継続する映像フレーム数の最大値）に達すると、新規の映像フレームに対する映像処理を終了する。そして、フリーズフレーム決定部１１６は、フリーズ表示させる映像フレームの候補として特定された映像フレームをフリーズ表示する映像フレームとして決定し、そのことを制御部１１４へ通知する。

映像処理を継続する映像フレーム数の最大値は、映像処理装置１０１によって異なる。また、映像処理を継続する映像フレーム数の最大値をユーザ操作や動作モードによって決定することも可能である。映像処理を継続する映像フレーム数の最大値を小さい値に設定すれば、例えば、フリーズ指示に応じて、すばやくフリーズ表示が実現できる。一方で、映像処理を継続する映像フレーム数の最大値を高い値に設定すれば、フリーズ指示に応じて、より画質の高い映像フレームをフリーズ表示できる可能性が高くなる。

なお、制御部１１４は、フリーズフレーム決定部１１６がフリーズ指示１２１を受信しても、通常の映像処理の制御を継続している。そして、制御部１１４は、フリーズフレーム決定部１１６からフリーズ表示に関する通知を受けた場合に、通知に含まれる識別情報に対応する映像フレームをフリーズ表示させるための制御を行う。

フリーズフレーム決定部１１６が、フリーズ表示する映像フレームを決定する方法について、図２を用いてより詳細に説明する。図２は、圧縮部Ａ１０８が、制御部１１４による制御の元、映像入力部１０４からの映像データを圧縮し、フレームメモリ１０２に書き込んだ映像フレームに関して、圧縮パラメータと圧縮データサイズの映像フレームごとの変化を示した図である。

２０１は、圧縮パラメータを示している。本実施形態では、同じ映像フレームを圧縮する場合、高い圧縮パラメータで圧縮した場合のほうが、低い圧縮パラメータで圧縮した場合よりも、圧縮後の映像フレームのデータ量は多くなる。また、同じ映像フレームを圧縮する場合、高い圧縮パラメータで圧縮した場合のほうが、低い圧縮パラメータで圧縮した場合よりも、圧縮前の映像フレームと伸長後の映像フレームの画素値の差は小さくなる。本実施形態では、所定パラメータ（基準パラメータ）以上の圧縮パラメータで圧縮された映像フレームを圧縮品質が良い映像フレームであると表現する。

図２の上段は、１０枚の映像フレーム（映像フレームＦ１〜Ｆ１０）のそれぞれの圧縮パラメータを示している。図２は、縦に長い映像フレームほど、高い圧縮パラメータで圧縮されたことを示している。例えば、映像フレームＦ１は、映像フレームＦ２よりも高い圧縮パラメータで圧縮されている。本実施形態では、映像フレームＦ１のほうが、映像フレームＦ２よりも圧縮品質が良い映像フレームであると判定される。

２０４は、基準パラメータである。本実施形態のフリーズフレーム決定部１１６は、基準パラメータよりも高い圧縮パラメータで圧縮された映像フレームを所定の基準を満たした映像フレームであると判定する。

図２の横軸は、時間軸である。時間方向は右から左である。具体的には、映像フレームＦ１、Ｆ２、Ｆ３、、、Ｆ１０は、それぞれ別の映像フレームを示しており、圧縮部Ａ１０８は、Ｆ１、Ｆ２、Ｆ３、、、Ｆ１０という順番で、映像フレームの圧縮を行っている。

図２の下段は、圧縮データサイズ（圧縮後の各映像フレームのデータサイズ）を示している。図２は、縦に長い映像フレームほど、圧縮後のデータサイズが大きい映像フレームであることを示している。

２０５は、目標データサイズである。図２に示すように、本実施形態の目標データサイズは、一定の幅を持っている。本実施形態の制御部１１４は、各映像フレームの圧縮後のデータサイズが、目標データサイズ２０５の範囲に収まるように、圧縮部Ａ１０８の圧縮パラメータを制御する。

例えば、制御部１１４は、図２に示すように、映像フレームＦ６の圧縮後のデータサイズが目標データサイズ２０５を下回った場合、映像フレームＦ７の圧縮品質が良くなるように、映像フレームＦ７の圧縮に用いる圧縮パラメータを制御する。一方、制御部１１４は、例えば、映像フレームＦ５の圧縮後のデータサイズが目標データサイズ２０５を上回った場合、映像フレームＦ６の圧縮品質が悪くなるように、映像フレームＦ６の圧縮に用いる圧縮パラメータを制御する。なお、図２の上段で示す映像フレームＦ１〜Ｆ１０と、下段で示す映像フレームＦ１〜Ｆ１０は、それぞれ同じ映像フレームである。図２に示すように、例えば、映像フレームＦ３とＦ４のように同じ圧縮パラメータで圧縮をしても、圧縮後のデータサイズは、映像フレームによって異なる。

また、映像フレームＦ１からＦ５は、圧縮部Ａ１０８の通常圧縮部で圧縮されている。そして、シーンチェンジ２０９で示すタイミングでシーンチェンジが発生し、映像フレームＦ６で、急に映像が複雑になった場合を示している。圧縮部Ａ１０８は、映像フレームＦ６で映像が急に複雑になったことを検知し、映像フレームＦ６を高圧縮部で圧縮するように、圧縮部の切り替えを行う。高圧縮部は最低品質の圧縮パラメータで映像フレームＦ６を圧縮する。そして、圧縮部Ａ１０８は、映像フレームＦ７以降は通常圧縮部で圧縮を行うように、圧縮部の切り換えを行う。通常圧縮部は、制御部１１４からの制御に従って、徐々に圧縮パラメータを上げながら各映像フレームの圧縮を行う。

本実施形態の映像処理装置１０１は、上記のような制御を行なうことにより、シーンチェンジ等の発生によって、映像フレームの圧縮後のデータサイズが目標データサイズを大幅に上回ってしまう事態を回避する。

図２のような状況において、フリーズ指示が入力された場合の映像処理装置１０１の処理について説明する。本実施形態においてリーズ指示とは、表示される映像をフリーズさせるため指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される場合の例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにも本願のアイデアは適用可能である。

ケース１は、フレームメモリ１０２に映像フレームＦ１、Ｆ２、Ｆ３が記憶されているタイミングでフリーズ指示が入力された場合の例を示している。フリーズフレーム決定部１１６は、保持フレーム情報保持部１１５を参照し、映像フレームＦ１〜Ｆ３のそれぞれの情報（圧縮パラメータと圧縮データサイズ）を取得する。映像フレームＦ１〜Ｆ３は、基準パラメータ以上の圧縮パラメータで圧縮されている。そこで、フリーズフレーム決定部１１６は、映像フレームＦ１〜Ｆ３のうち、圧縮データサイズが大きい映像フレームＦ１をフリーズ表示する映像フレームとして決定し、映像フレームＦ１の識別情報と共に、フリーズ表示の指示を制御部１１４へ通知する。制御部１１４は、フリーズフレーム決定部１１６からの通知を受けると、映像出力部１０７が映像フレームＦ１を出力し続けるように制御する。

このように本実施形態のフリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす映像フレームが、複数、フレームメモリ１０２に記憶されている場合、圧縮後のデータサイズが最も大きい映像フレームをフリーズ表示させる映像フレームに決定する。これは、圧縮後のデータサイズが大きいほど、情報量が多い映像フレームである可能性が高いという理由による。ただし、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす複数の映像フレームのうち、表示順序が先の映像フレームをフリーズ表示する映像フレームとして決定することも可能である。このようにすれば、フリーズ指示が入力されたタイミングにより近い映像フレームをフリーズ表示できるようになる。

ケース２は、フレームメモリ１０２に映像フレームＦ３、Ｆ４、Ｆ５が記憶されているタイミングでフリーズ指示が入力された場合の例を示している。フリーズフレーム決定部１１６は、保持フレーム情報保持部１１５を参照し、映像フレームＦ３〜Ｆ５のそれぞれの情報（圧縮パラメータと圧縮データサイズ）を取得する。映像フレームＦ３〜Ｆ５は、共に、基準パラメータ以上の圧縮パラメータで圧縮されている。そこで、フリーズフレーム決定部１１６は、映像フレームＦ３〜Ｆ５のうち、圧縮データサイズが最も大きい映像フレームＦ５をフリーズ表示する映像フレームとして決定し、映像フレームＦ５の識別情報と共に、フリーズ表示の指示を制御部１１４へ通知する。制御部１１４は、フリーズフレーム決定部１１６からの通知を受けると、映像出力部１０７が映像フレームＦ５を出力し続けるように制御する。

ケース３は、フレームメモリ１０２に映像フレームＦ５、Ｆ６、Ｆ７が記憶されているタイミングでフリーズ指示が入力された場合の例を示している。フリーズフレーム決定部１１６は、保持フレーム情報保持部１１５を参照し、映像フレームＦ５〜Ｆ７のそれぞれの情報（圧縮パラメータと圧縮データサイズ）を取得する。映像フレームＦ５〜Ｆ７のうち、映像フレームＦ５のみ、基準パラメータ以上の圧縮パラメータで圧縮されている。そこで、フリーズフレーム決定部１１６は、映像フレームＦ５をフリーズ表示する映像フレームとして決定し、映像フレームＦ５の識別情報と共に、フリーズ表示の指示を制御部１１４へ通知する。制御部１１４は、フリーズフレーム決定部１１６からの通知を受けると、映像出力部１０７が映像フレームＦ５を出力し続けるように制御する。

ケース４は、フレームメモリ１０２に映像フレームＦ６、Ｆ７、Ｆ８が記憶されているタイミングでフリーズ指示が入力された場合の例を示している。フリーズフレーム決定部１１６は、保持フレーム情報保持部１１５を参照し、映像フレームＦ６〜Ｆ８のそれぞれの情報（圧縮パラメータと圧縮データサイズ）を取得する。映像フレームＦ６〜Ｆ８は、いずれも基準パラメータ未満の圧縮パラメータで圧縮されている。そこで、フリーズフレーム決定部１１６は、映像フレームＦ６〜Ｆ８のうち、最も圧縮品質が良い映像フレームＦ８をフリーズ表示する映像フレームの候補として特定し、制御部１１４に通知する。制御部１１４は、映像フレームＦ８のデータをフレームメモリ１０２から消去しないように制御する。

フリーズフレーム決定部１１６は、フリーズ表示する映像フレームの候補を特定したあと、履歴情報保持部１１７を参照し、映像フレームＦ６よりも表示順序が先の３つの映像フレームＦ３〜Ｆ５の情報（圧縮パラメータと圧縮データサイズ）を取得する。そして、フリーズフレーム決定部１１６は、映像フレームＦ３〜Ｆ８の圧縮パラメータの情報を基に、今後一定期間内に、圧縮品質が良い映像フレーム（圧縮パラメータが基準パラメータ以上の映像フレーム）が得られそうか否かを判定する。

映像フレームＦ３〜Ｆ８の圧縮パラメータの推移をみると、映像フレームＦ６でシーンチェンジなどが起こり、圧縮品質が一気に悪くなり、その後、映像フレームＦ７、Ｆ８と圧縮品質が良くなっていることがわかる。すなわち、シーンチェンジが発生する前の映像フレームＦ３〜Ｆ５はいずれも圧縮パラメータが基準パラメータ以上であり、且つ、映像フレームＦ８の圧縮パラメータのほうが、映像フレームＦ７の圧縮パラメータよりも高い状態である。このような場合、フリーズフレーム決定部１１６は、今後一定期間内に、圧縮品質の良い映像フレームが得られそうだと判定する。

フリーズフレーム決定部１１６は、今後一定期間内に、圧縮品質の良い映像フレームが得られそうだと判定すると、フリーズ表示させる映像フレームの候補の識別情報を制御部１１４へ通知するが、フリーズ表示の指示は通知しない。したがって、フリーズ指示の入力後も、動画の表示は継続される。そして、基準パラメータ以上の圧縮パラメータで圧縮された映像フレームＦ９がフレームメモリ１０２に記憶されたタイミングで、フリーズフレーム決定部１１６は、映像フレームＦ９をフリーズ表示させる映像フレームとして決定する。フリーズフレーム決定部１１６は、映像フレームＦ９を識別するための識別情報と、フリーズ表示の指示を制御部１１４に通知する。

このように、本実施形態のフリーズフレーム決定部１１６は、フリーズ指示が入力されたタイミングでフレームメモリ１０２に記憶されている映像フレームの圧縮パラメータが基準パラメータを下回っていると判定した場合、以下のように動作する。すなわち、フリーズフレーム決定部１１６は、今後一定期間内に、圧縮品質が良い（基準パラメータ以上の圧縮パラメータで圧縮された映像フレーム）が得られそうか否かを判定する。そして、フリーズフレーム決定部１１６は、今後一定期間内に、圧縮品質が良い映像フレームが得られそうだと判定した場合、動画の表示を継続させ、圧縮品質が良い映像フレームが入力されると、その映像フレームをフリーズ表示する映像フレームとして決定する。

なお、本実施形態では、６つの映像フレームＦ３〜Ｆ８の圧縮パラメータの値を参照して、今後一定期間内に圧縮品質の良い映像フレームが得られそうか否かを判定しているが、この例に限らない。例えば、フリーズフレーム決定部１１６は、映像フレームＦ３〜Ｆ５の値を参照せず、映像フレームＦ６〜Ｆ８の圧縮パラメータを参照して、今後一定期間内に圧縮品質の良い映像フレームが得られそうか否かを判定することも可能である。このようにすれば、履歴情報保持部１１７が不要になる。また、上記の判定は、圧縮データサイズを用いて行うようにしてもよい。

また、本実施形態では、フリーズ表示する映像フレームの候補を特定してから、今後一定期間内に、圧縮品質の良い映像フレームが得られそうか否かを判定しているが、この特定と判定の順序は逆でもよい。

次に本実施形態の映像処理装置１０１の動作について、図３のフローチャートを用いて説明する。図３で示す処理は、映像処理装置１０１のＣＰＵが、プログラムを実行することにより実現される。なお、映像処理装置１０１は、例えば、大型テレビやラップトップＰＣやタブレットＰＣやスマートフォンであってもよい。また、映像処理装置１０１は、例えば、プロジェクターなどの投影型の映像処理装置であってもよい。映像処理装置１０１をプロジェクターで実現する場合、映像処理装置１０１は、表示パネル１０３の代わりに、例えばスクリーンに対して映像データの出力を行う。

なお、図３の処理は、映像処理装置１０１が動画を出力中に、フリーズ指示を受信すると開始される。動画を表示中の映像処理装置１０１は、映像入力部１０４で受信する映像データのフレームレートで、映像出力部１０７から映像を出力している。また、動画を表示中の映像処理装置１０１は、映像入力部１０４で入力された映像データに対して圧縮パラメータに基づく圧縮をして映像フレームとしてフレームメモリ１０２に記憶させる（記憶制御手順）。さらに、動画を表示中の映像処理装置１０１は、フレームメモリ１０２から読みだした映像フレームを伸長して各種映像処理を行う。映像処理は、ノイズリダクション、フレームレート変換、高画質化処理などがあるが、これらに限定されない。なお、フレームレート変換が行われる場合、映像処理装置１０１に入力される映像データのフレームレートと、映像処理装置１０１から出力される映像データのフレームレートは異なることになる。圧縮や伸長は、制御部１１４による制御に基づき、圧縮部Ａ〜Ｃ、及び、伸長部Ａ〜Ｃにより実行される。また、映像処理は、制御部１１４による制御に基づき、映像処理部Ａと映像処理部Ｂにより実行される。

Ｓ３０１において、フリーズフレーム決定部１１６は、フリーズ指示を入力する。本実施形態においてフリーズ指示は、動画として表示されている映像をストップさせるための指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。フリーズ指示の入力を終えると、Ｓ３０２に進む。

Ｓ３０２において、フリーズフレーム決定部１１６は、保持フレーム情報保持部１１５から映像フレームの情報（圧縮パラメータと圧縮データサイズ）を取得する。すなわち、フリーズフレーム決定部１１６は、Ｓ３０２において、フレームメモリ１０２に記憶されている３つの映像フレームのそれぞれの情報を取得する。フリーズフレーム決定部１１６が映像フレームの情報を取得するとＳ３０３に進む。

Ｓ３０３において、フリーズフレーム決定部１１６は、Ｓ３０２で取得された情報を参照し、所定の基準を満たす圧縮品質の映像フレームがフレームメモリ１０２に記憶されているか否かを判定する。より具体的には、フリーズフレーム決定部１１６は、基準パラメータ以上の圧縮パラメータで圧縮された映像フレームがフレームメモリ１０２に記憶されているか否かを判定する。所定の基準を満たす圧縮品質の映像フレームがフレームメモリ１０２に記憶されていると判定された場合、Ｓ３０４に進み、基準を満たす圧縮品質の映像フレームがフレームメモリ１０２に記憶されていないと判定された場合、Ｓ３０９に進む。

Ｓ３０４において、フリーズフレーム決定部１１６は、基準を満たす圧縮品質の映像フレームがフレームメモリ１０２に複数、記憶されているか否かを判定する。複数、記憶されていると判定された場合は、Ｓ３０６に進み、複数、記憶されていないと判定された場合、Ｓ３０５へ進む。

Ｓ３０６（決定手順）において、フリーズフレーム決定部１１６は、基準を満たす圧縮品質の映像フレームの中から、フリーズ表示する映像フレームを決定する。

より具体的には、フリーズフレーム決定部１１６は、基準を満たす圧縮品質の映像フレームのうち、より圧縮品質がよい映像フレーム（より高い圧縮パラメータで圧縮された映像フレーム）をフリーズ表示する映像フレームとして決定する。すなわち、フリーズフレーム決定部１１６は、フリーズ指示の入力に応じてフリーズ表示させる映像フレームを、フレームメモリ１０２に記憶されている複数の映像フレームの圧縮パラメータのそれぞれに基づいて決定する。

また、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす第１及び第２の映像フレームがフレームメモリ１０２に記憶されている場合、第１の映像フレームをフリーズ表示させる映像フレームとして決定する。第１の映像フレームは、第２の映像フレームよりも圧縮品質が良い（圧縮率が低い）圧縮パラメータに対応する映像フレームである。このようにすれば、より高画質の映像フレームをフリーズ表示できる可能性が向上する。

ただし、Ｓ３０６における映像フレームの決定方法は上記の方法に限らない。例えば、基準を満たす圧縮品質の複数の映像フレームのうち、より表示順序が先の映像フレームをフリーズ表示する映像フレームとして決定する方法が考えられる。すなわち、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす第１及び第２の映像フレームがフレームメモリ１０２に記憶されている場合、表示順序が先の第１の映像フレームをフリーズ表示する映像フレームとして決定する。このようにすれば、フリーズ指示を入力したタイミングにより合致した映像フレームをフリーズ表示できる。

また、Ｓ３０６における映像フレームの決定方法の別の方法として、圧縮データサイズ（映像フレームの圧縮後のデータサイズ）に基づいて決定する方法がある。すなわち、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームとがフレームメモリ１０２に記憶されている場合、圧縮後のデータサイズがより大きい第１の映像フレームをフリーズ表示させる映像フレームとして決定する。このようにすれば、より情報量の多い映像フレームをフリーズ表示できる可能性が向上する。

Ｓ３０５では、所定の基準を満たす映像フレームが１つしかないため、フリーズフレーム決定部１１６は、その映像フレームをフリーズ表示する映像フレームとして決定する。フリーズフレーム決定部１１６がＳ３０５もしくはＳ３０６で映像フレームを決定すると、Ｓ３０７に進む。

Ｓ３０７において、フリーズフレーム決定部１１６は、フリーズフレームとして決定した映像フレームを識別するための識別情報とフリーズ表示の指示を制御部１１４へ通知する。そして、Ｓ３０８（出力手順）において、制御部１１４は、フリーズフレーム決定部１１６から取得した識別情報に対応する映像フレームが、フリーズ解除指示の入力まで、出力され続けるように、映像出力部１０７を制御する。

Ｓ３０９において、フリーズフレーム決定部１１６は、フレームメモリ１０２に記憶されている映像フレームの中で最も圧縮品質が良い映像フレームをフリーズ表示する映像フレームの候補として特定する。そして、フリーズフレーム決定部１１６は、特定した映像フレームを制御部１１４に通知する（Ｓ３１０）。制御部１１４は、フリーズフレーム決定部１１６から通知された識別情報に対応する映像フレームがフレームメモリ１０２から削除されないように制御する。

Ｓ３１１において、フリーズフレーム決定部１１６は、履歴情報保持部１１７に保持されている過去の映像フレームの情報（圧縮パラメータと圧縮データサイズ）を取得する。本実施形態では、フレームメモリ１０２に記憶されている映像フレームの前に表示された３つの映像フレームの情報が取得される。

Ｓ３１２において、フリーズフレーム決定部１１６は、履歴情報保持部１１７から取得した情報を用いて、今後一定期間内に、圧縮品質が良い映像フレームが得られそうか否かを判定する。フリーズフレーム決定部１１６は、過去の３つの映像フレームの圧縮パラメータが基準パラメータ以上であり、且つ、フレームメモリ１０２内の表示順序が先の映像フレームのほうが、表示順序が後の映像フレームよりも圧縮パラメータが低い場合、以下の判定をする。すなわち、フリーズフレーム決定部１１６は、このような場合、今後一定期間内に、圧縮品質が良い映像フレームが得られそうと判定する。

一方、過去の３つの映像フレームのうちいずれかの映像フレームの圧縮パラメータが基準パラメータ未満である場合、フリーズフレーム決定部１１６は、今後一定期間内に圧縮品質が良い映像フレームが得られそうではないと判定する。また、フレームメモリ１０２内の映像フレームのうち表示順序が先の映像フレームのほうが、後の映像フレームよりも圧縮パラメータが高い場合、フリーズフレーム決定部１１６は、今後一定期間内に圧縮品質が良い映像フレームが得られそうではないと判定する。

すなわち、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす映像フレームがフレームメモリ１０２に記憶されていないと判定すると、Ｓ３１２において、以下の判定を行う。すなわち、フリーズフレーム決定部１１６は、フリーズ指示の入力時にフレームメモリ１０２に記憶されている第１及び第２の映像フレームのうち、表示順序が先の第１の映像フレームが、第２の映像フレームよりも圧縮率が高い圧縮パラメータに対応しているか否かを判定する。

そして、フリーズフレーム決定部１１６は、第１の映像フレームが、第２の映像フレームよりも圧縮率が高い圧縮パラメータに対応すると判定された場合、フリーズ指示の入力後に記憶された第３の映像フレームをフリーズ表示する映像フレームとして決定する。

一方、フリーズフレーム決定部１１６は、第１の映像フレームが、第２の映像フレームよりも圧縮率が低い圧縮パラメータに対応すると判定された場合、フリーズ指示の入力時に第１の映像フレームをフリーズ表示する映像フレームとして決定する。

今後一定期間内に、圧縮品質が良い映像フレームが得られそうと判定された場合、図３１４に進み、得られそうではないと判定された場合、Ｓ３１３に進む。

Ｓ３１４において、フリーズフレーム決定部１１６は、一定期間分の映像フレームの圧縮が完了したか否かを判定する。本実施形態においては、２つの映像フレームが一定期間分の映像フレームである。ただし、一定期間の長さは、この例に限らない。一定期間分の映像フレームの圧縮が完了したと判定された場合、Ｓ３１３に進み、完了していないと判定された場合、Ｓ３１５に進む。

Ｓ３１５において、フリーズフレーム決定部１１６は、次の映像フレームの圧縮の完了を待つ。次の映像フレームの圧縮が完了すると、フリーズフレーム決定部１１６は、Ｓ３１６において、その映像フレームの圧縮パラメータが基準パラメータ以上であるか否かを判定する。フリーズフレーム決定部１１６は、圧縮パラメータが基準パラメータ以上であると判定した場合、その映像フレームをフリーズ表示する映像フレームとして決定する（Ｓ３１７）。

すなわち、フリーズフレーム決定部１１６は、圧縮パラメータが所定の基準を満たす映像フレームがフレームメモリ１０２に記憶されていない場合、Ｓ３１７において、以下の映像フレームをフリーズ表示する映像フレームとして決定する。すなわち、フリーズフレーム決定部１１６は、フリーズ指示の入力後に記憶された映像フレームであって、圧縮パラメータが所定の基準を満たす映像フレームをフリーズ表示する映像フレームとして決定する。

一方、Ｓ３１６において、圧縮パラメータが基準パラメータ未満であると判定された場合、Ｓ３１４に戻る。一定期間内に圧縮パラメータが基準パラメータ以上の映像フレームが現れなかった場合、フリーズフレーム決定部１１６は、フリーズ表示する映像フレームの候補としてＳ３０９で特定した映像フレームを、フリーズ表示する映像フレームとして決定する。

以上説明したように、本実施形態の映像処理装置１０１は、動画の表示のために映像フレームを出力中にフリーズ指示を受信すると、フリーズ表示する映像フレームを圧縮パラメータに基づいて決定する。より具体的には、映像処理装置１０１のフリーズフレーム決定部１１６は、フリーズ指示を受けた時点でフレームメモリ１０２に記憶されており、基準パラメータ以上の圧縮パラメータで圧縮された映像フレームをフリーズ表示する映像フレームとして決定する。

なお、上記の説明では、映像処理装置１０１がフリーズ指示を受けた時点で基準パラメータ以上の圧縮パラメータの映像フレームが記憶されていない場合、今後一定期間内に、所定の圧縮品質の映像フレームが得られそうか否かを判定するが、この例に限らない。すなわち、フリーズフレーム決定部１１６は、フリーズ指示を受けた時点でフレームメモリ１０２に記憶されている映像フレームのうち、より圧縮品質が良い映像フレームをフリーズ表示する映像フレームとして決定することが可能である。

このようにしても、フリーズ指示のタイミングのみに基づいて、フリーズ表示する映像フレームを決定する場合よりも、フリーズフレームの品質を向上できる。また、このような構成によれば、今後一定期間内に圧縮品質が良い映像フレームが得られそうか否かの判定などをしないでよいため、処理の負荷を低減できる。

また、本実施形態では、フリーズ指示が入力されてから、フリーズフレームを決定する例を中心に説明したが、この形態に限らない。すなわち、制御部１１４は、フレームメモリ１０２に記憶されている各映像フレームの圧縮モードに基づいて、フリーズ指示の入力前にフリーズフレームを決定することも可能である。

また、映像処理装置１０１は、フリーズ指示の入力時にフレームメモリ１０２に記憶されている映像フレームのうち、非フリーズフレームをフリーズ解除までフレームメモリ１０２内に記憶しておくようにすることも可能である。そして、制御部１１４は、例えばフリーズ表示中に、フリーズフレームよりも１つ前に入力された映像フレームを表示させることができる。すなわち、ユーザが所望する映像フレームがフリーズフレームとして決定されなかった場合において、ユーザがフリーズフレームを変更できるようになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 複数の映像フレームを入力する入力手段と、
   前記入力手段により入力された映像フレームを圧縮パラメータに基づいて圧縮する圧縮手段と、
   前記圧縮手段により圧縮がなされた映像フレームをメモリへ記憶させる記憶制御手段と、
   前記メモリに記憶された前記圧縮がなされた映像フレームに基づく映像を表示させる表示制御手段と、
   前記表示制御手段による表示映像に関する所定指示の入力に応じて他の映像よりも長い時間表示させる映像に対応する映像フレームを、前記メモリに記憶された複数の映像フレームの圧縮パラメータに基づいて前記複数の映像フレームから決定する決定手段であって、前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている第１の映像フレームと第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が高い圧縮パラメータに対応する場合、前記所定指示の入力後に前記メモリに記憶された第３の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定し、
   前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが前記所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている前記第１の映像フレームと前記第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が低い圧縮パラメータに対応する場合、前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定する決定手段とを有することを特徴とする映像処理装置。
2. 前記所定指示は、映像表示を一時停止するための一時停止指示であり、前記長い時間表示させる映像は、前記一時停止中に表示させる映像であることを特徴とする請求項１に記載の映像処理装置。
3. 前記所定指示は、表示映像をキャプチャするためのキャプチャ指示であり、前記長い時間表示させる映像は、前記キャプチャ中に表示されるキャプチャ対象映像であることを特徴とする請求項１に記載の映像処理装置。
4. 前記決定手段は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームが前記メモリに記憶されている場合、前記第１の映像フレームと第２の映像フレームとのうち、より圧縮率が低い圧縮パラメータに対応する前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
5. 前記決定手段は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームが前記メモリに記憶されている場合、表示順序が先の前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
6. 前記決定手段は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームとが前記メモリに記憶されている場合、前記圧縮後のデータサイズがより大きい前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
7. 前記所定指示の入力に応じたタイミングにおいて前記メモリに記憶されている表示順序が連続する第１の映像フレームと第２の映像フレームのうち、表示順序が先の前記第１の映像フレームと表示順序が後の前記第２の映像フレームとの差分が第１の差分の場合、前記第１の差分よりも小さい第２の差分の場合よりも、前記第２の映像フレームの圧縮率が高くなるように、前記映像フレームの圧縮パラメータを制御する圧縮制御手段を有することを特徴とする請求項１乃至６のうち、何れか１項に記載の映像処理装置。
8. 映像処理装置が行う制御方法であって、
   入力された映像フレームを圧縮パラメータに基づいて圧縮する圧縮工程と、
   前記圧縮工程において圧縮がなされた映像フレームをメモリへ記憶させる記憶制御工程と、
   表示映像に関する所定指示の入力に応じて他の映像よりも長い時間表示させる映像に対応する映像フレームを、前記メモリに記憶された複数の映像フレームの圧縮パラメータに基づいて前記複数の映像フレームから決定する決定工程であって、前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている第１の映像フレームと第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が高い圧縮パラメータに対応する場合、前記所定指示の入力後に前記メモリに記憶された第３の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定し、
   前記所定指示の入力に応じたタイミングにおいて、前記圧縮パラメータが前記所定の基準を満たす映像フレームが前記メモリに記憶されておらず、且つ、前記メモリに記憶されている前記第１の映像フレームと前記第２の映像フレームとのうち、表示順序が先の前記第１の映像フレームが、表示順序が後の前記第２の映像フレームよりも圧縮率が低い圧縮パラメータに対応する場合、前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定する決定工程と、
   前記決定工程にて決定された映像フレームに基づく映像を、前記所定指示の入力に応じて表示させる表示制御工程とを有することを特徴とする制御方法。
9. 前記決定工程は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームが前記所定指示の入力に応じたタイミングにおいて前記メモリに記憶されている場合、前記第１の映像フレームと第２の映像フレームとのうち、より圧縮率が低い圧縮パラメータに対応する前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項８に記載の制御方法。
10. 前記決定工程は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームが前記所定指示の入力に応じたタイミングにおいて前記メモリに記憶されている場合、表示順序が先の前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項８に記載の制御方法。
11. 前記決定工程は、前記圧縮パラメータが所定の基準を満たす第１の映像フレームと第２の映像フレームとが前記所定指示の入力に応じたタイミングにおいて前記メモリに記憶されている場合、前記圧縮後のデータサイズがより大きい前記第１の映像フレームを前記長い時間表示させる映像に対応する映像フレームとして決定することを特徴とする請求項８に記載の制御方法。
12. コンピュータを請求項１乃至７のうちいずれか１項に記載の映像処理装置の各手段として動作させるためのプログラム。

Images