WO2014155729A1

WO2014155729A1 - 動画像処理システム、動画像処理方法及びプログラム

Info

Publication number: WO2014155729A1
Application number: PCT/JP2013/059731
Authority: WO
Inventors: アレックスヨンサンチア
Original assignee: 楽天株式会社
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2014-10-02
Also published as: US20160057381A1; JP5374671B1; JPWO2014155729A1; US9467644B2

Abstract

　表示データに基づいて原動画像を得ることを困難にする。　動画像処理システムは、動画像データを取得する動画像データ取得部（１１）と、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定するフレーム画像セット特定部と、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する変更フレーム画像生成部（１５）であって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応する、変更フレーム画像生成部（１５）と、前記動画像データを再生する際、前記画像セットに含まれる前記複数のフレーム画像の代わりに、変更フレーム画像生成部（１５）により生成される前記複数の変更フレーム画像を順次表示させる表示制御部（１６）と、を含む。

Description

動画像処理システム、動画像処理方法及びプログラム

　本発明は動画像処理システム、動画像処理方法及びプログラムに関する。

　情報処理装置の画面に表示された画像は、スクリーンショットにより複製することができる。すなわち表示用メモリに格納された表示データを保存することにより、画面に表示された画像のデータを得ることができる。

　こうした不正を抑制するため、下記特許文献１には、元画像の画素毎にランダムにＳを選択し、各画素値に対してＳを加算した第１の変更画像と、Ｓを減算した第２の変更画像とを生成し、これら２つの変更画像を高速に切り替えて表示する技術が開示されている。この技術によれば、人には元画像が表示されているように認識されるものの、スクリーンショットにより得られるのは第１又は第２の変更画像となり、不正に元画像のデータを取得することを抑制できる。

特開２００２－７２９９４号公報

　しかし、上記特許文献１に記載の技術は、静止画像を対象としており、動画像には適用することができなかった。

　本発明は上記課題に鑑みてなされたものであって、その目的は、表示データに基づいて原動画像を得ることが困難な動画像処理システム、動画像処理方法及びプログラムを提供することにある。

　上記課題を解決するために、本発明に係る動画像処理システムは、動画像データを取得する取得手段と、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段と、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成手段であって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段と、を含む。

　また、本発明に係る動画像処理システムは、動画像データを取得する取得手段と、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段と、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段と、を含む。

　ここで、前記特定手段は、前記動画像データが示す前記複数のフレーム画像の変化に基づいて、前記画像セットを特定してよい。また、前記特定手段は、前記動画像データが示す前記フレーム画像の内容に基づいて、前記画像セットを特定してよい。

　また、動画像処理システムは、前記複数の変更フレーム画像を順次表示している間に前記動画像データの再生を一時停止する場合、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づく一時停止用キーフレーム画像を変更してなる複数の一時停止用変更フレーム画像を順次表示することを繰り返す一時停止手段であって、前記複数の一時停止用変更フレーム画像の対応画素の画素値の平均は、前記一時停止用キーフレーム画像の対応画素の画素値に対応する、一時停止手段をさらに含んでよい。

　ここで、前記一時停止用変更フレーム画像は、前記生成手段により生成される前記変更フレーム画像であってよい。

　また、本発明に係る動画像処理方法は、動画像データを取得する取得ステップと、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定ステップと、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成ステップであって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成ステップと、を含む。

　また、本発明に係る動画像処理方法は、動画像データを取得する取得ステップと、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定ステップと、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成ステップと、を含む。

　また、本発明に係るプログラムは、動画像データを取得する取得手段、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段、及び前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成手段であって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段としてコンピュータを機能させるためのプログラムである。また、本発明に係るプログラムは、動画像データを取得する取得手段、前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段、及び前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段としてコンピュータを機能させるためのプログラムである。これらのプログラムは、ＣＤ-ＲＯＭやＤＶＤ－ＲＯＭ等のコンピュータ可読情報記憶媒体に格納されてよい。

本発明の実施形態に係る動画像表示装置を示す図である。動画像表示装置のハードウェア構成図である。動画像の変換を説明する図である。キーフレーム画像を例示する図である。中間ノイズ画像を例示する図である。ノイズ画像を例示する図である。変更フレーム画像を例示する図である。動画像表示装置の機能ブロック図である。フレーム画像セットの特定処理を示すフロー図である。中間ノイズ画像の生成処理を示すフロー図である。ノイズ画像の生成処理を示すフロー図である。

　以下、本発明の実施形態について図面に基づき詳細に説明する。

　図１は、本発明の実施形態に係る動画像表示装置を示す図である。動画像表示装置１０は、パーソナルコンピュータ、スマートフォン、タブレットなどの各種形態のコンピュータであり、図２に示すように、ＣＰＵ１０ａ、メインメモリ１０ｂ、通信インタフェース１０ｃ、表示部１０ｄ、入力部１０ｅ、記憶部１０ｆがバスに接続されたハードウェア構成を有している。動画像表示装置１０は本発明に係る動画像処理システムの一形態である。ＣＰＵ１０ａは装置の各部を制御したり、各種の情報処理を実行したりする。メインメモリ１０ｂは揮発性の記憶手段であり、ＣＰＵ１０ａの作業に用いられる。通信インタフェース１０ｃは無線ＬＡＮや無線電話回線等の通信回線により、インターネット等のデータ通信ネットワーク３０にアクセスする。表示部１０ｄは、液晶や有機ＥＬなどの表示手段である。表示部１０ｄは表示用メモリを備えており、ＣＰＵ１０ａが同表示用メモリに表示データ（ラスタ形式）を格納すると、この表示データに示される画像が表示部１０ｄにより表示される。入力部１０ｅは、例えば動画像表示装置１０に備えられた各種の機械的なキーや、表示部１０ｄの表示面に取り付けられたタッチパネルである。入力部１０ｅにより入力されるデータはＣＰＵ１０ａにより利用される。記憶部１０ｆは、不揮発性の記憶手段であり、ＯＳ（Operating System）や動画像表示プログラムを記憶する。動画像表示プログラムはデータ通信ネットワーク３０からダウンロードしてもよいし、ＣＤ-ＲＯＭその他のコンピュータ可読情報記憶媒体から読み出してもよい。音声出力部１０ｄは、スピーカを備えており、音声データを再生する。

　本実施形態では、図１に示すように、動画像表示装置１０はデータ通信ネットワーク３０に接続されており、このデータ通信ネットワーク３０には動画像送信装置２０も接続されている。動画像送信装置２０は、動画像表示装置１０と同様のハードウェア構成を有するコンピュータであり、動画像表示装置１０に動画像データを送信する。一例として、動画像表示装置１０及び動画像送信装置２０は、いずれもビデオチャットのプログラムを実行するコンピュータであり、いずれもビデオチャット装置として構成される。すなわち、動画像送信装置２０はそのユーザの動画像をカメラにより撮影し、ユーザを示すストリーム形式の動画像データを生成する。そして、その動画像データを動画像表示装置１０にストリーム送信する。動画像表示装置１０は、動画像データを受信し、それを表示部１０ｄにより表示する。動画像送信装置２０は、ユーザの音声を録音するためのマイクを備えてよく、音声付き動画像データを動画像表示装置１０に送信してよい。また、動画像表示装置１０は、音声付き動画像データが示す動画像を表示部１０ｄにより表示する際に、該音声付き動画像データが示す音声を音声出力部１０ｄから同期して出力してよい。なお、動画送信装置２０は動画像表示装置１０の機能を備えてよいし、動画像表示装置１０は動画像送信装置２０の機能を備えてよい。これにより、双方向のビデオチャットを実現できる。ビデオチャット装置に本発明を適用すると、話し相手に自分の画像を複製されることを防止でき、極めて有意義である。

　なお、動画像送信装置２０から送信するのは、ビデオチャットのための音声付動画像データに限らず、例えば各種の講義を収録した音声付き動画像データなど、他の内容の音声付動画像データであってよい。或いは、音声を伴わない動画像データであってよい。さらに、動画像データはストリーム形式に限らず、ダウンロード可能な形式であってもよい。また、動画像送信装置２０は暗号化された形式の動画像データを送信してよい。

　ところで、動画像表示装置１０ではＯＳが実行されており、このＯＳはスクリーンショットの機能を提供している。スクリーンショット機能によれば、入力部１０ｅによりユーザが特定操作を行うと、表示部１０ｄに内蔵される表示用メモリに記憶されている表示データを記憶部１０ｆに移動させる。これにより、記憶部１０ｆに記憶された表示データを後で表示部１０ｄにより再表示することができる。動画像送信装置２０から送信される各種の動画像データについても、それを表示部１０ｄにより表示させると、表示用メモリに動画像を構成するフレーム画像の表示データが記憶されることになる。そして、ＯＳの提供するスクリーンショット機能を利用することで、その表示データを記憶部１０ｆに移動させることができ、後に他の動画像表示装置に送信することもできてしまう。

　そこで、本実施形態に係る動画像表示プログラムは、こうした不正を防止するために、表示部１０ｄの表示用メモリに、元の動画像のキーフレーム画像にノイズを付加してなる表示データ（変更フレーム画像）を格納するようにしている。このため、ＯＳの提供するスクリーンショット機能を利用しても、変更フレーム画像しか記憶部１０ｆに移動させることができない。なお、変更フレーム画像は複数種類用意され、その平均値はキーフレーム画像と一致する。このため、それら複数種類の変更フレーム画像を短い時間間隔で切り替えながら順次表示することにより、ユーザには、あたかも表示部１０ｄに元のノイズの無いキーフレーム画像が表示されているかのように認識されることになる。

　図３は、動画像表示プログラムによる動画像の変換を示す図である。同図（ａ）は、動画像送信装置２０から送信された動画像データが示す一連のフレーム画像を示しており、同図（ｂ）は動画像表示プログラムにより生成された一連の変更フレーム画像を示している。同図（ａ）に示すように、動画像送信装置２０から送信された動画像データは、所定の時間間隔で順次表示される多数のフレーム画像Ｖ１、Ｖ２、Ｖ３、Ｖ４…を示している。動画像表示プログラムは、このうち目立つ変化のあったフレーム画像Ｖ_ｊをキーフレーム画像Ｋとして選出している。ここでは、フレーム画像Ｖ_１、Ｖ_５、Ｖ_７がキーフレーム画像Ｋとして選出されている。そして、キーフレーム画像Ｋから次のキーフレーム画像Ｋの直前のフレーム画像までの連続する複数のフレーム画像を、フレーム画像セットとして特定する。例えば、同図（ａ）の例では、フレーム画像Ｖ_１～Ｖ_４をフレーム画像セット１とし、先頭のフレーム画像Ｖ_１をキーフレーム画像Ｋとしている。１つのフレーム画像セットに属するフレーム画像は、変化が目立たず、ユーザからは類似の画像として認識されるものである。

　同図（ｂ）に示すように、動画像表示プログラムでは、各キーフレーム画像Ｋを、該キーフレーム画像Ｋが属するフレーム画像セットのフレーム画像数Ｒと同数の変更フレーム画像に変換する。例えば、フレーム画像セット１のフレーム画像数Ｒは４であり、フレーム画像Ｖ_１～Ｖ_４を含むフレーム画像セット１は、同数の変更フレーム画像Ｃ_１ ^（１）～Ｃ_４ ^（１）を含む変更フレーム画像セット１に変換される。これら４つの変更フレーム画像Ｃ_１ ^（１）～Ｃ_４ ^（１）は、いずれもキーフレーム画像Ｋであるフレーム画像Ｖ_１に基づいて生成される。同様に、フレーム画像セット２のフレーム画像数Ｒは２であり、フレーム画像Ｖ_５～Ｖ_６を含むフレーム画像セット２は、同数の変更フレーム画像Ｃ_１ ^（２）～Ｃ_２ ^（２）を含む変更フレーム画像セット２に変換される。これら２つの変更フレーム画像Ｃ_１ ^（２）～Ｃ_２ ^（２）は、いずれもキーフレーム画像Ｋであるフレーム画像Ｖ_５に基づいて生成される。各フレーム画像セットは、該フレーム画像セットに含まれるフレーム画像と同数の変更フレーム画像を含む変更フレーム画像セットに変換されるので、動画像の長さが変わることはない。上述のように、１つのフレーム画像セットに属するフレーム画像は、変化が目立たず、ユーザからは類似の画像として認識されるものである。一方、対応する変更フレーム画像セットに属する変更フレーム画像は、ユーザにはキーフレーム画像が同じ長さだけ表示されているものと認識される。これらの認識は互いに類似しているから、ユーザに違和感を与えることがない。

　ここで、キーフレーム画像Ｋから所与の数の変更フレーム画像Ｃ_ｊを生成する方法について詳細に説明する。

　図４は、キーフレーム画像Ｋを例示している。キーフレーム画像Ｋはここでは２５６階調グレースケール画像であり、グレーの背景に人物が表される。なお、同図では、説明のため、人物の代わりにアルファベット大文字及び数字が表されている。

　キーフレーム画像Ｋの位置（ｘ，ｙ）における画素値をＫ（ｘ，ｙ）とすると、その値は０以上２５５以下となる。そして、背景の位置での画素値Ｋ（ｘ，ｙ）は１以上２５５未満、例えば３０程度であってよい。一方、人物の位置での画素値Ｋ（ｘ，ｙ）はそれよりも大きく、例えば１００～２００程度であってよい。

　動画像表示装置１０の動画像表示プログラムは、フレーム画像セットを特定し、キーフレーム画像Ｋ及び該キーフレーム画像Ｋが属するフレーム画像セットのフレーム画像数Ｒを決定する。その後、キーフレーム画像Ｋに基づいて変更フレーム画像セットＳを生成する。ここで、画像セットＳは、Ｒ（Ｒ≧２）種類の変更フレーム画像Ｃｊ（ｊ＝１～Ｒ）を含んでいる。

　具体的には、動画像表示プログラムは、Ｒ種類のノイズ画像Ｎ_ｊ（ｊ＝１～Ｒ）を生成し、それらをキーフレーム画像Ｋに加算することにより、Ｒ種類の変更フレーム画像Ｃ_ｊ（ｊ＝１～Ｒ）を得ている。また、Ｒ種類のノイズ画像Ｎ_ｊを生成するために、まずＲ種類の中間ノイズ画像Ｍ_ｊ（ｊ＝１～Ｒ）を生成し、それらをＲ種類のノイズ画像Ｎ_ｊに変換している。なお、中間ノイズ画像Ｍ_ｊ及びノイズ画像Ｎ_ｊは、後述する条件の下、動画像表示プログラムがランダムに決定する。

　図５乃至図７は、Ｒ＝４における、中間ノイズ画像Ｍ_１～Ｍ_４、ノイズ画像Ｎ_１～Ｎ_４、変更フレーム画像Ｃ_１～Ｃ_４の例をそれぞれ示している。ここで、ノイズ画像Ｎ_ｊ、中間ノイズ画像Ｍ_ｊ、変更フレーム画像Ｃ_ｊ、キーフレーム画像Ｋの縦横サイズ（次元）は等しく、いずれも２５６階調のグレースケール画像である。

　ノイズ画像Ｎ_ｊの位置（ｘ，ｙ）における画素値をＮ_ｊ（ｘ，ｙ）、変更フレーム画像Ｃ_ｊの位置（ｘ，ｙ）における画素値をＣｊ（ｘ，ｙ）とすると、次式（１）が成立する。

　また、Ｒ種類のノイズ画像Ｎ_ｊは全部を短い時間間隔で切り替えながら見ると、人間の視覚機能により何も表示されていないように見える。すなわち、ノイズ画像Ｎ_ｊの任意の位置（ｘ，ｙ）で次式（２）が成立する。

　ここで、Σはｊが１～Ｒまでの和である。また、式（１）及び（２）が成立するので、変更フレーム画像Ｃ_ｊの任意の位置（ｘ，ｙ）における画素値Ｃ_ｊ（ｘ，ｙ）の平均は、キーフレーム画像Ｋの位置（ｘ，ｙ）における画素値Ｋ（ｘ，ｙ）に一致する。なお、こうした人間の視覚機能が有効に働くためにはＲに上限があり、本発明者らの実験によればＲの上限は２～４程度である。

　また、上述のように変更フレーム画像Ｃ_ｊも２５６階調であり、表示部１０ｄで表示可能な画素値で表現される必要があるから、次式（３）を満足する必要がある。

　ここで、αは表示部１０ｄにより表示可能な画素値の下限値であり、βは動画像表示装置１０により表示可能な画素値の上限値である。ここでは、表示部１０ｄは２５６階調グレースケール表示を行うから、下限値αは０であり、上限値βは２５５である。

　動画像表示装置１０の動画像表示プログラムでは、変更フレーム画像セットＳを生成すると、該変更フレーム画像セットＳに含まれる変更フレーム画像Ｃ_１～Ｃ_ｎを順に表示する。

　図８は動画像表示装置１０の機能ブロック図である。同図に示す機能ブロック図は、動画像表示装置１０が有する各種の機能のうち、動画像の表示に関わる機能を示している。上述の動画像表示プログラムをコンピュータである動画像表示装置１０が実行することにより、同図に示される機能が実現される。

　同図に示すように、動画像表示装置１０は動画像データ取得部１１、フレーム画像セット特定部１２、中間ノイズ画像生成部１３、ノイズ画像生成部１４、変更フレーム画像生成部１５、表示制御部１６、表示部１７を含んでいる。動画像データ取得部１１は、例えばメインメモリ１０ｂに確保されたＦＩＦＯ（First In First Ouｔ）式のフレーム画像バッファ１１ａを含む。また、表示制御部１６は、例えばメインメモリ１０ｂに確保されたＦＩＦＯ式の変更フレーム画像バッファ１６ａを含む。

　動画像データ取得部１１は、動画像送信装置２０から送信される動画像データを受信する。そして、該動画像データが示す一連のフレーム画像を取得し、それらを順にフレーム画像バッファ１１ａに格納する。フレーム画像セット特定部１２は、フレーム画像バッファ１１ａに格納されているフレーム画像に基づき、それぞれ連続する類似内容のフレーム画像からなる、複数のフレーム画像セットを特定する。各フレーム画像セットは時間的に隣接しており、フレーム画像バッファ１１ａに格納されている全てのフレーム画像は、いずれかのフレーム画像セットに属することになる。

　そして、各フレーム画像セットの代表画像であるキーフレーム画像Ｋ、及び該フレーム画像セットに含まれるフレーム画像数Ｒを出力する。中間ノイズ画像生成部１３、ノイズ画像生成部１４、変更フレーム画像生成部１５は、変更フレーム画像セットＳを順次生成する。変更フレーム画像セットＳは、フレーム画像セット特定部１２から出力されるキーフレーム画像Ｋを変更してなる、フレーム画像セット特定部１２から出力されるフレーム画像数Ｒの変更フレーム画像Ｃ_ｊを含んでいる。

　すなわち、中間ノイズ画像生成部１３は、キーフレーム画像Ｋに基づいて、フレーム画像数Ｒの中間ノイズ画像Ｍ_ｊを生成する。また、ノイズ画像生成部１４は中間ノイズ画像Ｍ_ｊに基づいてノイズ画像Ｎ_ｊを生成する。また、変更フレーム画像生成部１５は、式（１）に示すように、キーフレーム画像Ｋに対して、ノイズ画像生成部１４で生成されるノイズ画像Ｎ_ｊを加算することにより、フレーム画像数Ｒの変更フレーム画像Ｃ_ｊを生成する。各フレーム画像セットＳに係る変更フレーム画像Ｃ_ｊは、変更フレーム画像バッファ１６ａに表示順に格納される。また、表示制御部２２は、変更フレーム画像バッファ１６ａに格納される、各変更フレーム画像セットＳの変更フレーム画像Ｃ_ｊを順次表示する。さらに、入力部１０ｅを用いて再生の一時停止操作が行われると、その時点で再生中の変更フレーム画像セットＳを繰り返して表示する。こうすれば、元のフレーム画像が表示用メモリに格納されず、一時停止中も不正を防止できる。

　ここで、フレーム画像セット特定部１２の処理を詳細に説明する。図９は、フレーム画像セット特定部１２による処理を示すフロー図である。同図において、Ｋはキーフレーム画像、Ｖ_ｊはｊ番目のフレーム画像である。また、勾配評価値ε（ｘ，ｙ）はキーフレーム画像Ｋの位置（ｘ，ｙ）における勾配を示しており、勾配評価値Ｗ_ｊはフレーム画像Ｖ_ｊの位置（ｘ，ｙ）における勾配を示しており、それぞれ次式（４）（５）により示される。

　また、差分評価値Ｄ（ｘ，ｙ）は、キーフレーム画像Ｋの位置（ｘ，ｙ）における画素値とフレーム画像Ｖ_ｊの位置（ｘ，ｙ）における画素値との差を示すものであり、次式（６）により示される。位置（ｘ，ｙ）においてフレーム画像Ｖ_ｊがキーフレーム画像Ｋからどれだけ異なっているかを示している。

　また、勾配評価値Ｑ（ｘ，ｙ）は次式（７）により示される。Ｑ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるキーフレーム画像Ｋとフレーム画像Ｖ_ｊのそれぞれの勾配の平均値を示す。この値が大きいほど、位置（ｘ，ｙ）における画像周波数は高いと言える。

　また、指標φは、フレーム画像Ｖ_ｊが、該フレーム画像Ｖ_ｊに先行するキーフレーム画像Ｋに対して目立つ変化をしているかどうかを判断するための指標であり、次式（８）により定義される。

　ここで、Σは位置（ｘ，ｙ）についての和を示す。指標φは、差分評価値Ｄ（ｘ，ｙ）及び勾配評価値Ｑ（ｘ，ｙ）の両方が大きな値をとる位置（ｘ，ｙ）が多いほど、大きな値をとる。つまり、キーフレーム画像Ｋ及びフレーム画像Ｖ_ｊにおいて、画像周波数が高い位置が多く、且つそれらの位置においてキーフレーム画像Ｋからフレーム画像Ｖ_ｊへの変化が大きい場合に、指標φは大きな値をとる。

　図９において、フレーム画像セット特定部１２は、まず、最初のフレーム画像Ｖ_０をキーフレーム画像Ｋに選ぶまた、すべての位置（ｘ，ｙ）について勾配評価値ε（ｘ，ｙ）を算出する（Ｓ１０１）。または、変数ｉ及びｊを０に初期化する。

　次に、変数ｊをインクリメントし、次のフレーム画像Ｖ_ｊをフレーム画像バッファ１１ａから取得する（Ｓ１０２）。そして、ｊ－ｉが２以上であるかを判断する（Ｓ１０３）。Ｓ１０３でノーであればＳ１０２に戻る。一方、Ｓ１０３においてイエスであれば、勾配評価値Ｗ_ｊ（ｘ，ｙ）を算出する（Ｓ１０４）。次に、ｊ－ｉがｍ以上であるかを判断する（Ｓ１０５）。ここでｍは、フレーム画像セットに含まれるフレーム画像数Ｒの最大数であり、上述のように例えば２以上４以下の数に設定されてよい。

　Ｓ１０５においてイエスであれば、Ｓ１１０に進む。一方、Ｓ１０５においてノーであれば、すべての位置（ｘ，ｙ）の差分評価値Ｄ（ｘ，ｙ）、すべての位置（ｘ，ｙ）の勾配評価値Ｑ（ｘ，ｙ）、指標φを算出する（Ｓ１０６，Ｓ１０７，Ｓ１０８）。そして、指標φがτ以上であるかを判断する（Ｓ１０９）。τは、例えば実験により定めればよい。

　Ｓ１０９においてノーであれば、Ｓ１１３に進む。一方、Ｓ１０９においてイエスであれば、フレーム画像数Ｒをｊ－ｉに設定し（Ｓ１１０）、中間ノイズ画像生成部１３にフレーム画像数Ｒ、及びＳ１０１で選んだキーフレーム画像Ｋを渡す（Ｓ１１１）。その後、フレーム画像Ｖ_ｊを次のキーフレーム画像Ｋに選び、すべての位置（ｘ，ｙ）について、勾配評価値Ｗ_ｊ（ｘ，ｙ）をその勾配評価値ε（ｘ，ｙ）に設定する。また、変数ｉを変数ｊと同じ値に設定する（Ｓ１１２）。その後、フレーム画像Ｖ_ｊをフレーム画像バッファ１１ａから削除し（Ｓ１１３）、Ｓ１０２に戻る。

　以上の処理により、フレーム画像セット特定部１２は、フレーム画像Ｖ_ｊの変化を示すＤ（ｘ，ｙ）、内容の特徴を示すＱ（ｘ，ｙ）に基づいて、フレーム画像セットを好適に特定することができる。なお、ここでは指標φを用いてキーフレーム画像Ｋを特定したが、他の方法でキーフレーム画像Ｋを特定してもよい。例えば、各フレーム画像Ｖ_ｊについて、直前のフレーム画像Ｖ_ｊ－１との差分をとり、その差分の大きさが所定値以上である場合に、該フレーム画像Ｖ_ｊをキーフレーム画像Ｋとして選んでもよい。また、各フレーム画像セットにおける先頭のフレーム画像をキーフレーム画像Ｋとしたが、他のフレーム画像、例えば中央のフレーム画像をキーフレーム画像Ｋとしてもよい。或いは、フレーム画像セットに含まれるフレーム画像の平均画像など、フレーム画像セットに含まれるフレーム画像に基づいて生成される画像をキーフレーム画像Ｋとしてもよい。

　次に、中間ノイズ画像生成部１３による処理を詳細に説明する。図１０は中間ノイズ画像生成部１３による処理を示すフロー図である。フレーム画像セット特定部１２からキーフレーム画像Ｋ及びフレーム画像数Ｒが与えられると、同図に示すように、中間ノイズ画像生成部１３はまず変数ｊに１をセットする（Ｓ２０１）。そして、後述する中間画像Ｍ_ｊの画素値Ｍ_ｊ（ｘ，ｙ）のとりうる範囲の下限値Ｌ_ｊ（ｘ，ｙ）及び上限値Ｕ_ｊ（ｘ，ｙ）の初期値であるＬ_０（ｘ，ｙ）及びＵ_０（ｘ，ｙ）を、それぞれ次式（９）及び（１０）に従ってすべての位置（ｘ，ｙ）について計算する（Ｓ２０２）。

　次に、変数ｊがＲ以上でなければ（Ｓ２０３）、画素値Ｍ_ｊ（ｘ，ｙ）の下限値Ｌ_ｊ（ｘ，ｙ）及び上限値Ｕ_ｊ（ｘ，ｙ）を次式（１１）及び（１２）に従ってすべての位置（ｘ，ｙ）について計算する（Ｓ２０４）。但し、Σはｋが１～ｊ－１までの和である。

　その後、下限値Ｌ_ｊ（ｘ，ｙ）及び上限値Ｕ_ｊ（ｘ，ｙ）の範囲内でランダムにＭ_ｊ（ｘ，ｙ）を決定する（Ｓ２０５）。具体的には、すべての位置（ｘ，ｙ）について、０以上１以下の範囲で乱数γを生成し、該γを次式（１３）に代入することにより画素値Ｍ_ｊ（ｘ，ｙ）を算出する。

　次に、変数ｊを１だけインクリメントし（Ｓ２０６）、Ｓ２０３の処理に戻る。Ｓ２０３にて変数ｊがＲ以上であると判断すれば、次式（１４）に従ってすべての位置（ｘ，ｙ）についてＭ_ｎ（ｘ，ｙ）を算出し（Ｓ２０７）、処理を終了する。ここで、Σはｋが１～ｎ－１の和である。

　なお、中間ノイズ画像Ｍ_ｊの画素値Ｍｊ（ｘ，ｙ）は、ノイズ画像Ｎ_ｊの画素値Ｎ_ｊ（ｘ，ｙ）と同様、次式（１５）を満足する。但し、Σはｊが１～ｎまでの和である。

　式（１４）は、式（１５）から導かれる。また、Ｍ_ｊ（ｘ，ｙ）は、Ｓ２０５の処理ですでに決定しているＭ_１（ｘ，ｙ）～Ｍ_ｊー１（ｘ，ｙ）と、今後Ｓ２０５の処理で決定するＭ_ｊ＋１（ｘ，ｙ）～Ｍ_ｎ（ｘ，ｙ）と、の和を符号反転した値となる。ここでは、今後Ｓ２０５の処理で決定するＭ_ｊ＋１（ｘ，ｙ）～Ｍ_ｎ（ｘ，ｙ）は、いずれもその上限値がＵ_ｊ－１（ｘ，ｙ）であり、下限値がＬ_ｊー１（ｘ，ｙ）であると仮定し、式（１１）及び（１２）を導いている。

　次にノイズ画像生成部１４による処理を詳細に説明する。図１１は、ノイズ画像生成部１４による処理を示すフロー図である。同図に示す処理は、中間ノイズ画像Ｍ_１～Ｍ_ｎの位置（ｘ，ｙ）における画素値Ｍ_１（ｘ，ｙ）～Ｍ_ｎ（ｘ，ｙ）をランダムに入れ替えることにより、ノイズ画像Ｎ_１～Ｎ_ｎの位置（ｘ，ｙ）における画素値Ｎ_１（ｘ，ｙ）～Ｎ_ｎ（ｘ，ｙ）を得るものである。同図に示す処理は、すべての位置（ｘ，ｙ）について繰り返し実行される。この処理では、まずノイズ画像生成部１４は変数ｔに１をセットし（Ｓ３０１）、変数ｔが所定の繰り返し回数Ｔ以上でない限り（Ｓ３０２）、１以上Ｒ以下の範囲の乱数を２つ生成し、それらを変数δ及び変数εにセットする（Ｓ３０３）。次に、δ番目の中間ノイズ画像Ｍ_δの画素値Ｍ_δ（ｘ，ｙ）と、ε番目の中間ノイズ画像Ｍ_εの画素値Ｍ_ε（ｘ，ｙ）を入れ替える（Ｓ３０４）。その後、変数ｔを１だけインクリメントし（Ｓ３０５）、Ｓ３０２の処理に戻る。Ｓ３０２の処理で変数ｔが繰り返し回数Ｔ以上であると判断されれば、中間ノイズ画像Ｍ_１～Ｍ_ｎの画素値Ｍ_１（ｘ，ｙ）～Ｍ_ｎ（ｘ，ｙ）をノイズ画像Ｎ_１～Ｎ_ｎの画素値Ｎ_１（ｘ，ｙ）～Ｎ_ｎ（ｘ，ｙ）とする。

　その後、以上のＳ３０１～Ｓ３０６の処理をすべての位置（ｘ，ｙ）について繰り返す。なお、繰り返し回数Ｔは任意の数であってよいが、Ｒ以上であることが望ましい。

　上述のように、変更フレーム画像生成部１５は、フレーム画像セット特定部１２から出力されるキーフレーム画像Ｋに対して、ノイズ画像生成部１４で生成されるノイズ画像Ｎ_ｊを加算することにより、フレーム画像数Ｒの変更フレーム画像Ｃ_ｊを生成する。そして、生成した変更フレーム画像Ｃ_ｊを変更フレーム画像バッファ１６ａに表示順に格納する。表示制御部２２は、変更フレーム画像バッファ１６ａに格納される、各変更フレーム画像セットＳの変更フレーム画像Ｃ_ｊを、表示部１０ｄに備えられる表示用メモリに表示順に格納することにより、それらを順次表示する。

　以上説明した動画像表示装置１０によれば、変更フレーム画像セットＳが順次生成され、それらに含まれる変更フレーム画像Ｃ_ｊが時間順に表示される。表示部１０ｄには元のフレーム画像Ｖ_ｊは表示されないので、不正にフレーム画像Ｖ_ｊのデータを複製することを防止できる。

　なお、本発明は上記実施形態に限定されるものではなく、種々の変形実施が可能である。例えば、以上の説明ではフレーム画像Ｖ_ｊとして２５６階調グレースケール画像を用いたが、他の形式の画像（例えばカラー画像）であってもよいのはもちろんである。さらに、変更フレーム画像Ｃ_ｊの生成方法は上述の方法に限られず、種々の生成方法を用いてよい。例えば、上記実施形態によればキーフレーム画像Ｋの全体にノイズを付加することで変更フレーム画像Ｃ_ｊを得るようにしたが、キーフレーム画像Ｋの一部にノイズを付加して変更フレーム画像Ｃ_ｊを得るようにしてよい。例えば、キーフレーム画像Ｋのうち、人の顔が表された領域など、特定内容が表された領域を特定し、該領域にだけノイズを付加してよい。この場合、特定された領域内の位置（ｘ，ｙ）についてだけ、画素値Ｍ_ｊ（ｘ，ｙ）や画素値Ｎ_ｊ（ｘ，ｙ）は０より大きな値をとり、その他の位置（ｘ，ｙ）では０となる。

　また、以上の説明では本発明に係る画像処理システムを画像表示装置１０において実装したが、画像送信装置２０において実装してもよい。この場合、画像送信装置２０において変更フレーム画像を生成し、ダウンロード形式又はストリーミング形式でそれら変更フレーム画像を動画像表示装置１０に送信する。また、動画像表示装置１０は受信した変更フレーム画像を順次表示する。或いは、動画像送信装置２０においてノイズ画像を生成し、元の動画像データとともに、ダウンロード形式又はストリーミング形式でそれらノイズ画像を動画像表示装置１０に送信してもよい。この場合、動画像表示装置１０は、受信した動画像データが示すフレーム画像に対し、受信したノイズ画像を合成することにより、変更フレーム画像を生成し、それらを順次表示する。その他、様々な方法で、本発明に係る動画像処理システムの機能を複数のコンピュータに分担させてよい。

Claims

　動画像データを取得する取得手段と、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段と、
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成手段であって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段と、
を含む動画像処理システム。
　請求項１に記載の動画像処理システムにおいて、
　前記特定手段は、前記動画像データが示す前記複数のフレーム画像の変化に基づいて、前記画像セットを特定する、動画像処理システム。
　請求項１又は２に記載の動画像処理システムにおいて、
　前記特定手段は、前記動画像データが示す前記フレーム画像の内容に基づいて、前記画像セットを特定する、動画像処理システム。
　請求項１乃至３のいずれかに記載の動画像処理システムにおいて、
　前記複数の変更フレーム画像を順次表示している間に前記動画像データの再生を一時停止する場合、前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づく一時停止用キーフレーム画像を変更してなる複数の一時停止用変更フレーム画像を順次表示することを繰り返す一時停止手段であって、前記複数の一時停止用変更フレーム画像の対応画素の画素値の平均は、前記一時停止用キーフレーム画像の対応画素の画素値に対応する、一時停止手段をさらに含む、動画像処理システム。
　請求項４に記載の動画像処理システムにおいて、
　前記一時停止用変更フレーム画像は、前記生成手段により生成される前記変更フレーム画像である、動画像処理システム。
　請求項１乃至５のいずれかに記載の動画像処理システムにおいて、
　キーフレーム画像Ｋの位置（ｘ，ｙ）における画素値をＫ（ｘ，ｙ）とし、ｊ番目の前記変更フレーム画像Ｃ_ｊの位置（ｘ，ｙ）における画素値をＣ_ｊ（ｘ，ｙ）とし、ｊ番目のノイズ画像Ｎ_ｊの位置（ｘ、ｙ）における画素値をＮ_ｊ（ｘ，ｙ）とするとき、

　が成立する、動画像処理システム（但し、ｎは前記変更フレーム画像の数であり、Σはｊが１～ｎまでの和である。）。
　請求項６に記載の動画像処理システムにおいて、

　を満足する、ことを特徴とする動画像処理システム（但し、αは表示手段により表示可能な画素値の下限値であり、βは前記表示手段により表示可能な画素値の上限値である。）。
　請求項７に記載の動画像処理システムにおいて、
　ｊ番目の中間ノイズ画像Ｍ_ｊの位置（ｘ，ｙ）における画素値をＭ_ｊ（ｘ，ｙ）とするとき、その下限値Ｌ_ｊ（ｘ，ｙ）及び上限値Ｕ_ｊ（ｘ，ｙ）を、

　により順次算出し、下限値Ｌ_ｊ（ｘ，ｙ）及び上限値Ｕ_ｊ（ｘ，ｙ）の範囲内で画素値Ｍ_ｊ（ｘ，ｙ）を決定し、該画素値Ｍ_ｊ（ｘ，ｙ）に基づいて前記複数の変更フレーム画像Ｃ_ｊを生成する、動画像処理システム（但し、Σはｋが１～ｊ－１までの和であり、Ｕ_０（ｘ，ｙ）はβ－Ｋ（ｘ，ｙ）であり、Ｌ_０（ｘ，ｙ）はα－Ｋ（ｘ，ｙ）である。）。
　請求項８に記載の動画像処理システムにおいて、
　δ番目の前記中間ノイズ画像Ｍ_δの位置（ｘ，ｙ）における画素値Ｍ_δ（ｘ，ｙ）とε番目の前記中間ノイズ画像Ｍ_εの位置（ｘ，ｙ）における画素値Ｍ_ε（ｘ，ｙ）とを入れ替えることにより、前記複数のノイズ画像Ｎ_ｊを生成し、それらにより前記複数の変更フレーム画像Ｃ_ｊを生成する、動画像処理システム（但し、γ及びδは、１以上ｎ以下のランダムな数である。）。
　動画像データを取得する取得ステップと、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定ステップと、
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成ステップであって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成ステップと、
　を含む動画像処理方法。
　動画像データを取得する取得手段、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段、及び
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像を変更して、前記画像セットに含まれる前記フレーム画像と同数の変更フレーム画像を生成する生成手段であって、前記複数の変更フレーム画像の対応画素の画素値の平均は、前記キーフレーム画像の対応画素の画素値に対応し、前記複数の変更フレーム画像は前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段
　としてコンピュータを機能させるためのプログラム。
　動画像データを取得する取得手段と、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段と、
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段と、
を含む動画像処理システム。
　動画像データを取得する取得ステップと、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定ステップと、
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成ステップと、
を含む動画像処理方法。
　動画像データを取得する取得手段、
　前記動画像データにより示される複数のフレーム画像のうちの順次表示される複数のフレーム画像を含む画像セットを特定する特定手段、及び
　前記画像セットに含まれる前記複数のフレーム画像のいずれか少なくとも１つに基づくキーフレーム画像に合成される、前記画像セットに含まれる前記フレーム画像と同数のノイズ画像を生成する生成手段であって、前記複数のノイズ画像の対応画素の画素値の平均は零であり、前記キーフレーム画像に前記複数のノイズ画像のそれぞれを合成してなる複数の変更フレーム画像は、前記画像セットに含まれる前記複数のフレーム画像の代わりに順次表示される、生成手段
としてコンピュータを機能させるためのプログラム。