JP6516695B2 - 画像処理システムおよび画像処理装置 - Google Patents

Description

本発明は、画像のデータサイズや画質に係る処理を行う画像処理システムおよび画像処理装置に関する。

テレビ電話、遠隔会議、またはネットワーク監視カメラ等のように、カメラによって撮影された画像（動画像や静止画像）を、インターネット、イントラネット、公衆網などの通信ネットワーク経由で同時に伝送し、画像受信端末で表示することが一般に行われている。

一方で、撮像に用いるカメラの画素数が技術の進歩とともに増加してきており、現在では例えば水平１９２０画素×垂直１０８０画素で構成されるフルＨＤサイズの画像などが一般に用いられている状況である。しかしながら、画像の伝送を行うアプリケーションにおいて通信ネットワークの伝送帯域の限界を上回るデータサイズの画像を伝送した場合には、アプリケーションの通信エラーやデータ遅延が生じることにより受信画像が劣化したりフリーズしたりすることがある。また、伝送された画像データをハードディスク（磁気ディスク）や光ディスク等のメディアに記録して保存する際にデータサイズが大きい場合には、記録容量の限られたメディアでは短時間の記録しかできなかったり、大容量の記録メディアが必要になることによって記録装置のコストアップを招いたりするという問題がある。

したがって、画像を伝送したり記録したりするアプリケーションを実現するシステムでは、伝送帯域や記録容量に合わせて画像のデータサイズを削減しており、例えば、撮像された画像フレームにおける画素数を減らして画像の全体サイズを縮小したうえで符号化して圧縮することによりデータサイズを削減し、画像を再生する際には縮小された画像を拡大して表示することが一般的にも行われている。

しかしながら、画像の符号化データサイズと画質には相関関係があり、符号化データサイズを減らすほどに画質は劣化してしまう。そこで、画質の低下を抑制しつつ符号化データサイズを削減することを目的とした技術の開発が行われており、画像の鮮明化に関する技術として、例えば、特許文献１には、２系列のディジタル信号を用いて１次元方向の折り返し歪をキャンセルすることにより、入力信号のナイキスト周波数を超えた広帯域な出力信号を得る技術が開示されている。また、非特許文献１には、複数の画像フレームを１フレームに合成し、反復演算を伴う逐次近似処理を行うことによって、入力画像のナイキスト周波数を超えた高周波成分を復元し、高解像度の出力画像を得る技術が開示されている。

特開平１０−２８０６８５号公報

Ｓ．Ｃ．Ｐａｒｋ， Ｍ．Ｋ．Ｐａｒｋ， ａｎｄ Ｍ．Ｇ．Ｋｉｎｇ， "Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏn Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ，" ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ， ｖｏｌ．２０， ｎｏ．３， ｐｐ．２１−３６， ２００３．

ところで、前述したような、テレビ電話、遠隔会議、またはネットワーク監視カメラ等の画像を伝送し、あるいは記録し、表示するアプリケーションを実現する手段として、パーソナルコンピュータ（以下、ＰＣと略記）やモバイル端末などが用いられることが多い。これらの端末では、信号処理を汎用的なＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＧＰＵ（General Purpose Computing on Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などによるソフトウェア処理を行うことによって、特別なハードウェアを用いなくても、画像の符号化、復号化、縮小、拡大、鮮明化、などを実現することができる。

その一方で、上記従来技術に例示した超解像処理は、画像に含まれる高周波成分を増幅するだけのエッジ強調処理などに比べて、処理に必要な演算量が極めて多い。例えば、非特許文献１に記載されているような、複数フレームの入力画像を用いて、逐次近似処理によって出力画像を得る超解像技術では、画素ごとのサブピクセル単位の高精度な動き探索を伴うフレーム間位置合わせ（レジストレーション）、画像の拡大、拡大画像の縮小、縮小画像と入力画像との差分検出、および出力画像の補正処理を、何度も反復処理（イテレーション）する必要がある。つまり、従来技術においては、画素ごとの動き探索やイテレーションは演算量が極めて多いため、ＣＰＵ等やメモリ等の計算リソースの処理限界を超えてしまって、画像の動きがぎくしゃくするコマ落ちが発生したり、処理全体が止まってしまったり、マウスやキーボード等によるユーザ入力を受け付けず無応答の状態になったりすることが考えられる。

本発明は、上記に鑑みてなされたものであり、画像処理に係る演算量の増加および画質の低下を抑制しつつ符号化データサイズを削減することができる画像処理システムおよび画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明は、時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする第１画像位置シフト部と、前記第１画像位置シフト部で位置シフトされた画像の画素数を削減して縮小する画像縮小部と、前記画像縮小部で縮小された画像を符号化して符号化画像を生成する符号化部と、通信ネットワークを介して送られた前記符号化画像を復号化して復号画像を生成する復号化部と、前記復号化部で復号化された復号化画像の画素数を増加させて拡大する画像拡大部と、前記画像拡大部で拡大された画像に対して、前記第１画像位置シフト部で行われた位置シフトを打ち消すように位置シフトする第２画像位置シフト部と、前記第２画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第２画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部とを備えたものとする。

画像処理に係る演算量の増加および画質の低下を抑制しつつ符号化データサイズを削減することができ、比較的非力な計算リソースでも高速な画像伝送および画像鮮明化処理を行うことができる。

第１の実施の形態に係る画像処理システムの全体構成を模式的に示す機能ブロック図である。 画像位置シフト処理の一例を概略的に示す図である。 画像位置シフト処理の他の一例を概略的に示す図である。 画像受信装置の画像拡大・鮮明化部の構成の一例を概略的に示す機能ブロック図である。 画像縮小部の構成を概略的に示す機能ブロック図である。 画像縮小部の水平処理部及び垂直処理部の構成を概略的に示す機能ブロック図である。 図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の一例を模式的に示す図である。 図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の他の一例を模式的に示す図である。 図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の他の一例を模式的に示す図である。 図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の他の一例を模式的に示す図である。 図７の構成を等価変換した構成を示す図である。 図１１に示した画像拡大・鮮明化部が有する１次元非対称フィルタの構成の一例を示すブロック図である。 図１２の構成における１次元非対称フィルタのフィルタ係数を示す図である。 図９における画像拡大・鮮明化部が有する２次元非対称フィルタにおける構成の一例を示すブロック図である。 図１の画像受信装置における画像拡大・鮮明化部の構成の他の例を示すブロック図である。 図１５の画像拡大・鮮明化部が有する動き検出部における構成の一例を示すブロック図である。 画像送信装置のフレーム位相情報生成部および画像受信装置のフレーム位相情報取得部を用いて同期を行う場合の構成例を示す図である。 画像受信装置のフレーム位相情報生成部および画像送信装置のフレーム位相情報取得部を用いて同期を行う場合の構成例を示す図である。 画像受信部のフレーム位相情報推定部を用いて同期を行う場合の構成例を示す図である。 図１９に示したフレーム位相情報推定部のフレーム位相情報推定処理の動作の一例を示す説明図である。 フレーム位相情報推定部におけるフレーム位相推定処理を示すフローチャートである。 ベイヤ配列カラーフィルタにおける画素の配置の様子を示す図である。 画像蓄積装置の一構成例を模式的に示す機能ブロック図である。 図２３の画像位置シフト機能において用いるフィルタ係数の一例を説明する図である。 第２の実施の形態に係る画像送信装置の一構成例を概略的に示す機能ブロック図である。 画像受信装置や画像蓄積装置が有する制御部が生成して表示部に表示するメニュー表示画面の一例を示す図である。 第３の実施の形態に係る画像送信装置の一構成例を概略的に示す機能ブロック図である。 第３の実施の形態に係る画像受信装置の一構成例を概略的に示す機能ブロック図である。 図２８の画像位置シフト部において用いるフィルタ係数の一例を説明する図である。 第４の実施の形態に係る画像受信装置における処理の一例を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しつつ説明する。

＜第１の実施の形態＞
本発明の第１の実施の形態を図１〜図２４を参照しつつ説明する。

まず、本実施の形態により実現される画像鮮明化の概要について説明する。
画像信号をサンプリングする際に、画像の１フレームを構成する画素数に応じて一意に定まるナイキスト周波数よりも高い周波数成分は、折り返し歪となる。後述する画像処理システム（後の図１等参照）では、画像送信装置（１０１）が有する画像縮小部（１０４）において画像を縮小する際に、ローパスフィルタ（後の図５等参照）のカットオフ周波数をナイキスト周波数よりも低く設定すると、折り返し歪を低減する作用を期待できるが、その反面、縮小後の画像は高周波成分が減衰されるため、ぼけた画像となる傾向がある。一方、ローパスフィルタのカットオフ周波数をナイキスト周波数よりも高く設定すると、縮小後の画像には縮小前の画像に元々含まれているベースバンド成分に折り返し歪の成分が混じる。折り返し歪はモアレ（干渉縞）状のノイズに見えるため、画質が大きく劣化する可能性がある。

そこで、本実施の形態においては、画像受信装置（１０９）が有する画像拡大・鮮明化部（１１１）においては、縮小後の伝送画像を拡大する際に、複数の画像フレームを用いて折り返し歪を低減することにより、広帯域のベースバンド成分を抽出して、画像の鮮明化を図る。折り返し歪の低減には、同一の入力信号に対して標本化の位相を変えてサンプリングしなおすと、発生する折り返し歪の位相が変化する性質を利用する。この性質は、インタレース走査などで利用されている。例えば、一般的な２：１インタレースでは、撮像時に、画像を上から１走査線ごとに飛び越して走査し、奇数番目の走査線だけの画像から成る第１フィールドと、偶数番目のだけの画像から成る第２フィールドに分けて伝送する。表示時には、信号処理によってインタレース走査からプログレッシブ走査に変換したり、或いは、人間の目の残像効果によって第１フィールドと第２フィールドが脳内で合成されて知覚されることを利用したりして、鮮明なフレーム画像を得ている。

また、インタレース走査の考え方だけでは、撮像した画素数の「約数」の画素数、すなわち「１／Ｎ」（ただし、Ｎは正整数）の画素数にしか変換することができないため、例えば、フルＨＤサイズ（水平１９２０画素×垂直１０８０画素）からＤ１サイズ（水平７０４画素×垂直４８０画素）へ変換する場合のように、「非約数」の画素数への縮小を行うことができない。

そこで、本実施の形態においては、まず、画像位置シフト部（１０３）によってフレームごとに画像の位置をシフトしたのちに、画像縮小部（１０４）によって画像を縮小することにより、縮小画像（伝送画像）に含まれる折り返し歪の位相を意図的に変化させる。このとき、被写体が静止していれば、画像シフトの仕方（シフト方向とシフト量）から折り返し歪の位相を一意に決定できる。たとえば、フルＨＤサイズ（水平１９２０画素×垂直１０８０画素）の画像の位置を水平方向に１画素ずらすと、画像縮小後のＤ１サイズ（水平７０４画素×垂直４８０画素）の画像では、水平方向に０．３７（＝７０４／１９２０）画素ずれるため、折り返し歪の位相は１１π／１５（＝２π×７０４／１９２０）ラジアンだけ回転する。この位相回転量は、フレーム全体で一定かつ事前に決定できるため、前述したサブピクセル単位の動き探索が不要になる。その後、後述する動作原理に基づいて折り返し歪を低減することにより、非約数の画素数に縮小した場合にも画像の鮮明化を行うことができるようになる。

以上のような知見に基づいた本実施の形態の詳細を以下に説明する。

図１は、本実施の形態に係る画像処理システムの全体構成を模式的に示す機能ブロック図である。

図１において、画像処理システムは、画像送信装置（１０１）、通信ネットワーク（１０７）、画像蓄積装置（１０８）、画像受信装置（１０９）、操作部（１１４）、画像受信装置（１０９）、および表示部（１１３）によって概略構成されている。

画像送信装置（１０１）は、画像（静止画、動画）を撮像するカメラ（１０２）と、カメラ（１０２）で撮像した画像に画像位置シフト処理を行う画像位置シフト部（１０３）と、画像位置シフト処理を行った画像に画像縮小処理を行う画像縮小部（１０４）と、画像縮小処理を行った画像に符号化処理を行う符号化部（１０５）と、通信ネットワーク（１０７）を介して画像受信装置（１０９）から送信されるコマンドやデータに基づいて、カメラ（１０２）、画像位置シフト部（１０３）、画像縮小部（１０４）、及び符号化部（１０５）を含む画像送信装置（１０１）全体の動作を制御する制御部（１０６）とを有している。また、画像受信装置（１０９）は、通信ネットワーク（１０７）を介して画像送信装置（１０１）から送られてきた画像に復号化処理を行う復号化部（１１０）と、復号化処理を行った画像に画像拡大・鮮明化処理を行う画像拡大・鮮明化部（１１１）と、画像受信装置（１０９）全体の動作を制御する制御部（１１２）とを有している。

そして、本実施の形態における画像処理システムでは、画像送信装置（１０１）が有する画像縮小部（１０４）において画像の１フレームを構成する画素数を減らすことにより伝送データサイズを減らすとともに、画像受信装置（１０９）が有する画像拡大・鮮明化部（１１１）において画像を拡大することにより、ぼやけの少ない鮮明な画像を表示することができる。なお、図示しない画像拡大部あるいは画像縮小部を用いて、画像受信装置（１０９）から出力された第３の画素数の画像をさらに拡大あるいは縮小し、図示しない第４の画素数を有する画像に変換したのちに、表示部（１１３）で表示するように構成してもよい。

カメラ（１０２）は、例えば、図示しないＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの光電変換素子とレンズからなる撮像部と、信号レベル調整やコントラスト調整、ブライトネス調整、ホワイトバランス調整などを行う信号処理部とによって構成されており、カメラ（１０２）で撮像された画像（静止画、動画）は後段の画像位置シフト部（１０３）に送られる。なお、以降の説明では画像の画素数を水平方向の画素数（水平画素数）と垂直方向の画素数（垂直画素数）の組で表すものとし、カメラ（１０２）で撮像される画像の１フレームは第１の画素数で構成されるものとして以下では説明する。

画像位置シフト部（１０３）は、カメラ（１０２）で得られた画像の位置を整数画素の単位で上下左右にシフトさせる（ずらす）画像位置シフト処理を行うものである。ここで、画像位置シフト部（１０３）における画像位置シフト処理について図２及び図３を参照しつつ説明する。

図２は、画像位置シフト処理の一例を概略的に示す図である。

図２では、３人の人物が被写体となっている画像を模擬的に示しており、破線はカメラ（１０２）で撮影された元の画像フレーム（２００）を、実線は画像位置シフト処理でシフトされた画像フレーム（２０１）〜（２０４）を示している。また、矢印は、１フレーム時間（例えば１／３０秒）ごとの状態遷移を示している。図２では、４フレーム周期で画像のシフトを行う画像位置シフト処理を行っており、「４フレーム型画像位置シフト」と称する。

画像位置シフト処理後の画像フレーム（２０１）の状態では、元の画像フレーム（２００）の位置を左上にシフトして画像の右端と下端に所定の画素値（例えば、黒色を表す画素値＝０）を挿入している。同様に、画像フレーム（２０２）の状態では、元の画像フレーム（２００）の位置を右上にシフトして画像の左端と下端に黒色（画素値＝０）を挿入し、画像フレーム（２０３）の状態では、元の画像フレーム（２００）の位置を右下にシフトして画像の左端と上端に黒色（画素値＝０）を挿入し、画像フレーム（２０４）の状態では、元の画像フレーム（２００）の位置を左下にシフトして画像の右端と上端に黒色（画素値＝０）を挿入している。つまり、４フレーム型画像位置シフトでは、１フレーム時間ごとに画像フレーム（２０１）〜（２０４）の順に状態遷移させることにより画像位置シフト処理を行う。なお、画像位置シフト部（１０３）におけるシフト方向およびシフト量は、制御部（１０６）により制御されている。

図３は、画像位置シフト処理の他の一例を概略的に示す図である。

図３においても図２と同様に、破線はカメラ（１０２）で撮影された元の画像フレーム（２００）を、実線は画像位置シフト処理でシフトされた画像フレーム（２０５），（２０５）を示している。また、矢印は、１フレーム時間（例えば１／３０秒）ごとの状態遷移を示している。図３では、２フレーム周期で画像のシフトを行う画像位置シフト処理を行っており、「２フレーム型画像位置シフト」と称する。

画像位置シフト処理後の画像フレーム（２０５）の状態では、元の画像フレーム（２００）の位置を左側にシフトして画像の右端に黒色（画素値＝０）を挿入している。同様に、画像フレーム（２０６）の状態では、元の画像フレーム（２００）の位置を右側にシフトして画像の左端に黒色（画素値＝０）を挿入している。つまり、２フレーム型画像位置シフトでは、１フレーム時間ごとに画像フレーム（２０５），（２０６）の順に状態遷移させることにより画像位置シフト処理を行う。

なお、画像位置シフト処理は図２及び図３に示した例に限定されるものではない。例えば、図２に示した４フレーム型位置シフトにおいて、「画像フレーム（２０１）→画像フレーム（２０４）→画像フレーム（２０３）→画像フレーム（２０２）→左上（２０１）→・・・」の順に位置シフトしたり、「画像フレーム（２０１）→画像フレーム（２０２）→画像フレーム（２０４）→画像フレーム（２０３）→画像フレーム（２０１）→・・・」の順に位置シフトしたり、「画像フレーム（２０１）→画像フレーム（２０４）→画像フレーム（２０２）→画像フレーム（２０３）→画像フレーム（２０１）→・・・」の順に位置シフトしたり、あるいはランダム（無作為）な順番で位置シフトしたりしてもよい。また、例えば、画像フレーム（２００）の位置を位置シフトの一状態とし、「画像フレーム（２００）→右側へ位置シフト→右下へ位置シフト→下側へ位置シフト→画像フレーム（２００）→・・・」のように位置シフトしてもよい。

同様に、例えば、図３に示した２フレーム型位置シフトにおいて、画像フレーム（２０５）の状態では位置シフトを行わずに（すなわち、画像フレーム（２００）のまま位置を固定し）、「画像フレーム（２００）→画像フレーム（２０６）→画像フレーム（２００）→・・・」のように位置シフトしてもよい。

また、図示しない上下方向や斜め方向への位置シフトを含む画像位置シフト処理としてもよい。

さらには、４フレーム型位置シフトのように４フレーム周期で位置シフトを行うものや２フレーム型位置シフトのように２フレーム周期で位置シフトを行うものに限られず、例えば、水平方向に３フレーム周期で位置シフトを行うものや、水平方向への３フレームの位置シフトと垂直方向の２フレームの位置シフトとを組み合わせた「６フレーム周期」の位置シフト、或いは、水平方向への３フレームの位置シフトと垂直方向への３フレームの位置シフトとを組み合わせた「９フレーム周期」の位置シフトなどを行ってもよい。

なお、後に詳述する画像拡大・鮮明化部（１１１）における画像拡大鮮明化処理においては、画像位置シフト処理によって位置シフトした方向に応じて画像の鮮明化の状態が変化する。例えば、図２に示した「４フレーム型位置シフト」を行った場合は、画像拡大・鮮明化処理後の画像の水平方向と垂直方向の解像度（鮮明さ）が向上し、図３に示した「２フレーム型位置シフト」を行った場合は、水平方向の解像度（鮮明さ）だけが向上する。言い換えれば、解像度を向上させたい方向に画像フレームをシフトするような画像位置シフト処理を行うことにより、所望の方向の解像度を向上することができる。

図５は、画像縮小部の構成を概略的に示す機能ブロック図である。また、図６は、画像縮小部の水平処理部及び垂直処理部の構成を概略的に示す機能ブロック図である。

図５において、画像縮小部（１０４）は、画像の１フレームを構成する画素数を第１の画素数よりも少ない第２の画素数となるよう変換する画像縮小処理を行うものであって、補間フィルタとも呼ばれる構成であり、画像位置シフト部（１０３）から入力された画像に対して、水平方向の画像縮小処理を行う水平処理部（４０１−Ｈ）と、垂直方向の画像縮小処理を行う垂直処理部（４０１−Ｖ）とを有している。なお、入力画像に対する処理の順番は水平処理部（４０１−Ｈ）と垂直処理部（４０１−Ｖ）とで入れ替えてもよい。

図６において、水平処理部（４０１−Ｈ）と垂直処理部（４０１−Ｖ）は同様の構成で実現可能であり、ｍ倍アップサンプリングを行う画素挿入部（４０２）と、高周波成分を除去あるいは低減するローパスフィルタ（４０３）と、１／ｎダウンサンプリングを行う画素間引き部（４０４）とを有している。

水平処理部（４０１−Ｈ）および垂直処理部（４０１−Ｖ）においては、入力画像に対して画素挿入部（４０２）によってｍ倍アップサンプリング（零挿入）を行ったのちに、ローパスフィルタ（４０３）によって不要な高周波成分を除去あるいは低減し、画素間引き部（４０４）によって１／ｎダウンサンプリングを行うことにより、画像の水平方向（又は垂直方向）の画素数をｍ／ｎ倍（ただし、ｍ、ｎは正の整数）に増加あるいは減少することできる。なお、後述する画像拡大部（３０１）による画像拡大処理は、画像縮小部１０４の定数ｍ，ｎの設定によって同様の構成で実現可能である。

すなわち、例えば、画像フレームを構成する画素数として、フルＨＤサイズ（水平１９２０画素×垂直１０８０画素）とＤ１サイズ（水平７０４画素×垂直４８０画素）を考えた場合、ｍ＝１１およびｎ＝３０の設定を用いれば、画像縮小部（１０４）における水平方向の縮小（１９２０画素→７０４画素）を実現することができ、ｍ＝２、ｎ＝１と設定すれば、画像拡大部（３０１）における水平方向の拡大（７０４画素→１４０８画素）を実現することができる。垂直方向の縮小・拡大も同様である。なお、画像縮小部（１０４）における出力画素数（第２の画素数）は、制御部１０６によりｍ，ｎを設定することにより制御される。

ローパスフィルタ（４０３）には、ナイキスト周波数をカットオフ周波数とする理想的な周波数特性を逆フーリエ変換して得たｓｉｎｃ関数（＝ｓｉｎ（ｘ）／ｘ）に窓関数（ハニング窓など）を乗じたフィルタ係数を用いる。また、小数画素精度の画像位置シフトを行う場合には、ｓｉｎｃ関数の中心位置をｔだけ動かしてｓｉｎ（ｘ−ｔ）／（ｘ−ｔ）とすることにより実現する。なお、後段の処理で折り返し歪を低減する処理を行うことを前提とすれば、水平方向および垂直方向の各ローパスフィルタ（４０３）のカットオフ周波数をナイキスト周波数よりも高い周波数に設定することも考えられる。また、図６に示した構成と等価な動作はポリフェーズフィルタ（多相フィルタ）によって実現することができる。

符号化部（１０５）は、画像縮小部（１０４）から入力された画像を符号化して圧縮し、通信ネットワーク１０７を介して画像受信装置（１０９）や画像蓄積装置（１０８）に伝送するものである。なお、画像送信装置（１０１）や画像受信装置（１０９）と通信ネットワーク（１０７）とを接続するための処理構成は一般的な技術を用いるものとして図示を省略する。また、画像受信装置（１０９）の復号化部１１０は、符号化部（１０５）で用いられた符号化方法に応じて復号化処理を行う。

符号化部１０５で用いる符号化方法としては、例えば、ＭＰＥＧ（Moving Picture Expert Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、Ｈ．２６５、ＶＣ−１、ＪＰＥＧ（Joint Photographic Experts Group）、Ｍｏｔｉｏｎ ＪＰＥＧ、ＪＰＥＧ−２０００などの標準規格化された符号化を行ってもよいし、非標準の符号化を行ってもよい。なお、符号化部（１０５）における符号化方式は制御部（１０６）により制御される。

通信ネットワーク（１０７）は、有線あるいは無線のどちらでもよく、一般的なＩＰ（Internet Protocol）などの通信プロトコルを用いてデジタルデータを通信するためのネットワークである。

図４は、画像受信装置の画像拡大・鮮明化部の構成の一例を概略的に示す機能ブロック図である。

図４において、画像拡大・鮮明化部（１１１）は、復号化部（１１０）で復号された第２の画素数を持つ画像に画像拡大処理を行う画像拡大部（３０１）と、画像拡大部処理を行った画像に画像位置シフト処理を行う画像位置シフト部（３０２）と、画像位置シフト処理を行った画像に折り返し歪低減処理を行う折り返し歪低減部（３０３）とを有している。

なお、以下の各信号処理においては、カラー画像信号（ＲＧＢ（赤、緑、青）や、ＹＵＶ（輝度Ｙ、色差ＵＶ）など）のすべてに対して同様の処理を行ってもよい。また、以下の各信号処理を輝度信号Ｙだけに対して行い、色差信号（ＵＶ）に対しては行わず、画像拡大処理だけを行うようにしてもよい。

画像拡大部（３０１）は、復号化部（１１０）から入力された第２の画素数（例えば、Ｄ１サイズ（水平７０４画素×垂直４８０画素））を持つ画像を第３の画素数を持つ画像に変換する画像拡大処理を行うものであり、前述のように画像縮小部（１０４）と同様の構成により実現することができる。画像拡大処理は、後段の処理ブロックで低減した折り返し歪が再び周波数領域で折り返すことを防止するために画像の画素数を増加させる（すなわち、サンプリング周波数を高くする）ことが目的であり、第３の画素数は第２の画素数よりも大きい画素数であればよい。したがって、ここでは説明の簡単のために第３の画素数を第２の画素数の２倍（すなわち、水平１４０８画素×垂直９６０画素）であるとして説明する。

画像位置シフト部（３０２）は、画像拡大部（３０１）で画像拡大処理を行った画像を画像送信装置（１０１）の画像位置シフト部（１０３）による画像位置シフト処理とは逆方向に画像の位置をシフトする（すなわち、画像位置シフト部（１０３）で行われた位置シフトを打ち消すように画像の位置をシフトする）ことにより、フレーム間の画像ブレを抑えるものである。例えば、画像位置シフト部（１０３）で左方向に１画素、上方向に１画素シフトするような画像位置シフト処理を行った場合には、画像位置シフト部（３０２）において、右方向に０．７３（＝１４０８／１９２０）画素、下方向に０．８９（＝９６０／１０８０）画素シフトするような画像位置シフト処理を行えば、画像が元の位置に戻ることになり、フレーム間の画像ブレが抑えられる。なお、画像位置シフト部（３０２）における画像位置シフト処理においては、画像位置シフト部（１０３）における画像位置シフト処理を打ち消すように画像シフトを行えば良いため、例えば、図２に示した「４フレーム型画像位置シフト」や図３に示した「２フレーム型画像位置シフト」の各中心の位置（すなわち画像フレーム（２００）の位置）にすべての画像がシフトするように、画像位置シフト部（３０２）におけるシフト方向とシフト量を決定すればよい。また、画像位置シフト部（１０３）の画像位置シフト処理における各中心ではない固定の位置にすべての画像がシフトするように、画像位置シフト部（３０２）におけるシフト方向とシフト量を決定してもよい。画像位置シフト部（３０２）のシフト方向とシフト量は制御部（１１２）により制御される。

折り返し歪低減部（３０３）は、画像位置シフト部（３０２）で画像位置シフト処理を行った画像の折り返し歪を低減する折り返し歪低減処理を行い、画像拡大・鮮明化部（１１１）の出力画像とするものである。なお、折り返し歪低減処理の詳細については後に詳述する。

図７は、図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の一例を模式的に示す図である。

図７において、画像拡大・鮮明化部（５０１）は、２系列のディジタル信号を用いて、１次元方向の折り返し歪をキャンセルすることにより、入力信号のナイキスト周波数を超えた広帯域な出力信号を得ることができるものであり、１次元拡大部（５０２−＃０），（５０２−＃１）、１次元補間フィルタ（５０３−＃０），（５０３−＃１）、ヒルベルト変換器（５０６）などにより構成されている。

画像拡大・鮮明化部（５０１）においては、２系列のディジタル信号（すなわち、入力＃０および入力＃１）は、各１次元拡大部（５０２−＃０），（５０２−＃１）によって１次元方向（水平方向あるいは垂直方向）に拡大されたのち、それぞれの位置シフト量（α０，α１）を用いて、各１次元補間フィルタ（５０３−＃０），（５０３−＃１）によって互いの画像フレームの位置を合わせ、加算器（５０４）の出力信号と、減算器（５０５）およびヒルベルト変換器（５０６）を通したのちに乗算器（５０７）よって係数Ｋを乗じた後の画像信号との両者に含まれる折り返し歪の位相が互いに１８０度（逆位相）の関係になるように変換したのちに、加算器（５０８）によって両者を加算することにより画像における折り返し歪をキャンセルすることができる。

ここで、図４に示した画像拡大部（３０１）は、図７における１次元拡大部（５０２−＃１），（５０２−＃２）に相当し、画像位置シフト部（３０２）は、１次元補間フィルタ（５０３−＃０），（５０３−＃１）に相当する。なお、図４に示した画像拡大部（３０１）は、前述したように補間フィルタ（４０１）と等価であり、その中のローパスフィルタ（４０３）の係数決定に用いるｓｉｎｃ関数をｓｉｎ（ｘ−ｔ）／（ｘ−ｔ）とおいて、画像位置シフト部（３０２）とまとめて１次元補間フィルタ（５０３−＃０），（５０３−＃１）とすることにより、１次元拡大部（５０２−＃１），（５０２−＃２）を省略することもできる。また、図４における折り返し歪低減部（３０３）は、図７における加算器（５０４）、減算器（５０５）、ヒルベルト変換器（５０６）、乗算器（５０７）、加算器（５０８）により実現される構成と考えることができ、したがって、図４における画像拡大・鮮明化部（１１１）と図７における画像拡大・鮮明化部（５０１）は等価と見なすことができる。

なお、図７に示した画像拡大・鮮明化部（５０１）の構成では、１次元方向の画像拡大処理と折り返し歪低減処理を行う場合を例示したものであり、水平方向および垂直方向の２次元方向の画像拡大処理と折り返し歪低減処理を行う場合については図８を用いて以下に説明する。

図８は、図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の他の一例を模式的に示す図である。

図８においては、図７に示した画像拡大・鮮明化部（５０１）と同様の構成を有する処理ブロック（５０１−ＨＡ），（５０１−ＨＢ），（５０１−Ｖ）を用い、処理ブロック（５０１−ＨＡ），（５０１−ＨＢ）の出力を処理ブロック（５０１−Ｖ）の入力として直列に接続した構成となっている。そして、処理ブロック（５０１−ＨＡ），（５０１−ＨＢ）からなる水平処理部（６０１）で水平方向の画像拡大処理と折り返し歪低減処理を行うとともに、処理ブロック（５０１−Ｖ）からなる垂直処理部（６０２）で垂直方向の画像拡大処理と折り返し歪低減処理を行う。すなわち、画像拡大・鮮明化部（１１１）をこのように構成することにより、４系統の信号（すなわち、入力＃０〜＃３）を用いて、２次元の画像拡大処理と折り返し歪低減処理を実現することができる。なお、水平処理部（６０１）と垂直処理部（６０２）の処理の順番を互いに入れ替えた構成としても同様の処理を実現することができる。

ここで、図２および図３に示した画像位置シフトと、図７に示した位置シフト量（α０，α１）、図８に示した水平位置シフト量（α０，α１，α２，α３）、および垂直位置シフト量（β０，β１）との関係について説明する。なお、図１に示した第１の画素数（例えば、水平１９２０画素×垂直１０８０画素）を持つ画像が、図２に示した「４フレーム型位置シフト」では、回転運動の中心位置（画像フレーム（２００）の位置）の２次元座標を基準（０，０）として、２次元座標（−ｈ，−ｖ）→（ｈ，−ｖ）→（ｈ，ｖ）→（−ｈ，ｖ）→（−ｈ，−ｖ）→・・・と位置シフトするものとする（ただし、ｈ＝２ｍ，ｖ＝２ｎ，かつ、ｍ、ｎは正の整数とする）。同様に、図３に示した「２フレーム型位置シフト」では、水平往復運動の中心位置（画像フレーム（２００）の位置）の２次元座標を基準（０，０）として、２次元座標（−ｈ，０）→（ｈ，０）→（−ｈ，０）→・・・と位置シフトするものとして、以下説明する。

まず、図２に示した「４フレーム型位置シフト」の場合について説明する。この「４フレーム型位置シフト」に対応する場合は、図８に示した２次元の処理ブロックを用いる。前述のように、第１の画素数（例えば、水平１９２０画素×垂直１０８０画素）を持つ画像を、第２の画素数（例えば、水平７０４画素×垂直４８０画素）に縮小して伝送したのちに、第３の画素数（例えば、水平１４０８画素×垂直９６０画素）に拡大して折り返し歪低減処理を行う際には、第１の画素数の画像における（−ｈ，−ｖ）→（ｈ，−ｖ）→（ｈ，ｖ）→（−ｈ，ｖ）→（−ｈ，−ｖ）→・・・の位置シフトは、第３の画素数の画像では、ｐ＝１４０８／１９２０、ｑ＝９６０／１０８０として、（−ｐｈ，−ｑｖ）→（ｐｈ，−ｑｖ）→（ｐｈ，ｑｖ）→（−ｐｈ，ｑｖ）→（−ｐｈ，−ｑｖ）→・・・の位置シフトに相当する。したがって、水平位置シフト量（α０，α１，α２，α３）＝（ｐｈ，−ｐｈ，−ｐｈ，ｐｈ）、および垂直位置シフト量（β０，β１）＝（ｑｖ，−ｑｖ）と設定することにより、画像送信装置（１０１）側の画像位置シフト部（１０３）における画像位置シフト処理と画像受信装置（１０９）側の画像位置シフト部（３０２）による画像位置シフト処理の効果を相殺して打ち消すことができ、画像ブレを止めることができる。

したがって、図８の水平処理部（６０１）において、係数Ｋα＝−１／ｔａｎ（π（α０−α１））＝−１／ｔａｎ（２πｐｈ）＝−１／ｔａｎ（２πｈ×１４０８／１９２０）＝−１／ｔａｎ（πｈ×２２／１５）と設定すれば、水平方向の折り返し歪を低減できる。また、図８の垂直処理部（６０２）において、係数Ｋβ＝−１／ｔａｎ（π（β０−β１））＝−１／ｔａｎ（２πｑｖ）＝−１／ｔａｎ（２πｖ×９６０／１０８０）＝−１／ｔａｎ（πｖ×１６／９）と設定すれば、垂直方向の折り返し歪を低減できる。

次に、図３に示した「２フレーム型位置シフト」の場合について説明する。この「２フレーム型位置シフト」に対応する場合は、図７に示した１次元の処理ブロックを水平処理として用い、水平方向の画像拡大処理と折り返し歪低減処理を行う。一方、垂直処理については、図６に示した補間フィルタを用いて垂直方向の画像拡大だけを行い、これらの水平処理と垂直処理を直列接続して、２次元の処理を行う。前述のように、第１の画素数（例えば、水平１９２０画素×垂直１０８０画素）を持つ画像を、第２の画素数（例えば、水平７０４画素×垂直４８０画素）に縮小して通信ネットワーク（１０７）を介して伝送したのちに、第３の画素数（例えば、水平１４０８画素×垂直９６０画素）に拡大して折り返し歪低減処理を行う際には、第１の画素数の画像における（−ｈ，０）→（ｈ，０）→（−ｈ，０）→・・・の位置シフトは、第３の画素数の画像では、ｐ＝１４０８／１９２０として、（−ｐｈ，０）→（ｐｈ，０）→（−ｐｈ，０）→・・・の位置シフトに相当する。したがって、水平位置シフト量（α０，α１）＝（ｐｈ，−ｐｈ）と設定すれば、画像送信装置（１０１）側の画像位置シフト部（１０３）による画像位置シフト処理と画像受信装置（１０９）側の画像位置シフト部（３０２）による画像位置シフト処理の効果を相殺して打ち消すことができ、画像ブレを止めることができる。

したがって、図７の画像拡大・鮮明化部（５０１）において、係数Ｋ＝−１／ｔａｎ（π（α０−α１））＝−１／ｔａｎ（２πｐｈ）＝−１／ｔａｎ（２πｈ×１４０８／１９２０）＝−１／ｔａｎ（πｈ×２２／１５）と設定すれば、水平方向の折り返し歪を低減できる。

なお、前述の画像縮小処理によって非約数の画素数に縮小した場合にも、画像に含まれる折り返し歪を低減でき、イテレーションを行うことなく、画像を鮮明化することができる。

ここで、前述した図８の構成は、図７の構成に比べて演算量が約３倍になるため、ＣＰＵ等の計算リソースを圧迫することが考えられる。そこで、図８に示した構成の演算量を削減しつつ等価な動作を実現することができる構成を図９および図１０を用いて説明する。

図９および図１０は、図４に示した画像拡大・鮮明化部における画像拡大・鮮明化処理の機能を実現する構成の他の一例を模式的に示す図である。

前述した図７の構成においては、ヒルベルト変換が固定係数の奇対称フィルタであることと、係数Ｋαと係数Ｋβがそれぞれ一定であることに着目すると、「加算器（５０４）、減算器（５０５）、ヒルベルト変換器（５０６）、乗算器（５０７）、および加算器（５０８）」はすべて固定係数からなる線形演算であり、ひとつの「１次元非対称フィルタ」（後述）として表すことができることがわかる。すなわち、図７の構成は、入力＃０に対して１次元補間フィルタ（５０３−＃０）を通したのちに「１次元非対称フィルタ」を通した信号と、入力＃１に対して１次元補間フィルタ（５０３−＃１）を通したのちに減算器（５０５）の極性（正負）を反転した「１次元非対称フィルタ」を通した信号とを、最後にまとめて加算するように構成しても、同一の出力が得られることになる。

そこで、図９においては、図８の水平処理部（６０１）における「１次元非対称フィルタ」と、垂直処理部（６０２）における「１次元拡大部および１次元補間フィルタ」の順番を入れ替え、水平・垂直の各１次元拡大部をまとめて２次元拡大部（７０２）とし、水平・垂直の各１次元補間フィルタをまとめて２次元補間フィルタ（７０３）とし、水平・垂直の各１次元非対称フィルタをまとめて２次元非対称フィルタ（７０４）として、２次元処理部（７０１）を構成する。

この２次元処理部（７０１）においては、入力＃０〜＃３に対応する水平位置シフト量（α０，α１，α２，α３）および垂直位置シフト量（β０，β１）に合わせて、２次元補間フィルタ（７０３）と２次元非対称フィルタ（７０４）の各係数を設定し、各２次元処理部（７０１−＃０〜＃３）とする。

続いて、各２次元処理部（７０１−＃０〜＃３）を通った各信号を、各フレームメモリ（７０５−＃０〜＃３）を介したのちに加算器（７０６）で全信号を加算すれば、図８の構成と等価な出力を得ることができる。

このように、図８に示した構成では、入力＃０〜＃３を用いて、水平処理部（６０１）と垂直処理部（６０２）のすべての演算を行わなければ出力は得られなかったが、図９の構成では、入力＃０〜＃３に対する処理は、各２次元処理部（７０１−＃０〜＃３）によって他の入力と独立して演算される。それぞれの入力＃０〜＃３は、画像フレームごとに、入力＃０、入力＃１、入力＃２、入力＃３、入力＃０、・・・の順番に入力されるため、入力されない画像フレームについては、演算結果をフレームメモリ（７０５−＃０〜＃３）に蓄えておけばよい。さらに、入力されない画像フレームについては各２次元処理部（７０１−＃０〜＃３）が必要ないことから、図１０に示すように２次元処理部（７０１）をひとつだけ設置し、水平位置シフト量（α０，α１，α２，α３）および垂直位置シフト量（β０，β１）に合わせて、フレーム番号に応じて内部の係数を変えながら設定するように構成し、切り替え器（７０７）を用いてフレームメモリ（７０５−＃０〜＃３）をフレームごとに選択しながら書き込む構成にしてもよい。

したがって、図１０に示したように画像拡大・鮮明化部（１１１）を構成することにより、図８の構成における演算量に比べ、約１／６（＝２（水平・垂直）／３（水平・水平・垂直）×１／４（処理する入力フレーム数の比））の演算量に削減することができる。

同様に、「２フレーム型位置シフト」の場合の画像拡大・鮮明化部（１１１）の構成も、図７の構成を、図１１の構成に等価変換できる。すなわち、図７における１次元拡大部（５０２−＃０），（５０２−＃１）を図１１における１次元拡大部（８０１）にまとめ、図７における１次元補間フィルタ（５０３−＃０），（５０３−＃１）を図１１における１次元補間フィルタ（８０２）にまとめ、図７における「加算器（５０４）、減算器（５０５）、ヒルベルト変換器（５０６）、乗算器（５０７）、および加算器（５０８）」を図１１における１次元非対称フィルタ（８０３）にまとめて、水平位置シフト量（α０，α１）に合わせて、フレーム番号に応じて内部の係数を変えながら設定するように構成し、切り替え器（８０４）を用いてフレームメモリ（８０５−＃０），（８０５−＃１）をフレームごとに選択しながら書き込む構成にして、加算器（８０６）で両信号を加算すれば、図７の構成と等価な出力を得ることができる。

すなわち、図１１のように画像拡大・鮮明化部（１１１）を構成することにより、図７の構成における演算量に比べ、約１次元補間フィルタひとつ分の演算量を削減することができる。

図１２〜図１４は、図５および図１１の画像拡大・鮮明化部が有する非対称フィルタにおける構成の一例を示すブロック図および動作説明図である。

図１２は、図１１の画像拡大・鮮明化部が有する１次元非対称フィルタの構成の一例を示すブロック図である。

前述した図７においては、入力＃０は、１次元拡大部（５０２−＃０）と１次元補間フィルタ（５０３−＃０）を通ったのちに、「加算器（５０４）を通った信号」と、「減算器（５０５）、ヒルベルト変換器（５０６）、乗算器（５０７）を通った信号」が、加算器（５０８）で加算されて出力となる。このとき、入力＃１＝０（無信号）と置くと、入力＃０に対しては、加算器（５０４）も減算器（５０５）も係数＝１（すなわち、信号は変化なし）となることがわかる。したがって、入力＃０に対する１次元非対称フィルタ（７０４）のフィルタ係数は、図１２に示すように、ヒルベルト変換器（５０６）を通して係数Ｋを乗じた信号と入力信号とを、加算器（５０８）で加算した信号を出力とする。

一方、入力＃０＝０（無信号）と置くと、入力＃１に対しては、加算器（５０４）の係数は１であり、減算器（５０５）の係数は−１となることがわかる。したがって、入力＃１に対する１次元非対称フィルタ（７０４）のフィルタ係数は、入力＃０に対する１次元非対称フィルタ（７０４）のフィルタ係数の係数と比べて、係数Ｋの極性（正負）を反転させた値となる。

ヒルベルト変換器（５０６）は奇対称フィルタであり、ｔ＝２ｍ（ただし、ｍは整数）のときは係数Ｃ（ｔ）＝０であり、ｔ＝２ｍ＋１（ただし、ｍは整数）のときは係数Ｃ（ｔ）＝２／（πｔ）である。したがって、図１２の構成では、１次元非対称フィルタ（７０４）のフィルタ係数は、図１３に示すように偶対称でも奇対称でもない「非対称」の動作になる。なお、図１３に示したフィルタ係数（Ｃ（ｔ））は一例であり、例えばヒルベルト変換の係数に一般的な窓関数（ハニング窓など）を乗じて係数Ｃ（ｔ）（ただし、ｔ≠０）として、フィルタ端の影響を軽減してもよい。

図１４は、図９の画像拡大・鮮明化部が有する２次元非対称フィルタにおける構成の一例を示すブロック図である。

この２次元非対称フィルタ（７０４）は、前述した１次元非対称フィルタ（８０３）を直列に接続したものであり、水平処理部（８０３−Ｈ）で水平方向の画素数を変換し、垂直処理部（８０３−Ｖ）で垂直方向の画素数を変換することにより、２次元の画素数変換を実現できる。

このように、非対称フィルタを用いて入力画像フレームごとに独立した信号処理を行うことにより、折り返し歪低減における演算量削減を実現することができる。

次に、被写体に動きを含む画像に対応する処理について説明する。

前述した画像拡大・鮮明化部（１１１）の構成により、画素ごとの動き探索とイテレーションを不要とすることによって演算量を減らし、高速な処理が可能な画像鮮明化を実現した。この中で、画素ごとの動き探索を不要にするために、図７〜図１１の構成に用いた位置シフト量（αｎ、βｎ）をフレームごとに固定の値とした。このとき、画像フレーム中の被写体に動きがない場合には問題ないが、被写体に動きがある場合には、フレーム間の演算によって多重像が生じてしまう問題がある。そこで、このような問題を解決するための構成例を以下に説明する。

図１５は、図１の画像受信装置における画像拡大・鮮明化部の構成の他の例を示すブロック図である。

図１５において、画像拡大部（３０１）、画像位置シフト部（３０２）、および折り返し歪低減部（３０３）からなる処理部（１００１）は、図４に示した構成と同一である。この中の画像位置シフト部（３０２）によってフレーム間の画像ブレが抑えられた信号を不要な折り返し歪を抑えるためのローパスフィルタ（１００２）に通し、後述する動き検出部（１００３）によって画像の画素ごとの動きの大きさに応じた制御信号（ｍ、ただし０（動きなし）≦ｍ≦１（動きあり））を生成して、加重混合部（１００４）を用いて、ローパスフィルタ（１００２）を通した信号（ｐ１）と、折り返し歪低減部（３０３）を通した信号（ｐ０）とを制御信号ｍに応じて加重混合して、出力信号とする。ここで、加重混合部（１００４）は、制御信号ｍから制御信号（１−ｍ）を生成する減算器（１００５）、乗算器（１００６）（１００７）、および加算器（１００８）からなり、画素ごとに「出力＝ｐ１×ｍ＋ｐ０×（１−ｍ）」の処理を行う。すなわち、制御信号ｍの値が０に近い領域（静止に近い領域）では折り返し歪低減部（３０３）を通した信号（ｐ０）が出力され、制御信号ｍの値が１に近い領域（動きが大きい領域）ではローパスフィルタ（１００２）を通した信号（ｐ１）が出力されるように制御される。

図１６は、図１５の画像拡大・鮮明化部が有する動き検出部における構成の一例を示すブロック図である。

動き検出部（１００３）において、前述した「４フレーム位置シフト型」のときには、ローパスフィルタ（１００２）から入力された連続する４フレームの画像を、切り替え器（１１０１）によりフレーム番号（＃０、＃１、＃２、＃３、＃０、・・・）に従って切り替えながら、フレームメモリ（１１０２）に格納する。続いて、各フレームメモリ（１１０２）から読みだした画像を、平均部（１１０３）を用いて画素ごとに平均し、減算器（１１０４）と絶対値器（１１０５）を用いて平均画像と各フレームとの画素ごとの差の絶対値を計算したのちに、最大値器（１１０６）によってこれらの最大値を画素ごとに求め、正規化器（１１０７）によって「０≦ｍ≦１」の範囲に収まるようにｍの値を正規化したのちに、制御信号ｍとする。なお、この正規化には、予め定めた固定値を最大値器（１１０６）の出力信号に減算したり乗算したりする一般的な技術によって実現できるため、詳細な図示および説明は省略する。

このように構成した動き検出部（１００３）により、動き検出部（１００３）に入力された４フレームの画像（＃０、＃１、＃２、＃３）の値がすべて一致する領域（すなわち、画像が静止している領域）では制御信号ｍの値は０になり、４フレームの画像（＃０、＃１、＃２、＃３）の値が一致しない領域（すなわち、４フレームのうち１フレーム以上で画像が動いている領域）では前述した差信号の絶対値の大きさに応じて制御信号ｍが０＜ｍ≦１の値となる。

なお、前述した「２フレーム位置シフト型」のときには、図１６に示した動き検出部（１００３）の構成のうち、切り替え器（１１０１）、フレームメモリ（１１０２）、平均部（１１０３）、減算器（１１０４）、および絶対値器（１１０５）を、４フレーム分から２フレーム分に変更するだけで容易に実現できるため、図示による説明を省略する。

以上述べた構成により、画像中の被写体に動きがある場合でも、画像の動領域では前述した多重像の発生を抑えながら、画像の静止領域で高画質な画像を得ることができる。例えば、この構成を監視カメラに応用すれば、駐車している車両は画像の静止領域になるため、ナンバープレート等を精細な画像で視認できるようになる。

次に、画像送信装置と画像受信装置とのフレーム同期について説明する。

図１７〜図１９は、図１の画像送信装置および画像受信装置が有する制御部の構成の一例をそれぞれ示すブロック図である。

画像送信装置（１０１）が有する画像位置シフト部（１０３）と、画像受信装置（１０９）が有する画像位置シフト部（３０２）とは、フレーム単位で互いに正確に同期して動作し、互いに逆方向に位置シフトするように制御する必要がある。この同期に用いるフレーム位相情報の取得には、図１７〜図１９に示す構成のうちいずれかひとつを用いる。なお、フレーム位相情報とは、例えば、「４フレーム型位置ずらし」の場合にはフレーム番号「＃０、＃１、＃２、＃３」のいずれかであり、「２フレーム型位置ずらし」の場合にはフレーム番号「＃０、＃１」のいずれかとなる。

図１７は、画像送信装置のフレーム位相情報生成部および画像受信部のフレーム位相情報取得部を用いて同期を行う場合の構成例を示す図である。

図１７においては、画像送信装置（１０１）の制御部（１０６）が有するフレーム位相情報生成部（１２０１）でフレーム位相情報を生成し、多重部（１２０２）を用いて、符号化部（１０５）から出力される画像データと多重する。この多重データを、通信ネットワーク（１０７）を介して画像受信装置（１０９）に伝送し、分離部（１２０３）でこれらを分離したのちに、画像データは復号化部（１１０）へ、フレーム位相情報は制御部（１１２）へそれぞれ入力する。これにより、制御部（１１２）のフレーム位相情報取得部（１２０４）では、画像送信装置（１０１）のフレーム位相情報生成部（１２０１）で生成したフレーム位相情報と同一の情報を得ることができる。なお、フレーム位相情報生成部（１２０１）、多重部（１２０２）、分離部（１２０３）、およびフレーム位相情報取得部（１２０４）は、一般的な技術で実現できるため、詳細な図示は省略する。

図１８は、画像受信部のフレーム位相情報生成部および画像送信装置のフレーム位相情報取得部を用いて同期を行う場合の構成例を示す図である。

図１８においては、画像受信装置（１０９）の制御部（１１２）が有するフレーム位相情報生成部（１２０６）でフレーム位相情報を生成し、通信ネットワーク（１０７）を介して画像送信装置（１０１）に伝送する。これにより、画像送信装置（１０１）の制御部（１０６）が有するフレーム位相情報取得部（１２０５）では、画像受信装置（１０９）のフレーム位相情報生成部（１２０６）で生成したフレーム位相情報と同一の情報を得ることができる。なお、フレーム位相情報生成部（１２０６）およびフレーム位相情報取得部（１２０５）は、一般的な技術で実現できるため、詳細な図示は省略する。

図１９は、画像受信部のフレーム位相情報推定部を用いて同期を行う場合の構成例を示す図である。

図１９においては、画像送信装置（１０１）の制御部（１０６）が有するフレーム位相情報生成部（１２０１）でフレーム位相情報を生成するが、この情報を画像受信装置（１０９）には伝送しない。画像受信装置（１０９）では、画像送信装置（１０１）から伝送された符号化画像データを復号化部（１１０）で復号化し、この復号画像をもとにして、制御部（１１２）が有するフレーム位相情報推定部（１２０７）でフレーム位相情報推定処理を行うことによりフレーム位相情報を得る。

図２０は、図１９に示したフレーム位相情報推定部のフレーム位相情報推定処理の動作の一例を示す説明図である。

図２０において、画像（１３０１）は、図２において左上方向に位置シフトした画像フレーム（２０１）を図１に示した画像送信装置（１０１）が有する画像縮小部（１０４）によって縮小したＤ１サイズの画像（水平７０４画素×垂直４８０画素）であり、説明のための一例として挙げている。図２０では、画像（１３０１）上の２次元座標を（ｘ，ｙ）（ただし、ｘは水平座標、ｙは垂直座標）として、ｙ＝０の位置にある画素値の系列の一例、ｙ＝１の位置にある画素値の系列の一例、ｙ＝２の位置にある画素値の系列の一例をそれぞれ示している。

画像フレーム（２０１）は左上方向に位置シフトしており、前述したように画像の右端と下端には黒（画素値＝０）が挿入されている。したがって、縮小後の画像（１３０１）においては、もともと画像が存在する左端では、ｘ＝０の位置の画素値Ｐ（０，ｙ）と、ｘ＝１の位置の画素値Ｐ（１，ｙ）の大小関係は絵柄に応じてランダムに変化する。一方，もともと画像が存在しない右端では、黒挿入されたために、ｘ＝７０４の位置の画素値Ｐ（７０４，ｙ）よりもｘ＝７０３の位置の画素値Ｐ（７０３，ｙ）のほうが大きくなる。この性質を利用し、画像が左右のどちらに位置シフトしているか推定するフレーム位相情報推定処理を行う。

図２１は、フレーム位相情報推定部におけるフレーム位相推定処理を示すフローチャートである。

図２１において、フレーム位相情報推定部（１２０７）は、フレーム位相情報推定処理が開始されると、まず、左端用カウンタと右端用カウンタの各データ（Ｌ，Ｒ）をメモリ上に用意し、各値を０に初期化するとともに、垂直座標を示すデータ（ｙ）をメモリ上に用意し、ｙ＝０に初期化する（ステップＳ１４０１）。続いて、画像の左端の２画素の値（Ｐ（０，ｙ）およびＰ（１，ｙ））と右端の２画素の値（Ｐ（７０３，ｙ）およびＰ（７０４，ｙ））の各大小関係に応じて、各カウンタ値（Ｌ，Ｒ）を更新する（ステップＳ１４０２）。すなわち、ステップＳ１４０２では、もし「Ｐ（０，ｙ）≧Ｐ（１，ｙ）」ならば左端用カウンタの値（Ｌ）を１増やすとともに、もし「Ｐ（７０４，ｙ）≧Ｐ（７０３，ｙ）」ならば右端用カウンタの値（Ｒ）を１増やす。続いて、処理対象の垂直座標の値が画像の下端に達したか否か、すなわち、ｙ＝４７９になったかどうかを判定し（ステップＳ１４０３）、判定結果がＮＯの場合には、データ（ｙ）の値をひとつ増やしてｙ←ｙ＋１とし（ステップＳ１４０４）、ステップＳ１４０３の判定結果がＹＥＳになるまでステップＳ１４０４，Ｓ１４０２の処理を繰り返す。また、ステップＳ１４０３での判定結果がＹＥＳの場合には、各カウンタ値（Ｌ，Ｒ）の値に応じて画像シフト方向を推定する（ステップＳ１４０５）。すなわち、ステップＳ１４０５では、もし「左端用カウンタの値（Ｌ）≧右端用カウンタの値（Ｒ）」ならば、画像は左方向にシフトされていると推定し、そうでなければ、画像は右方向にシフトされていると推定する。ステップＳ１４０５が終了したら処理を終了する。

以上の処理により、画像が左右のどちらに位置シフトしているかを推定することができる。なお、図２１においては、説明の簡単のために左右方向のフレーム位相情報推定処理のみを例示しているが、上下方向についても同様の処理を行うことによりフレーム位相情報推定を行うことが可能である。すなわち、図２１に示した各データ値および数値更新の方向を画像に対して９０度回転させた手順を用いれば、画像が上下のどちらに位置シフトしているかも同様に推定できる。また、画像の端の画素値の大小関係の比較ではなく、画素値の分散を比較しても同様の推定を行うことができることは明らかであり、さらに大小関係と分散の両方を用いて同様の推定を行ってもよい。

ここで、画像位置シフト部（１０３）における画像位置シフト処理についてさらに考察する。すなわち、画像送信装置（１０１）のカメラ（１０２）で撮像される画像の種類によっては、画像位置シフト処理の内容を考慮する必要がある。例えば、カメラ（１０２）が画像ベイヤ配列カラーフィルタを配置した単板撮像素子の画像データを備える場合には、画像位置シフト部（１０３）の画像位置シフト処理の動作に制約を加える必要がある。

図２２は、ベイヤ配列カラーフィルタにおける画素の配置の様子を示す図である。

図２２に示すように、ベイヤ配列カラーフィルタ（１５０１）は、Ｒ：赤、Ｇ：緑、Ｂ：青の各カラーフィルタが、水平方向、垂直方向ともに２画素間隔を１周期として、規則正しく配置されている。つまり、ベイヤ配列カラーフィルタ（１５０１）を透過した光が単板撮像素子によって光電変換された画像信号（以下、ベイヤ画像信号と称する）を画像位置シフト部（１０３）に入力する場合には、水平方向、垂直方向のいずれか一方あるいは両方を奇数画素単位で位置シフトしてしまうと、Ｒ：赤、Ｇ：緑、Ｂ：青の位置関係が変化してしまい、位置シフト後の画像の色が変化してしまうこととなる。

したがって、ベイヤ画像信号を画像位置シフト部（１０３）に入力する場合には、水平方向、垂直方向ともに２画素単位（偶数画素単位）で位置シフトすることにより、Ｒ：赤、Ｇ：緑、Ｂ：青の位置関係が位置シフト前と変わらないような画像位置シフト処理を行う。また、このように２画素単位（偶数画素単位）で位置シフトしたのちに、ベイヤ画像信号から変換したカラー信号（ＲＧＢやＹＵＶなど）や、ベイヤ画像信号から変換した輝度信号Ｙだけに対して、本実施の形態に示した各信号処理をそのまま適用することができる。

図２３は、画像蓄積装置の一構成例を模式的に示す機能ブロック図である。

図２３において、画像蓄積装置（１０８）は、符号化された画像データを蓄積（録画）したり再生したりするための装置であり、通信インタフェース（１６０１）、制御部（１６０２）、メモリ（１６０３）、ストレージ（１６０４）、出力インタフェース（１６０５）、入力インタフェース（１６０６）などの処理ブロック及び各処理ブロック接続するバス（１６０７）から概略構成されている。

画像蓄積装置（１０８）は、アプリケーションプログラムをストレージ（１６０４）に格納しており、制御部（１６０２）がストレージ（１６０４）から上記プログラムをメモリ（１６０３）に展開し、制御部（１６０２）が上記プログラムを実行することで、録画、再生、検索等の各種機能を実現することができる。なお、以後の説明では簡単のために、制御部（１６０２）が各アプリケーションプログラムを実行して実現する各種機能を、メモリ（１６０３）に展開された「各種プログラム機能部」が主体となって実現するものとして説明するが、同様の機能を持つ処理部としてハードウェアを用い、各処理部が主体となって各機能を実現することも可能である。

アプリケーションプログラムは、画像蓄積装置（１０８）が出荷時点で予めストレージ（１６０４）に格納されていても良いし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）・ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光学メディアや半導体メモリ等の媒体に格納されて、図示しない媒体接続部を介して画像蓄積装置（１０８）にインストールされても良い。また、通信インタフェース（１６０１）を介して通信ネットワーク（１０７）からダウンロードしてインストールすることも可能である。

通信インタフェース（１６０１）は、通信ネットワーク（１０７）に接続され、通信ネットワーク（１０７）を経由して、図１に示した画像送信装置（１０１）からの画像データを受信したり、画像受信装置（１０９）に画像データを送信したりする機能も有している。制御部（１６０２）は、通信インタフェース（１６０１）、メモリ（１６０３）（各種プログラム機能部）、ストレージ（１６０４）、入出力インタフェース（１６０５，１６０６）を制御する。また、制御部（１６０２）は、後述する処理手順にしたがって、各種信号処理を実行する機能も有している。メモリ（１６０３）は、制御部（１６０２）の制御により、ストレージ（１６０４）に格納しているアプリケーションプログラムの機能部が展開される。ストレージ（１６０４）は、画像送信装置（１０１）からの画像データを蓄積するとともに、アプリケーションプログラムや、アプリケーションプログラムで作成した各種情報を保存するものである。出力インタフェース（１６０５）は、制御部で信号処理した結果の画像を、バス（１６０７）を介して外部機器に出力する機能を有する。出力された画像は、外部の表示部（１６０８）で表示される。入力インタフェース（１６０６）は、操作部（１６０９）からの信号を受け、バス（１６０７）を介して制御部（１６０２）に伝える機能を有している。

このように構成した画像蓄積装置（１０８）は、録画時には以下のような動作シーケンスに従う。すなわち、画像蓄積装置（１０８）は、録画時には、ストレージ（１６０４）に格納されている図示しない録画用アプリケーションプログラムをメモリ（１６０３）に読み込み、この録画用アプリケーションプログラムに記載された手順に従って制御部（１６０２）が各部を制御する。まず、通信インタフェース（１６０１）と通信ネットワーク（１０７）を経由して、図１に示した画像送信装置（１０１）との接続を確立する。その後、通信インタフェース（１６０１）と通信ネットワーク（１０７）を経由して、画像送信装置（１０１）から伝送される符号化画像データを受信し、バス（１６０７）を介して、ストレージ（１６０４）に符号化画像データを蓄積する。このとき、受信した符号化画像データを制御部（１６０２）で復号化し、出力インタフェース（１６０５）を介して画像を出力して、表示部（１６０８）で表示してもよい。続いて、画像蓄積装置（１０８）における再生時の動作シーケンスについて説明する。

また、画像蓄積装置（１０８）は、再生時には以下のような動作シーケンスに従う。すなわち、画像蓄積装置（１０８）は、再生時には、ストレージ（１６０４）に格納されている図示しない再生用アプリケーションプログラムをメモリ（１６０３）に読み込み、この再生用アプリケーションプログラムに記載された手順に従って制御部（１６０２）が各部を制御する。その後、ストレージ（１６０４）に蓄積された符号化画像データを、バス（１６０７）を介して読み出し、通信インタフェース（１６０１）と通信ネットワーク（１０７）を経由して、画像受信装置（１０９）に送信する。

なお、送信時に、送信する符号化画像データを制御部（１６０２）で復号化し、出力インタフェース（１６０５）を介して表示部（１６０８）に画像を出力し、表示してもよい。また、画像蓄積装置（１０８）だけの単体で、ストレージ（１６０４）に蓄積された符号化画像データを読み出して、制御部（１６０２）で復号化し、出力インタフェース（１６０５）を介して表示部（１６０８）に画像を出力し、表示してもよい。ただし、前述したように、画像送信装置（１０１）が有する画像位置シフト部（１０３）によって画像位置をシフト処理した画像をそのまま表示部（１６０８）に表示すると、画像が周期的にブレることになる。そこで、メモリ（１６０３）に展開された各種プログラム機能部に、フレーム位相情報推定部（１２０７）と同様の機能を有するフレーム位相情報推定機能（１６１０）、および画像位置シフト部（３０２）と同様の機能を有する画像位置シフト機能（１６１１）を備え、画像位置シフト処理の効果を相殺して打ち消す処理を行うことにより、画像ブレをキャンセルする。すなわち、画像位置シフト機能（１６１１）は、図４の画像位置シフト部（３０２）の動作における第３の画素数を、ストレージ（１６０４）に蓄積された符号化画像データの画素数（第２の画素数）に読み替えることにより、画像位置シフト部（３０２）の動作をそのまま用いて実現することができる。

また、画像位置シフト機能（１６１１）は、非対称の係数を持つ線形フィルタによる畳み込み処理を用いることによって実現することができる。

図２４は、図２３の画像位置シフト機能において用いるフィルタ係数の一例を説明する図である。

図２４において、係数（ａ）〜（ｄ）は、復号化した画像に畳み込むフィルタ係数を示したものである。各係数（ａ）〜（ｄ）において、カッコ内の記号あるいは数値（すなわち、０，α，１−α，β，１−βなど）は、各係数の値を表しており、カッコの右肩の記号「Ｔ」は転置を表している。また、記号「＊」は畳み込み演算を表している。すなわち、図２４の係数（ａ）〜（ｄ）は、水平３タップ×垂直３タップの２次元フィルタの係数を表している。

ここで、α＞０、β＞０とすると、係数（ａ）で表される２次元フィルタの重心は、右下方向にずれることになり、このフィルタ係数を畳み込んだ画像は右下方向に位置がシフトする。同様に、係数（ｂ）を畳み込んだ画像は左下方向に位置がシフトし、係数（ｃ）を畳み込んだ画像は右上方向に位置がシフトし、係数（ｄ）を畳み込んだ画像は左上方向に位置がシフトする。

例えば、図１における第１の画素数（例えば、水平１９２０画素×垂直１０８０画素）を持つ画像が、図２における「４フレーム型位置シフト」において、回転運動の中心位置の２次元座標を基準（０，０）として、２次元座標（−ｈ，−ｖ）→（ｈ，−ｖ）→（ｈ，ｖ）→（−ｈ，ｖ）→（−ｈ，−ｖ）→・・・と位置シフトした場合には、ストレージ（１６０４）に蓄積された符号化画像データの画素数（第２の画素数）の画像では、ｐ＝７０４／１９２０、ｑ＝４８０／１０８０として、（−ｐｈ，−ｑｖ）→（ｐｈ，−ｑｖ）→（ｐｈ，ｑｖ）→（−ｐｈ，ｑｖ）→（−ｐｈ，−ｑｖ）→・・・と位置シフトすることに相当する。

したがって、フィルタ係数において、α＝ｐｈ、β＝ｑｖとして決定しておき、係数（ａ）→（ｂ）→（ｄ）→（ｃ）→（ａ）→・・・の順番でフレームごとに切り替えながら蓄積された画像に畳み込めば、画像のブレを抑えることができる。以上のように構成することにより、画像蓄積装置（１０８）に蓄積された画像を表示部（１６０８）で再生する際に、画像ブレを抑えることができる。

なお、前述した「水平３タップ×垂直３タップの２次元フィルタ」は動作の説明のための一例であり、本発明はこれに限定されるわけではなく、これとは異なるタップ数を持つ２次元フィルタを用いてよいことは明らかである。また、このようにしてブレを抑えた画像を、通信インタフェース（１６０１）および通信ネットワーク（１０７）を介して、外部に送信してもよいことは明らかである。

以上のように構成した本実施の形態の効果を説明する。

従来技術に例示した超解像処理は、画像に含まれる高周波成分を増幅するだけのエッジ強調処理などに比べて、処理に必要な演算量が極めて多い。例えば、非特許文献１に記載されているような、複数フレームの入力画像を用いて、逐次近似処理によって出力画像を得る超解像技術では、画素ごとのサブピクセル単位の高精度な動き探索を伴うフレーム間位置合わせ（レジストレーション）、画像の拡大、拡大画像の縮小、縮小画像と入力画像との差分検出、および出力画像の補正処理を、何度も反復処理（イテレーション）する必要がある。つまり、従来技術においては、画素ごとの動き探索やイテレーションは演算量が極めて多いため、ＣＰＵ等やメモリ等の計算リソースの処理限界を超えてしまって、画像の動きがぎくしゃくするコマ落ちが発生したり、処理全体が止まってしまったり、マウスやキーボード等によるユーザ入力を受け付けず無応答の状態になったりすることが考えられる。

これに対して本実施の形態においては、時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする画像位置シフト部（１０３）（第１画像位置シフト部）と、画像位置シフト部（１０３）で位置シフトされた画像の画素数を削減して縮小する画像縮小部（１０４）と、画像縮小部（１０４）で縮小された画像を符号化して符号化画像を生成する符号化部（１０５）と、通信ネットワーク（１０７）を介して送られた符号化画像を復号化して復号画像を生成する復号化部（１１０）と、復号化部（１１０）で復号化された復号化画像の画素数を増加させて拡大する画像拡大部（３０１）と、画像拡大部（３０１）で拡大された画像に対して、画像位置シフト部（１０３）で行われた位置シフトを相殺して打ち消すように位置シフトする画像位置シフト部（３０２）（第２画像位置シフト部）と、画像位置シフト部（３０２）で位置シフトされた画像の折り返し歪を、画像位置シフト部（３０２）で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部（３０３）とを備えるように構成したので、画像処理に係る演算量の増加および画質の低下を抑制しつつ符号化データサイズを削減することができる。すなわち、画像を構成する画素ごとの動き探索とイテレーションを不要とすることによって演算量を減らすことができ、比較的非力な計算リソースを用いても高速な処理が可能な画像鮮明化、および伝送データサイズの少ない画像伝送を実現できる。

＜第２の実施の形態＞
本発明の第２の実施の形態を図２５および図２６を参照しつつ説明する。

本実施の形態は、第１の実施の形態の画像送信装置において、画像位置シフト処理の有無を切り替える機能を有するように構成し、画像位置シフト処理を相殺して打ち消すような画像位置シフト処理を行う手段（すなわち、逆方向に位置シフトする手段）を有しない画像受信装置や画像蓄積装置を介して表示した場合においても周期的にブレない画像を提供できるようにしたものである。

図２５は、本実施の形態に係る画像送信装置の一構成例を概略的に示す機能ブロック図である。図中、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

図２５において、画像送信装置（１８０２）は、画像（静止画、動画）を撮像するカメラ（１０２）と、カメラ（１０２）で撮像した画像に画像位置シフト処理を行う画像位置シフト部（１０３）と、カメラ（１０２）からの画像信号を画像縮小部（１０４）に入力するか、カメラ（１０２）からの画像信号を画像位置シフト部（１０３）を通したのちに画像縮小部（１０４）に入力するか、を切り替える切り替え器（１８０３）と、切り換え器（１８０３）を介して入力された画像に画像縮小処理を行う画像縮小部（１０４）と、画像縮小処理を行った画像に符号化処理を行う符号化部（１０５）と、通信ネットワーク（１０７）を介して画像受信装置（１０９）や画像蓄積装置（１０８）から送信されるコマンドやデータに基づいて、カメラ（１０２）、画像位置シフト部（１０３）、切り換え器（１８０３）、画像縮小部（１０４）、及び符号化部（１０５）を含む画像送信装置（１８０２）全体の動作を制御する制御部（１０６）とを有している。

図２６は、画像受信装置や画像蓄積装置が有する制御部が生成して表示部に表示するメニュー表示画面の一例を示す図である。

図２６において、画像受信装置（１０９）や画像蓄積装置（１０８）が有する制御部（１１２，１６０２）が生成して表示部（１１３，１６０８）に表示するメニュー表示画面（１９０１）は、画像送信装置（１８０２）の画像位置シフト処理に関する動作を選択するためのメニュー表示であることを示すメッセージ部（１９０２）と、画像位置シフト処理を行わない旨を示すメッセージ部（１９０３）と、画像位置シフト処理を行わないことを選択するための選択部（１９０５）と、画像位置シフト処理を行う旨を示すメッセージ部（１９０４）と、画像位置シフト処理を行うことを選択するための選択部（１９０６）とを有している。なお、図２６においては、画像受信装置（１０９）又は画像蓄積装置（１０８）のユーザが、画像位置シフトを行うことを選択した場合を例示している。なお、画像位置シフト処理を行わない旨を示すメッセージ部（１９０３）には、解像度向上が期待できない旨を示すメッセージを含んでもよい。また、画像位置シフト処理を行う旨を示すメッセージ部（１９０４）には、解像度向上が期待できる旨を示すメッセージを含んでもよい。

画像送信装置（１８０２）は、通信ネットワーク（１０７）を介して、画像位置シフト部（３０２）を有する画像受信装置（１０９）又は画像蓄積装置（１０８）と接続した場合には、ユーザがメニュー表示画面（１９０１）の選択部（１９０６）を選択することにより、切り替え器（１８０３）を図中の下側に切り替えて、画像位置シフト部（１０３）を通した画像を画像縮小部（１０４）で縮小し、符号化部（１０５）で符号化して、通信ネットワーク（１０７）を介して画像受信装置（１０９）や画像蓄積装置（１０８）に送信する。これにより、画像受信装置（１０９）では、折り返し歪を低減した高画質の画像を出力できる。

一方、この画像送信装置（１８０２）は、通信ネットワーク（１０７）を介して、画像位置シフト部（３０２）を有しない画像受信装置又は画像蓄積装置と接続した場合には、ユーザがメニュー表示画面（１９０１）の選択部（１９０５）を選択することにより、切り替え器（１８０３）を図中の上側に切り替えて、画像位置シフト部（１０３）を通さずに画像縮小部（１０４）で縮小し、符号化部（１０５）で符号化して、通信ネットワーク（１０７）を介して画像受信装置（１０９）や画像蓄積装置（１０８）に送信する。これにより、画像受信装置でも、ブレを含まない画像を出力できるようになる。

なお、切り替え器（１８０３）は、メニュー表示画面（１９０１）の設定に応じて制御部（１８０４）から送られる制御信号にしたがって制御されるが、このとき、通信ネットワーク（１０７）を介して、画像受信装置（１０９）又は画像蓄積装置（１０８）から自動的に送信されたコマンドに応じて制御できるようにしてもよい。すなわち、画像位置シフト部（３０２）を有する画像受信装置（１０９）又は画像蓄積装置（１０８）は画像位置シフト処理を行う旨を示すコマンドを送出するように予め設定し、このコマンドが制御部（１８０４）で受信されないときには、画像位置シフト部（３０２）を有しない画像受信装置が接続されていると判定して、切り替え器（１８０３）を図中の上側に切り替えるようにしてもよい。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。

また、画像位置シフト部（１０３）によって画像位置シフト処理を行った画像においては、画像位置シフト処理を相殺して打ち消すような画像位置シフト処理を行う手段（すなわち、逆方向に位置シフトする手段）を有しない画像受信装置では表示した画像が周期的にブレることになるが、画像位置シフト処理の有無を切り換える構成を備えたことにより、画像位置シフト部を備える本実施の形態の画像受信装置等と、画像位置シフト部を備えない他の画像受信装置等の何れに接続した場合においても、それぞれに好適な画像を表示することができる。

＜第３の実施の形態＞
本発明の第３の実施の形態を図２７〜図２９を参照しつつ説明する。

本実施の形態は、画像位置シフト処理を相殺して打ち消すような画像位置シフト処理を行う手段（すなわち、逆方向に位置シフトする手段）を有しない画像受信装置を介して表示した場合においても周期的にブレない画像を提供できるようにした他の実施の形態を示すものである。

図２７は、本実施の形態に係る画像送信装置の一構成例を概略的に示す機能ブロック図である。また、図２８は、本実施の形態に係る画像受信装置の一構成例を概略的に示す機能ブロック図である。図中、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

図２７において、画像送信装置（２００１）は、画像（静止画、動画）を撮像するカメラ（１０２）と、カメラ（１０２）で撮像した画像に画像位置シフト処理を行う画像位置シフト部（１０３）と、画像位置シフト処理を行った画像に画像縮小処理を行う画像縮小部（１０４）と、画像縮小処理を行った画像に画像位置シフト部（１０３）で行われた位置シフトを相殺して打ち消すように位置シフトする画像位置シフト部（２００２）と、画像位置シフト部（２００２）で画像位置シフト処理を行った画像に符号化処理を行う符号化部（１０５）と、通信ネットワーク（１０７）を介して受信されるコマンドやデータに基づいて、カメラ（１０２）、画像位置シフト部（１０３）、画像縮小部（１０４）、画像位置シフト部（２００２）及び符号化部（１０５）を含む画像送信装置（２００１）全体の動作を制御する制御部（２００３）とを有している。

画像位置シフト部（２００２）は、制御部（２００３）からの制御によって、画像位置シフト部（１０３）によって生じた画像ブレと逆方向に画像をシフトするためのものであり、画像蓄積装置（１０８）が有する画像位置シフト機能（１６１１）と同様に動作する。すなわち、図４の画像位置シフト部（３０２）の動作における第３の画素数を、伝送する画像データの画素数（第２の画素数）に読み替えることにより、画像位置シフト部（３０２）の動作をそのまま用いることができる。なお、前述した非対称フィルタを画像位置シフト部（２００２）として用いることもできる。

図２８において、画像受信装置（２００４）は、通信ネットワーク（１０７）を介して画像送信装置（２００１）から送られてきた画像に復号化処理を行う復号化部（１１０）と、復号化処理を行った画像に画像位置シフト部１０３と同様の画像位置シフト処理を行う画像位置シフト部（２００５）と、画像位置シフト部（２００５）で画像位置シフト処理を行った画像に画像拡大・鮮明化処理を行う画像拡大・鮮明化部（１１１）と、画像受信装置（２００４）全体の動作を制御する制御部（２００６）とを有している。

画像位置シフト部（２００５）は、制御部（２００６）からの制御によって動作し、画像送信装置（２００１）の画像位置シフト部（２００２）で行われた位置シフトを相殺して打ち消すように位置シフトするものである。

図２９は、図２８の画像位置シフト部において用いるフィルタ係数の一例を説明する図である。

図２９において、係数（ａ）〜（ｄ）は、復号化した画像に畳み込むフィルタ係数を示したものである。各係数（ａ）〜（ｄ）において、カッコ内の記号あるいは数値（すなわち、０，α，１−α，β，１−βなど）は、各係数の値を表しており、カッコの右肩の「−１」は逆特性を表し、カッコの右肩の記号「Ｔ」は転置を表している。また、記号「＊」は畳み込み演算を表している。すなわち、図２９の係数（ａ）〜（ｄ）は、図２４に示した２次元フィルタの逆フィルタの係数を表している。なお、逆フィルタの各係数は、一般的な技術によって求めることができるため、具体的な説明を省略する。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても、第１の実施の形態と同様の効果をえることができる。

また、画像送信装置（２００１）と画像受信装置（２００４）とを組み合わせて用いた場合には、第１の実施の形態と同様の動作によって、画像受信装置（２００４）では鮮明な画像を出力できるとともに、画像送信装置（２００１）を画像位置シフト部を備えない画像受信装置や画像蓄積装置と接続した場合においても表示時に生じる画像のブレを抑制することができる。

＜第４の実施の形態＞
本発明の第４の実施の形態を図３０を参照しつつ説明する。

本実施の形態は、第１の実施の形態における画像蓄積装置（１０８）を画像受信装置（１６１２）として用いるものである。

本実施の形態における画像処理システムでは、画像送信装置として画像送信装置（１０１）を用い、画像蓄積装置（１０８）のストレージ（１６０４）に格納されている図示しない画像受信用アプリケーションプログラムに記載された処理（後の図３０により詳述）に従って制御部（１６０２）が各部を制御することにより、画像蓄積装置（１０８）を画像受信装置（１６１２）としても用いる（図２３参照）。

図３０は、本実施の形態に係る画像受信装置における処理の一例を示すフローチャートである。

図３０において、画像受信装置（１６１２）は、まず、通信ネットワーク（１０７）を経由して符号化された画像データを取得し（ステップＳ２２０１）、制御部（１６０２）で画像データを復号して、メモリ（１６０３）に格納する（ステップＳ２２０２）。続いて、フレーム位相情報を取得する（ステップＳ２２０５）。また、ステップＳ２２０５と並行して、画像を拡大し（ステップＳ２２０３）、画像の位置シフトを行う（ステップＳ２２０４）。これらの処理は、図４に示した画像拡大部（３０１）および画像位置シフト部（３０２）の処理内容にそれぞれ対応する。

続いて、折り返し歪低減処理を行う（ステップＳ２２０６）。ステップＳ２２０６においては、２次元処理を行い（ステップＳ２２０７）、所定のフレームメモリ（図２３におけるメモリ（１６０３））に画像を格納し（ステップＳ２２０８）、全フレームメモリの値を同一画素位置ごとに加算する（ステップＳ２２０９）。なお、これらの処理は、図９及び図１０に示した構成における処理内容に対応する。ステップＳ２２０６と並行して、不要な折り返し歪を抑えるためのローパスフィルタ処理を行う（ステップＳ２２１０）。続いて、動き検出処理を行い、制御信号ｍを得る（ステップＳ２２１１）。なお、この処理は、図１６に示した構成における処理内容に対応する。

続いて、ステップＳ２２０６で得た折り返し歪低減後の画像と、ステップＳ２２１０で得たローパスフィルタ後の画像と、ステップＳ２２１１で得た制御信号ｍとを用いて加重混合を行い、出力画像を得る（ステップＳ２２１２）。この処理は、図１５に示した加重混合部（１００４）の動作に対応する。ステップＳ２２１２）で得た出力画像信号を出力インタフェース（１６０５）を介して出力し（ステップＳ２２１３）、処理を終了する。

なお、上記のステップＳ２２０１〜Ｓ２２１３で示した処理は、画像送信装置（１０１）から画像受信装置（１６１２）に画像データが伝送されるたびに実行されるように制御部（１６０２）で制御すればよい。あるいは、ステップＳ２２０１〜Ｓ２２１３で示した処理が完了するたびに、画像受信装置（１０９）から画像送信装置（１０１）に対して、画像データの送信を指示するコマンドを送信してもよい。また、図２３のメモリ（１６０３）に展開された各種プログラム機能部に、さらに別の図示しない画像位置シフト機能を備えることにより、図２８で説明した画像位置シフト部（２００５）の動作（すなわち、図２９に示した動作）を実現できることは明らかであり、画像受信装置（１６１２）の構成を用いて、図２８に示した構成と同様の動作を実現できることは明らかである。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

なお、本発明は上記した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

すなわち、本発明の各実施の形態の機能はソフトウェアのプログラムコードによって実現することができる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したハードウェアは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等で実装してもよく、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装してもよい。

さらに、前述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、データを管理する機能を有するコンピュータ化ストレージシステムに於いて、単独又は如何なる組み合わせでも使用することが出来る。

１０１ 画像送信装置
１０２ カメラ
１０３ 画像位置シフト部
１０４ 画像縮小部
１０５ 符号化部
１０６ 制御部
１０７ 通信ネットワーク
１０８ 画像蓄積装置
１０９ 画像受信装置
１１０ 復号化部
１１１ 画像拡大・鮮明化部
１１２ 制御部
１１３ 表示部
１１４ 操作部

Claims (12)

1. 時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする第１画像位置シフト部と、
   前記第１画像位置シフト部で位置シフトされた画像の画素数を削減して縮小する画像縮小部と、
   前記画像縮小部で縮小された画像を符号化して符号化画像を生成する符号化部と、
   通信ネットワークを介して送られた前記符号化画像を復号化して復号化画像を生成する復号化部と、
   前記復号化部で復号化された復号化画像の画素数を増加させて拡大する画像拡大部と、
   前記画像拡大部で拡大された画像に対して、前記第１画像位置シフト部で行われた位置シフトを打ち消すように位置シフトする第２画像位置シフト部と、
   前記第２画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第２画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部と、
   前記画像縮小部で縮小された画像に対して、前記第１画像位置シフト部による位置シフトを打ち消す位置に画像をシフトし、前記符号化部に送る第３画像位置シフト部と、
   前記復号化部で復号化された復号化画像に対して、前記第３画像位置シフト部による位置シフトを打ち消す位置に画像をシフトし、前記画像拡大部に送る第４画像位置シフト部と
   を備えたことを特徴とする画像処理システム。
2. 時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする第１画像位置シフト部と、
   前記第１画像位置シフト部で位置シフトされた画像の画素数を削減して縮小する画像縮小部と、
   前記画像縮小部で縮小された画像を符号化して符号化画像を生成する符号化部と、
   通信ネットワークを介して送られた前記符号化画像を復号化して復号化画像を生成する復号化部と、
   前記復号化部で復号化された復号化画像の画素数を増加させて拡大する画像拡大部と、
   前記画像拡大部で拡大された画像に対して、前記第１画像位置シフト部で行われた位置シフトを打ち消すように位置シフトする第２画像位置シフト部と、
   前記第２画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第２画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部とを備え、
   前記折り返し歪低減部は、前記画像の静止領域に折り返し歪低減処理を行うとともに、前記画像の動領域には前記第２画像位置シフト部で位置シフトされた画像を出力する動き適応処理部を備えたことを特徴とする画像処理システム。
3. 請求項１記載の画像処理システムにおいて、
   前記画像縮小部は、元の画像の画素数の非約数（非整数分の１）の画素数を有する画像に縮小することを特徴とする画像処理システム。
4. 請求項１記載の画像処理システムにおいて、
   前記折り返し歪低減部は、非対称の係数をもつ非対称フィルタを用いることを特徴とする画像処理システム。
5. 請求項１記載の画像処理システムにおいて、
   前記第２画像位置シフト部は、前記第１画像位置シフト部での位置シフトに基づいて生成されるフレーム位相情報に基づいて位置シフトを行うことを特徴とする画像処理システム。
6. 請求項１記載の画像処理システムにおいて、
   前記第２画像位置シフト部は、前記復号化部で復号化された復号化画像に基づいて位置シフトを行うことを特徴とする画像処理システム。
7. 請求項１記載の画像処理システムにおいて、
   前記第１画像位置シフト部は、前記通信ネットワークを介して受信されるコマンド情報に基づいて位置シフトを行うことを特徴とする画像処理システム。
8. 請求項７記載の画像処理システムにおいて、
   前記コマンド情報を決定する決定部を有することを特徴とする画像処理システム。
9. 時間的に連続する複数の画像であって、予め定めた複数のシフト位置の何れかにそれぞれ位置シフトされ、画素数を削減されて縮小され、前記位置シフトを打ち消す位置にシフトされ、符号化され、通信ネットワークを介して送られた符号化画像を復号化して復号化画像を生成する復号化部と、
   前記復号化部で復号化された復号化画像に対して、前記位置シフトを打ち消す位置へのシフトをさらに打ち消す位置に画像をシフトし、画像拡大部に送る第１画像位置シフト部と
   前記第１画像位置シフト部で位置シフトされた復号化画像の画素数を増加させて拡大する画像拡大部と、
   前記画像拡大部で拡大された画像に対して、前記第１画像位置シフト部による位置シフトを打ち消すように位置シフトする第２画像位置シフト部と、
   前記第２画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第２画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部と
   を備えたことを特徴とする画像処理装置。
10. 時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする第１画像位置シフト部と、
    前記第１画像位置シフト部で位置シフトされた画像の画素数を削減して縮小する画像縮小部と、
    前記画像縮小部で縮小された画像に対して、前記第１画像位置シフト部による位置シフトを打ち消す位置に画像をシフトする第２画像位置シフト部と、
    前記第２画像位置シフト部で位置シフトされた画像を符号化して符号化画像を生成する符号化部とを備え、
    前記符号化画像を復号化して復号化画像を生成する復号化部と、前記復号化部で復号化された復号化画像に対して、前記第２画像位置シフト部による位置シフトを打ち消す位置に画像をシフトする第３画像位置シフト部と、前記第３画像位置シフト部で位置シフトされた復号化画像の画素数を増加させて拡大する画像拡大部と、前記画像拡大部で拡大された画像に対して、前記第３画像位置シフト部で行われた位置シフトを打ち消すように位置シフトする第４画像位置シフト部と、前記第４画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第４画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部とを備えた処理装置に、通信ネットワークを介して前記符号化画像を送ることを特徴とする画像処理装置。
11. 時間的に連続する複数の画像であって、予め定めた複数のシフト位置の何れかにそれぞれ位置シフトされ、画素数を削減されて縮小され、符号化され、通信ネットワークを介して送られた符号化画像を復号化して復号化画像を生成する復号化部と、
    前記復号化部で復号化された復号化画像の画素数を増加させて拡大する画像拡大部と、
    前記画像拡大部で拡大された画像に対して、前記位置シフトを打ち消すように位置シフトする画像位置シフト部と、
    前記画像位置シフト部で位置シフトされた画像の折り返し歪を、前記画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を行う折り返し歪低減部とを備え、
    前記折り返し歪低減部は、前記画像の静止領域に折り返し歪低減処理を行うとともに、前記画像の動領域には前記画像位置シフト部で位置シフトされた画像を出力する動き適応処理部を備えたことを特徴とする画像処理装置。
12. 時間的に連続する複数の画像のそれぞれに対して、予め定めた複数のシフト位置の何れかに画像の位置をシフトする第１画像位置シフト部と、
    前記第１画像位置シフト部で位置シフトされた画像の画素数を削減して縮小する画像縮小部と、
    前記画像縮小部で縮小された画像を符号化して符号化画像を生成する符号化部とを備え、
    前記符号化画像を復号化して復号化画像を生成する復号化部と、前記復号化部で復号化された復号化画像の画素数を増加させて拡大する画像拡大部と、前記画像拡大部で拡大された画像に対して、前記第１画像位置シフト部で行われた位置シフトを打ち消すように位置シフトする第２画像位置シフト部と、前記第２画像位置シフト部で位置シフトされた画像の折り返し歪を、前記第２画像位置シフト部で位置シフトされた他の画像の情報を用いて低減する折り返し歪低減処理を前記画像の静止領域に行うとともに、前記画像の動領域には前記第２画像位置シフト部で位置シフトされた画像を出力する動き適応処理部を有する折り返し歪低減部とを備えた処理装置に、通信ネットワークを介して前記符号化画像を送ることを特徴とする画像処理装置。

Images