JP2000194845A

JP2000194845A - 画像処理装置及びその方法、及び画像処理システム

Info

Publication number: JP2000194845A
Application number: JP10371476A
Authority: JP
Inventors: Nobutaka Miyake; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-12-25
Filing date: 1998-12-25
Publication date: 2000-07-14

Abstract

(57)【要約】【課題】複数の低解像画像に基づいて１枚の高解像静
止画への変換を行なう際に、高画質化することは困難で
あった。【解決手段】格納部１０１に格納された動画像の複数
フレームのうち、動きベクトル演算部１０２でｍフレー
ム目とｍ＋ｎフレーム目の動きベクトルを抽出し、ベク
トル分割部１０３で該動きベクトルを該フレーム間のフ
レーム数で除算する。そして、該分割されたベクトルに
基づいて、配置部Ｂ１０５でｍ＋ａフレーム目（ａ＜
ｎ）の画素をそれぞれ配置し、合成部１０６でｍフレー
ム目の画素と合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法、及び画像処理システムに関し、特に画像情報を
高解像度変換する画像処理装置及びその方法、及び画像
処理システムに関する。

【０００２】

【従来の技術】従来より、入力した低解像情報を高解像
情報に解像度変換する方法として、様々な方法が提案さ
れている。

【０００３】従来より提案されている解像度変換方法に
おいては、低解像情報に対して画素を内挿することによ
り高解像度化を実現しており、対象となる画像の種類
（例えば、各画素が階調情報を持つ多値画像、疑似中間
調により２値化された２値画像、固定閾値により２値化
された２値画像、文字画像等）によって、その変換処理
方法が異なっていた。

【０００４】従来の解像度変換方法における画素内挿の
方法としては、図１１に示すような、内挿点に最も近い
同じ画素値を配列する最近接内挿方法や、図１２に示す
ような内挿点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，
Ｄとする）の距離により、以下の演算によって内挿点Ｅ
の画素値を決定する共１次内挿法等が一般的に用いられ
ている。 E=(1-i)(1-j)A+i(1-j)B+j(1-i)C+ijD …式１（但し、画素間距離を１とした場合に、内挿点ＥはＡか
ら横方向にｉ、縦方向にｊの距離があるとする。（ｉ≦
１、ｊ≦１））また、従来よりサンプリング定理で表されているよう
に、サンプリングされた離散信号を連続信号に変換する
手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器
を通過させることによって、連続信号を再現することが
できる。また、ＳＩＮＣ関数の演算は処理時間がかかる
ことなどから、ＳＩＮＣ関数で表現される補間関数を近
似して、簡単な積和演算のみで補間値を算出する方法が
ある。

【０００５】例えば、「画像解析ハンドブック：高木幹
雄、下田陽久監修東京大学出版会」によると、３次たた
み込み内挿法(Cubic Convolution interpolation)にお
いて、補間関数の近似が実現できる。該内挿法による補
間値の算出方法を、図１３を参照して説明する。図１３
に示す画素配置において、Ｐが内挿した点(補間点)であ
り、Ｐ11〜Ｐ44はその周囲の１６画素の画素値を示す。
そして、以下に示す式で示される３次たたみ込み関数を
用いて、補間点を内挿する。尚、下式においては、ｘ^y
でｘのｙ乗を示すとする。 (但し、[]はガウス記号を示し、整数部分をとる) しかし、上述した３種の内挿方法による解像度変換の結
果としては、いずれも補間によるボケ、及び入力低解像
に依存したブロック状のジャギー等が発生してしまい、
高画質な高解像情報を作成することはできなかった。

【０００６】そこで本出願人は、低解像情報から高解像
情報を作成する際に、補間処理に起因する補間ボケもな
く、また、ジャギーが発生することなく解像度変換を可
能とする方法を特開平７−９３５３１号、特開平７−１
０７２６８号、特開平７−１０５３５９号により提案し
た。

【０００７】これらの提案における基本的な考え方は、
入力した原情報から解像度依存成分を除去し、その後、
画素数を出力解像度相当まで増加させ、その状態で変換
すべき解像度(高解像度)に見合う情報を推測し、最終的
に解像度変換された画像情報を作成する方法である。例
えば、入力解像度の依存性を除去することはローパスフ
ィルタ(ＬＰＦ)による平滑化で、画素数を増加させるこ
とは線形補間により、実現可能である。また、高解像情
報の推測は、補間後の情報を単純２値化して、“１”に
分類された画素と“０”に分類された画素とでそれぞれ
異なる処理を行うことにより、出力する画素値を算出す
る。

【０００８】また出願人は特開平９−２５２４００号に
より、画素値の連続性が保たれた良好なエッジを作成す
る方法を提案した。該提案によれば、低解像度注目画素
の周辺画素よりｍ点(ｍ≧１)の画素（ただし、ｍ点中の
観測点ｎにおける画素値をＰ(ｎ)とする）を検出し、該
注目画素を複数画素分に補間した各補間点ｋにおける前
記補間値Ｃ(ｋ)を基に、出力値ｈ(ｋ)を以下の式により
演算している。 h(k)=Σα(n)P(n)+βC(k) (Σの範囲はn=1からm) …式５尚、α(n)，βは任意の係数であり、β≠0

【発明が解決しようとする課題】しかしながら、上記従
来の内挿方法による解像度変換においては、以下に述べ
るような欠点があった。即ち、いくら高解像情報の作成
を行っても、高画質化に限界があるという点である。

【０００９】サンプリング定理より明らかなように、入
力解像度のナイキスト限界以上の情報は入力画像には存
在しないため、ナイキスト周波数以上の情報作成は全て
推測によるものになる。従って、あまり複雑ではないＣ
Ｇ画像、イラスト画像、アニメーション画像の様な平坦
な人工的画像をジャギーレスに変換することは容易であ
るが、自然画像をナイキスト限界以上の情報推測により
高画質化することは難しい。即ち、いかなる方法を用い
たとしても、低解像情報を入力して高解像に変換した画
像は、もともと高解像情報として入力された画像と比較
すると、明らかに画質は低くなる。

【００１０】一方、近年のデジタルビデオカメラ等の普
及により、撮影した動画像を、連続した１フレーム単位
でコンピュータに入力することが容易に可能となってい
る。従って、動画像の１フレームをプリンタによりプリ
ント出力することも可能であるが、年々増加しているプ
リンタの出力解像度に比べると、撮像系の入力解像度は
増加傾向にあるとはいっても、まだまだ低いのが現状で
ある。

【００１１】従って、上記従来例で説明したように１枚
の低解像静止画から１枚の高解像静止画を作成するので
はなく、動画から取り込んだ複数の連続する低解像静止
画から１枚の高解像静止画を作成することが考えられ
る。

【００１２】複数の静止画から、より広範囲のパノラマ
画像を作成する技術としては、「動画像のパニングを考
慮した背景画像の合成：吉沢、花村、富永、信学春季全
大予稿集７−５１（１９９０）」、及び、「分割撮像に
よるパノラマ画像の生成法：中村、金子、林、信学春季
全大予稿集７−１６５（１９９１）」等の提案がある。
しかし、これらは１枚の静止画よりも撮像範囲を拡大し
たパノラマ画像を作成する技術の提案であり、撮像範囲
は同一で、複数の静止画の情報を合成させて、内挿によ
り画像の解像度を向上させるものではない。

【００１３】低解像の動画から高解像の静止画を作成す
る技術としては、特開平５−２６０２６４号の提案があ
る。該提案においては、連続した画像同士を比較して、
その差異に基づいてアフィン変換、及び平行移動のパラ
メータを検出し、これらの画像を合成するものである。
そして、該合成方法を補間に利用する例についても言及
されている。

【００１４】しかしながら、この提案においては、以下
に示す問題点がある。

【００１５】即ち、上記合成方法を補間に利用する方法
においては、前述した図１１から図１３に示した補間方
法により拡大した連続画像同士を比較することにより、
前述したパラメータを算出して補間位置を決定し、合成
していく。これは、補間演算自体が新たな高解像情報を
作成するものではない為に、合成する座標の正確な決定
は困難である。

【００１６】ここで、補間するということは、画素間を
内挿するということである。しかるに上記合成方法によ
る補間では、連続画像同士を比較する際に入力解像度の
画素間の情報がない。簡単に言い換えると、２種の画像
Ａ，画像Ｂを合成する場合について考えると、画像Ａの
画素間のどの位置に画像Ｂの画素を内挿するかという決
定は、単なる拡大画像間の比較のみでは困難である。

【００１７】これは、動きベクトルのベクトル量の最小
単位が画素単位であり、画素間距離よりも細かい分解能
がないという点に起因している。すなわち、ベクトルの
分解能が画素間距離以下の精度を持たなければ、複数の
静止画を用いて補間する効果は薄れてしまい、上記従来
例に記載したような１枚の低解像静止画から１枚の高解
像静止画を作成した場合と、画質的にほとんど変わりが
なくなってしまう。

【００１８】本発明は、上記課題を解決するためになさ
れたものであり、複数の低解像画像に基づいて１枚の高
解像静止画への変換を行なう際に、高画質化を可能とす
る画像処理装置及びその方法、及び画像処理システムを
提供することを目的とする。

【００１９】また本発明は、動きベクトルの分解能を画
素間距離よりも細かくした補間を行なうことにより、複
数の低解像画像から１枚の高解像静止画へ変換する画像
処理装置及びその方法、及び画像処理システムを提供す
ることを目的とする。

【００２０】また、入出力時の解像度の異なる機種間に
おいて、高画質画像を出力可能な画像処理システムを提
供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は以下の構成を備える。

【００２２】すなわち、複数の低解像度画像を入力する
入力手段と、該複数の低解像度画像間における差分を検
出する検出手段と、該差分に基づいて前記低解像度画像
から高解像度画像を生成する生成手段と、を有すること
を特徴とする。

【００２３】例えば、前記入力手段は動画像における複
数フレームの画像を入力し、前記検出手段は該複数フレ
ーム間における動きベクトルを検出し、前記生成手段
は、該動きベクトルに基づいて前記複数フレームの画像
から高解像度の静止画像を生成することを特徴とする。

【００２４】例えば、前記入力手段は動画像の第１のフ
レームから第２のフレームまでの連続する複数フレーム
を入力し、前記検出手段は前記第１のフレームと第２の
フレーム間における動きベクトルを検出し、前記生成手
段は、前記第１のフレームと第２のフレーム間のフレー
ムの画素を、前記動きベクトルに基づいて前記第１のフ
レームの画像に内挿して静止画像を生成することを特徴
とする。

【００２５】更に、前記生成手段は、前記動きベクトル
を前記第１のフレームと第２のフレーム間のフレーム数
で分割する分割手段と、前記第１のフレームの画素を配
置する第１の配置手段と、前記分割手段により分割され
た動きベクトルに基づいて、前記第１のフレームと第２
のフレーム間のフレームの画素を配置する第２の配置手
段と、前記第１及び第２の配置手段により配置された画
素を合成して１枚の静止画像を生成する合成手段と、を
有することを特徴とする。

【００２６】例えば、前記分割手段において前記動きベ
クトルをｎ分割した場合、前記第２の配置手段は、前記
第１のフレームからａ番目のフレームの画素を前記動き
ベクトルのａ/ｎの位置に配置することを特徴とする。

【００２７】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【００２８】尚、本発明に係る画像処理装置は、主とし
て、動画像を撮像するアナログビデオカメラやデジタル
ビデオカメラの内部、もしくは、ビデオカメラと、直
接、あるいは、コンピュータを介して接続されるプリン
タやビデオプリンタ等の画像出力装置の内部に具備する
ことが効率的である。また、ビデオカメラとプリンタと
の接続で中間アダプタとなる画像処理装置、または、ホ
ストコンピュータ内のアプリケーションソフト、また、
プリンタに出力する為のプリンタドライバソフトとして
内蔵することも可能である。

【００２９】＜第１実施形態＞ [装置構成]図１は、本実施形態の画像処理装置であるコ
ンピュータの機能構成を示すブロック図であり、以下、
図１に沿ってその動作手順を説明する。尚、本実施形態
においては、デジタルビデオカメラで撮像した画像をコ
ンピュータに送信して、コンピュータ内のアプリケーシ
ョンソフトにてプリンタ相当の解像度まで変換する例に
ついて説明する。

【００３０】図中１００はビデオカメラにて撮像された
動画像がコンピュータ内に入力される入力端子である。
ユーザは、デジタルビデオで撮影した動画像を記録媒体
から再生し、所望するシーンで画像の取り込み命令を送
る。この取り込み命令に同期して、コンピュータ内の格
納部１０１に取り込み命令直後の連続した複数フレーム
の画像情報が格納される。１０２は動きベクトル演算部
であり、２種画像の差異に基づいて、部分的に移動した
移動量をベクトルとして計測する手段である。尚、動き
ベクトル演算部１０２の詳細については後述する。１０
３は算出したベクトルを複数に分割するベクトル分割部
であり、その詳細については後述する。

【００３１】１０４は配置部Ａであり、撮像した画像の
画素配置を制御する。また、１０５は配置部Ｂであり、
ベクトル分割部１０３にて分割されたベクトル量に応じ
て、配置部Ａ１０４で画素配置された画像に対して内挿
する画素配置を制御する。１０６は合成部であり、配置
部Ａ１０４，配置部Ｂ１０５によってそれぞれ画素配置
された画像を合成する。１０７は補間部であり、合成部
１０６において合成した画像が、まだ所望の解像度まで
は内挿点の情報が埋まっていない場合に、埋まっていな
い内挿点の情報を補間演算により算出する。この補間部
１０７によって所望の解像度を達成するに十分な画素が
生成されることにより、本実施形態における高解像度化
が達成される。１０８は出力端子であり、高解像度化し
た画像情報がプリンタ等に送信される。

【００３２】１１０はＣＰＵであり、ＲＯＭ１１１に保
持された制御プログラムに従って、上述した各構成の動
作を統括的に制御する。ＲＡＭ１１２は、ＣＰＵ１１０
の作業領域として使用される。

【００３３】[動きベクトル演算]次に、動きベクトル演
算部１０２における処理について詳細に説明する。

【００３４】動きベクトルを算出するために、以前より
様々な方法が提案されている。以下、「画像解析ハンド
ブック：高木幹雄、下田陽久監修東京大学出版会」に記
載されているテンプレートマッチングの中の残差逐次検
定法（ＳＳＤＡ法）について紹介する。

【００３５】図２に示すように、Ｎ１×Ｎ１画素のテン
プレート、もしくはブロックを、それよりも大きいＭ１
×Ｍ１画素の入力画像内の探索範囲(Ｍ１−Ｎ１＋１)^2
上で動かし、以下の式６で示される残差が最小となるよ
うなテンプレート画像の左上位置を求めることにより、
重ね合わせ(マッチング)が達成されたとみなす。 R(a,b)=ΣΣ|I(a,b)(m1,n1)-T(m1,n1)| …式６ (但し、左のΣはm1=0からN1-1，右のΣはn1=0からN1-1
の範囲) ただし、式６において(a,b)は入力画像内におけるテン
プレート画像の左上位置を示し、I(a,b)(m1,n1)は入力
画像の部分画像、T(m1,n1)はテンプレート画像である。

【００３６】この際、重ね合せがずれていると、各画素
について順次加算していくときに残差が急激に増大す
る、そこで、式６に示す加算の途中で残差がある閾値を
超えたら、重ね合せが不十分であると判断して加算を打
ち切り、次の(a,b)の演算に移る方法が残差逐次検定法
である。

【００３７】すなわち、ここで、２種の画像を動画上の
連続画像と坂定すると、上記方法を用いることにより、
両者間の幾何学的ずれを定量化することが容易に可能と
なる。

【００３８】動きベクトルの演算方法としては、より高
精度である提案もなされているが、本実施形態では説明
を容易にするために、上記テンプレートマッチングによ
る方法を用いることとする。

【００３９】さて、上述したテンプレートマッチングに
よる動きベクトルは、残差が最小になる重ね合せを検出
するものであり、前述したようにベクトルの分解能は画
素単位である。すなわち、画素間距離よりも細かい分解
能を持ち合わせていない。符号化時に動き補償としてテ
ンプレートマッチングを用いるのは非常に有効である
が、補間、すなわち、画素間の情報を埋める内挿技術へ
の応用としては、より細かい分解能が必要となる。

【００４０】そこで本実施形態においては、連続した２
種の画像の動きベクトルを算出するのではなく、あえて
時間的にサンプリングの離れた２種の画像について動き
ベクトルを算出する。

【００４１】すなわち、格納部１０１から動きベクトル
演算部１０２に送信される２種の画像として、一方は、
ユーザが取り込み命令を発した直後のる画像（ｍフレー
ムと称する）であり、他方はｍフレーム目からｎフレー
ム後の画像（（ｍ＋ｎ）フレームと称する、但しｎ＞
１）であるとする。ここで、ｎ＝３の場合を例として説
明すると、動きベクトル演算部１０２においては、ｍフ
レーム目の画像と（ｍ＋３）フレーム目の画像間におい
て、どのようなベクトル移動が発生したかを検出するも
のである。当然、この時に算出される動きベクトルの分
解能は画素単位である。

【００４２】[ベクトル分割]次に、ベクトル分割部１０
３における処理について詳細に説明する。

【００４３】ベクトル分割部１０３は、動きベクトル演
算部１０２において演算された動きベクトル量に基づい
て、ｎフレーム間で移動したベクトル量を１フレームあ
たりのベクトル量に換算する為にｎの値で除算する除算
器により構成される。

【００４４】上述したように、本発明の特徴は、動きベ
クトルの分解能を画素間距離よりも細かく設定して補間
することにある。従って本実施形態においては、動きベ
クトルが時間的に全く線形に移動するものと仮定する。
このように動きベクトルが線形に移動しているのであれ
ば、複数フレームの時間差をおいて動きベクトルを算出
して１フレームあたり換算することにより、連続フレー
ム間において画素間よりも細かいベクトルの算出が可能
となる。

【００４５】尚、本実施形態は上述した仮定の基に成立
しているため、以下に示す若干の制約が設けられる。即
ち、ｎフレーム間の動きベクトル量がｎの値に比べて余
りにも大きい場合には、１フレームあたりのベクトル量
の精度が低下してしまうということである。

【００４６】ただし、対象画像が、スポーツシーン等の
動きの激しいものではなく、記念撮影や風景、植物、静
止物等の比較的動きの少ないものであれば、画像中の多
くのブロックにおいて絶対的な移動量が少ない。そこ
で、図２に示すテンプレートマッチングによる動きベク
トル検出方法においては、当然ブロック単位で動き量が
異なるため、移動量が所定値よりも大きいブロックにつ
いては分割しないように構成することも考えられる。

【００４７】[画素配置概要]配置部Ａ１０４はｍフレー
ム目の画素を配置し、配置部Ｂ１０５はベクトル分割量
に応じてｍフレーム目の画像に対する内挿画素を配置す
る。すなわち、配置部Ｂ１０５に入力されるフレームは
ｍ＋ａフレーム（ａ＝１〜(ｎ−１)）目であり、(ｎ−
１)フレーム数分を順次入力して、その分割量に応じて
内挿画素の画素値を配置していく。

【００４８】この時、ベクトル分割部１０３から送信さ
れる分割量は、動きベクトルの１/ｎであり、配置部Ｂ
１０５では、これにａを乗ずる。すなわち、動きベクト
ル×(ａ/ｎ)が、(ｍ＋ａ)フレーム目を入力した際の配
置位置になる。

【００４９】ここでｎ＝３を例とすると、配置部Ｂ１０
５は、動きベクトルの分割量として１/３を受けて、(ｍ
＋１)フレーム目は動きベクトルの１/３、(ｍ＋２)フレ
ーム目は動きベクトルの２/３を配置することになる。

【００５０】図３は、実際の画像の動き例を表した図で
あり、撮影した物体（もしくはカメラ）が徐々に斜め方
向に移動している例である。図３の(ａ)〜(ｄ)は、それ
ぞれｍフレーム目〜(ｍ＋３)フレーム目の画像を表して
いる。

【００５１】図４は、図３に示す例における動きベクト
ルの様子を表した図である。図４の(ａ)はｍフレーム目
の画像であり、図４の(ｂ)は(ｍ＋３)フレーム目の画像
である。ここで、動きベクトルを算出する２種の画像と
して、図４の(ａ)，(ｂ)に示す画像を用いるとする。図
４において物体(オブジェクト)を囲むブロックは、動き
ベクトルを算出するためのブロックであり、図２で示し
たＮ１×Ｎ１のブロックに相当する。尚、ここでは説明
を容易にするために、あえて動きベクトルが全ブロック
共通であると仮定する。図４の(ａ)，(ｂ)により得られ
た動きベクトルを、図４の(ｃ)に示す。

【００５２】図５は、図４の(ｃ)に示す動きベクトルを
分割する様子を示す。図５の(ａ)は算出された３フレー
ム分の動きベクトルを示し、図５の(ｂ)は図５の(ａ)の
ベクトルを１/３にしたもの、図５の(ｃ)は図５の(ａ)
のベクトルを２/３にしたものである。すなわち、図５
の(ａ)に示すベクトル量は３フレーム間において移動し
たものであるため、該ベクトルをフレーム数で除算する
ことになる。

【００５３】図６は、図５に示した様に算出したベクト
ルの分割量に応じて、ブロックを移動させた様子を示
す。図６の(ａ)は全く移動しない画像、図６の(ｂ)はベ
クトル量を１/３だけ移動させた画像、図６の(ｃ)はベ
クトル量を２/３だけ移動させた画像、図６の(ｄ)はベ
クトル量を１だけ移動させた画像である。ここで、図６
の(ａ)及び(ｄ)は、図３の(ａ)及び(ｄ)にそれぞれ一致
する。しかしながら、図６の(ｂ)及び(ｃ)は、図３の
(ｂ)及び(ｃ)とは完全には一致しない。上述したように
本実施形態は、動きベクトルが時間軸に線形である（但
し、短時間、及び、移動距離が微小である場合）という
仮定に基づいているため、図６の(ｂ)及び(ｃ))の位置
はあくまでも推測によるものとなる。

【００５４】[画素配置詳細]以下、本実施形態における
画素配置について、更に詳細に説明する。

【００５５】図７は、ベクトル分割の様子を詳細に示す
図であり、縦横の直線の交点が各画素位置を示してい
る。図７の(ａ)における○印間の矢印は、ｍフレームと
(ｍ＋ｎ)フレームの画像間において算出した動きベクト
ルを示す。以下、ｎ＝３である場合を仮定して説明す
る。

【００５６】図７の(ａ)に示す動きベクトルは、左に３
画素、上に２画素移動している。すなわち、３フレーム
分で、この矢印相当のベクトル移動があったことを示
す。図７の(ｂ)における○印と△印を結ぶ矢印は、図７
の(ａ)に示すベクトルの１/３だけ移動した量を示して
いる。つまり、(ｍ＋１)フレーム目において、○印の画
素が△印まで移動したと仮定する。同様に、図７の(ｃ)
における○印と×印を結ぶ矢印は、図７の(ａ)に示すベ
クトルの２/３だけ移動した量を示している。つまり、
(ｍ＋２)フレーム目において、○印の画素が×印まで移
動したと仮定する。

【００５７】図８は、図７に示した分割ベクトル量に基
づいて、ｍフレーム、(ｍ＋１)フレーム、(ｍ＋２)フレ
ームの３フレーム分の情報を配置して合成させた様子を
示す図である。つまり、ｍフレーム目の情報(○印)は移
動量なしで配置し、(ｍ＋１)フレーム目の情報(△印)は
ベクトルの１/３だけ移動した位置で配置し、(ｍ＋２)
フレーム目の情報(×印)は、ベクトルの２/３だけ移動
した位置で配置する。このように配置を制御することに
より、図８に示すように画素間の内挿が実行できる。

【００５８】図８に示す例においては垂直方向に３倍の
補間が実現したわけであるが、水平方向、もしくは、よ
り多くの垂直方向への補間演算は、補間部１０７にて実
行する。この時の補間の方法としては、上記従来例にお
いて図１１〜図１３で示した方法等が考えられる。

【００５９】尚、本実施形態による内挿方法において
は、画素間の所望の内挿位置に画素情報が配置されると
は限らない。その場合には補間演算を施すことにより、
所望の内挿位置の情報を算出するわけであるが、１枚の
静止画の場合よりも複数の静止画を合成した場合の方
が、補間演算において参照される画素が内挿位置により
近くなるために、より高精細な画像を作成することがで
きる。

【００６０】尚、本実施形態においては画素を内挿する
ことにより高解像度化を実現する例について説明した
が、もちろん拡大変倍を実現する場合においても同様に
適用できることはいうまでもない。

【００６１】以上説明したように本実施形態によれば、
複数フレーム分の動きベクトルを抽出し、フレーム数で
除算することにより、連続フレームの動きベクトル量の
分解能を１画素単位よりも細かく設定することができ
る。従って、１画素よりも細かい分解能で複数フレーム
を合成することにより、高解像度画像をより高詳細に生
成することができる。

【００６２】また、連続フレームの動きベクトルを算出
する場合に比べ、動きベクトルを演算する回数が減るた
め、高速処理が可能となる。

【００６３】従って、例えばビデオカメラにて撮影した
低解像静止画情報から１枚の高解像静止画情報を容易に
作成してプリンタ等に出力することが可能となるため、
入出力時の解像度の異なる機種間通信を行なう画像処理
システムにおいて、高画質画像の出力が可能となる。

【００６４】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。

【００６５】図９は、第２実施形態の画像処理装置であ
るコンピュータの機能構成を示すブロック図であり、上
述した第１実施形態で示した図１と同様の構成には同一
番号を付し、説明を省略する。

【００６６】第２実施形態においては、１枚の静止画を
作成する際に、動きベクトルの算出対象となる２種の画
像を逐次切り替えて、更に合成していくことを特徴とす
る。

【００６７】図９において、カウンタ９００は、配置部
Ｂ１０５における各分割ベクトルに基づく配置回数をカ
ウントする。

【００６８】ここで、上述した第１実施形態と同様に、
ｍフレーム目と(ｍ＋ｎ)フレーム目の動きベクトルを算
出し、その分割ベクトルに基づいて、(ｍ＋１)フレーム
目から(ｍ＋ｎ−１)フレーム目までを、(ｎ−１)枚配置
していく例について説明する。

【００６９】カウンタ９００においては、(ｎ−１)枚ま
での配置をカウントすると、出力フレーム制御部９０１
に通知する。出力フレーム制御部９０１は、該通知を受
けて格納部９０２に格納されているフレームの中から、
更に次の動きベクトルの算出対象となる２フレームを指
定する。次の２フレームは、前回の２フレームの一方で
ある(ｍ＋ｎ)フレーム目が基準となり、更にそれからｎ
フレーム進行した(ｍ＋２ｎ)フレーム目との動きベクト
ルを算出する。

【００７０】そして配置部Ａ１０４及び配置部Ｂ１０５
において、該動きベクトルに基づいた画素配置が行わ
れ、合成部１０６で合成されるが、このとき合成部１０
６においては、既に前回のｍフレーム目から(ｍ＋ｎ−
１)フレーム目までに基づく合成画像が完成されてい
る。従って、該合成画像に更に、(ｍ＋ｎ)フレーム目か
ら(ｍ＋２ｎ−１)フレーム目までに基づく画素配置が合
成される。

【００７１】このように第２実施形態においては、ｎフ
レーム進行した画像同士を順次比較してその動き量を求
め、該動き量をｎで除算した分割ベクトルに基づいて、
画素を順次配置していく。即ち、図９に示される様に、
ｂを整数とすると、動きベクトルを(ｍ＋ｎ×ｂ)フレー
ム目と(ｍ＋ｎ×(ｂ＋１))フレーム目によって求め、そ
の分割ベクトルに基づいて、(ｍ＋ｎ×ｂ＋ａ)フレーム
目を(ｎ−１)フレーム毎に配置していくことになる。そ
してこの処理を、ｂを１づつインクリメントして所定の
上限値まで繰り返すことにより、より高画質な高解像度
画像が得られる。

【００７２】以上説明したように第２実施形態によれ
ば、上述した第１実施形態により得られる効果に加え
て、上記ｂの上限値を大きく設定することにより１枚の
静止画作成に使用するフレーム数が増加するため、内挿
後の画質が更に向上する。

【００７３】尚、第２実施形態においてｎ，ｂの値を、
例えば実験的に得られた最適値に設定することによっ
て、最高画質による解像度変換を可能とする画像処理装
置が提供できる。

【００７４】尚、第２実施形態においてカウンタ９００
は、配置部Ｂ１０５における配置回数をカウントすると
して説明したが、カウントする数値は配置回数には限ら
ず、次回の動きベクトル演算の開始タイミングを規定す
ることができれば何でも良い。

【００７５】＜第３実施形態＞以下、本発明に係る第３
実施形態について説明する。

【００７６】図１０は、第３実施形態の画像処理装置で
あるコンピュータの機能構成を示すブロック図であり、
上述した第１実施形態で示した図１と同様の構成には同
一番号を付し、説明を省略する。

【００７７】第３実施形態においては、算出された動き
ベクトル量の大きさに応じて、動きベクトルの算出対象
となる２種の画像を切り替えることを特徴とする。即
ち、動きベクトル演算部１００１において算出されたベ
クトル量に基づいて、比較対象フレームをフィードバッ
クする構成になっている。

【００７８】ここで、上述した第１実施形態と同様に、
動きベクトル演算部１００１において、ｍフレーム目と
(ｍ＋ｎ)フレーム目との間で動きベクトルを算出する場
合について考える。このとき、ｍフレーム目から(ｍ＋
ｎ)フレーム目にかけて、移動量が予め設定した閾値よ
りも大きい、即ち、算出した動きベクトルの値が大きい
と判断された場合には、出力フレーム制御部１００２に
通知される。出力フレーム制御部１００２においては、
(ｍ＋ｎ)フレーム目から１フレーム分逆行した(ｍ＋ｎ
−１)フレーム目をベクトル演算対象として、格納部１
００３に指定する。すると格納部１００３は(ｍ＋ｎ−
１)フレーム目を出力し、動きベクトル演算部１００１
では今度はｍフレーム目と(ｍ＋ｎ−１)フレーム目との
比較を行うことになる。

【００７９】即ち、動きベクトル演算部１００１におい
てｍフレームと比較されるフレームは、状況に応じて、
(ｍ＋ｎ−ｃ)フレーム目(ｃ＝０〜ｎ−２)となる。この
ｃの値を１ずつ増加させながら２フレームを比較してい
くわけであるが、ｃ＝ｎ−２になった場合でも、まだ動
きベクトルが所定の閾値よりも大きい場合には合成は行
わず、ｍフレーム目の画像をそのまま出力する。

【００８０】配置部Ｂ１０５においては、(ｍ＋ａ)フレ
ーム(ａ＝１〜(ｎ−ｃ−１))目を(ｎ−ｃ−１)フレーム
分入力して、(ｎ−ｃ)で除算したベクトル分割量に応じ
て、画素値を配置していく。

【００８１】以上説明したように第３実施形態によれ
ば、上述した第１実施形態により得られる効果に加え
て、更に適切な移動量を有するフレーム間においてのみ
動きベクトルを算出して適切な内挿処理を行なうことに
より、内挿後の画質が更に向上する。

【００８２】尚、上述した各実施形態においては、ｍフ
レームより時間的に進行したフレームに対して動きベク
トル量を算出する処理について説明したが、ｍフレーム
目以前のフレームを利用して動きベクトルを算出するこ
とももちろん同様に可能である。

【００８３】また、動きベクトルの算出方法としては、
テンプレートマッチングを例として説明したが、これ以
外の方法であってももちろん構わない。例えば、フレー
ム間における移動が平行移動のみである場合以外に、回
転系の動きをアフィン変換の係数として算出し、該係数
を分割して画素配置する方法も考えられる。

【００８４】また、上述した各実施形態においては、ビ
デオカメラによる撮影画像を一旦ビデオテープ等の記録
媒体に録画し、該記録媒体を再生して所望の複数フレー
ムを格納する例について説明した。しかしながら、本発
明における処理対象となる複数フレームはこのような中
間媒体からの再生画像に限定されず、ユーザの指定によ
って撮影画像から複数フレームを直接格納して、高解像
静止画を作成する構成であっても良い。

【００８５】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００８６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００８７】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００８８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００８９】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９０】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【００９１】

【発明の効果】以上説明したように本発明によれば、複
数の低解像画像に基づいて、高画質な高解像静止画を生
成することができる。

【００９２】また、動きベクトルの分解能を画素間距離
よりも細かくした補間が可能となる。

【００９３】また、入出力時の解像度の異なる機種間に
おいて、高画質画像を出力することが可能となる。

【００９４】

【図面の簡単な説明】

【図１】本発明に係る一実施形態における画像処理装置
の機能構成を示すブロック図、

【図２】動きベクトル演算を説明する図、

【図３】連続画像の一例を示す図、

【図４】動きベクトルを説明する図、

【図５】ベクトル分割を説明する図、

【図６】フレーム毎の配置を説明する図、

【図７】画素単位のベクトル分割を説明する図、

【図８】画素の配置及び合成を説明する図、

【図９】第２実施形態における画像処理装置の機能構成
を示すブロック図、

【図１０】第３実施形態における画像処理装置の機能構
成を示すブロック図、

【図１１】従来の最近接内挿法を説明する図、

【図１２】従来の共１次内挿法を説明する図、

【図１３】従来の３次たたみ込み内挿法を説明する図、
である。

【符号の説明】

１００入力端子１０１，９０２，１００３格納部１０２，１００１動きベクトル演算部１０３ベクトル分割部１０４配置部Ａ１０５配置部Ｂ１０６合成部１０７補間部１０８出力端子９００カウンタ９０１，１００２出力フレーム制御部

Claims

【特許請求の範囲】

【請求項１】複数の低解像度画像を入力する入力手段
と、該複数の低解像度画像間における差分を検出する検出手
段と、該差分に基づいて前記低解像度画像から高解像度画像を
生成する生成手段と、を有することを特徴とする画像処
理装置。
【請求項２】前記入力手段は動画像における複数フレ
ームの画像を入力し、前記検出手段は該複数フレーム間における動きベクトル
を検出し、前記生成手段は、該動きベクトルに基づいて前記複数フ
レームの画像から高解像度の静止画像を生成することを
特徴とする請求項１記載の画像処理装置。
【請求項３】前記入力手段は動画像の第１のフレーム
から第２のフレームまでの連続する複数フレームを入力
し、前記検出手段は前記第１のフレームと第２のフレーム間
における動きベクトルを検出し、前記生成手段は、前記第１のフレームと第２のフレーム
間のフレームの画素を、前記動きベクトルに基づいて前
記第１のフレームの画像に内挿して静止画像を生成する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】前記生成手段は更に、前記動きベクトルを前記第１のフレームと第２のフレー
ム間のフレーム数で分割する分割手段と、前記第１のフレームの画素を配置する第１の配置手段
と、前記分割手段により分割された動きベクトルに基づい
て、前記第１のフレームと第２のフレーム間のフレーム
の画素を配置する第２の配置手段と、前記第１及び第２の配置手段により配置された画素を合
成して１枚の静止画像を生成する合成手段と、を有する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】前記分割手段において前記動きベクトル
をｎ分割した場合、前記第２の配置手段は、前記第１の
フレームからａ番目のフレームの画素を前記動きベクト
ルのａ/ｎの位置に配置することを特徴とする請求項４
記載の画像処理装置。
【請求項６】前記生成手段は更に、前記合成手段により合成された画像に対して更に補間演
算を施して高解像度化する補間手段を有することを特徴
とする請求項４記載の画像処理装置。
【請求項７】前記生成手段は更に、前記第１及び第２
のフレームよりなるフレーム組の選択を制御するフレー
ム組制御手段を有することを特徴とする請求項３記載の
画像処理装置。
【請求項８】前記合成手段は、前記フレーム組選択手
段によって選択されたフレーム組毎に合成された静止画
像を合成することを特徴とする請求項７記載の画像処理
装置。
【請求項９】前記フレーム組制御手段は、前記フレー
ム組のそれぞれにおいて、前記第１及び第２のフレーム
間隔が同じになるように制御することを特徴とする請求
項８記載の画像処理装置。
【請求項１０】前記フレーム組制御手段は、現在選択
されているフレーム組の第２のフレームが、次に選択さ
れるフレーム組の第１のフレームとなるように制御する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】前記フレーム組制御手段は、前記検出
手段により検出された動きベクトルに基づいて、前記フ
レーム組を選択することを特徴とする請求項７記載の画
像処理装置。
【請求項１２】前記フレーム組制御手段は、前記動き
ベクトルが所定値以上である場合に、前記フレーム組に
おける第１及び第２のフレーム間隔を狭めるように制御
することを特徴とする請求項１１記載の画像処理装置。
【請求項１３】前記フレーム組制御手段は、前記動き
ベクトルが所定値以上である場合に、前記フレーム組に
おける第２のフレームを第１のフレームに近づけるよう
に制御することを特徴とする請求項１２記載の画像処理
装置。
【請求項１４】前記フレーム組における第１及び第２
のフレーム間隔が２フレーム分になった場合に、前記動
きベクトルが所定値以上であれば、前記生成手段は、前
記第１のフレームの画像をそのまま出力することを特徴
とする請求項１３記載の画像処理装置。
【請求項１５】複数の低解像度画像を入力する入力工
程と、該複数の低解像度画像間における差分を検出する検出工
程と、該差分に基づいて前記低解像度画像から高解像度画像を
生成する生成工程と、を有することを特徴とする画像処
理方法。
【請求項１６】動画像を撮影する撮像装置と、該撮影
された動画像を処理する画像処理装置とを接続した画像
処理システムであって、該画像処理装置は、前記撮像装置により撮影された動画像の複数フレームを
入力する入力手段と、該複数フレーム間における動きベクトルを検出する検出
手段と、該動きベクトルに基づいて前記複数フレームの画像から
該画像よりも高解像度の静止画像を生成する生成手段
と、を有することを特徴とする画像処理システム。
【請求項１７】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは、複数の低解像度画像を入力する入力工程のコードと、該複数の低解像度画像間における差分を検出する検出工
程のコードと、該差分に基づいて前記低解像度画像から高解像度画像を
生成する生成工程のコードと、を含むことを特徴とする
記録媒体。
【請求項１８】複数の低解像度の画像情報に基づいて
単数の高解像度の静止画像情報を作成する画像処理装置
であって、動画像中の連続した複数フレーム分の画像情報を格納す
る格納手段と、格納した複数フレームの中から、ｍフレーム目とｍ＋ｎ
フレーム目(ｍ，ｎは自然数であり、ｎ＞１)を選択して
該フレーム間の動きベクトルを演算する演算手段と、算出した動きベクトルをｎの値に基づいて分割する分割
手段と、ｍフレーム目の画素を配置する第１の配置手段と、前記分割手段により分割した動きベクトルに応じて、ｍ
＋ａフレーム目(ａはａ＜ｎの自然)の画素を配置する第
２の配置手段と、前記第１及び第２の配置手段により画素配置された各フ
レームの画素を合成する合成手段と、を有することを特
徴とする画像処理装置。
【請求項１９】複数の低解像度の画像情報に基づいて
単数の高解像度の静止画像情報を作成する画像処理装置
であって、動画像中の連続した複数フレーム分の画像情報を格納す
る格納手段と、格納した複数フレームの中から、ｍ＋ｎ×ｂフレーム目
（ｍ，ｎは自然数，ｂは整数であり、ｎ＞１）とｍ＋ｎ
×(ｂ＋１)フレーム目を選択して該フレーム間の動きベ
クトルを演算する演算手段と、算出した動きベクトルをｎの値に基づいて分割する分割
手段と、ｍフレーム目の画素を配置する第１の配置手段と、前記分割手段により分割した動きベクトルに応じて、ｍ
＋ｎ×ｂ＋ａフレーム目(ａはａ＜ｎの自然数)を配置す
る第２の配置手段と、ｂの値を増加させて、前記演算手段における演算対象と
なる２フレームの選択を制御する制御手段と、前記第１及び第２の配置手段により画素配置された各フ
レームの画素を合成する合成手段と、を有することを特
徴とする画像処理装置。
【請求項２０】複数の低解像度の画像情報に基づいて
単数の高解像度の静止画像情報を作成する画像処理装置
であって、動画像中の連続した複数フレーム分の画像情報を格納す
る格納手段と、格納した複数フレームの中から、ｍフレーム目とｍ＋ｎ
−ｃフレーム目（ｍ，ｎは自然数、ｃは整数であり、ｎ
＞１，０≦ｃ≦ｎ−２）を選択して該フレーム間の動き
ベクトルを演算する演算手段と、算出した動きベクトルをｎの値に基づいて分割する分割
手段と、ｍフレーム目の画素を配置する第１の配置手段と、前記分割手段により分割した動きベクトルに応じて、ｍ
＋ａフレーム目(ａはａ＜ｎの自然)の画素を配置する第
２の配置手段と、前記第１及び第２の配置手段により画素配置された各フ
レームの画素を合成する合成手段と、前記動きベクトルが所定値以上であればｃを増加させる
ように制御する制御手段と、を有することを特徴とする
画像処理装置。
【請求項２１】前記分割手段は、前記動きベクトルを
ｎで除算し、前記第２の配置手段は、前記動きベクトル
のａ／ｎの位置に画素を配置することを特徴とする請求
項１８乃至２０のいずれかに記載の画像処理装置。