JP2000244851A

JP2000244851A - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP2000244851A
Application number: JP11039579A
Authority: JP
Inventors: Nobutaka Miyake; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-02-18
Filing date: 1999-02-18
Publication date: 2000-09-08
Anticipated expiration: 2019-02-18
Also published as: JP4371457B2

Abstract

(57)【要約】【課題】動画像の複数フレームを合成して一枚の高解
像度静止画を作成する場合に、誤差を少なくすると共
に、不鮮明なフレームが有る場合でも、良好に合成でき
るようにする。【解決手段】選択部１０２は、格納部１０１に格納さ
れたｍ〜（ｍ＋ｎ）フレームの連続した（ｎ＋１）枚分
の動画像情報の中からエッジ情報等に基づいて１枚の基
準静止画を選択し、この基準静止画を配置部１０５がメ
モリ内に配置する。次に、動きベクトル演算部１０４
は、基準静止画以外のｎ枚の静止画について、それぞれ
基準静止画に対する動きベクトルを演算する。配置部１
０７は、上記演算結果に基づいて、上記メモリ内の基準
静止画の配置点とは異なる位置に、上記ｎ枚の静止画を
それぞれ配置する。合成部１０８は、配置後の（ｎ＋
１）枚の画像を合成して一枚の画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に入力した画像
情報を、拡大変倍して出力するプリンタ等の画像出力装
置や、解像度の異なる機種間通信で、低解像情報から高
解像情報に解像度変換する場合に用いて好適な画像処理
装置、方法及びそれらに用いられるコンピュータ読み取
り可能な記憶媒体に関するものである。

【０００２】

【従来の技術】従来より、入力した画像の低解像情報を
高解像情報に解像度変換する方法として、様々な方法が
提案されている。これらの従来方法は、対象となる画像
の種類（例えば、各画素ごとに階調情報の持つ多値画
像、疑似中間調により２値化された２値画像、固定閾値
により２値化された２値画像、文字画像等）によって、
その変換処理方法が異なっている。

【０００３】従来の内挿方法として、図１２に示すよう
な、内挿点に最も近い同じ画素値を配列する最近接内挿
方法、図１３に示すような内挿点を囲む４点（４点の画
素値をＡ，Ｂ，Ｃ，Ｄとする）の距離により、以下の演
算によって画素値Ｅを決定する共１次内挿法等が一般的
に用いられている。Ｅ＝（１−ｉ）・（１−ｊ）・Ａ＋ｉ・（１−ｊ）・Ｂ＋（１−ｉ）・ｊ・Ｃ＋ｉ・ｊ・Ｄ・・・・（１）（但し、画素間距離を１とした場合に、Ａから水平方向
にｉ、垂直方向にｊの距離があるとする（ｉ≦１、ｊ≦
１））。

【０００４】また、古くからサンプリング定理で表され
ているように、サンプリングされた離散信号を連続信号
に変換する手段として、ＳＩＮＣ関数で表現できる理想
低域ろ波器を通過することによって再現することができ
る。ＳＩＮＣ関数を演算するのは処理時間がかかること
などから、ＳＩＮＣ関数で表現される補間関数を近似し
て、簡単な積和演算のみで補間値を算出する方法があ
る。

【０００５】「画像解析ハンドブック：高木幹雄、下田
陽久監修東京大学出版会」によると、３次畳み込み内挿
法（ＣｕｂｉｃＣｏｎｖｏ１ｕｔｉｏｎｉｎｔｅｒ
ｐｏ１ａｔｉｏｎ）において、補間関数の近似が実現で
きる。内挿したい点の周囲の観測点１６点の画像データ
を用いて、求める画像データを次の式で示される３次畳
み込み関数を用いて内挿する。

【０００６】

【数１】

【０００７】

【数２】

【０００８】

【数３】

【０００９】尚、式（２）のＰｎ〜Ｐ４４は周辺画素値
を示し、図１４に配置を示す。

【００１０】しかし、上述した３種類の従来例では、い
ずれも補間時に補間によるボケ及び入力低解像に依存し
たブロツク状のジャギーが発生し、高画質の高解像情報
が作成できなかった。そこで、本出願人は、低解像情報
から高解像情報の作成において、補間処理による補間ボ
ケもなく、また、ジャギーが発生することなく解像度変
換ができる方法を、特開平７−９３５３１号公報、特開
平７−１０７２６８号公報、特開平７−１０５３５９号
公報等により提案した。

【００１１】これらの提案の基本的な考え方は、入力し
た原情報から解像度依存成分を除去し、除去した状態
で、画素数を出力解像度相当まで増加させ、増加させた
状態の中で新たな解像度に見合う情報を推測し作成する
方法である。入力解像度の依存性を取り除く手段として
は、ＬＰＦによる平滑化、画素数の増加は線形補間によ
り実現可能である。高解像情報の推測は補間後の情報を
単純２値化して、“１”に分類された画素と“０”に分
類された画素とに対してそれぞれ異なる処理を行うこと
により、出力する画素値を算出する。

【００１２】また、特開平９−２５２４００号公報で提
案したように、画素値の連続性が保たれた良好なエッジ
を作成する方法もある。この公報では、低解像度注目画
素の周辺画素よりｍ点（ｍ≧１）の画素（但し、ｍ点中
の観測点ｎにおける画素値をＰ（ｎ）とする）を検出
し、注目画素を複数画素分に補間した各補間点ｋにおけ
る前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の
式により演算している。

【００１３】

【数４】

【００１４】

【発明が解決しようとする課題】しかしながら、上記従
来例では、以下に述べるような欠点があった。即ち、い
くら高解像情報の作成を行っても、高画質化には限度が
あるという点である。当然、サンプリング定理より明ら
かなように、入力解像度のナイキスト限界以上の情報は
入力画像には存在しないため、ナイキスト周波数以上の
情報作成は全て推測によるものになる。

【００１５】そのため、あまり複雑ではないＣＧ画像、
イラスト画像、アニメーション画像のような平坦な人工
的画像をジャギーレスに変換することは容易であるが、
自然画像のナイキスト限界以上の情報推測による高画質
化は難しい。即ち、いかなる方法を用いたとしても、低
解像情報を入力して高解像に変換した画像は、もともと
高解像情報を入力した画像と比較すると、明らかに画質
は低くなる。

【００１６】一方、近年、デジタルビデオカメラ等の普
及により、撮影した動画像を、連続した１フレーム単位
にコンピュータに入力できる手段が増えてきている。た
だ、プリンタの出力解像度は年々増加しているが、撮像
系の入力解像度は増加傾向にあるとはいっても、プリン
タ解像度に比べると、まだまだ低いのが現状である。

【００１７】そこで、従来例の技術で述べたような、１
枚の低解像静止画から、１枚の高解像静止画を作成する
のではなく、動画から取り込んだ連続した複数の低解像
静止画から、１枚の高解像静止画を作成する技術を本発
明により提案する。従来、複数の静止画から、より広範
囲のパノラマ画像の作成方法としては、「動画像のパニ
ングを考慮した背景画像の合成：吉沢、花村、富永、信
学春季全大予稿集７−５１（１９９０）」、及び「分割
撮像によるパノラマ画像の生成法：中村、金子、林、信
学春季全大予稿集７−１６５（１９９１）」等による提
案がある。

【００１８】しかし、１枚の静止画よりも撮像範囲を拡
大したパノラマ画像を作成するのではなく、撮像範囲は
同一で、複数の静止画の情報を合成させて、内挿により
画像の解像度を向上させる技術の提案は数少ない。

【００１９】このような低解像の動画から高解像の静止
画作成の技術として、特開平５−２６０２６４号公報に
よる提案がある。この提案は、連続した画像同士を比較
して、２種画像の差異から、アフィン変換、及び平行移
動のパラメータを検出して、２種画像を合成するもので
ある。上記提案の第２の実施例に、合成を補間に利用す
る例について述べられている。

【００２０】しかし、上記提案では以下の問題点があ
る。即ち、上記公報の第２の実施例に記載された方法
は、前述した図１２から図１４に示した補間方法により
拡大した連続画像同士を比較することにより、前述した
パラメータを算出して補間位置を決定し、合成していく
ものである。しかし、補間演算自体が新たな高解像情報
を作成するものではないために、合成する座標の正確な
決定も困難である。

【００２１】補間するということは、画素間を内挿する
ということである。上記方法では、連続画像同士を比較
する時に入力解像度の画素間の情報がない。簡単に言い
換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、
画像Ａの画素間のどの位置に画像Ｂの画素を内挿するか
という決定が、単なる拡大画像間の比較では困難であ
る。

【００２２】これは、動きベクトルのベクトル量の最小
単位が画素単位であり、画素間距離よりも細かい分解能
がないという点に起因している。即ち、ベクトルの分解
能が画素間以下の精度を持たなければ、複数の静止画を
用いて補間する効果は薄れ、前記従来例で述べた、１枚
の低解像静止画から１枚の高解像静止画への作成の場合
と、画質的にほとんど変わりなくなる。

【００２３】「国際標準画像符号化の基礎技術：小野文
孝、渡辺裕コロナ社」には、各種動き検出法について幾
つかの方法の説明がある。しかし、この説明の何れの方
法も、動き補償を目的とした検出方法であり、複数の画
像から１枚の画像を作成しようとする本発明の目的とは
異なるため、細かい検出精度が不必要であり、これらの
技術を利用しても良好な複数画像の合成は困難である。

【００２４】そこで本出願人は、直交変換を利用して、
画素間距離よりも細かい分解能を持つベクトルの算出方
法を提案した。この方法により、複数の静止画が各々独
立したものではなく、画像間の空間的座標の関連付けが
可能になった。しかし、動きべクトルの分解能が画素間
距離よりも細かく算出されたとしても、画像間の相対位
置が正しく把握できるのみで、まだ問題点は数多く残っ
ている。

【００２５】その一つが、合成する際の誤差が画質劣化
を引き起こすという問題である。即ち、合成する画像の
枚数が多くなればなるほど、動きベクトルの誤差が蓄積
する。

【００２６】図１５は従来の動きベクトルを算出する順
序を示した図である。図において、時刻ｍフレームから
（ｍ＋３）フレームまでの連続した４フレーム分の画像
を合成する例について説明する。１５０１、１５０２、
１５０３、１５０４はそれぞれ、ｍフレーム目の画像情
報、（ｍ＋１）フレーム目の画像情報、（ｍ＋２）フレ
ーム目の画像情報、（ｍ＋３）フレーム目の画像情報を
示している。

【００２７】動きベクトルを算出する順序としては、ま
ずｍフレーム目と（ｍ＋１）フレーム目、続いて、（ｍ
＋１）フレーム目と（ｍ＋２）フレーム目、続いて（ｍ
＋２）フレーム目と（ｍ＋３）フレーム目という３回の
ベクトル算出になる。即ち、従来の動画像符号化の動き
補償と同様に、１フレーム進行後の動き量を逐次算出す
る方法である。この場合、動きベクトルを算出する基準
となるフレーム（基準フレームと称す）は、常に、対象
となるフレーム（対象フレームと称す）と１フレーム分
しか時間的には開きがない。

【００２８】しかし、この方法では、動き補償の目的に
は最適な方法でも、本発明の目的としている複数画像の
合成では幾つかの問題がある。その一つが、上記の誤差
の蓄積である。即ち、１フレーム分の移動量が正確に算
出されないと、時間的にそれ以降の動きベクトル算出で
は、誤差が生じた画像に対して新たに移動量を求めるこ
とになってしまう。画像枚数が多ければ多いほど、その
蓄積される誤差が増加し、本来の配置位置とは大きく異
なる結果になる場合がある。

【００２９】また、もう一つの問題としては、複数枚の
連続画像の途中に動きベクトルの算出困難なフレームが
存在した場合の対処である。当然、複数枚の連続画像の
中では、撮像途中のビデオカメラ等の入力機器側のぶれ
や、対象物の移動等により、不鮮明な画像のフレームも
存在してくる。その場合に、図１５のような従来の方法
を用いると、結果として動きベクトルを大きく誤ったも
のにする恐れもあり、１度ベクトル算出を間違えば、前
述したようにそれ以降のフレームに対しても誤差は解消
されない。

【００３０】このような、動きべクトル算出の順序の問
題は、例えば現在、既に市販されているビデオカメラに
おける、ＣＣＤの画素ずらしの技術を用いて高解像化す
る用途では、いかなる順序で複数枚を合成しても問題に
ならない。それは、画像毎の相対位置に相当する“ずら
し量”が機器側で制御されているためである。しかし、
後述する本発明の実施の形態の場合は、画像毎の相対位
置は全く制御されていない。そのため、動きべクトルを
算出する順序が画質向上に大きな要因をもたらす。

【００３１】また、本発明者は、先に複数の画像の合成
を、ただ単に複数フレームの画素値を配置する方法では
なく、基準のフレームに適合させるように、画像データ
を加工して配置合成する方法を提案した。画像データを
加工する方法では、どのフレームを基準フレームにする
かによって、全く画質の異なる合成画像になってしま
う。データ加工後に合成する方式では、合成フレームの
枚数が３枚以上の場合のみならず、２枚の場合でも、ど
ちらの画像を基準フレームにするかで画質は異なってく
る。即ち、従来では、複数枚の画像を合成する場合に、
どの画像同士を比較して動き量を求め、合成につなげて
いくかという良好なフレームの制御方法が提案されてい
なかった。

【００３２】従って、本発明は、複数枚の画像を合成し
て、一枚の高解像度の画像を得る場合におけるフレーム
制御方式を提案するものである。

【００３３】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明による画像処理装置においては、ｍフレー
ム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋
１）枚分（ｍ，ｎは任意の自然数）の動画像情報の中か
ら第１の静止画を選択する選択手段と、上記（ｎ＋１）
枚の動画像を配置して記憶するための記憶手段と、上記
選択された第１の静止画を上記記憶手段内に配置する第
１の配置手段と、上記第１の静止画以外のｎ枚の静止画
について、それぞれ第１の静止画に対する動きベクトル
を演算する演算手段と、上記演算結果に基づいて、上記
記憶手段内の上記第１の静止画の配置位置とは異なる位
置に、上記ｎ枚の静止画をそれぞれ配置する第２の配置
手段と、上記配置後の（ｎ＋１）枚の画像を合成して一
枚の画像を得る合成手段とを設けている。

【００３４】また、本発明による画像処理方法において
は、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続
した（ｎ＋１）枚分の動画像情報の中から第１の静止画
を選択する選択手順と、上記選択された第１の静止画を
記憶手段内に配置する配置手段と、上記第１の静止画以
外のｎ枚の静止画について、それぞれ第１の静止画に対
する動きベクトルを演算する演算手順と、上記演算結果
に基づいて、上記記憶手段内の上記第１の静止画の配置
位置とは異なる位置に、上記ｎ枚の静止画をそれぞれ配
置する配置手順と、上記配置後の（ｎ＋１）枚の画像を
合成して一枚の画像を得る合成手順とを設けている。

【００３５】さらに、本発明による記憶媒体において
は、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続
した（ｎ＋１）枚分の動画像情報の中から第１の静止画
を選択する選択処理と、上記選択された第１の静止画を
記憶手段内に配置する配置処理と、上記第１の静止画以
外のｎ枚の静止画について、それぞれ第１の静止画に対
する動きベクトルを演算する演算処理と、上記演算結果
に基づいて、上記記憶手段内の上記第１の静止画の配置
位置とは異なる位置に、上記ｎ枚の静止画をそれぞれ配
置する配置処理と、上記配置後の（ｎ＋１）枚の画像を
合成して一枚の画像を得る合成処理とを実行するための
プログラムを記憶している。

【００３６】

【発明の実施の形態】以下、本発明の実施の形態を図面
と共に説明する。図１は本発明の実施の形態による画像
処理装置を示すブロックである。尚、本実施の形態にお
ける画像処理装置は、主として、動画像を撮像するアナ
ログビデオカメラやデジタルビデオカメラの内部、もし
くはビデオカメラと直接、あるいはコンピュータを介し
て接続されるプリンタやビデオプリンタ等の画像出力装
置内部に具備することが効率的であるが、ビデオカメラ
とプリンタとの接続で中間アダプタとなる画像処理装
置、又はホストコンピュータ内のアプリケーションソフ
ト、あるいはプリンタに出力するためのプリンタドライ
バソフトとして内蔵することも可能である。

【００３７】図１の画像処理装置の構成及び動作につい
て説明する。図１において、１００はビデオカメラで撮
像された動画像が入力される入力端子を示している。本
実施の形態では、デジタルビデオカメラで撮像した画像
をコンピュータに送信して、コンピュータ内のアプリケ
ーションソフトにより、プリンタ相当の解像度まで変換
する例について述べる。

【００３８】デジタルビデオで撮影した動画像を記録媒
体から再生して、ユーザは自分の欲するシーンで画像の
取り込み命令を送る。この取り込み命令に同期して、コ
ンピュータ内の格納部１０１に取り込み命令直後の連続
した複数フレームの画像情報を格納する。いま、取り込
み命令を時刻ｍフレーム目とし、ｍフレーム目から（ｍ
＋ｎ）フレーム目までの（ｎ＋１）枚の画像情報が格納
されるものとする。

【００３９】１０２は選択部を示し、格納した（ｎ＋
１）フレーム分の画像情報から、どの時刻の画像を基準
フレームとして設定するのかを判断する。いま、判定結
果により設定された基準フレームを仮にフレームＧとす
る。１０３は、フレーム制御部を示し、処理対象である
２種の画像を選出するための手段である。２種の画像と
は、一つが基準フレームであるフレームＧであり、もう
一つは、フレームＧ以外に格納されているｎ枚のフレー
ム中の一つのフレームである（フレームＨとする）。

【００４０】１０４は動きベクトル演算部を示し、フレ
ームＧと、フレームＨの２種画像の差異を基に、部分的
に移動した移動量をベクトルとして計測する手段であ
る。

【００４１】１０５は配置処理部Ａを示し、撮像したフ
レームＧの画像をメモリ内に配置する手段である。この
メモリは、（入力したフレーム画素数）×（垂直方向拡
大率）×（水平方向拡大率）以上のアドレス空間を有し
ている。そこで配置処理部Ａでは、所定の拡大率に見合
った画素の配置を実行していく。例えば、拡大率が水平
方向、垂直方向ともに２倍の時には、垂直方向、水平方
向ともに１画素おきにフレームＧの画素を配置していく
ことになる。

【００４２】１０６はデータ加工部を示し、フレームＧ
の画像情報にうまく適合するようにフレームＨの画素値
に加工を施す手段である。

【００４３】１０７は配置処理部Ｂを示し、フレーム制
御部１０３で算出したフレームＧとフレームＨとの相対
的なベクトル量に応じて、配置処理部Ａ１０５と同一メ
モリ内に配置する手段である。格納したフレーム数が３
枚以上ある場合には、再びフレーム制御部１０３に戻
り、新たなフレームに対して前述した同様の処理を繰り
返す。但し、２回目以降の処理においては、フレームＧ
は固定であり、またフレームＧの画像情報は、既に配置
されているため、新たに配置する必要はない。フレーム
Ｈのみが新たなフレームに更新され、前述した動きベク
トル演算、データ加工、配置の各処理工程を実行するこ
とになる。

【００４４】１０８は合成部であり、同一メモリ内に配
置した複数枚の画像を合成して１枚の画像情報にする。
１０９は合成した画像がまだ、所望の解像度までの内挿
点の情報が埋まっていない場合に、埋まっていない内挿
点の情報を補間演算により算出する補間演算部である。
１１０は出力端子を示し、高解像度化した画像情報がプ
リンタ等に送信される。

【００４５】図２は、本実施の形態の特徴である選択部
１０２の構成を示す。いま例として、格納部１０１で
は、ｍフレーム目の画像から（ｍ＋３）フレーム目の画
像までの計４枚の連続した画像を格納したとする。２０
１、２０２、２０３、２０４は、それぞれエッジ抽出部
を示し、格納した４枚の画像情報を基に、画像中に含ま
れるエッジ情報を抽出する手段である。

【００４６】図３に一般的なラプラシアンのエッジ抽出
フィルタの例を示す。いま、（ｍ＋ｓ）フレーム目（但
し、０≦ｓ≦３）の画像上の座標（ｘ，ｙ）における画
素値をｆ_s（ｘ，ｙ）、エッジ抽出処理後の値をｋ
_s（ｘ，ｙ）とすると、図３のエッジ抽出フィルタでは
以下の積和演算になる。

【００４７】ｋ_s（ｘ，ｙ）＝ｆ_s（ｘ−１，ｙ−１）＋ｆ_s（ｘ，ｙ−１）＋ｆ_s（ｘ＋１，ｙ−１）＋ｆ_s（ｘ−１，ｙ）−８ｆ_s（ｘ，ｙ）＋ｆ_s（ｘ＋１，ｙ）＋ｆ_s（ｘ−１，ｙ＋１）＋ｆ_s（ｘ，ｙ＋１）＋ｆ_s（ｘ＋１，ｙ＋１）・・・・（６）

【００４８】図２において、２０５、２０６、２０７、
２０８はそれぞれ、エッジ強度評価部を示し、エッジ抽
出部２０１〜２０４により抽出されたエッジの強度を画
像全体にわたって積算する手段である。画像全体の縦画
素数をＶ、横画素数をＨとすると、（ｍ＋ｓ）フレーム
目のエッジ強度Ｐｓは以下のように算出する。

【００４９】

【数５】

【００５０】２０９は最大エッジ強度決定部を示し、エ
ッジ強度評価部２０５〜２０８でそれぞれ求めたＰｓが
最大となるフレームｓを基準フレームとして決定する。
即ち、エッジ強度という独自の評価関数を設定し、格納
した複数枚の画像の中で、画像全体に渡って最もエッジ
の強度が大きいと評価されたフレームを選択するもので
ある。

【００５１】エッジの強度が大きい画像を基準フレーム
として設定するということは、後述する動きベクトルを
算出する時にも、また、他の対象フレームのデータ加工
をする時にも有利になる。エッジ強度による評価は、格
納した複数枚の中で、最も焦点がはっきりと撮影された
画像であると仮定することもできる。そのため、基準フ
レーム以外の対象フレームの画像は、基準フレームの画
質に付加価値を付けていく役割になり、最低でも基準フ
レーム単独以上の画質向上が保証される。

【００５２】また、図２の構成は、説明を容易にするた
めに、全フレームを並列に処理する例について述べた
が、当然、エッジ抽出部、エッジ強度評価部は単一で、
垂直に処理する構成でもよい。また、式（７）では
ｋ_s’（ｘ，ｙ）の算出をｋ_s（ｘ，ｙ）の絶対値を用
いていたが、当然、ｋ_s（ｘ，ｙ）の２乗を用いて演算
することも可能である。

【００５３】次に、動きベクトル演算部１０４について
説明する。動きベクトルを算出する方法としては、古く
から様々な方法が提案されているが、従来方法では、画
素間距離以下のベクトルの分解能がないために、合成、
補間を施して低解像の動画を高解像度の静止画に変換す
る用途には適さない。

【００５４】図４に本実施の形態による動きベクトル演
算部１０４の詳細ブロック図を示す。図１の格納部１０
１から動きベクトル演算部１０４に送信される２種の画
像は、基準フレームであるフレームＧと対象フレームと
なるフレームＨである。

【００５５】図４において、ブロック化部４０１は、フ
レームＨの画像情報をＮ×Ｎ画素単位にブロック化す
る。Ｎの値は様々考えられるが、例としてＮ＝８を想定
する。いま、この作成した８×８画素の注目ブロックを
仮にブロックＡと称す。次に、直交変換部４０２におい
て、ブロックＡの直交変換を演算する。直交変換の種類
は限定しないが、高速で容易に演算できるアダマール変
換、及びＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｆｉ
ｃＥｘｐｅｒｔＧｒｏｕｐ）で採用されているＤＣ
Ｔ（離散コサイン変換）等が一般的である。いま、ＤＣ
Ｔを例にすると、Ｎ×Ｎ画素の２次元ＤＣＴの変換係数
は、

【００５６】

【数６】

【００５７】で求められる。

【００５８】一方、基準フレームＧは、Ｍ×Ｍ’ブロッ
ク化部４０３によりＭ×Ｍ’画素単位にブロック化され
る。この時、Ｍ×Ｍ’画素単位のブロックは、フレーム
Ｈ内の、ブロックＡと同一座標のＮ×Ｎ画素のブロック
を包括し、大小関係は、Ｍ≧Ｎ、かつＭ’≧Ｎ（但し、
Ｍ＝Ｍ’＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ’＝
２０と仮定する。即ち、ブロックＡと同一座標を含む２
０×２０のブロックをフレームＧ内に用意することにな
る。

【００５９】次に、Ｎ×Ｎブロック化部４０４により、
２０×２０画素のブロック内で、ブロックＡと同サイズ
のＮ×Ｎ画素のブロックを作成する。ブロックの作成
は、ブロックＡと同一座標からスタートしてもよいし、
また、Ｍ×Ｍ’ブロックの端から順に初めてもよい。い
ま、フレームＧ内で作成したＮ×Ｎ画素のブロックを仮
にブロックＢと称する。

【００６０】直交変換部４０５は、作成したブロックＢ
をブロックＡと同様に直交変換する。当然、直交変換部
４０２、４０５の直交変換は同一の変換手段でなくては
ならない。直交変換係数評価部４０６は、ブロックＡ、
ブロックＢの直交変換係数を基に、その変換係数の類似
性を評価する。類似性の評価は、ブロックのＤＣ（直
流）成分と、ＡＣ（交流）成分の主に低周波域の成分を
基に、それぞれの係数の差分に、成分に応じた重み付け
係数を乗じた値の和で評価する。

【００６１】いま、説明を容易にするために、ブロック
の座標を、ブロックを形成する左上の画素の座標で管理
することにする（以下、この画素の座標をブロックの原
点と称する）。即ち、図５に示すように、ブロックＢの
原点（斜線部の画素に相当する）を（ａ，ｂ）とする
と、ブロックＡとブロックＢとの類似性の評価関数は、

【００６２】

【数７】

【００６３】で算出する。

【００６４】高周波域になるほど、隣接ブロック間の変
換係数の相関が低くなるため、高周波域ほど重み付け係
数Ｗ（ｕ、ｖ）の値を小さく設定する。座標が空間的に
近いブロック同士の低周波域の変換係数は非常に相関が
高いため、式（９）では、ブロック同士の空間的な位置
関係を変換係数の類似性に置き換えて評価している。ま
た、式（９）では絶対値を用いているが、差分の２乗で
も同様の評価は可能である。

【００６５】次に、ブロック制御部４０７は、ブロック
Ｂの原点（ａ，ｂ）を１画素移動して、新たにブロック
を作成し、同様の処理を繰り返す。即ち、Ｎ＝８、Ｍ＝
Ｍ’＝２０を例にすると、８×８画素のブロックは２０
×２０画素のブロック中に１３×１３個作成できるた
め、そのブロック数分に対して繰り返し類似性を演算す
ることになる。

【００６６】フレームＧ内において、全てブロックＢの
走査を終了すると、前述の評価関数であるＲ（ａ，ｂ）
が最小になる座標（ａ’，ｂ’）を判定する。即ち、類
似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせ
るため、Ｒ（ａ，ｂ）の最小値をとる時のブロックＢ
（この時のブロックをブロックＢ’と称する）が、空間
的にもブロックＡと最も近いブロックと見なし、ブロッ
クＡの移動した先と判断する。

【００６７】ただ、これだけでは従来例と同様、動きベ
クトルの分解能は１画素単位であり、画素間距離以下の
ベクトルが判定できない。そこで、本実施の形態では、
画素間距離よりも短い分解能で動きベクトルを推測す
る。

【００６８】以下にベクトルの推測方法を説明する。上
述の方法において、対象フレームであるフレームＨ上の
注目ブロックであるブロックＡの原点を（ａ０，ｂ０）
とし、また、前述したＲ（ａ，ｂ）の最小値をとるフレ
ームＧのブロックＢ’の原点を（ａ’，ｂ’）とする。
変換係数評価部４０６において、ブロックＢ’の検索は
大まかな画素単位の検索であったが、今度はブロック
Ｂ’周辺に絞った細かい距離の推測をする。

【００６９】即ち、変換係数評価部４０６では、まず、
空間的に最も近いと思われるブロックＢ’の検索、次に
求めたブロックＢ’からの微小なずれ量の推測という、
２段階の構戌の異なる評価を実施することになる。

【００７０】図６は、上記２段階目の推測の動作手順を
示すフローチャートである。ステップＳ６０１（以下、
ステップ略）は、ブロックＢ’の１画素左に作成したブ
ロックと１画素右に作成したブロックの式（７）の評価
関数結果をそれぞれ比較する。即ち、ブロックＢ’の原
点は（ａ’、ｂ’）であるため、Ｒ（ａ’＋１，ｂ’）
とＲ（ａ’−１，ｂ’）の大小を評価する。このＲ
（ａ’＋１，ｂ’）、Ｒ（ａ’−１，ｂ’）について
は、第１段階の類似性評価の際に算出しているため、演
算結果を記憶、保持しておくのが好ましい。

【００７１】Ｓ６０１において、もし、Ｒ（ａ’＋１，
ｂ’）が小さいと評価されるとＳ６０２に、また否と評
価されるとＳ６０３に移動する。次にＳ６０２では、原
点Ｒ（ａ’＋１，ｂ’）より構成されるブロックをブロ
ックＣと設定し、また、Ｓ６０３では、原点Ｒ（ａ’−
１，ｂ’）より構成されるブロックをブロックＣと設定
する。それと同時に、Ｓ６０２では変数ｃをｃ＝１と設
定し、また、Ｓ６０３では、ｃ＝−１と設定する。

【００７２】次にＳ６０４において、今度はブロック
Ｂ’の１画素上に作成したブロックと１画素下に作成し
たブロックの式（７）の評価関数結果をそれぞれ比較す
る。即ち、ブロックＢ’の原点は（ａ’，ｂ’）である
ため、Ｒ（ａ’，ｂ’＋１）とＲ（ａ’，ｂ’−１）の
大小を評価する。この類似性の評価関数に関しても、第
１段階の類似性評価の際に算出しているため、演算結果
を記憶、保持しておくのが好ましい。

【００７３】Ｓ６０４において、もし、Ｒ（ａ’，ｂ’
＋１）が小さいと評価されるとＳ６０５に、また否と評
価されるとＳ６０６に移動する。次にＳ６０５では、原
点Ｒ（ａ’，ｂ’＋１）より構成されるブロックをブロ
ックＤと設定し、また、Ｓ６０６では、原点Ｒ（ａ’，
ｂ’−１）より構成されるブロックをブロックＤと設定
する。それと同時に、Ｓ６０５では、変数ｄをｄ＝１と
設定し、また、Ｓ６０６ではｄ＝−１と設定する。

【００７４】次にＳ６０７では、ブロックＡの直交変換
係数中の水平方向のＡＣ基本波成分であるＦ_A（１，
０）と、ブロックＢ’、及びブロックＣの直交変換係数
中の水平方向のＡＣ基本波成分であるＦ_B’（１，
０）、Ｆ_C（１，０）の３種の値の大小関係を評価す
る。即ち、Ｆ_A（１，０）の値が、Ｆ_B’（１，０）の
値とＦ _C（１，０）の値との間に存在するか否かを判断
している。もし、存在していれば、Ｓ６０８へ、否なら
Ｓ６０９へ移動する。

【００７５】Ｓ６０８では、変数Ｖｘが以下の式（１
０）で算出される。Ｖｘ＝（Ｆ_A（１，０）−Ｆ_B’（１，０））／（Ｆ_C（１，０）−Ｆ_B’（１，０））・・・・（１０）また、Ｓ６０９では、変数ＶｘはＶｘ＝０に設定され
る。

【００７６】同様に、Ｓ６１０では、ブロックＡの直交
変換係数中の垂直方向のＡＣ基本波成分であるＦ
_A（０，１）と、ブロックＢ’及びブロックＤの直交変
換係数中の水平方向のＡＣ基本波成分であるＦ_B’
（０，１）、Ｆ_D（０，１）の３種の大小関係を評価す
る。即ち、Ｆ_A（０，１）の値が、Ｆ_B’（０，１）の
値とＦ_D（０，１）の値との間に存在するか否かを判断
している。もし、存在していれば、Ｓ６１１へ、否なら
Ｓ６１２へ移動する。

【００７７】Ｓ６１１では、変数Ｖｙが以下の式（１
１）で算出される。Ｖｙ＝（Ｆ_A（０，１）−Ｆ_B’（０，１））／（Ｆ_D（０，１）−Ｆ_B’（０，１））・・・・（１１）また、Ｓ６１２では、変数ＶｙはＶｙ＝０と設定され
る。

【００７８】Ｓ６１３では、式（１０）、式（１１）に
より算出したＶｘ，Ｖｙを基に、ブロックＡから真に移
動したと判断されるブロック（ブロックＢ”と称する）
への動きベクトルＡＢ”を以下のように設定して終了す
る。

【００７９】

【数８】

【００８０】即ち、ブロックＡからブロックＢ’への動
きベクトルは、

【００８１】

【数９】

【００８２】となるので、式（１２）のｃ×Ｖｘ、及び
ｄ×Ｖｙの項が画素間距離よりも分解能の高いベクトル
成分となっている。

【００８３】以上、動きベクトル演算部１０４について
述べたが、上述したように、本実施の形態の動きベクト
ル演算部１０４は２段階の処理になっている。まず、空
間的に最も近いと思われるブロックの検索、次に、求め
たブロックからの微小なずれ量の推測である。上述した
実施の形態では、２段階とも直交変換係数を用いた推測
をしているが、処理の簡略化、高速化等により、第１段
階目のブロック検索は直交変換係数を用いずに、ブロッ
ク内の画素値の比較により推測する方法を用いてもよ
い。

【００８４】次に、データ加工部１０６について図７を
用いて説明する。図７において、座標管理部７０１は、
動きベクトル演算部１０４から算出されたベクトルに従
って、対象フレームであるフレームＨのブロックが、基
準フレームであるフレームＧのどの位置に相当するかを
管理する。この座標管理部７０１からは、前述した式
（９）の評価関数が最小であったアドレスが出力され
る。

【００８５】Ｎ×Ｎブロック化部７０２は、フレームＨ
の画像をＮ×Ｎ画素単位でブロック化する。この手段
は、前段の動きベクトル演算部１０４内部で使用したブ
ロック（注目ブロックと称する）の画素値情報を保持し
ていれば、改めてデータ加工部１０６内部で行う必要は
ない。

【００８６】同様に、Ｎ×Ｎブロック化部７０３は、座
標管理部７０１から受けたアドレスに基づいて、フレー
ムＧのＮ×Ｎ画素単位のブロック化を実行する。この手
段も前段の動きベクトル演算部１０４内部で作成、評価
したブロックのうち、評価関数が最小になったブロック
（誤差最小ブロックと称する）、及び誤差最小ブロック
の周辺に位置するブロック（周辺ブロックと称する）の
画素値情報を保持していれば、改めてデータ加工部１０
６内部で行う必要はない。

【００８７】いま、フレームＨ上の注目ブロックをブロ
ックＡ、フレームＧ上でブロックＡに対する誤差最小ブ
ロックをブロックＢ’、また、ブロックＢ’を基準にし
て水平方向の左右１画素毎にずらしてブロック化した２
種のブロックのうち、評価関数が小さいと評価されたブ
ロックをブロックＣ、同様に、ブロックＢ’を基準にし
て垂直方向に上下１画素毎にずらしてブロック化した２
種のブロックのうち、評価関数が小さいと評価されたブ
ロックをブロックＤとする。

【００８８】また、ブロックＣの原点のｘ座標、及び、
ブロックＤの原点のｙ座標を原点とするブロックをブロ
ックＥとする。ブロックＥはブロックＢ’とは水平垂直
ともに１画素づつずれていることになる。

【００８９】平均値算出部７０４は、注目ブロックであ
るブロックＡ内の画素値の平均値を算出する手段であ
る。ブロックＡの原点座標を（ａ０，ｂ０）とすると、
ブロックＡの平均値Ｔ_Aを以下のように算出する。

【００９０】

【数１０】

【００９１】平均値分離部７０５は、ブロックＡ内の各
画素から、算出した平均値Ｔ_Aを減算することにより分
離する手段である。分離後の値をｇ_H（ｘ，ｙ）とする
と、以下の式（１５）で算出される。ｇ_H（ｘ，ｙ）＝ｆ_H（ｘ，ｙ）−Ｔ_A・・・・（１５）

【００９２】一方、平均値算出部７０６は、フレームＧ
のブロックＢ’、Ｃ、Ｄ、Ｅの各ブロックの平均値を算
出する。ブロックＢ’の原点座標を（ａ’，ｂ’）とす
ると、各ブロックの平均値Ｔ_B’、Ｔ_C、Ｔ_D、Ｔ_Eは
それぞれ以下のように算出される。

【００９３】

【数１１】

【００９４】但し、ｃ，ｄは図６のフローチャートの説
明で述べたように、水平方向に左右１画素毎ずらしてブ
ロック化した場合に、右方向にずらしたブロックがブロ
ックＡとの類似性を示す評価関数結果が小さいと評価さ
れた場合にはｃ＝１、逆に左方向にずらしたブロックが
評価関数結果が小さいと評価された場合にはｃ＝−１、
同様に、垂直方向の比較で下方向の場合にはｄ＝１、上
方向の場合にはｄ＝−１である。

【００９５】また、ブロックＢ’、ブロックＣ、ブロッ
クＤ、ブロックＥの４ブロックは、ブロックの重なりが
大きいため、４ブロックのうち、一つのブロックのみを
平均値算出して、残りの３ブロックの平均値に関して
は、算出したブロックの平均値から、ブロックの非重な
り画素のみを加減算して算出してもよい。

【００９６】次に、平均値置換部７０７においては、以
下の演算が行われる。ｈ_H（ｘ，ｙ）＝ｇ_H（ｘ，ｙ）＋（１−Ｖｘ’）・（１−Ｖｙ’）・Ｔ_B＋Ｖｘ’・（１−Ｖｙ’）・Ｔ_C＋（１−Ｖｘ’）・Ｖｙ’・Ｔ_D＋Ｖｘ’・Ｖｙ’・Ｔ_E・・・・（２０）

【００９７】ここで、Ｖｘ’、Ｖｙ’はブロックＢ’の
原点（ａ’，ｂ’）から内挿点までの距離を示してい
る。即ち、前述した式（１０）、式（１１）により算出
したＶｘ、Ｖｙの座標が、所望の内挿点上に完全に合致
する場合は極めて少ない。実際には、算出したＶｘ、Ｖ
ｙの値に基づいて、それに最も距離の近い内挿点Ｖ
ｘ’、Ｖｙ’上に内挿することになる。

【００９８】図８にＶｘ、Ｖｙ、Ｖｘ’、Ｖｙ’の位置
関係の例を図示する。●印がフレームＧの標本点、×印
が原点座標（ａ’，ｂ’）から式（１０）、式（１１）
により算出したＶｘ、Ｖｙだけ離れた点、○印が解像度
を増加させるために、真に内挿すべき内挿点である。い
ま、ｃ＝１、及びｄ＝１の場合、この内挿点の座標は、
（ａ’＋Ｖｘ’、ｂ’＋Ｖｙ’）となる。この内挿点が
ブロックＡの原点となり、配置点である。

【００９９】式（２０）は、ブロックＡの平均値を、ブ
ロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの平
均値に置換していることを意味している。しかも、置換
する平均値は、ブロックＡの内挿位置に依存して、４ブ
ロックの平均値の線形演算となっている。言い換える
と、ブロックＡのＤＣ成分を基準フレーム上のブロック
Ｂ’、ブロックＣ、ブロックＤ、ブロックＥに適合する
ように変更して、ブロックＡのＡＣ成分のみを利用しよ
うとするものである。

【０１００】以上、データ加工部１０６について述べた
が、本実施の形態においては、上述した例には限らな
い。ブロックＢ’、ブロックＣ、ブロックＤ、ブロック
Ｅの重なりが大きいため、算出するそれぞれの平均値は
大差がない場合も考えられる。その場合には、ブロック
Ｂ’の平均値Ｔ_B’のみをｇ_H（ｘ，ｙ）に加算する簡
易的な方法も可能である。

【０１０１】図９は、以上述べてきた、フレーム制御部
１０６を中心にして動きベクトル算出、配置までの処理
を含めた、特に３枚以上の複数フレームを使用した時の
繰り返し処理の動作手順を示すフローチャートである。
まず始めに、Ｓ９０１により、格納したｍフレーム目か
ら（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚で、各フレ
ーム毎にエッジ強度を評価する。そしてＳ９０２で、そ
れらを相互比較する。

【０１０２】続いて、Ｓ９０３で、最大のエッジ強度を
有する（ｍ＋ｐ）フレーム目をフレームＧとして設定す
る。これが基準フレームである。次にＳ９０４では、変
数ｓ、及び変数ｑを０に初期化する。次にＳ９０５で、
変数ｓがｐに等しいか否かを判断する。これは現在処理
しようとしているフレームが基準フレームなのか、否か
を判定することになる。

【０１０３】もし、いま処理するフレームｓが基準フレ
ームでなければ、Ｓ９０６において、ｑが０に等しいか
否かを判定する。これは、現在処理している繰り返し回
数が１回目なのか否かを判定するものである。もし、ｑ
が０に等しければ、Ｓ９０７で、フレームＧを配置さ
せ、Ｓ９０８で、変数ｑをカウントアップする。もし、
Ｓ９０６で否と判定された場合には、処理が２回目以降
と判定され、既に基準フレームであるフレームＧは配置
されているため、Ｓ９０７、Ｓ９０８はジャンプする。

【０１０４】続いて、Ｓ９０９では、フレームＧと（ｍ
＋ｓ）フレーム目（フレームＨとする）との間で、動き
ベクトルを算出する。次に、Ｓ９１０で、フレームＨを
データ加工した後に、Ｓ９１１で、配置を行う。Ｓ９１
２で、変数ｓをカウントアップした後に、Ｓ９１３で、
繰り返し回数がｎ回になっているか否かを判断する。否
の場合は、まだ処理していないフレームが格納されてい
ると判断され、Ｓ９０５に戻り、他のフレームに対して
も同様の処理工程を繰り返す。格納した全てのフレーム
に対して配置が終了すると、１枚の画像情報に合成され
て処理は完了する。

【０１０５】以上、本実施の形態の一連の処理を説明し
てきたが、本発明の特徴は選択部１０２にある。そのた
め、動きベクトル演算部１０４、データ加工部１０６、
配置処理部１０７等の内容は限定しない。動きベクトル
演算は、直交変換を用いない方法でも当然可能である
し、対象フレームのデータも加工しないで、各対象フレ
ームの画素値を配置するだけの構成も考えられる。

【０１０６】また、式（７）のエッジ強度の評価関数は
これに限るものではない。式（７）の変形例として以下
の式（２１）も考えられる。

【０１０７】

【数１２】

【０１０８】この場合は、エッジ抽出フィルタ後の値
が、ある閾値以上になった画素数をカウントすることを
意味している。式（２１）でも十分に画像全体のエッジ
の強度は把握できる。また、エッジ抽出フィルタも図３
に限るものではなく、よりノイズ耐性の強いフィルタを
用いてもよい。

【０１０９】また、エッジ強度の評価は、エッジ抽出フ
ィルタを用いない方式、例えば、直交変換の高周波成分
の変換係数を基に判定する方式も考えられる。その場合
には、どのフレームが高周波域の電力が大きいかを評価
し、最も電力が大きいと判断されたフレームを基準フレ
ームとして設定する。

【０１１０】また、本実施の形態では、画像の特徴量に
エッジ情報を利用したが、これに限るものではなく、他
の画像の特徴量を用いて評価してもよい。

【０１１１】図１０は、本発明の第２の実施の形態によ
る動作手順を示すフローチャートである。本実施の形態
は、図１の選択部１０２による選択方法が異なっている
のみで、他の各部に関しては同一である。また、図１０
のフローチャートは、ｍフレーム目から（ｍ＋ｎ）フレ
ーム目までの（ｎ＋１）枚の画像情報を基に１枚の高解
像の静止画像を作成する例を示している。

【０１１２】Ｓ１００１は除算工程を示し、ｎの値を２
で除算した場合の整数部分をｐとして代入する。実際の
処理上では、ビットシフトで実現できる。続いて、Ｓ１
００２で、（ｍ＋ｐ）フレーム目を基準フレームである
フレームＧとして設定する。次にＳ１００３では、変数
ｓ、及び変数ｑを０に初期化する。次にＳ１００４で、
変数ｓがｐに等しいか否かを判断する。これは現在処理
しようとしているフレームが基準フレームなのか、否か
を判定することになる。

【０１１３】もし、いま処理するフレームＳが基準フレ
ームでないならば、Ｓ１００５において、ｑが０か否か
を判定する。これは、いま処理する回数が１回目か否か
を判定するものである。ｑが０であるならば、Ｓ１００
６で、フレームＧを配置させ、Ｓ１００７で、変数ｑを
カウントアップする。Ｓ１００５で、否と判定された場
合は、処理が２回目以降と判定され、既に基準フレーム
であるフレームＧは配置されているため、Ｓ１００６、
Ｓ１００７はジャンプされる。

【０１１４】続いて、Ｓ１００８では、フレームＧと
（ｍ＋ｓ）フレーム目（フレームＨとする）との間で、
動きベクトルを算出し、Ｓ１００９で、フレームＨをデ
ータ加工した後に、Ｓ１０１０で、配置する。Ｓ１０１
１で、変数ｓをカウントアップした後に、繰り返し回数
がｎ回になっているか否かを判断する。まだ、処理して
いないフレームが格納されている場合には、Ｓ１００４
に戻り、他のフレームに対しても同様の処理工程を繰り
返す。

【０１１５】格納した全てのフレームに対して配置が終
了すると、単一の画像として合成されて処理は完了す
る。以上のように、本実施の形態は、基準フレームの選
択を、入力されたフレーム順により決定するのが特徴で
ある。

【０１１６】図１１は、５フレーム分格納した場合の基
準フレームの決定を示した図である。斜線で示したフレ
ームが基準フレームである。格納画像が５フレーム分の
場合、ｎ＝４になるので、２で除算することにより、ｐ
＝２となり、（ｍ＋２）フレーム目の中間フレームが基
準フレームとして設定される。この基準フレームを他の
４フレームとそれぞれ比較して処理することになる。

【０１１７】もし、格納フレーム数が偶数の場合には、
ｎを２で除算した結果が非整数になるため、正しく中間
にはなり得ないが、中間前後のフレームを基準フレーム
に設定して構わない（但し、図１０のフローチャートで
は、中間より前になる）。即ち、前述した図９のフロー
チャートの実施の形態では、基準フレームの選択を“画
像の特徴”に基づいて設定する方法であった。画像の特
徴量が、最も顕著に表せる評価関数としてエッジの強度
を評価した。確かに画像の特徴で選択すれば、画質的に
最適な画像を基準フレームとして設定できる可能性があ
る。

【０１１８】しかし、連続画像を扱うため、時間的には
必ずしも最適とは言えない。そこで、図１０のフローチ
ャートの実施の形態では、“時間的な画像の相関性”を
重視して選択している。時間軸において中間の画像を用
いるということは、格納画像中の各フレームと比較した
場合に、画像の連続性を考えると、画像の相関性が最も
高い中心的な画像と仮定することができる。即ち、時間
的ずれが最小であるため、各フレームと基準画像との差
異が少なくて済む。

【０１１９】以上、本発明の実施の形態を説明したが、
図９及び図１０の各フローチャートの折衷案も考えられ
る。即ち、画像の特徴量、及び時間軸上での位置を考慮
して新たな評価関数を作成し、基準フレームを決定する
ことも可能である。その場合には、例え時間軸上で最適
であるフレームが画質的に不鮮明であった場合でも、総
合的に最適な画像を選択することができる。

【０１２０】次に本発明の他の実施の形態としての記憶
媒体について説明する。本発明の目的は、ハードウェア
構成により達成することも可能であり、また、ＣＰＵと
メモリとで構成されるコンピュータシステムで達成する
こともできる。コンピュータシステムで構成する場合、
上記メモリは本発明による記憶媒体を構成する。即ち、
上述した各実施の形態において説明した動作を実行する
ための、ソフトウェアのプログラムコードを記憶した記
憶媒体をシステムや装置で用い、そのシステムや装置の
ＣＰＵが上記記憶媒体に格納されたプログラムコードを
読み出し、実行することにより、本発明の目的を達成す
ることができる。

【０１２１】また、この記憶媒体としては、ＲＯＭ、Ｒ
ＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、
磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロ
ッピィディスク、磁気媒体、磁気カード、不揮発性メモ
リカード等に構成して用いてよい。

【０１２２】従って、この記憶媒体を図１等に示したシ
ステムや装置以外の他のシステムや装置で用い、そのシ
ステムあるいはコンピュータがこの記憶媒体に格納され
たプログラムコードを読み出し、実行することによって
も、上記各実施の形態と同等の機能を実現できると共
に、同等の効果を得ることができ、本発明の目的を達成
することができる。

【０１２３】また、コンピュータ上で稼働しているＯＳ
等が処理の一部又は全部を行う場合、あるいは記憶媒体
から読み出されたプログラムコードが、コンピュータに
挿入された拡張機能ボードやコンピュータに接続された
拡張機能ユニットに備わるメモリに書き込まれた後、そ
のプログラムコードの指示に基づいて、上記拡張機能ボ
ードや拡張機能ユニットに備わるＣＰＵ等が処理の一部
又は全部を行う場合にも、上記各実施の形態と同等の機
能を実現できると共に、同等の効果を得ることができ、
本発明の目的を達成することができる。

【０１２４】

【発明の効果】以上説明したように、本発明によれば、
格納した複数フレームの中から各フレームとの比較の基
準となる単一の基準フレームを、画像の特徴量や時間的
な相関性を基に設定することにより、ベクトル算出時の
誤差の蓄積を生じず、不鮮明なフレームが存在していた
場合でも問題なく良好な合成を可能にする。

【０１２５】また、本発明によれば、従来提案されてい
た、１枚の低解像静止画からの高解像静止画作成の内
挿、補間技術に比べて格段に高画質化した画像情報を作
成することができる。

【０１２６】さらに、本発明によれば、ビデオカメラ
で撮影した低解像静止画情報から１枚の高解像静止画情
報を容易に作成できるため、入出力の解像度の異なる機
種間通信や、拡大変倍して高画質な画像を出力するビデ
オカメラ、プリンタ等を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態による画像処理装置を示す
ブロック図である。

【図２】図１の選択部を示すブロック図である。

【図３】エッジ抽出フィルタの例を示す構成図である。

【図４】図１の動きベクトル演算部を示すブロック図で
ある。

【図５】動きベクトルを説明する構成図である。

【図６】図４の変換係数評価部の動作手順を示すフロー
チャートである。

【図７】図１のデータ加工部を示すブロック図である。

【図８】ブロック内の配置位置を説明する構成図であ
る。

【図９】本発明の第１の実施の形態による選択部を含め
た一連の処理を示すフローチャートである。

【図１０】本発明の第２の実施の形態による選択部を含
めた一連の処理を示すフローチャートである。

【図１１】基準フレームを説明する構成図である。

【図１２】従来の最近接内挿法を説明する構成図であ
る。

【図１３】従来の共１次内挿法を説明する構成図であ
る。

【図１４】従来の３次畳み込み内挿法を説明する構成図
である。

【図１５】従来の動きベクトル算出の比較フレームを説
明する構成図である。

【符号の説明】

１０２選択部１０３フレーム制御部１０４動きベクトル演算部１０５、１０７配置処理部１０６データ加工部１０８合成部１０９補間部２０１〜２０４エッジ抽出部２０５〜２０８エッジ強度評価部２０９最大エッジ強度決定部

Claims

【特許請求の範囲】

【請求項１】ｍフレーム目から（ｍ＋ｎ）フレーム目
までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然
数）の画像情報の中から第１の画像情報を選択する選択
手段と、上記（ｎ＋１）枚の画像情報を配置して記憶するための
記憶手段と、上記第１の画像情報以外のｎ枚の画像情報について、そ
れぞれ第１の画像情報に対する動きベクトルを演算する
演算手段と、上記演算結果に基づいて、上記ｎ＋１枚の画像情報をそ
れぞれ配置する配置手段と、上記配置後の（ｎ＋１）枚の画像を合成して一枚の画像
を形成する合成手段とを設けたことを特徴とする画像処
理装置。
【請求項２】上記選択手段は、上記（ｎ＋１）枚の画
像の特徴量をそれぞれ評価する評価手段を有し、その評
価結果に基づいて、（ｎ＋１）枚の中から１枚を選択す
ることを特徴とする請求項１記載の画像処理装置。
【請求項３】上記特徴量は、画像のエッジ情報である
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】上記評価手段は、画像のエッジを抽出す
るフィルタ手段を有し、そのフィルタリング後のエッジ
抽出情報に基づいて評価することを特徴とする請求項２
記載の画像処理装置。
【請求項５】上記選択手段は、上記（ｎ＋１）枚の画
像の入力順に基づいて選択することを特徴とする請求項
１記載の画像処理装置。
【請求項６】上記選択手段は、上記入力順の中間時刻
に相当するフレームを選択することを特徴とする請求項
５記載の画像処理装置。
【請求項７】ｍフレーム目から（ｍ＋ｎ）フレーム目
までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然
数）の画像情報の中から第１の画像情報を選択する選択
手順と、上記第１の画像情報以外のｎ枚の画像情報について、そ
れぞれ第１の画像情報に対する動きベクトルを演算する
演算手順と、上記演算結果に基づいて、上記ｎ＋１枚の画像情報をそ
れぞれ配置する配置手順と、上記配置後の（ｎ＋１）枚の画像を合成して一枚の画像
を形成する合成手順とを設けたことを特徴とする画像処
理方法。
【請求項８】ｍフレーム目から（ｍ＋ｎ）フレーム目
までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然
数）の画像情報の中から第１の画像情報を選択する選択
処理と、上記第１の画像情報以外のｎ枚の画像情報について、そ
れぞれ第１の画像情報に対する動きベクトルを演算する
演算処理と、上記演算結果に基づいて、上記ｎ＋１枚の画像情報をそ
れぞれ配置する配置処理と、上記配置後の（ｎ＋１）枚の画像を合成して一枚の画像
を形成する合成処理とを実行するためのプログラムを記
憶したコンピュータ読み取り可能な記憶媒体。