JP2989364B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データを入力し、
該入力データを処理して、高解像度の画像を生成する、
画像処理装置に関するものである。

【０００２】

【従来の技術】従来、高解像度または、パノラマ画像を
入力するためには、以下の方法がある。 （１） 高解像度の撮像素子を用いる方法。 画像処理装置の入力手段に高解像度の撮像素子を用いる
ことにより、高解像度の画像を入力できる。

【０００３】（２） ラインセンサをスキャンさせる方
法。 この方式は、主に密着型イメージスキャナとして、イメ
ージスキャナ、ＦＡＸ、コピア等に広く用いられている
技術で、ライン状のＣＣＤセンサの一回の読み取り動作
で１主走査方向の画像を読み取り、副走査を機械的・光
学的に行うことにより、画像情報を入力する技術であ
る。

【０００４】また、下記の文献１には、非接触のライン
イメージセンサを機械的・光学的に副走査することによ
り、パノラマ画像を得る試みが記載されている。 （文献１） 環境のパノラマ表現；辻（阪大・基礎
工）；信学誌 Ｖｏｌ．７４，Ｎｏ４，ｐｐ．３５４−３５９（１９９
１） （３） 複数の撮像素子を用いる方法。

【０００５】この方法は、下記の文献２乃至文献５で述
べられている方法で、複数の相対的な位置関係が既知の
撮像素子から得られた画像情報を繋ぎ合わせることで高
解像度の画像を入力するものである。 （文献２） 超高精細画像取得のための基礎検討 −ス
テレオ画像処理による高精細画像取得−；相沢（東大
工）斎藤，小松（神奈川大工）；ＩＥ９０−５４（１９
９０） （文献３） 撮像領域合成法による高速静止画入力方
式；上平（ＮＴＴ ＨＩ研）；信学春季全大予稿集７−
１０３（１９９１） （文献４） 撮像領域合成法による高速高精細文書読み
取り技術；上平，松木（ＮＴＴ）；画像電子学会全国大
会予稿集１８ｐｐ７５−７８（１９８９） （文献５） 光学接続型静止画カメラ；上平（ＮＴ
Ｔ）；画像電子学会誌ｐｐ２０３−２０８，Ｖｏｌ．２
０，Ｎｏ．３（１９９１） （４） 画像を張り合わせる方法。 この方法は、時系列的に入力した複数の画像を繋ぎ合わ
せることにより、パノラマまたは広範囲の画像を入力す
る方法で、下記の文献６乃至文献８に述べられている。 （文献６） 実時間画像貼り合わせ機能を持つハンドス
キャン型文書画像入力装置；岡田，大田，坂井（京大工
学部）；ＩＥ８１−１７（１９８１） （文献７） 動画像のパニングを考慮した背景画像の合
成；吉沢，花村，富永（早大）；信学春季全大予稿集７
−５１（１９９０） （文献８） 分割撮像によるパノラマ画像の生成法；中
村，金子（東京理科大），林（ＮＨＫ放送技研）；信学
春季全大予稿集７−１６５（１９９１） （５）撮像素子を振動させる方法。 この方法は、以下の文献９に述べられているように、Ｃ
ＣＤ撮像素子を振動させることにより、振動方向に対し
て２倍の解像度の画像が得られる。 （文献９） スウィング撮像によるＣＣＤの高解像度
化；吉田，遠藤，原田（東芝）；ＩＥ８３−６５（１９
８３）

【０００６】

【発明が解決しようとする課題】しかしながら上記の様
な画像入力方式においては、以下のような問題点が存在
する。 （ａ） 上記従来技術の（１）で述べた「高解像度の撮
像素子を用いる方法」では、入力する画像の画素数は撮
像素子に依存するため、撮像素子の性能以上の画素数の
入力は不可能である。

【０００７】（ｂ） 上記従来技術の（２）で述べた
「ラインセンサをスキャンさせる方式」では、主走査方
向の画素数は、上記（ａ）と同様にラインセンサの画素
数に制限される他、副走査方向の機械的・光学的スキャ
ンを精密に行わないと、ライン間の画像の整合性が悪く
なり、きれいな画像が入力できない。

【０００８】本発明は、画像データを入力し、該入力デ
ータを処理して、高解像度またはパノラマの画像を生成
する、画像処理装置及び画像処理方法に関するものであ
る。

【０００９】（ｄ） 上記従来技術の（４）で述べた
「画像を張り合わせる方式」においては以下の問題点が
ある。文献６に示す方式では、対象画像は２値画像に限
られている他、オペレータによる走査方向が限られてい
る、及び、走査方向と直角の手振れに弱いなどの問題点
がある。

【００１０】文献７に示す方式では、フレーム間の平行
移動成分のみでフレーム間の画像に対する位置合わせを
行っているため、フレーム間で画像が回転や拡大・縮小
した場合、解像度は低下するという欠点がある。

【００１１】文献８に示す方法では、複数のフレームの
位置関係すなわち、カメラのパン／チルトの移動量・角
度等に制限がある他、１点から見たパノラマ画像をえる
ことができるが、カメラの平行移動には対応できない。

【００１２】（ｅ） 上記従来技術の（５）で述べた
「撮像素子を振動させる方法」では、振動は１方向のみ
で、解像度は高々撮像素子の画素数の２倍に限られるほ
か、振動の振幅と撮像信号の取り込みを正確に同期させ
るための特殊な撮像素子が必要となる問題点がある。

【００１３】本発明は、以上の種々の問題点を解決する
ためになされたものであり、その目的は、画素数の少な
い複数の画像から高精細・広範囲の画像を生成する画像
処理装置及び画像処理方法を提供すること、及び、通常
の撮像素子を単数用い、入力時の撮像素子の走査に特殊
かつ厳密な制限のない、非接触に撮像素子の解像度以上
の多値画像を入力できる、また、パノラマ多値画像の撮
影が行え、低解像度の画像が入力されても高解像度画像
を生成出力できる特徴をもつ画像処理装置及び画像処理
方法を提供することにある。

【００１４】

【課題を解決するための手段】請求項１記載の画像処理
装置は、時系列に入力される画像フレームを複数つなぎ
あわせて画像合成する画像処理装置であって、時系列で
前の画像の代表点候補から選択された代表点と時系列で
後の画像の対応点との比較結果に基づいて時系列で前後
する画像を位置補正して合成する入力処理手段と、上記
画像フレームを入力するための画像入力手段と、該画像
入力手段の移動情報を検出する検出手段と、を有し、上
記入力処理手段は、上記移動情報に基づいて上記時系列
で前後する画像のマッチング範囲を制限して上記比較結
果を得ることを特徴とする。請求項２記載の画像処理装
置は、請求項１記載の画像処理装置において、上記入力
処理手段は、上記時系列で前後する画像の各画素の重み
付き平均により合成することを特徴とする。請求項３記
載の画像処理装置は、請求項１記載の画像処理装置にお
いて、上記入力処理手段は、上記時系列で前後する画像
を同一サイズに拡大してから上記比較結果を得、上記位
置補正された時系列で前後する画像から画像フレームの
画素数より多い画素数の画像に合成することを特徴とす
る。請求項４記載の画像処理装置は、請求項１記載の画
像処理装置において、上記入力される画像フレームを記
憶する入力画像メモリと、該入力画像メモリより大きな
画像サイズで上記合成後の画像を記憶するメイン画像メ
モリと、を有し、上記入力処理手段は、上記メイン画像
メモリに記憶された時系列で前の画像を上記入力画像メ
モリに記憶された時系列で後の画像と同一画素数の画像
に縮小して上記位置補正することを特徴とする。請求項
５記載の画像処理装置は、請求項１記載の画像処理装置
において、上記画像フレームを入力するための画像入力
手段と、該画像入力手段を振動させる振動手段と、を有
し、上記振動に応じた複数の画像それぞれが上記入力さ
れる画像フレームであることを特徴とする。請求項６記
載の画像処理装置は、請求項３記載の画像処理装置にお
いて、上記合成された画像を表示する画像表示手段を有
することを特徴とする。請求項７記載の画像処理方法
は、時系列に入力される画像フレームを複数つな ぎあわ
せて画像合成する画像処理方法であって、時系列で前の
画像の代表点候補から選択された代表点と時系列で後の
画像の対応点との比較結果に基づいて時系列で前後する
画像を位置補正して合成し、上記画像フレームを入力す
るための画像入力手段の移動情報を検出し、上記移動情
報に基づいて上記時系列で前後する画像のマッチング範
囲を制限して上記比較結果を得ることを特徴とする。

【００１５】

【作用】請求項１記載の画像処理装置または請求項７記
載の画像処理方法によれば、広範囲の画像を合成してパ
ノラマ画像にでき、しかも信頼性の高い選択された代表
点でマッチング処理するため、より正確な位置合わせが
でき、マッチング処理の計算量が少なくてすむ。請求項
２記載の画像処理装置によれば、合成した画像のつなぎ
目を滑らかにできる。請求項３記載の画像処理装置によ
れば、入力画像より高解像度の合成画像が得られる。ま
た、請求項６記載の画像処理装置によれば、その合成画
像を表示できる。請求項４記載の画像処理装置によれ
ば、マッチング処理の計算量が少なくて済む。請求項５
記載の画像処理装置によれば、画像入力手段の解像度よ
り高解像度の入力画像として入力し画像合成できる。

【００１６】

【実施例】＜第１の実施例＞本発明に係る、高解像度か
つ広範囲な画像の生成が可能な画像処理装置を実施例と
して、図に基づいて説明する。

【００１７】本実施例の画像処理装置のハードウエア
は、図２に示す様に、画像入力手段１１と入力処理手段
１２と画像蓄積手段１３と出力処理手段１４と画像出力
手段１５で構成される。

【００１８】画像入力手段１１は、画像を光電変換し、
デジタルデータに変換するための装置で、例えばＣＣＤ
カメラとＡ／Ｄコンバータおよび周辺回路で構成され
る。入力処理手段１２は、画像入力手段によってデジタ
ル信号に変換された画像データおよび画像蓄積手段１３
内の画像データを処理する装置で、例えばＤＳＰやＬＳ
Ｉ、半導体メモリおよび周辺回路で構成される。

【００１９】画像蓄積手段１３は、入力処理手段１２か
ら出力される画像データを蓄積するための手段で、例え
ば半導体メモリおよび周辺回路から構成される。出力処
理手段１４は、画像蓄積手段１３内の画像データを、出
力手段１５に出力可能な形式に変換する装置で、例え
ば、ＩＣやＬＳＩ、半導体メモリおよび周辺回路で構成
される。出力手段１５は、出力処理手段によって適当な
形式に変換された画像データを表示またはプリントアウ
トするための装置で、例えば、プリンタ装置またはディ
スプレイ装置で構成される。

【００２０】図１は、本実施例の、画像入力手段１１、
入力処理手段１２および画像蓄積手段１３の構成例を示
す図である。

【００２１】本実施例では、オペレータが手に持ったカ
メラをパンしながら連続撮像した複数フレームの画像を
繋ぎ合わせることにより、撮像した範囲のパノラマ画像
を生成するための装置の一例を示す。

【００２２】図１において、同期手段２０は、デジタル
回路で構成され、画像入力手段１１、入力処理手段１２
および画像蓄積手段１３の処理を同期させるための同期
パルス信号を各種手段に出力する。同期手段２０が発生
する同期パルス信号には、３種類ある。すなわち、図１
２に示すように、 リセット信号：システムのリセットを示し、アクティブ
になった後の最初のフレーム切り替え信号がアクティブ
になるまでアクティブ状態を保持する２値の信号。 フレーム切り替え信号：処理するフレーム毎にアクティ
ブになり、フレームに対する処理が行われている間、ア
クティブ状態を保持する２値の信号。 画素切り替え信号：メインメモリ１画素の処理を行う毎
に発生する２値のパルス信号。 図１２におけるこれらの信号の働きについては後に詳述
する。

【００２３】図１の画像入力手段１１は、ＣＣＤ撮像部
２１およびＡ／Ｄ変換回路２２で構成され、ＣＣＤ撮像
部２１は、ＣＣＤ素子および周辺回路からなり、同期手
段２０から入力する同期信号のフレーム切り替え信号に
同期して、画像を光電変換し、Ａ／Ｄ変換回路２２へ電
気信号として出力する。

【００２４】Ａ／Ｄ変換回路２２は、Ａ／Ｄ変換器およ
び周辺回路からなり、同期手段２０から入力する信号に
同期して、すなわち、フレーム切り替え信号が非アクテ
ィブに変化するか、リセット信号がアクティブに変化し
た後、再度フレーム切り替え信号がアクティブになるま
での期間に、ＣＣＤ撮像部２１から送られてきた電気信
号をＡ／Ｄ変換し、１画面分のデジタル画像データとし
て入力画像メモリ２３に出力する。この１画面分の画像
データを以後フレームと呼ぶ。

【００２５】入力処理手段１２は、入力画像メモリ２
３、画像合成回路２４、入力画像補正回路２５、メイン
画像補正回路２６およびパラメタ決定回路２７で構成さ
れる。

【００２６】入力画像メモリ２３は、半導体メモリと周
辺回路からなり、Ａ／Ｄ変換回路から入力したデジタル
画像データを次の入力があるまで蓄積するとともに、パ
ラメタ決定回路２７および入力画像補正回路２５からの
座標入力に対し、対応する画素値をそれぞれの回路に出
力する。ただし、メモリ内に画素が存在しない座標を入
力した場合、０を出力する。

【００２７】入力画像メモリの画素数は、画像入力手段
における１フレームの画素数で決定され、メイン画像メ
モリの画素数より少ない。

【００２８】本実施例では、入力画像メモリ２３は、横
方向ＸＩ、縦方向ＹＩの画素数を持ち、各画素にはＧＩ
階調の明度情報が格納されている。この入力画素メモリ
の座標（ｉ，ｊ）での画素値をＩ（ｉ，ｊ）とする。た
だし、０≦ｉ＜ＸＩ，０≦ｊ＜ＹＩ，０≦Ｉ（ｉ，ｊ）
＜ＧＩ、また、ｉ，ｊ，およびＩ（ｉ，ｊ）は整数であ
る。

【００２９】画像合成回路２４は、デジタル演算回路で
構成され、入力画像補正回路２５およびメイン画像補正
回路２６に座標値を出力し、その結果として得られるそ
れぞれの回路からの画素データを演算し、座標値ととも
に演算結果の値をメイン画像メモリ２８に出力する。こ
の画像合成回路２４の詳細な動作は、後に述べる。

【００３０】入力画像補正回路２５は、デジタル演算回
路、半導体メモリおよび周辺回路からなり、パラメタ決
定回路２７から入力するパラメタによって、入力画像メ
モリ２３内に蓄積されているデジタル画像データを変換
補正し、画像合成回路２４から入力する座標値に対応す
る画素データを画像合成回路２４に出力する。この入力
画像補正回路２５の詳細な動作は、後に詳述する。

【００３１】本実施例では、記述を簡便にするため、入
力画像補正回路２５での補正処理を関数をＦ_iで記述
し、補正後の座標（ｋ，ｌ）での画素値をＦ_i（ｋ，
ｌ）とする。ただし、０≦ｋ＜ＸＭ，０≦ｌ＜ＹＭ，０
≦Ｆ_i（ｋ，ｌ）＜ＧＭ、また、ｋ，ｌ，およびＦ
_i（ｋ，ｌ）は整数である。

【００３２】メイン画像補正回路２６は、デジタル演算
回路、半導体メモリおよび周辺回路で構成され、パラメ
タ決定回路２７から入力するパラメタにより、メイン画
像メモリ２８内の画像データを座標変換し、画像合成回
路２４から入力する座標値に対応する画素データを画像
合成回路２４に出力する。このメイン画像補正回路２６
の詳細な動作は、後に述べる。

【００３３】本実施例では、記述を簡便にするため、メ
イン画像補正回路２６での補正処理を関数をＦ_mで記述
し、補正後の座標（ｋ，ｌ）での画素値をＦ_m（ｋ，
ｌ）とする。ただし、０≦ｋ＜ＸＭ，０≦ｌ＜ＹＭ，０
≦Ｆ_m（ｋ，ｌ）＜ＧＭ，また、ｋ，ｌ，およびＦ
_m（ｋ，ｌ）は整数である。

【００３４】パラメタ決定回路２７は、デジタル演算回
路、半導体メモリおよび周辺回路で構成され、入力画像
メモリ２３とメイン画像メモリ２８のそれぞれに蓄積さ
れている画像データを比較し、補正パラメタを入力画像
補正回路２５およびメイン画像補正回路２６に出力す
る。このパラメタ決定回路２７の詳細な動作は、後で詳
述する。

【００３５】画像蓄積手段１３は、メイン画像メモリ２
８で構成され、メイン画像メモリ２８は、半導体メモリ
と周辺回路からなり、画像合成回路２４から座標と画素
値を入力し、入力した座標に対応するメモリ領域に画素
値を書き込む。また、パラメタ決定回路２７および画像
補正回路２６からの座標入力に対し、対応する画素値
を、それぞれの回路に出力する。ただし、メモリ内に画
素が存在しない座標を入力した場合、０を出力する。

【００３６】また、メイン画像メモリ２８は、同期手段
２０からのリセット信号がアクティブになった後、フレ
ーム切り替え信号がアクティブになるまでに、全ての画
素の値を０にクリアする。

【００３７】メイン画像メモリ２８の画素数は、入力画
像メモリの画素数より多く、本実施例では、ＸＭ×ＹＭ
の画素数を持ち、各画素にはＧＭ階調の明度情報が格納
される。メイン画像メモリの座標（ｍ，ｎ）での画素値
をＭ（ｍ，ｎ）とする。ただし、０≦ｍ＜ＸＭ，０≦ｎ
＜ＹＭ，０≦Ｍ（ｍ，ｎ）＜ＧＭ、また、ｍ，ｎおよ
び，Ｍ（ｍ，ｎ）は整数である。

【００３８】＜図１による処理の詳細説明＞以下に、画
像合成回路２４、入力画像補正回路２５、メイン画像補
正回路２６および、パラメタ決定回路２７の動作につい
て、さらに詳細に述べる。

【００３９】＜画像合成回路２４の説明＞画像合成回路
２４は、図３に示すように座標発生部３１と画素演算部
３２で構成され、座標発生部３１で生成されるメイン画
像メモリの座標値に対応する画素値を入力画像補正回路
２５およびメイン画像補正回路２６から入力し、演算し
た結果を上記座標値に対応するメイン画像メモリに書き
込む。

【００４０】座標発生部３１は、同期手段２０からの同
期信号３０の画素切り替えパルス信号に同期して、メイ
ン画像メモリに存在する全座標値を、ラスタ順に発生す
る。すなわち、図４のフローチャートに示すように、内
部のＸ，Ｙ方向のカウンタを同期信号によってインクリ
メントする。

【００４１】Ｓ４１では、Ｙカウンタの値ｙを０にリセ
ットする。Ｓ４２では、Ｘカウンタの値ｘを０にリセッ
トする。Ｓ４３では、画素切り替えパルスが立ち上がる
まで処理を中断する。Ｓ４４では、現在のＸ，Ｙカウン
タの値の組（ｘ，ｙ）を信号線３３および３４に出力す
る。Ｓ４５では、Ｘカウンタの値ｘを１だけ増加する。
Ｓ４６では、Ｘカウンタの値ｘと、メイン画像メモリの
Ｘ方向画素数ＸＭを比較する。ｘ≧ＸＭの場合、Ｓ４７
に進み、ｘ＜ＸＭの場合、Ｓ４３からの処理を再度行
う。Ｓ４７では、Ｙカウンタの値ｙを１だけ増加する。
Ｓ４８では、Ｙカウンタの値ｙと、メイン画像メモリの
Ｙ方向画素数ＹＭを比較する。ｙ≧ＹＭの場合、Ｓ４１
からの、ｙ＜ＹＭの場合、Ｓ４２からの処理を再度行
う。

【００４２】図３の画素演算部３２は、同期手段２０か
らの同期信号３０に同期して、すなわち、画素切り替え
信号がアクティブから非アクティブに変化した時点で、
入力画像補正回路２５およびメイン画像補正回路２６か
ら、それぞれ信号線３５または３６を介して画素値を入
力し、それらの画素値に下記の数式１の演算を施し、そ
の結果を画素切り替え信号が再度アクティブになるまで
にメイン画像メモリ２８に信号線３７を介して出力す
る。

【００４３】

【数１】 Ｍ＝α×Ｆ_i＋（１−α）×Ｆ_m （Ｆ_i＞０ かつ Ｆ_m
＞０ の場合） Ｍ＝Ｆ_m （Ｆ_i＝０ の場合） Ｍ＝Ｆ_i （Ｆ_m＝０ の場合） Ｍ＝０ （Ｆ_i＝Ｆ_m＝０ の
場合） ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ ただし、 αは、予め定めた定数で、０＜α＜１ Ｍは、信号線３７に出力する画素値 Ｆ_iは、信号線３５から入力する画素値 Ｆ_mは、信号線３６から入力する画素値 ただし、リセット信号がアクティブである間は、下記の
数式２の演算、すなわち、入力画像補正回路２５からの
入力のみをメイン画像メモリ２８に書き込む処理を行
う。

【００４４】

【数２】 Ｍ＝Ｆ_i ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ ＜入力画像補正回路２５の説明＞入力画像補正回路２５
は、図５に示すようにアフィン変換部５１と補間演算部
５２で構成される。

【００４５】アフィン変換部５１は、以下の処理を行
う。 （１） 同期信号３０のフレーム切り替え信号が立ち上
がってから、画素切り替え信号が立ち上がるまでに、パ
ラメタ決定回路２７から信号線５３を介して、アフィン
変換係数を入力する。 （２） 画素切り替え信号が立ち上がる毎に、画像合成
回路２４から信号線３３を介して入力する座標値を、下
記の数式３により変換して、信号線５６に出力する。

【００４６】

【数３】

【００４７】ただし、行列要素ｐ_ijは、パラメタ決定回
路２７から入力するアフィン変換係数。（ｘ，ｙ）は、
信号線３３から入力する座標値。（ｘ′，ｙ′）は、信
号線５６に出力する座標値。

【００４８】補間演算部５２は、以下の処理を行う。 （３） 上記のアフィン変換部５１における上記（２）
の処理結果である座標値をアフィン変換部５１から信号
線５６を介して入力する。 （４） 入力した座標値に対して、画素切り替え信号が
アクティブである期間に以下の数式４で示す３次補間法
による画素補間演算処理を行い、得られた結果を信号線
３５を介して画像合成回路２４に出力する。

【００４９】＜補間方式１：３次補間法＞

【００５０】

【数４】

【００５１】また、上記の３次補間法による画素補間処
理方式の他、下記の双線形補間法、あるいは最近傍法に
よる演算でも画素補間処理が可能である。

【００５２】＜補間方式２：双線形補間法＞

【００５３】

【数５】

【００５４】＜補間方式３：最近傍法＞

【００５５】

【数６】 β≦０．５ γ≦０．５の時 Ｍ＝Ｍ（ｘ″，ｙ″） β＞０．５ γ≦０．５の時 Ｍ＝Ｍ（ｘ″＋１，ｙ″） β≦０．５ γ＞０．５の時 Ｍ＝Ｍ（ｘ″，ｙ″＋１） β＞０．５ γ＞０．５の時 Ｍ＝Ｍ（ｘ″＋１，ｙ″＋１） なお、これらの画素補間方法は、下記の文献１０に記載
されている。 （文献１０） 「画像処理ハンドブック」昭晃堂刊ｐ
ｐ．２７４−２７５ ＜メイン画像補正回路２６の説明＞メイン画像補正回路
２６は、図６に示すように画像バッファ６１と座標演算
部６２で構成される。画像バッファ６１は、メイン画像
メモリ２８と同容量の画像メモリで、同期手段２０から
の同期信号３０のフレーム切り替え信号が非アクティブ
になった時点から、再度アクティブになるまでの間に、
メイン画像メモリの内容全部を複写する。ただし、リセ
ット信号がアクティブである場合は、この複写処理を行
わない。

【００５６】また、画像バッファ６１は、座標演算部６
２から入力した座標値に対応する画素の値を信号線３６
を介して画像合成回路２４に出力する。

【００５７】座標演算部６２は、以下の処理を行う。 （１） 同期手段２０からの同期信号３０のフレーム切
り替え信号がアクティブになった時点から画素切り替え
信号がアクティブになるまでに、パラメタ決定回路２７
から信号線６３を介して座標変換のための係数（ｑ_x，
ｑ_y）を入力する。

【００５８】（２） 画素切り替え信号がアクティブに
なった時点で、画像合成回路２４から入力する座標値
を、下記の数式７により変換して画像バッファ６１に出
力する。

【００５９】

【数７】（ｘ′，ｙ′，１）＝（ｘ＋ｑ_x，ｙ＋ｑ_y） ただし、係数ｑ_x，ｑ_yは、パラメタ決定回路２７から入
力する整数値。（ｘ，ｙ）は、画像合成回路２４から信
号線３３を介して入力する座標値。（ｘ′，ｙ′）は、
画像バッファ６１に出力する座標値。

【００６０】（３） この結果、画像バッファ６１か
ら、座標（ｘ′，ｙ′）に対応する画素値が画像合成回
路に出力される。ただし上記（２）、（３）の処理は、
画素切り替え信号がアクティブである間に行われ、リセ
ット信号がアクティブである間は、これらの処理は行わ
ない。

【００６１】上記の処理により、メイン画像補正回路２
６は、メイン画像メモリの画像データを整数値（ｑ_x，
ｑ_y）だけ平行移動し、画像合成回路２４に出力処理が
実現される。

【００６２】＜パラメタ決定回路２７の説明＞パラメタ
決定回路２７は、図７に示すように、ベクトル検出部７
１、係数計算部７２、パラメタ分割部７３および、原点
バッファ７５で構成され、同期手段２０からの同期信号
３０に同期して処理を行う。

【００６３】原点バッファ７５には、ベクトル検出部７
１、係数計算部７２、およびパラメタ分割部７３で用い
るためのマッチング原点座標値 （Ｘ_o，Ｙ_o） ただし、Ｘ_o，Ｙ_oは整数。 が格納されており、同期手段２０からの同期信号３０に
同期して、パラメタ分割部７３によって、１画面の処理
終了毎に書き換えられる。

【００６４】初期値は （Ｘ_o，Ｙ_o）＝（Ｄ_x，Ｄ_y） で、本実施例では図８に示すように、入力画像が、メイ
ン画像メモリ２８の中心に位置するように配置するた
め、（Ｄ_x，Ｄ_y）は、 Ｄ_x＝ｉｎｔ｛（ＸＭ−ＸＩ）／２｝ Ｄ_y＝ｉｎｔ｛（ＹＭ−ＹＩ）／２｝ ただし、ｉｎｔ｛ａ｝は、ａを越えない最大の整数。Ｘ
Ｍ，ＹＭは、メイン画像メモリ２８のｘ，ｙ方向の画素
数。ＸＩ，ＹＩは、入力画像メモリ２３のｘ，ｙ方向の
画素数。で計算される定数を、同期信号３０からのリセ
ット信号がアクティブになった時点で、パラメタ分割部
７３が書き込む。

【００６５】ベクトルバッファ７６は、代表点の座標値
と各代表点における動きベクトル値を、図３０に示すよ
うな表形式で蓄積するための一時的な記憶手段で、半導
体メモリと周辺回路で構成される。ベクトルバッファ７
６は、ベクトル検出部７１によって書き込みと読み出し
が行われ、係数計算部７２によって読み出される。

【００６６】ベクトル検出部７１では、メイン画像メモ
リ内２８の画像データと、入力画像メモリ２３内の画像
データを比較し、入力画像中に設定した複数の代表点に
おける動きベクトルを求める。

【００６７】次に代表点決定部の説明を行う。本実施例
では、入力画像中にＫ個の代表点をとり、これらの代表
点の座標を、 （ｘ_i，ｙ_i） ただし、 ｉ＝０〜（Ｋ−１） ０≦ｘ_i＜ＸＩ，０≦ｙ_i＜ＹＩ とする。

【００６８】入力画像中に、複数の代表点を設定する場
合、図９（ａ）に示すように、水平、垂直方向に予め決
めておいた周期で決定するか、図９（ｂ）のように、入
力画像毎に、エッジ部分や局所的に画素の統計量が大き
い領域に集中してとる。

【００６９】図９（ａ）に示すように周期的に代表点を
設定する場合、代表点の座標は、例えば以下の数式のよ
うになる。すなわち、ｘ方向にＫｘ個、ｙ方向にＫｙ個
の代表点が、間隔Ｉ_dx，Ｉ_dy画素毎に配置される場合、
ｉ番目の代表点の座標（ｘ_i，ｙ_i）は、以下の数式によ
り求められる。

【００７０】 ｘ_i＝Ｉ_dx×｛１＋ｉ ｍｏｄ Ｋ_x）｝ ｙ_i＝Ｉ_dy×｛１＋ｉｎｔ（ｉ／Ｋ_y）｝ ただし、 Ｉ_dx＝ｉｎｔ｛ＸＩ／（Ｋ_x＋１）｝ Ｉ_dy＝ｉｎｔ｛ＹＩ／（Ｋ_y＋１）｝ Ｋ_x，Ｋ_yは、ｘ方向、ｙ方向における代表点の個数で、
Ｋ_x×Ｋ_y＝Ｋ を満たす整数。ａ ｍｏｄ ｂは、ａを
ｂで割った際の剰余を示す。

【００７１】これらの代表点の座標は、入力画像によっ
ては変化しないため、予めＫ個の代表点座標を、上記ベ
クトルバッファの「代表点番号」の項に書き込んでお
く。

【００７２】図９（ｂ）に示すように、入力画像によっ
て代表点の座標を変化させる場合は、以下に例示する処
理を行い、代表点座標を決定する必要がある。

【００７３】（１） 図１０（ａ）に示すように、入力
画像メモリ内の画像を（Ｋ_x×Ｋ_y）個のブロックに分割
する。この際、ブロックの個数（Ｋ_x×Ｋ_y）は、必要な
代表点の数Ｋよりも大きい値とする。

【００７４】（２） 全てのブロックにおいて、各ブロ
ック内の画素データの統計量（例：最大値と最小値の
差、分散のいずれか）を計算する。

【００７５】（３） 上記（２）で計算した統計量の大
きい順にＫブロックを選び、その選ばれたブロックの中
心座標をｉ番目の代表点の座標とする。

【００７６】上記の処理方式を実現するためには、以下
の手段を用いる。すなわち、上記（１）のブロック分割
においては、ｊ番目のブロックの左上の座標（Ｂ_xj，Ｂ
_yj）は、以下の数式により求められる。

【００７７】 Ｂ_xj＝（ｊ ｍｏｄ Ｋ_x）×Ｉ_dx Ｂ_yj＝ｉｎｔ（ｊ／Ｋ_y）×Ｉ_dx ただし、 Ｉ_dx＝ｉｎｔ（ＸＩ／Ｋ_x） Ｉ_dy＝ｉｎｔ（ＹＩ／Ｋ_y） Ｋ_x、Ｋ_yは、ｘ方向、ｙ方向におけるブロックの個数
で、Ｋ_x×Ｋ_y＞Ｋ を満たす整数。

【００７８】これらの座標は、入力画像によっては変化
しないため、ブロック番号ｊを入力することによりブロ
ック左上座標（Ｂ_xj，Ｂ_yj）を出力する回路を、半導体
メモリを用いたルックアップテーブルまたは上記の計算
を行う回路として、ベクトル検出部７１内に持つことに
より実現する。

【００７９】上記（２）のブロック内の統計量計算にお
いては、以下の手段を用いる。すなわち、ｉ番目のブロ
ックにおいては、上記（１）より、左上座標（Ｂ_xj，Ｂ
_yj）が得られるから、以下のＣ言語で記述した処理を行
い、各ブロックでの統計量Ｓ_jを求める。例として、ブ
ロック内の最大値と最小値の差を統計量Ｓ_jとする処理
を示す。

【００８０】 ただし、ｘ，ｙ，ｍａｘ，ｍｉｎ，Ｓ［ｊ］は、整数型
の変数バッファ。

【００８１】ａ＝ｂは、左辺のバッファａに右辺の値ｂ
を書き込む処理を示す。

【００８２】Ｂ_xj，Ｂ_yjは、ｊ番目のブロックの左上の
座標を上記（１）に示す手段で求める処理を示す。Ｉ
（ｍ，ｎ）は、信号線７１３を介して入力画像メモリ２
３に座標値（ｍ，ｎ）を出力し、信号線７１４を介して
入力画像メモリ２３の対応する画素値を得る処理を意味
する。

【００８３】上記（３）の代表点選択においては、以下
の手段で実現する。 ［Ｉ］ Ｓ［ｊ］を、大きい順にソートした配列バッフ
ァＳＳ［ｉ］を作成する。結果として、ＳＳ［ｉ］に
は、ｉ番目に統計量Ｓ［ｊ］の大きいｊの値が格納され
る。

【００８４】［ＩＩ］ ＳＳ［ｉ］のｉ＝０からＫ−１
までが、選択された代表点番号となるので、ｉ番目の代
表点の座標（ｘ_i，ｙ_i）は、以下の計算処理により求め
られる。 ｊ＝ＳＳ［ｉ］ ｘ_i＝Ｂ_xj＋ｉｎｔ（Ｉ_dx／２） ｙ_i＝Ｂ_yj＋ｉｎｔ（Ｉ_dy／２） ただし、Ｂ_xj，Ｂ_yjは、上記（１）で示した手段で得ら
れる、ブロックの左上座標。

【００８５】そして、上記の処理によって計算された代
表点の座標（ｘ_i，ｙ_i）を、入力画像が入力画像メモリ
に取り込まれてから、同期信号３０のフレーム切り替え
信号が非アクティブである期間に、ベクトルバッファ７
６の「代表点座標」の項に書き込む。ただし、リセット
信号がアクティブである場合は、上記の処理は行わな
い。

【００８６】以下にベクトル検出部７１におけるベクト
ル計算部の説明を行う。以上の処理で求めた各代表点
（ｘ_i，ｙ_i）の、メイン画像メモリ上対応点 （ｘ'_i，ｙ'_i），ｉ＝０〜（Ｋ−１） または動きベクトル （ｖ_xi，ｖ_yi）＝（ｘ'_i−ｘ_i，ｙ'_i−ｙ_i），ｉ＝０〜（Ｋ−１） を、以下に説明するブロックマッチングまたは濃度勾配
法のいずれかの方式によって求める。

【００８７】＜方式１−１：ブロックマッチング＞第１
の方式は、一般的にブロックマッチングと呼ばれている
方法で、図１１に示すように、各代表点を中心とするＭ
×Ｎの画素を１つのブロックとして、メイン画像メモリ
と画像の差を計算し、各代表点での動きベクトル
（ｖ_xi，ｖ_yi）を求める。すなわち、以下の処理を、全
ての代表点に対して行う。この際、メイン画像メモリの
座標（Ｘ_o，Ｙ_o）と、入力画像の座標（０，０）を対応
させてマッチングを行う。

【００８８】入力画像の各代表点（ｘ_i，ｙ_i）を含むブ
ロックＢ_i内の画素について、

【００８９】

【数８】

【００９０】Ｍ（ｍ，ｎ）は、信号線７１１を介してメ
イン画像メモリ２８に座標値（ｍ，ｎ）を出力し、信号
線７１２を介してメイン画像メモリ２８の対応する画素
値を得る処理を意味する。Ｉ（ｍ，ｎ）は、信号線５４
を介して入力画像メモリ２３に座標値（ｍ，ｎ）を出力
し、信号線５５を介して入力画像メモリ２３の対応する
画素値を得る処理を意味する。Ｘ_o，Ｙ_oは、信号線を介
して、原点バッファ７５内に記録されている座標値を参
照する処理を意味する。ｖ_x，ｖ_yは整数である。なる計
算を、予め限定した範囲の（ｖ_x，ｘ_y）の組について全
てを行い、最も上記の数式のＤ_i（ｖ_x，ｖ_y）の値を小
さくする（ｖ_x，ｘ_y）の組を、代表点（ｘ_i，ｙ_i）にお
ける動きベクトル（ｖ_xi，ｖ_yi）とする。

【００９１】上記の処理において、一般的には、Ｍ×Ｎ
＝４×４，８×８，１６×１６，３２×３２などの値
で、ｖ_x，ｘ_yの範囲は、ブロック内すなわち、 −Ｍ≦ｖ_x≦Ｍ −Ｎ≦ｖ_y≦Ｎ である。

【００９２】＜方式１−２：濃度勾配法＞第２の方式
は、一般的に濃度勾配法と呼ばれている方法で、以下の
文献１１に詳細に述べられている。 （文献１１） 「画像信号による動対象の移動量、速度
の測定」吹抜；電子通信学会 画像工学研究会資料；Ｉ
Ｅ７８−６７（１９７８年） この濃度勾配法によって、各代表点における動きベクト
ル （ｖ_xi，ｖ_yi），ｉ＝０〜（Ｋ−１） を求める際にも、ベクトル検出部７１は、メイン画像メ
モリの座標（Ｘ_o，Ｙ_o）と、入力画像の座標（０，０）
を対応させて、すなわち、入力画像Ｉ（ｉ，ｊ）と、メ
イン画像Ｍ（ｍ，ｎ）において、原点バッファ内の座標
（Ｘ_o，Ｙ_o）を基準点として、 （ｉ＋Ｘ_o，ｊ＋Ｙ_o）＝（ｍ，ｎ） と対応させて処理を行う。

【００９３】上記いずれかの処理をベクトルバッファ７
６内に蓄積されている各代表点（ｘ_i，ｙ_i）に対して行
い、結果（ｖ_xi，ｖ_yi）を、ベクトルバッファ７６の
「動ベクトル」の所定の項に記録する。

【００９４】次にパラメタ決定回路２７の係数計算部７
２の説明を行う。係数計算部７２においては、ベクトル
検出部７１による以上の処理の結果としてベクトルバッ
ファ７６に記録された、各代表点（ｘ_i，ｙ_i）に対する
動きベクトル（ｖ_xi，ｖ_yi）から、以下のいずれかの方
式による処理により、パラメタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，
ｐ_e，ｐ_f）を計算する。

【００９５】＜方式１−３：最小二乗法＞各代表点（ｘ
_i，ｙ_i）の動きベクトル（ｖ_xi，ｖ_yi）を、アフィン変
換を示す方程式 ｘ′＝ｐ_a・ｘ＋ｐ_b・ｙ＋ｐ_c ｙ′＝ｐ_d・ｘ＋ｐ_e・ｙ＋ｐ_f に代入した結果として得られる。

【００９６】

【数９】 ｖ_xi＝ｘ_i'-ｘ_i＝（ｐ_a−１）・ｘ_i＋ｐ_b・ｙ_i＋ｐ_c ｖ_yi＝ｙ_i'-ｙ_i＝ｐ_d・ｘ_i＋（ｐ_e−１）・ｙ_i＋ｐ_f ただし ｉ＝０〜（Ｋ−１） に示す２Ｋ個の方程式から最小二乗法により、変換パラ
メタ（ｐ_a，ｐ_b，・・・，ｐ_f）を計算する。

【００９７】この方法は、下記文献１２に述べられてい
る技術である。

【００９８】（文献１２） 「大きさ・向きを変える物
体の動きベクトル検出法の一検討」田中、八木、榎並；
電子情報通信学会１９８９年春季全国大会予稿集ｐ．７
−９１ ＜方程式１−４：偏微分方程式による方法＞上記数式９
を、誤差を明らかにして書き直し、

【００９９】

【数１０】

【０１００】に示す２Ｋ個の方程式を得る。

【０１０１】上記数式１０で示された誤差の二乗和

【０１０２】

【数１１】

【０１０３】を最小にするパラメタ（ｐ_a，ｐ_b，ｐ_c，
ｐ_d，ｐ_e，ｐ_f）は、誤差の二乗和を各パラメタで偏微
分して、

【０１０４】

【数１２】

【０１０５】で示す連立方程式を解くことによって得ら
れる。

【０１０６】すなわち、以下の計算を行うことにより、
パラメタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）を求める。

【０１０７】

【数１３】

【０１０８】ただし、上記の数式において、Σの加算範
囲は、ｉ＝０〜（Ｋ−１）とする。

【０１０９】ｘ_i，ｙ_i，ｖ_xi，ｖ_yiは、ｉ番目の代表点
座標または動きベクトルを、ベクトルバッファ７６から
読み込む処理を意味する。

【０１１０】また

【０１１１】

【数１４】

【０１１２】上記、数式１４とＡ，Ｂ，Ｃ，Ｄ，Ｅ，
Ｆ，Ｇ，α，ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_fは、ベクト
ル検出部７１内の、浮動小数点型変数バッファで、ａ＝
ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を
示す。また、演算は、浮動小数点精度で行われる。

【０１１３】係数計算部７２は、以上の計算処理により
得られた、パラメタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）
を、パラメタ分割部７３に出力する。

【０１１４】次にパラメタ分割部７３の説明を行う。パ
ラメタ分割部７３は、係数計算部７２から入力したパラ
メタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）を、メイン画像
補正回路２６および入力画像補正回路２５に出力するた
めのパラメタに、すなわち、整数画素単位の平行移動成
分とアフィン変換成分に分割すると共に、必要に応じ
て、原点バッファ７５の内容を変更する。

【０１１５】すなわち、以下の処理を行う。

【０１１６】（１） 入力画像の４頂点の変換後のメイ
ンメモリ上での座標を計算する。すなわち、以下の計算
を行う。 Ｘ_i0＝ｐ_a・Ｘ_o＋ｐ_b・Ｙ_o＋ｐ_c Ｙ_i0＝ｐ_d・Ｘ_o＋ｐ_e・Ｙ_o＋ｐ_f Ｘ_i1＝ｐ_a・（Ｘ_o＋ＸＩ−１）＋ｐ_b・Ｙ_o＋ｐ_c Ｙ_i1＝ｐ_d・（Ｘ_o＋ＸＩ−１）＋ｐ_e・Ｙ_o＋ｐ_f Ｘ_i2＝ｐ_a・（Ｘ_o＋ＸＩ−１）＋ｐ_b・（Ｙ_o＋ＹＩ−１）＋ｐ_c Ｙ_i2＝ｐ_d・（Ｘ_o＋ＸＩ−１）＋ｐ_e・（Ｙ_o＋ＹＩ−１）＋ｐ_f Ｘ_i3＝ｐ_a・Ｘ_o＋ｐ_b・（Ｙ_o＋ＹＩ−１）＋ｐ_c Ｙ_i3＝ｐ_d・Ｘ_o＋ｐ_e・（Ｙ_o＋ＹＩ−１）＋ｐ_f ただし、Ｘ_i0，Ｙ_i0，Ｘ_i1，Ｙ_i1，Ｘ_i2，Ｙ_i2，Ｘ_i3，
Ｙ_i3は、パラメタ分割部７３内の、浮動小数点型変数バ
ッファで、ａ＝ｂは、左辺のバッファａに右辺の値ｂを
書き込む処理を示す。Ｘ₀，Ｙ₀は、原点バッファ７５か
ら、現在の原点の座標を読み出す処理を示す。ＸＩ，Ｙ
Ｉは、入力画像のＸ，Ｙ方向の画素数を示す定数であ
る。

【０１１７】（２） 変換後の４頂点の座標値が、メイ
ン画像メモリ２８内の予め設定された矩形範囲
（Ｍ_x0，Ｍ_y0）−（Ｍ_x2，Ｍ_y2）の内側に位置するかど
うかを判別する。すなわち、 Ｄ_x0＝Ｘ_i0−Ｍ_x0 Ｄ_x1＝Ｘ_i1−Ｍ_x1 Ｄ_x3＝Ｘ_i3−Ｍ_x0 Ｄ_x2＝Ｘ_i2−Ｍ_x1 Ｄ_y0＝Ｙ_i0−Ｍ_y0 Ｄ_y1＝Ｙ_i1−Ｍ_y1 Ｄ_y3＝Ｙ_i3−Ｍ_y0 Ｄ_y2＝Ｙ_i2−Ｍ_y1 ただし、Ｄ_x0，Ｄ_x1，Ｄ_x3，Ｄ_x2，Ｄ_y0，Ｄ_y1，Ｄ_y3，
Ｄ_y2は、パラメタ分割部７３内の、浮動小数点型変数バ
ッファで、ａ＝ｂは、左辺のバッファａに右辺の値ｂを
書き込む処理を示す。Ｍ_x0，Ｍ_y0，Ｍ_x1，Ｍ_y1は０≦Ｍ
_x0＜Ｍ_x1＜ＸＭ，０≦Ｍ_y0＜Ｍ_y1＜ＹＭ，を満たす整数
の定数で、変数後の入力画像がメイン画像メモリ内のこ
の座標範囲内におさまる様にするための座標値である。
Ｘ_i0，Ｙ_i0，Ｘ_i1，Ｙ_i1，Ｘ_i2，Ｙ_i2，Ｘ_i3，Ｙ_i3は、
上記のバッファから、記録された数値を読み出す処理を
示す。

【０１１８】（３） 変換後の入力画像が、メイン画像
メモリ内の上記範囲内におさまるように、パラメタ（ｐ
₀₀，ｐ₁₀，・・・，ｐ₂₁），（ｑ_x，ｑ_y）および、次の
処理での原点座標（Ｘ_o，Ｙ_o）を、以下の処理により計
算する。

【０１１９】［１］ 以下の通りに、各変数を設定す
る。 Ｘ_o＝Ｄ_x0，Ｙ_o＝Ｄ_y0， ｐ₀₀＝ｐ_a，ｐ₁₀＝ｐ_b，ｐ₂₀＝ｐ_c＋Ｄ_x0， ｐ₀₁＝ｐ_d，ｐ₁₁＝ｐ_e，ｐ₂₁＝ｐ_f＋Ｄ_y0 ｑ_x＝０，ｑ_y＝０ ［２］ 以下の通りに、場合に応じて変数の一部を書き
直す。 ［２−１］ Ｄ_x0＜０またはＤ_x3＜０の場合、 Ｘ_o＝Ｍ_x0， Ｄ_x0＜Ｄ_x3の場合：ｑ_x＝ｉｎｔ（Ｄ_x0） Ｄ_x3≦Ｄ_x0の場合：ｑ_x＝ｉｎｔ（Ｄ_x3） ｐ₂₀＝ｐ_c−ｑ_x ［２−２］ Ｄ_y0＜０またはＤ_y3＜０の場合、 Ｙ_o＝Ｍ_y0， Ｄ_y0＜Ｄ_y3の場合：ｑ_y＝ｉｎｔ（Ｄ_y0） Ｄ_y3≦Ｄ_y0の場合：ｑ_y＝ｉｎｔ（Ｄ_y3） ｐ₂₁＝ｐ_f−ｑ_y ［２−３］ Ｄ_x1＞０またはＤ_x2＞０の場合、 Ｄ_x1＞Ｄ_x2の場合：ｑ_x＝−｛ｉｎｔ（Ｄ_x1）＋１｝ Ｄ_x2≦Ｄ_x1の場合：ｑ_x＝−｛ｉｎｔ（Ｄ_x2）＋１｝ Ｘ_o＝Ｘ_i0＋ｑ_x ｐ₂₀＝ｐ_c＋ｑ_x ［２−４］ Ｄ_y1＞０またはＤ_y2＞０の場合、 Ｄ_y1＞Ｄ_y2の場合：ｑ_y＝−｛ｉｎｔ（Ｄ_y1）＋１｝ Ｄ_x2≦Ｄ_x1の場合：ｑ_y＝−｛ｉｎｔ（Ｄ_y2）＋１｝ Ｙ_o＝Ｙ_i0＋ｑ_y ｐ₂₁＝ｐ_f＋ｑ_y ただし、上記の数式で、Ｘ_o，Ｙ_o，ｐ₀₀，ｐ₁₀，ｐ₂₀，
ｐ₀₁，ｐ₁₁，ｐ₂₁，ｑ_x，ｑ_yは、パラメタ分割部７３内
の、変数バッファで、Ｘ_o，Ｙ_o，ｑ_x，ｑ_yは実数型、そ
の他は浮動小数点型である。ａ＝ｂは、左辺のバッファ
ａに右辺の値ｂを書き込む処理を示す。

【０１２０】以上の処理により計算されたパラメタのう
ち、Ｘ_o，Ｙ_oは、原点バッファ７５に書き込み、以前の
値を変更する。ｐ₀₀，ｐ₁₀，ｐ₂₀，ｐ₀₁，ｐ₁₁，ｐ
₂₁は、信号線５３を介して入力画像補正回路２５に出力
される。ｑ_x，ｑ_yは、信号線６３を介してメイン画像補
正回路２６に出力される。

【０１２１】ベクトル検出部７１、係数計算部７２およ
びパラメタ分割部７３は、上記の処理を、同期手段２０
から発生するフレーム切り替え信号がアクティブになっ
た時点から、画素切り替え信号がアクティブになるまで
の期間に行う。

【０１２２】ただし、同期手段２０から発せられるリセ
ット信号がアクティブである際は、ベクトル検出部７１
および係数計算部７２は処理を行わず、パラメタ分割部
７３のみが、以下の処理を行う。

【０１２３】すなわち、 ｐ₀₀＝０，ｐ₁₀＝０，ｐ₂₀＝Ｄ_x，ｐ₁₀＝０，ｐ₁₁＝
０，ｐ₂₁＝Ｄ_y を入力画像補正回路２５に出力し、 ｑ_x＝０，ｑ_y＝０ をメイン画像補正回路ｑ_x，ｑ_yに出力する。

【０１２４】また、上記の方式によるアフィン変換パラ
メタ計算方式の以外の方式によってでも、パラメタ（ｐ
_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）を決定できる場合、その
方式を、フレーム切り替え信号がアクティブになった時
点から、画素切り替え信号がアクティブになるまでの期
間に行うことで、本実施例でのパラメタ決定回路２７は
上記方式と同様に動作する。

【０１２５】＜第１の実施例の全体的な説明＞以上に述
べたような動作を行う各回路を用いて、以下の順に処理
を行うことにより、時間的に連続して入力した画像（以
下フレーム）を繋ぎ合わせ、広範囲の画像をメイン画像
メモリ内に構成することを説明する。

【０１２６】すべての処理は、同期手段２０から、信号
線３０を介して出力される同期信号に同期して行われ
る。同期信号には、以下の３種類が存在する。

【０１２７】すなわち、 （１）リセット信号 システムをリセットするためのパルス信号で、オペレー
タの操作により立ち上げられ、第０フレームの間アクテ
ィブである。

【０１２８】（２）フレーム切り替え信号 処理するフレームが切り替わる事を示すためのパルス信
号で、フレームの処理を開始する際に立ち上げられ、フ
レーム内の処理が行われている間アクティブである。

【０１２９】（３）画素切り替え信号 処理する画素が切り替わる事を示すためのパルス信号
で、画素毎にパルスが発せられる。

【０１３０】図１２に、各同期信号の関係を示す。図１
２では、ハイレベルがアクティブ状態である。リセット
信号の立ち上がりに反応して、フレーム切り替え信号が
アクティブになり、画素切り替え信号が、メイン画像メ
モリ２８の画素数であるＸＭ×ＹＭ個のパルスを発生す
る。画素切り替え信号がＸＭ×ＹＭ個のパルスを発生し
終えると、フレーム切り替え信号は、非アクティブにな
り、次のフレームの処理を開始するために再度立ち上が
る。

【０１３１】この同期信号に沿って、各部の動作を説明
する。図１２中の期間番号は、以下に説明する各期間番
号を示している。

【０１３２】期間（１）：リセット信号がアクティブに
なり、フレーム切り替え信号がアクティブになるまで
に、以下の処理が行われる。

【０１３３】［１］ メイン画像メモリ２８は、メモリ
の全内容をクリアする。すなわち、全てのメイン画像メ
モリ内の画素値を０に書き換える。

【０１３４】［２］ パラメタ決定回路２７は、原点バ
ッファの原点座標を初期値（Ｄ_x、Ｄ_y）に設定する。

【０１３５】［３］ 画像入力手段１１は、１フレーム
分の画像データを入力画像メモリ２３に書き込む。

【０１３６】期間（２）：リセット信号および、第１フ
レームを示すフレーム切り替え信号がアクティブで、か
つ、第１画素を示す画素切り替え信号がアクティブにな
るまでに、以下の処理が行われる。

【０１３７】パラメタ決定回路２７は、入力画像補正回
路２５に、以下のパラメタを出力する。

【０１３８】（ｐ₀₀，ｐ₁₀，ｐ₂₀，ｐ₀₁，ｐ₁₁，ｐ₂₁）
＝（０，０，Ｄ_x，０，０，Ｄ_y） また、メイン画像補正回路２６に、以下のパラメタを出
力する。 （ｑ_x，ｑ_y）＝（０，０） これらのパラメタは、入力画像を拡大・縮小・回転処理
を行わず、平行移動のみでメイン画像メモリ２５の中央
部に（図８に示すように）書き込むためのものである。

【０１３９】期間（３）：リセット信号がアクティブの
間で、画素切り替えパルスがアクティブになる毎に、画
像合成回路２４は、入力画像補正回路２５を介して入力
した画素値をラスタ順にメイン画像メモリ２８に書き込
む。

【０１４０】以上の「期間（１）〜（３）」で行う処理
の結果として、図８に示されるような、メイン画像メモ
リ２８の中央部分に、入力画像メモリ２３上の画像デー
タが書き込まれる。

【０１４１】リセット信号が非アクティブになった後
は、以下の処理が繰り返し実行される。

【０１４２】期間（４）：フレーム切り替え信号が非ア
クティブになった時点から、再度アクティブになるまで
の期間には、以下の処理が行われる。 ［１］ 画像入力手段１１は、次の１フレーム分の画像
データを入力画像メモリ２３に書き込む。 ［２］ メイン画像補正回路２６は、メイン画像メモリ
２８の内容を、画像バッファ６１に複写する。 ［３］ パラメタ決定回路２７は、必要ならば入力画像
から代表点を選択し、座標値をベクトルバッファ７６に
書き込む。

【０１４３】期間（５）：リセット信号が非アクティブ
の状態で、フレーム切り替え信号がアクティブになった
時点から、画素切り替え信号がアクティブになるまでの
間には、以下の処理が行われる。

【０１４４】パラメタ決定回路２７は、入力画像メモリ
２３に記録された次のフレームの画像とメイン画像メモ
リ２８に記録されている、いままでに作成された画像と
のマッチングを行い、パラメタ（ｐ₀₀，ｐ₁₀，ｐ₂₀，ｐ
₀₁，ｐ₁₁，ｐ₂₁）および（ｑ_x，ｑ_y）を計算し、入力画
像補正回路２５およびメイン画像補正回路２６に出力す
るとともに、必要ならば原点バッファの内容を新しい原
点座標に書き換える。

【０１４５】期間（６）：リセット信号が非アクティブ
の間で、画素切り替えパルスがアクティブになる毎に、
画像合成回路２４は、入力画像補正回路２５を介して入
力した画素値と、メイン画像補正回路２６を介して入力
したメイン画像を合成し、ラスタ順にメイン画像メモリ
２８に書き込む。

【０１４６】この画素毎の処理を、タイムチャートで示
すと、図１３の通りである。図１３において、左端の項
目にふられた番号は、本実施例の図３における信号線の
番号で、−座標１−、−画素１−、−結果１−などは、
各信号線上で値が確定していることを示すもので、ｘ
は、各信号線での値が不定であることを示すものであ
る。

【０１４７】また、図１３中の［１］［２］・・・は、
下記の処理を行う時期を示す。 ［１］ 画像合成回路２４は、同期信号３０の画素切り
替え信号の立ち上がりを検出して、座標値を信号線３３
を介して入力画像補正回路２５およびメイン画像補正回
路２６に出力する。また、同じ座標値を信号線３４を介
してメイン画像メモリに出力する。

【０１４８】［２］ 入力画像補正回路２５は、信号線
３３を介して入力した座標に対応する画素データを、パ
ラメタ決定回路２７から入力したパラメタに基づいて、
入力画像メモリ２３内の画像から計算し、画素切り替え
信号の立ち下がりまでに画像合成回路２４に出力する。

【０１４９】［３］ メイン画像補正回路２６は、パラ
メタ決定回路２７から入力したパラメタに基づいて、信
号線３３を介して入力した座標に対応する画素データ
を、画素切り替え信号の立ち下がりまでに画像合成回路
２４に出力する。

【０１５０】上記［１］、［２］、［３］の結果、画素
切り替え信号の立ち下がりでは、座標値（３３）および
画素値（３５、３６）が確定となる。

【０１５１】［４］ 画像合成回路２４は、画素切り替
え信号の立ち下がりを検出し、入力画像補正回路２５お
よびメイン画像補正回路２６から、信号線３５、３６を
介して入力した画素データを演算処理し、演算結果を次
の画素切り替え信号の立ち上がりまでに、信号線３７を
介してメイン画像メモリ２８に出力する。

【０１５２】［５］ この結果、画素切り替え信号の立
ち上がりでは、座標値（３４）演算結果（３７）が確定
となるため、メイン画像メモリは、画素切り替え信号の
立ち上がりで、座標値（３４）に対応する画素に、画素
値（３７）を書き込む。

【０１５３】以上の「期間（４）〜期間（６）」で行う
処理により、メイン画像メモリ２８には、図１４に示す
ように、画像入力手段１１から時間的に連続して入力し
たフレームが、同じ画像を示す領域をのりしろ様に繋ぎ
合わされた画像が作成される。

【０１５４】また、本実施例においては、入力画像補正
回路２５でアフィン変換を行い、メイン画像補正回路２
６で１画素単位の平行移動を行ったが、入力画像補正回
路２５で１画像単位の平行移動を、メイン画像補正回路
２６でアフィン変換を行う様にすることも同様に可能
で、この場合、以下の点が、本実施例と異なる。

【０１５５】（１）パラメタ決定回路２７において、代
表点をメイン画像メモリ２８上の画像に取り、入力画像
とのマッチングを取る。

【０１５６】（２）パラメタ決定回路で、平行移動成分
（ｑ_x、ｑ_y）を入力画像補正回路に、アフィン変換パラ
メタ（ｐ₀₀，ｐ₁₀，ｐ₂₀，・・・，ｐ₂₁）をメイン画像
補正回路に出力する。

【０１５７】（３）入力画像補正回路は、上記実施例で
のメイン画像補正回路と同様の構成を持ち、入力画像メ
モリの画像データに対して整数画素単位の平行移動を行
った結果を画像合成回路に出力する。

【０１５８】（４）メイン画像補正回路は、上記実施例
での入力画像補正回路と同様の処理すなわち、メイン画
像メモリの画像全体に対してアフィン変換および画素補
間処理を行う。この際のメイン画像補正回路の構成およ
び動作は、以下に示す第２の実施例でのメイン画像補正
回路１５６と同様である。

【０１５９】＜第２の実施例＞次に、本発明における、
画像処理装置の第２の実施例を、図に基づいて説明す
る。本実施例では、画素拡大補間によって動画高画質化
を行う装置、即ち、連続して入力した画像の画素数を、
以前に入力したフレームの画像情報を用いて補間するこ
とにより、入力画像よりも画素数の多い画像を生成する
画像処理装置の一例を示す。

【０１６０】図１５は、本発明における第２の実施例
の、入力処理手段１２および画像蓄積手段１３の構成例
を示す図である。図１５において、同期手段１５０、入
力画像メモリ１５３および、メイン画像メモリ１５８
は、それぞれ第１の実施例での同期手段２０、入力画像
メモリ２３、メイン画像メモリ２８と同様の回路で、以
下に述べる点を除いては、同様の仕様を持ち、同様の動
作を行う。

【０１６１】入力処理手段１２は、入力画像メモリ１５
３、画像合成回路１５４、画像拡大回路１５５、メイン
画像補正回路１５６、パラメタ決定回路１５７、拡大画
像メモリ１５９で構成され、入力画像メモリ１５３は、
画像拡大回路１５５からの座標入力に対し、対応する画
素値を出力する。

【０１６２】画像合成回路１５４は、拡大画像メモリ１
５９およびメイン画像補正回路１５６に座標値を出力
し、その結果として得られるそれぞれの回路からの画素
データを演算し、座標値とともに演算結果の値をメイン
画像メモリ１５８に出力する。この画像合成回路１５４
の詳細な動作は、後に述べる。

【０１６３】画像拡大回路１５５は、デジタル演算回
路、半導体メモリおよび周辺回路からなり、入力画像メ
モリ１５３内に蓄積されているデジタル画像データをメ
イン画像メモリ１５８の画素数に拡大処理し、拡大画像
メモリ１５９に書き込む。この画像拡大回路１５５の詳
細な動作は、後に述べる。

【０１６４】拡大画像メモリ１５９は、画像拡大回路に
よって拡大された入力画像を記録するための回路で、半
導体メモリおよび周辺回路からなる。拡大画像メモリ１
５９の容量は、メイン画像メモリと同じで、本実施例で
は、ＸＭ×ＹＭの画素数を持ち、各画素にはＧＭ階調の
明度情報が格納される。

【０１６５】また、表記を簡便にするため、拡大画像メ
モリの座標（ｍ，ｎ）での画素値をＦ_i（ｍ，ｎ）とす
る。ただし、０≦ｉ＜ＸＭ，０≦ｊ＜ＹＭ，０≦Ｆ
_i（ｍ，ｎ）＜ＧＭ、また、ｍ，ｎ，Ｆ_i（ｍ，ｎ）は整
数である。

【０１６６】メイン画像補正回路１５６は、デジタル演
算回路、半導体メインおよび周辺回路で構成され、パラ
メタ決定回路１５７から入力するパラメタにより、メイ
ン画像メモリ２８内の画像データを変換し、画像合成回
路１５４から入力する座標値に対応する画像データを画
像合成回路１５４に出力する。このメイン画像補正回路
１５６の詳細な動作は、後に述べる。

【０１６７】本実施例では、記述を簡便にするため、メ
イン画像補正回路１５６での補正処理を関数をＦ_mで記
述し、補正後の座標（ｋ，１）での画素値をＦ_m（ｍ，
１）とする。ただし、０≦ｋ＜ＸＭ，０≦１≦ＹＭ，０
≦Ｆ_m（ｋ，１）＜ＧＭ、また、ｋ，１，Ｆ_m（ｋ，１）
は整数とする。

【０１６８】パラメタ決定回路１５７は、デジタル演算
回路、半導体メモリおよび周辺回路で構成され、拡大画
像メモリ１５９とメイン画像メモリ１５８のそれぞれに
蓄積されている画像データを比較し、補正パラメタをメ
イン画像補正回路１５６に出力する。このパラメタ決定
回路１５７の詳細な動作は、後に述べる。

【０１６９】画像蓄積手段１３は、メイン画像メモリ１
５８で構成され、メイン画像メモリ１５８は、画像合成
回路１５４から座標と画素値を入力し、入力した座標に
対応するメモリ領域に画素値を書き込む。また、パラメ
タ決定回路１５７およびメイン画像補正回路１５６から
の座標入力に対し、対応する画素値を、それぞれの回路
に出力する。

【０１７０】以下に、図１５を用いて、画像合成回路１
５４、画像拡大回路１５５、メイン画像補正回路１５
６、パラメタ決定回路１５７、の作用について、さらに
詳細に述べる。

【０１７１】画像合成回路１５４について説明する。画
像合成回路１５４は、図３に示す画像合成回路２４と同
様の構成・機能を持つもので、画像合成回路２４と比較
した場合、構成上、以下の点が異なる。

【０１７２】（１） 入力画像補正回路２５の代わりに
拡大画像メモリ１５９と接続されている。 （２） メイン画像補正回路２６の代わりにメイン画像
補正回路１５６と接続されている。

【０１７３】座標発生部は、第１の実施例で示したと同
様に、画素切り替えパルス信号立ち上がり毎に、メイン
画像メモリに存在する全座標値を、ラスタ順に順次発生
する。

【０１７４】画像演算部は、画素切り替え信号がアクテ
ィブから非アクティブに変化した時点で、拡大入力メモ
リ１５９およびメイン画像補正回路１５６から、それぞ
れの画素値を入力し、それらの画素値に以下の演算を施
し、その結果を画素切り替え信号が再度アクティブにな
るまでにメイン画像メモリ１５８に出力する。

【０１７５】 Ｍ＝α×Ｆ_i＋（１−α）×Ｆ_m ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ ただし、 αは、予め定めた定数で、０＜α＜１ Ｍは、メイン画像メモリ１５８に出力する画素値。

【０１７６】Ｆ_iは、拡大画像メモリ１５９から入力す
る画素値。

【０１７７】Ｆ_mは、メイン画像補正回路１５６から入
力する画素値。

【０１７８】ただし、リセット信号がアクティブである
間は、以下の演算、すなわち、拡大画像メモリ１５９か
らの入力のみをメイン画像メモリ１５８に書き込む処理
を行う。

【０１７９】 Ｍ＝Ｆ_i ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ 画像拡大回路１５５について説明する。画像拡大回路１
５５は、入力画像メモリ内の（ＸＩ，ＹＩ）画素の画像
データを、メイン画像メモリの画素数（ＸＭ，ＹＭ）に
拡大する処理を行う部分で、図１６に示すように座標発
生部１６１、座標縮小部１６２および補間演算部１６３
で構成される。

【０１８０】座標発生部１６１は、フレーム切り替え信
号が非アクティブになり、入力画像メモリに次のフレー
ムの画像が入力された後、再度フレーム切り替え信号が
アクティブになるまでに、上記画像合成回路１５４の座
標発生部と同様に、拡大画像メモリ内の全ての画素の座
標をラスタ順に発生し、座標縮小部１６２に順次出力す
るとともに、信号線１６４を介して拡大画像メモリ１５
９に出力する。

【０１８１】座標縮小部１６２は、座標発生部１６１か
ら入力する各座標値に対して以下の処理を行い結果値を
補間演算部１６３に出力する。

【０１８２】 （ｘ′，ｙ′）＝（ａ・ｘ，ｂ・ｙ） ただし、ａ，ｂは、拡大率を示す浮動小数点型の定数
で、以下の計算により算出される。 ａ＝ＸＩ／ＸＭ ｂ＝ＹＩ／ＹＭ ｘ，ｙは、座標発生部１６１から入力する整数の座標
値。ｘ′，ｙ′は、補間演算部１６３に出力する浮動小
数点型の座標値。補間演算部１６３は、第１の実施例に
おける補間演算部５２と同様の以下の処理を、座標縮小
部１６２から入力する各座標値について行う。

【０１８３】すなわち、 Ｍ_i＝Ｆ（ｘ′，ｙ′） ただし、（ｘ′，ｙ′）は、座標縮小部１６２から入力
する座標値。Ｍ_iは、信号線１６５を介して拡大画像メ
モリ１５９に出力する計算結果。Ｆ（ｘ′，ｙ′）は、
各座標値（ｘ′，ｙ′）に対して、第１の実施例で示し
た、「３次補間法」「双線形補間法」「再近傍法」のい
づれかの方法を用いて、入力画像メモリ１５３の画像デ
ータの演算を行うことを意味する。図１６の信号線１６
６は、この演算の際に、入力画像メモリ１５３に必要な
画素の座標値を出力するためのもので、信号線１６８
は、信号線１６６から出力した座標値に対する画素値を
入力するためのものである。

【０１８４】以上の画像拡大回路１５５における処理の
結果、フレーム切り替え信号が非アクティブになった時
点から、再度フレーム切り替え信号がアクティブになる
までの期間に、入力画像メモリの画像をメイン画像メモ
リの画素数に拡大した画像が、拡大画像メモリ１５９内
に作成される。

【０１８５】次にメイン画像補正回路１５６の説明を行
う。メイン画像補正回路１５６は、図１７に示すように
画像バッファ１７１とアフィン変換部１７２および補間
演算部１７３で構成され、第１の実施例における入力画
像補正回路２５と同様なアフィン変換をメイン画像に対
して行う。

【０１８６】画像バッファ１７１は、メイン画像メモリ
１５８と同容量の画像メモリで、同期信号１６０のフレ
ーム切り替え信号が非アクティブになった時点から、再
度アクティブになるまでの間に、メイン画像メモリの内
容全部を複写する。

【０１８７】また、画像バッファ１７１は、補間演算部
１７３から入力した座標値に対応する画素の値を補間演
算部１７３に出力する。

【０１８８】アフィン変換部１７２は、第１の実施例に
おけるアフィン変換部５１と同様の、以下の処理を行
う。

【０１８９】（１） 同期信号１６０のフレーム切り替
え信号が立ち上がってから、画素切り替え信号が立ち上
がるまでに、パラメタ決定回路１５７から信号線１７５
を介してアフィン変換係数を入力する。

【０１９０】（２） 画素切り替え信号が立ち上がる毎
に、画像合成回路１５４から信号線１７７を介して入力
する座標値を、以下の数式１５により変換して、補間演
算部１７３に出力する。

【０１９１】

【数１５】

【０１９２】ただし、行列要素ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ
_e，ｐ_fは、パラメタ決定回路１５７から入力するアフィ
ン変換係数。（ｘ，ｙ）は、画像合成回路１５４から入
力する座標値。（ｘ′，ｙ′）は、補間演算部１７３に
出力する座標値。

【０１９３】補間演算部１７３は、第１の実施例におけ
る補間演算部５２と同様の、以下の作用を行う。 （３） アフィン変換部１７２から上記処理結果の座標
値を入力する。 （４） 入力した座標値に対して、画素切り替え信号が
アクティブである期間に以下の画素補間演算処理を行
い、得られた結果を信号線１７６を介して画像合成回路
１５４に出力する。

【０１９４】 Ｍ_m＝Ｆ（ｘ′，ｙ′） ただし、（ｘ′，ｙ′）は、アフィン変換部１７２から
入力する座標値。Ｍ_mは、信号線１７６を介して画像合
成回路拡大画像メモリ１５４に出力する、計算結果。Ｆ
（ｘ′，ｙ′）は、各座標値（ｘ′，ｙ′）に対して、
第１の実施例で示した、「３次補間法」「双線形補間
法」「再近傍法」のいづれかの方法を用いて、画像バッ
ファ１７１の画像データに対して演算を行うことを意味
する。

【０１９５】上記の処理により、このメイン画像補正回
路１５６は、メイン画像メモリ１５８の画像データを、
パラメタ決定回路１５７からのパラメタによってアフィ
ン変換し、画像合成回路１５４に出力する。ただし、同
期手段１５０から発せられるリセット信号がアクティブ
である際は、メイン画像補正回路１５６は処理を行わな
い。

【０１９６】次にパラメタ決定回路１５７の説明を行
う。パラメタ決定回路１５７は、図１８に示すように、
ベクトル検出部１８１、係数計算部１８２、ベクトルバ
ッファ１８３で構成され、同期手段１５０からの同期信
号１６０に同期して処理を行う。

【０１９７】ベクトルバッファ１８３は、第１の実施例
におけるベクトルバッファ７６と同様に、Ｋ個の代表点
の座標値と各代表点における動きベクトル値を、表１に
示すような表形式で蓄積するための一時的な記憶手段
で、半導体メモリと周辺回路で構成される。ベクトルバ
ッファ１８３は、ベクトル検出部１８１によって書き込
み／読み出しが行われ、係数計算部１８２によって読み
出される。

【０１９８】ベクトル検出部１８１では、メイン画像メ
モリ内１５８の画像データと、拡大画像メモリ１５９内
の画像データを比較し、メイン画像中に設定した複数の
代表点における動きベクトルを求める。

【０１９９】代表点決定部について説明する。本実施例
では、メイン画像中にＫ個の代表点をとり、これらの代
表点の座標を、 （ｘ_i，ｙ_i） ただし、 ｉ＝０〜（Ｋ−１） ０≦ｘ_i＜ＸＩ，０≦ｙ_i≦ＹＩ とする。

【０２００】代表点の座標決定の方法は、第１の実施例
のベクトル検出部７１と同様に、 （１） 対象画像によらず、予め決定して、その座標値
をベクトルバッファ１８３の「代表点座標」の項に書き
込んでおく。または、（２） フレーム切り替え信号が
非アクティブにである期間に、第１の実施例と同様の方
法により、メイン画像メモリの画から代表点の座標を決
定し、その都度ベクトルバッファに記入する。ただし、
リセット信号がアクティブである場合は、上記の処理は
行わない。

【０２０１】次にベクトル計算部を説明する。以上の処
理で求めたメイン画像中の各代表点（ｘ_i，ｙ_i）に対す
る、拡大画像中の画像の対応点 （ｘ'_i，ｙ'_i），ｉ＝０〜（Ｋ−１） または動きベクトル （ｖ_xi，ｖ_yi）＝（ｘ'_i−ｘ_i，ｙ'_i−ｙ_i），ｉ＝０〜
（Ｋ−１） を、第１の実施例と同様に、ブロックマッチングまたは
濃度勾配法のいずれかの方式によって求め、結果をベク
トルバッファ１８３の「動ベクトル」の項に書き込む。

【０２０２】第１の実施例との違いは以下の通りであ
る。すなわち、第１の実施例では、図１１に示すよう
に、入力画像の原点（左上）をメイン画像の座標
（Ｘ_o，Ｙ_o）と対応させた後、各代表点での動きベクト
ルを検出していたが、本実施例では、拡大画像とメイン
画像の画素数が等しいため、拡大画像との原点をメイン
画像の原点に常時対応させて動きベクトルの計算処理を
行う。

【０２０３】次に、係数計算部１８２を説明する。係数
計算部１８２は、ベクトル検出部１８１による以上の処
理の結果としてベクトルバッファ１８３に記録された、
各代表点（ｘ_i，ｙ_i）に対する動きベクトル（ｖ_xi，ｖ
_yi）から、第１の実施例に示した、最小二乗法、偏微分
方程式による方法のいずれかの処理により、パラメタ
（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）を計算し、信号線１
８４を介してメイン画像補正回路１５６に送出する。

【０２０４】ベクトル検出部１８１および係数計算部１
８２は、上記の処理を、同期手段２０から発生するフレ
ーム切り替え信号がアクティブになった時点から、画素
切り替え信号がアクティブになるまでの期間に行う。

【０２０５】ただし、同期手段１５０から発せられるリ
セット信号がアクティブである際は、パラメタ決定回路
１５７は処理を行わない。

【０２０６】＜第２の実施例の全体的な説明＞以上に述
べたような動作を行う各回路を用いて、以下の順に処理
を行うことにより、時間的に連続して入力した画像（以
下フレーム）を拡大・合成し、入力画像より高解像度の
画像をメイン画像メモリ内に構成することを説明する。

【０２０７】すべての処理は、同期手段１５０から、信
号線１６０を介して出力される同期信号に同期して行わ
れる。同期信号には、第１の実施例の図１２に示すと同
様に、 （１） リセット信号 （２） フレーム切り替え信号 （３） 画素切り替え信号 の３種類が存在する。

【０２０８】この図１２に示す同期信号に沿って、各部
の動作を説明する。

【０２０９】期間（１）：リセット信号がアクティブに
なり、フレーム切り替え信号がアクティブになるまで
に、以下の処理が行われる。 ［１］ メイン画像メモリ１５８は、メモリの全内容を
クリアする。すなわち、全てのメイン画像メモリ内の画
素値を０に書き換える。 ［２］ 画像入力手段１１は、１フレーム分の画像デー
タを入力画像メモリ１５３に書き込む。 ［３］ 画像拡大回路１５５は、上記［２］の処理によ
り入力画像メモリ１５３に書き込まれた画像を拡大・補
間し、拡大画像メモリ１５９内に書き込む。

【０２１０】期間（２）：リセット信号および、第１フ
レームを示すフレーム切り替え信号アクティブで、か
つ、第１画素を示す画素切り替え信号がアクティブにな
るまでは、特に処理は行わない。

【０２１１】期間（３）：リセット信号がアクティブの
間で、画素切り替えパルスがアクティブになる毎に、画
像合成回路１５４は、拡大画像メモリ１５９に記録され
た画像をラスタ順にメイン画像メモリ２８に書き込む。

【０２１２】以上の「期間（１）〜期間（３）」で行う
処理の結果として、メイン画像メモリ１５８の画素数に
拡大された入力画像が、メイン画像メモリ１５８に書き
込まれる。

【０２１３】リセット信号が非アクティブになった後
は、以下の処理が繰り返し実行される。

【０２１４】期間（４）：フレーム切り替え信号が非ア
クティブになった時点から、再度アクティブになるまで
の期間には以下の処理が行われる。 ［１］ 画像入力手段１１は、次の１フレーム分の画像
データを入力画像メモリ１５３に書き込む。 ［２］ 画像拡大回路１５５は、入力画像メモリ１５３
に記録された画像を拡大補間処理し拡大画像メモリ１５
９に書き込む。 ［３］ メイン画像補正回路１５６は、メイン画像メモ
リの内容を、画像バッファ１７１に複写する。 ［４］ パラメタ決定回路１５７は、必要ならばメイン
画像から代表点を選択し、座標値をベクトルバッファ１
８３に書き込む。

【０２１５】期間（５）：リセット信号が非アクティブ
の状態で、フレーム切り替え信号がアクティブになった
時点から、画素切り替え信号がアクティブになるまでの
間には以下の処理が行われる。 パラメタ決定回路１５７は、拡大画像メモリ１５９に記
録された次のフレームの拡大画像とメイン画像メモリ１
５８に記録されている、いままでに作成された画像との
マッチングを行い、パラメタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ
_e，ｐ_f）を計算し、メイン画像補正回路１５６に出力す
る。

【０２１６】期間（６）：リセット信号が非アクティブ
の間で、画素切り替えパルスがアクティブになる毎に、
画像合成回路１５４は、拡大画像メモリ１５９内の画像
と、メイン画像補正回路１５６を介して入力したメイン
画像を合成し、ラスタ順にメイン画像メモリ２８に書き
込む。

【０２１７】これらの画像毎の処理を、タイムチャート
で示すと、図１９の通りである。図１９において、左端
の項目に付した番号は、以下の信号を伝達する信号線を
示す。 １６０：同期手段１５０から出力される同期信号１６０
の内、画素切り替えパルス信号。 １７７：画像合成回路１５４からメイン画像補正回路１
５６に出力される座標値。 １９１：画像合成回路１５４から拡大画像メモリ１５９
に出力される座標値。 １７６：メイン画像補正回路１５６から画像合成回路１
５４に出力される画素値。 １９２：拡大画像メモリ１５９から画像合成回路１５４
に出力される画素値。 １９３：画像合成回路１５４からメイン画像メモリ１５
８に出力される座標値および画素値。

【０２１８】また、図１９において、−座標１−、−画
素１−、−結果１−などは、各信号線での値が確定して
いることを示すもので、ｘは、各信号線での値が不定で
あることを示すものである。図１９中の［１］、
［２］、・・・は、下記の処理を行う時期を示す。

【０２１９】［１］ 画像合成回路１５４は、同期信号
１６０の画素切り替え信号の立ち上がりを検出して、座
標値を信号線１７７、１９１を介してメイン画像補正回
路１５６および拡大画像メモリ１５９に出力する。ま
た、同じ座標値を信号線１９３を介してメイン画像メモ
リに出力する。

【０２２０】［２］ 拡大画像メモリ１５９は、信号線
１９１を介して入力した座標に対応する画素データを、
画素切り替え信号の立ち下がりまでに画像合成回路１５
４に信号線１９２を介して出力する。

【０２２１】［３］ メイン画像補正回路１５６は、パ
ラメタ決定回路１５７から入力したパラメタに基づい
て、信号線１７７を介して入力した座標に対応する画素
データを画像バッファ１７１の画像データから計算し、
画素切り替え信号の立ち下がりまでに画像合成回路１５
４に信号線１７６を介して出力する。

【０２２２】上記［１］、［２］、［３］の結果、この
結果画素切り替え信号の立ち下がりでは、座標値（１７
７、１９２、１９３）および画素値（１７６、１９２）
が確定となる。

【０２２３】［４］ 画像合成回路１５４は、画素切り
替え信号の立ち下がりを検出し、拡大画像メモリ１５９
およびメイン画像補正回路１５６から信号線１９２、１
７６を介して入力した画素データを演算処理し、演算結
果を、次の同期信号の立ち上がりまでに、メイン画像メ
モリ１５８に、信号線１９３を介して出力する。

【０２２４】［５］ この結果、画素切り替え信号の立
ち上がりでは、信号線１９３上で座標値および演算結果
が確定となるため、メイン画像メモリ１５８は、画素切
り替え信号の立ち上がりで、画像合成回路１５４から入
力する座標値に対応する画素に、画素値を書き込む。

【０２２５】以上の「期間（４）〜期間（６）」で行う
処理により、メイン画像メモリ１５８には、画像入力手
段１１から時間的に連続して入力したフレームの内、最
後に入力したフレームの拡大画像を、それまでに入力し
たフレームの画像の情報によって補間・補正処理した画
像が作成される。この様子を模式的に示すと図２０のよ
うになる。

【０２２６】図２０で、Ａ，Ｎ，Ｍは、座標に対する変
換処理を示しており、Ａは、アフィン変換、Ｎは変換な
し、Ｍは拡大処理を示す。また、ｉ０，ｉ１，ｉ２は、
時間順に入力する画像を、ｉｍ０，ｉｍ１，ｉｍ２は、
入力した画像ｉ０，ｉ１，ｉ２を拡大処理した画像を、
ｍ０，ｍ１，ｍ２は、メイン画像メモリ上に作成される
画像を示す。

【０２２７】第０フレームの処理は、リセット信号がア
クティブの際に行われるもので、入力画像ｉ０を拡大し
た画像ｉｍ０がメイン画像メモリに画像ｍ０として記録
される。

【０２２８】第１フレームでは、次の入力画像ｉ１を拡
大した画像ｉｍ１と、第０フレームで作成された画像ｍ
０が合成され、画像ｍ１としてメイン画像メモリ上に作
成されるが、この際、ｉｍ１は座標変換されず、ｍ０が
ｉｍ１に合わせるべくアフィン変換により座標変換され
ているため、画像ｉｍ１を画像ｍ０で補間・補正した画
像ｍ１が作成される。

【０２２９】第２フレームでは、第１フレームでの処理
で作成された画像と同様に、次の入力画像ｉ２を拡大し
た画像ｉｍ２を、第１フレームで作成された画像ｍ１で
補間・補正した画像ｍ２がメイン画像メモリ上に作成さ
れる。

【０２３０】これらの処理の際、以前の画像の情報が次
の画像に寄与する場合は、画像合成回路１５４での処理
における定数αを変化させることで制御可能である。

【０２３１】＜第３の実施例＞上記第２の実施例では、
拡大画像メモリ１５９の画像を中心に、メイン画像メモ
リ１５８の画像を合成することにより、時間的に一番最
後に入力した画像を以前に入力した画像で補正・補間し
ていたが、図２１のような構成をとり、メイン画像を中
心に、拡大画像を合成するようにすることにより、最初
（システムリセット時）に入力した画像を補間・補正す
ることも可能である。この第３の実施例として入力画像
補正が可能な画像処理装置を以下に説明する。

【０２３２】図２１において、同期手段２１０、入力画
像メモリ２１３、画像拡大回路２１５、拡大画像メモリ
２１９、画像合成回路２１４、拡大画像補正回路２１
６、パラメタ決定回路２１７およびメイン画像メモリ２
１８は、それぞれ第２の実施例での同期手段１５、入力
画像メモリ１５３、画像拡大回路１５５、拡大画像メモ
リ１５９、画像合成回路１５４、メイン画像補正回路１
５６、パラメタ決定回路１５７およびメイン画像メモリ
１５８と同様の回路で、以下に示すように、同様の仕様
を持ち、同様の動作を行う。

【０２３３】入力画像メモリ２１３は、画像拡大回路２
１５からの座標入力に対し、対応する画素値を出力す
る。

【０２３４】画像合成回路２１４は、第２の実施例と同
様に、同期信号の画素切り替え信号の立ち上がり毎に、
拡大画像補正回路２１６およびメイン画像メモリ２１８
に、メイン画像メモリの全座標をラスタ順に順次出力
し、画素切り替え信号立ち下がり時に、その結果として
得られるそれぞれの回路からの画素値に対して以下の演
算を施し、画素切り替え信号が再度立ち上がるまでに、
座標値とともに演算結果の値をメイン画像メモリ２１８
に出力する。

【０２３５】 Ｍ＝α×Ｆ_m＋（１−α）×Ｆ_i ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ ただし、αは、予め定めた定数で、０＜α＜１ Ｍは、メイン画像メモリ１５８に出力する画素値。Ｆ_i
は、拡大画像補正回路２１６から入力する画素値。Ｆ_m
は、メイン画像メモリ２１８から入力する画素値。

【０２３６】ただし、リセット信号がアクティブである
間は、以下の演算，すなわち、拡大画像補正回路２１６
からの入力のみをメイン画像メモリ２１８に書き込む処
理を行う。

【０２３７】 Ｍ＝Ｆ_i ｉｆ Ｍ≧ＧＭ ｔｈｅｎ Ｍ＝ＧＭ 画像拡大回路２１５は、第２の実施例と同様に、入力画
像メモリ２１３内に蓄積されているデジタル画像データ
をメイン画像メモリ２１８の画素数に拡大補間し、拡大
画像メモリ２１９に書き込む処理を、フレーム切り替え
信号非アクティブである期間に行う。

【０２３８】拡大画像メモリ２１９は、画像拡大回路に
よって拡大された入力画像が書き込まれ、拡大画像補正
回路２１６によって読み出される、メイン画像メモリと
同じ画素数を持つ画像バッファである。

【０２３９】拡大画像補正回路２１６は、図２２に示す
ように、パラメタ決定回路２１７から入力するパラメタ
（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）により、拡大画像メ
モリ２１９内の画像データをアフィン変換し、画像合成
回路２１４から入力する座標値に対応する画素データを
画像合成回路２１４に出力する回路で、内部構成および
処理方式は第１の実施例におけるメイン画像補正回路１
５６と比較した場合、以下の点を除き、同様である。

【０２４０】（１） メイン画像の代わりに拡大画像を
変換する。そのため、補間演算部２２３は、拡大画像メ
モリ２１９に接続される。また、拡大画像メモリの画像
を直接参照すればよく、画像バッファは必要ない。

【０２４１】（２） 同期手段２１０から発せられるリ
セット信号がアクティブである際は、拡大画像補正回路
２１６は変換処理を行わず、画像合成回路２１４からの
座標入力に対し、拡大画像メモリの対応する画素値をそ
のまま出力する。

【０２４２】すなわち、この期間は、 ・アフィン変換部２２２は画像合成回路２１４から入力
した座標値をそのまま補間演算部２２３に出力する。 ・補間演算部２２３では、アフィン変換部２２２から入
力した座標値に対して、以下の処理を行う。

【０２４３】Ｆ_k＝Ｆ_i（ｘ，ｙ） ただし、Ｆ_kは、画像合成回路２１４に出力する画素
値。（ｘ，ｙ）は、アフィン変換部２２２から入力する
座標値。Ｆ_i（ｘ，ｙ）は、拡大画像メモリの、座標
（ｘ，ｙ）に対応する画素値。

【０２４４】パラメタ決定回路２１７は、フレーム切り
替え信号が立ち上がってから、画素切り替え信号が立ち
上がるまでに、拡大画像メモリ２１９およびメイン画像
メモリ２１８のそれぞれに蓄積されている画像データを
比較し、補正パラメタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，
ｐ_f）を拡大画像補正回路２１６に出力する。

【０２４５】この際、第２の実施例との相違は、第２の
実施例では、メイン画像上に代表点を取り、拡大画像と
のマッチングを行っていたが、本実施例では、拡大画像
上に代表点を設定し、メイン画像とのマッチング処理を
行う点のみである。

【０２４６】メイン画像メモリ２１８は、画像合成回路
２１４から座標と画素値を入力し、入力した座標に対応
するメモリ領域に画素値を書き込む。また、パラメタ決
定回路２１７からの座標入力に対し、対応する画素値を
出力する。

【０２４７】以上の構成を持つ装置による、第２の実施
例と同様の処理により、メイン画像には、画像入力手段
１１から時間的に連続して入力したフレームの内、最初
に入力したフレームの拡大画像を、以後に入力したフレ
ームの画像の情報によって補間・補正処理した画像が作
成される。

【０２４８】この様子を模式的に示すと図２３のように
なる。図２３で、Ａ，Ｎ，Ｍは、座標に対する変換処理
を示しており、Ａは、アフィン変換、Ｎは変換なし、Ｍ
は拡大処理を示す。

【０２４９】また、ｉ０，ｉ１，ｉ２，は、順に入力す
る画像を、ｉｍ０，ｉｍ１，ｉｍ２は、入力した画像ｉ
０，ｉ１，ｉ２を拡大処理した画像を、ｍ０，ｍ１，ｍ
２は、メイン画像メモリ上に作成される画像を示す。

【０２５０】第０フレームの処理は、リセット信号がア
クティブの際に行われるもので、入力画像ｉ０を拡大し
た画像ｉｍ０がメイン画像メモリに画像ｍ０として記録
される。

【０２５１】第１フレームでは、次の入力画像ｉ１を拡
大した画像ｉｍ１と、第０フレームで作成された画像ｍ
０が合成され、画像ｍ１としてメイン画像メモリ上に作
成されるが、この際、ｍ０は座標変換されず、ｉｍ１が
ｍ０に合わせるべくアフィン変換により座標変換されて
いるため、画像ｍ０を画像ｉｍ０で補間・補正した画像
ｍ１が作成される。

【０２５２】第２フレームでは、第１フレームでの処理
で作成された画像と同様に、次の入力画像ｉ２を拡大し
た画像ｉｍ２により、第１フレームで作成された画像ｍ
１を補間・補正した画像ｍ２がメイン画像メモリ上に作
成される。

【０２５３】＜第４の実施例＞上記第２および第３の実
施例では、パラメタ決定回路において、メイン画像メモ
リと拡大画像メモリ１５９の画像を比較し、変換パラメ
タを決定していたが、図２４、図２５に示すような構成
をとることにより、パラメタ決定の処理量を軽減するこ
とが可能である。この縮小マッチングを行う画像処理装
置を第４の実施例として以下に説明する。

【０２５４】図２４は第２の実施例を、図２５は、第３
の実施例を変更したものであるが、これらの実施例と第
２、第３の実施例との相違は以下の項目である。

【０２５５】すなわち、パラメタ決定回路において、第
２、第３の実施例においては、拡大画像メモリとメイン
画像メモリの比較を行っていたが、本実施例では、入力
画像メモリと、メイン画像を縮小した画像が記録されて
いる縮小画像メモリとの比較を行う点である。

【０２５６】このため本実施例では、拡大画像メモリお
よび画像拡大回路を削減し、縮小画像メモリ２４９、２
５９および画像縮小回路２４２、２５２を新設してい
る。これらの回路の作用を以下に示す。

【０２５７】まず縮小画像メモリについて説明する。縮
小画像メモリ２４９、２５９は、メイン画像メモリに作
成された画像を入力画像メモリと同じ画素数に縮小した
画像を蓄積するための画像バッファで入力画像メモリと
同じ画素数を持つ。また、縮小画像メモリは、パラメタ
決定回路２４７、２５７からの座標入力により、対応す
る画素値を出力する。

【０２５８】次に画像縮小回路について説明する。画像
縮小回路２４２、２５２は、メイン画像メモリ内の（Ｘ
Ｍ，ＹＭ）画素の画像データを、入力画像メモリの画素
数（ＸＩ，ＹＩ）に縮小する処理を行う部分で、図２６
に示す様に座標発生部２６１、座標拡大部２６２および
補間演算部２６３で構成される。

【０２５９】座標発生部２６１は、同期手段からのフレ
ーム切り替え信号立ち下がりから、再度フレーム切り替
え信号が立ち上がるまでの期間に、縮小画像メモリ内の
全ての画素の座標をラスタ順に発生し、座標拡大部２６
２に順次出力するとともに、同じ座標値を縮小画像メモ
リ２４９／２５９に出力する。

【０２６０】座標拡大部２６２は、座標発生部２６１か
ら入力する各座標値に対して以下の処理を行い、結果値
を補間演算部２６３に出力する。

【０２６１】（ｘ'，ｙ')＝（ａ・ｘ，ｂ・ｙ） ただし、ａ，ｂは、縮小率を示す浮動小数点型の定数
で、以下の計算により算出される。 ａ＝ＸＭ／ＸＩ ｂ＝ＹＭ／ＹＩ ｘ，ｙは、座標発生部２６１から入力する整数の座標
値。ｘ',ｙ'は、補間演算部２６３に出力する浮動小数
点型の座標値。

【０２６２】補間演算部２６３は、座標拡大部２６２か
ら入力した各座標値について、例えば以下の様な重み付
き平均演算を行う。

【０２６３】

【数１６】

【０２６４】以上の画像縮小回路２４２、２５２におけ
る処理の結果、フレーム切り替え信号立ち下がりから再
度立ち上がるまでの期間に、メイン画像メモリ内の画像
が入力画像メモリの画素数に縮小された画像が、縮小画
像メモリ２４９／２５９内に作成される。

【０２６５】次にパラメタ決定回路について説明する。
パラメタ決定回路２４７／２５７は、フレーム切り替え
信号が立ち上がってから、画素切り替え信号が立ち上が
るまでの期間に、入力画像メモリと縮小画像メモリのそ
れぞれに蓄積されている画像データを比較し、補正パラ
メタ（ｐ_a，ｐ_b，ｐ_c，ｐ_d，ｐ_e，ｐ_f）をメイン画像補
正回路２４６または入力画像補正回路２５５に出力す
る。

【０２６６】この際、第２、第３の実施例との相違は、
それぞれ、マッチングする画素数が異なる。すなわち、
第２、第３の実施例では、メイン画像メモリの画素数
（ＸＭ，ＹＭ）の画素に対して処理を行っていたのに対
し、本実施例では、入力画像メモリの画素数（ＸＩ，Ｙ
Ｉ）の画像に対してのみ処理を行えば良いため、計算量
が減少される点である。

【０２６７】＜第５の実施例＞上記の各実施例において
は、パラメタ決定回路において、画像処理のみでパラメ
タを決定していたが、図２７に示すように、画像入力手
段１１において、ジャイロ２７１を装備し、オペレータ
が画像入力手段を持ち、パン操作等で移動するる際の動
きに応じた移動パラメタをパラメタ決定回路に出力し、
パラメタ決定回路は、ジャイロから入力するカメラ移動
量により、補正パラメタの決定の処理量を軽減すること
が可能である。以下にジャイロを利用した、本発明に係
る画像処理装置を第５の実施例として説明する。

【０２６８】図２７は、第１の実施例におけるパノラマ
画像生成装置の画像入力手段１１にジャイロ装置を装備
したもので、本実施例では、ジャイロ装置は、画像入力
手段１１のＣＣＤ撮像面に対する平行移動速度（ｊ_x，
ｊ_y）をパラメタ決定回路に出力する。

【０２６９】パラメタ決定回路では、ジャイロ装置から
得られるカメラの平行移動速度（ｊ_x，ｊ_y）を、パラメ
タ決定回路２７のベクトル検出部におけるブロックマッ
チングの際に、ベクトル検索範囲ｖ_x，ｖ_yを減少させる
ことが可能で、例えば、以下の方法により、検索範囲を
１／４にすることが可能である。

【０２７０】 Ｍ₀＝−Ｍ，Ｍ₁＝Ｍ，Ｎ₀＝−Ｎ，Ｎ₁＝Ｎ ｉｆ （ｊ_x＞０） ｔｈｅｎ Ｍ₀＝０ ｉｆ （ｊ_x≦０） ｔｈｅｎ Ｍ₁＝０ ｉｆ （ｊ_y＞０） ｔｈｅｎ Ｎ₀＝０ ｉｆ （ｊ_y≦０） ｔｈｅｎ Ｎ₁＝０ とし、検索範囲を Ｍ₀≦ｖ_x≦Ｍ₁ Ｎ₀≦ｖ_y≦Ｎ₁ とすることにより、検索範囲は、ｖ_xがＭ画素、ｖ_yがＮ
画素となり、第１の実施例に示す方式では合計（２Ｍ×
２Ｎ）画素の範囲の検索が必要であったのに対し、本実
施例では、（Ｎ×Ｎ）画素のみの検索でよくなる。

【０２７１】また、本実施例では第１の実施例にジャイ
ロ装置を装備する例について示したが、第２、第３、第
４の実施例においても同様に、ジャイロ装置を画像入力
手段に装備することにより、パラメタ決定回路での処理
量の軽減が可能である。

【０２７２】＜第６の実施例＞上記の各実施例において
は、入力画像は、画像入力手段１１を操作するオペレー
タのカメラ移動によって変化していたが、図２８に示す
ように、画像入力手段１１を能動的に移動させることに
より、オペレータが画像入力手段を固定していた場合で
も、パノラマ画像または高解像度の画像を入力すること
が可能である。以下に第６の実施例として説明する。図
２８（ａ）は、本実施例での画像入力手段の正面図で、
図２８（ｂ）は、側面断面図である。

【０２７３】２８１は画像入力手段におけるＣＣＤ撮像
部で、ＣＣＤ素子および周辺回路で構成され、信号線に
よってＡ／Ｄ変換部に接続される。ＣＣＤ撮像面は、図
２８（ａ）では、正面に、図２８（ｂ）では左面に位置
する。

【０２７４】２８２は外殻で、プラスチックや金属で構
成される。２８３はＣＣＤ撮像部２８１と外殻２８２を
物理的に結合するための振動素子で、圧電素子またはバ
ネなどで構成される。

【０２７５】本実施例における画像入力手段において、
振動素子が圧電素子の場合、圧電素子は、電源からの交
流電圧により、常時振動している。この際、外殻をオペ
レータが固定して持つのみで、圧電素子の振動によりＣ
ＣＤ撮像部には振動範囲での複数種の画像が連続して入
力され、これを上記の実施例における入力処理手段に順
次入力することにより、振動範囲での高解像度画像がメ
イン画像メモリ上に作成される。

【０２７６】また、振動子がバネの場合、外角をオペレ
ータが持ち、最初に微小振動を与えることにより、バネ
が振動する期間、その振動範囲での画像が連続して入力
され、これを上記の実施例における入力処理手段に順次
入力することにより、振動範囲での高解像度画像がメイ
ン画像メモリ上に作成される。

【０２７７】＜第７の実施例＞上記第２の実施例におけ
る入力処理手段を、図２９に示す様に、高解像度表示装
置に接続することにより、低解像度の動画像を高解像度
化することが可能である。以下に第７の実施例として説
明する。

【０２７８】第２９図における高解像度画像表示装置
は、動画供給手段２９１、入力処理手段２９２、画像蓄
積手段２９３および画像表示手段２９４で構成される。

【０２７９】動画供給手段２９１は、動画すなわち時間
的に連続した複数の画像を、第２の実施例の画像入力手
段と同様の形式のデジタルデータとして入力処理手段２
９２に出力するもので、たとえばＮＴＳＣの信号をフレ
ーム毎にデジタイズする装置等で構成される。

【０２８０】入力処理手段２９２および画像蓄積手段２
９３は、第２の実施例と同様の装置である。画像表示手
段２９４は、動画供給手段２９１で供給される画像の画
素数よりも多い画素数の画像を表示可能な装置で、入力
処理手段２９２の一回のフレーム処理毎に、画像蓄積手
段２９３の画像をそのまま表示する。例えばハイビジョ
ン表示装置などで構成される。

【０２８１】本装置によれば、動画供給手段２９１から
入力する動画像に、第２の実施例における処理を施し、
画像表示手段２９４に出力することにより、少ない画素
の動画像から、多い画素の動画像を得、表示することが
可能である。

【図面の簡単な説明】

【図１】第１の実施例の構成図

【図２】本発明の画像生成装置の構成図

【図３】第１の実施例における画像合成回路の構成図

【図４】座標発生部の処理を示すフローチャート

【図５】第１の実施例における入力画像補正回路の構成
図

【図６】第１の実施例におけるメイン画像補正回路の構
成図

【図７】第１の実施例におけるパラメタ決定回路の構成
図

【図８】第１の実施例におけるメイン画像と入力画像と
の関係を説明するための図

【図９】パラメタ決定回路での代表点の例を示す図

【図１０】代表点の選択方法を説明するための図

【図１１】ブロックマッチングを説明するための図

【図１２】同期信号の関係を説明するための図

【図１３】画素毎の処理を説明するための図

【図１４】第１の実施例における処理結果を例示した図

【図１５】第２の実施例の構成図

【図１６】第２の実施例における画像拡大回路の構成図

【図１７】第２の実施例におけるメイン画像補正回路の
構成図

【図１８】第２の実施例におけるパラメタ決定回路の構
成図

【図１９】第２の実施例における画素事の処理を説明す
るための図

【図２０】第２の実施例における処理を模式的に説明す
るための図

【図２１】第３の実施例の構成図

【図２２】第３の実施例における拡大画像補正回路の構
成図

【図２３】第３の実施例における処理を模式的に説明す
るための図

【図２４】第４の実施例の構成図

【図２５】第４の実施例の構成図

【図２６】第４の実施例における画像縮小回路の構成図

【図２７】第５の実施例の構成図

【図２８】第６の実施例における画像入力手段の構成図

【図２９】第７の実施例の構成図

【図３０】代表点の例を示す図

【符号の説明】

１１ 画像入力手段 １２ 入力処理手段 １３ 画像蓄積手段 １４ 出力処理手段 １５ 画像出力手段 ２０ 同期手段 ２１ ＣＣＤ撮像部 ２２ Ａ／Ｄ変換 ２３ 入力画像メモリ ２４ 画像合成回路 ２５ 入力画像補正回路 ２６ メイン画像補正回路 ２７ パラメタ決定回路 ２８ メイン画像メモリ ３１ 座標発生部 ３２ 画素演算部 ５１ アフィン変換部 ５２ 補間演算部 ６１ 画像バッファ ６２ 座標演算部 ７１ ベクトル検出部 ７２ 係数計算部 ７３ パラメタ分割部 ７５ 原点バッファ ７６ ベクトルバッファ １５０ 同期手段 １５３ 入力画像メモリ １５４ 画像合成回路 １５５ 画像拡大回路 １５６ メイン画像補正回路 １５７ パラメタ決定回路 １５８ メイン画像メモリ １６１ 座標発生部 １６２ 座標縮小部 １６３ 補間演算部 １７１ 画像バッファ １７２ アフィン変換部 １７３ 補間演算部 １８１ ベクトル検出部 １８２ 係数計算部 １８３ ベクトルバッファ ２１０ 同期手段 ２１３ 入力画像メモリ ２１４ 画像合成回路 ２１５ 画像拡大回路 ２１６ 拡大画像補正回路 ２１７ パラメタ決定回路 ２１８ メイン画像メモリ ２１９ 拡大画像メモリ ２２２ アフィン変換部 ２２３ 補間演算部 ２４０ 同期手段 ２５２ 画像縮小回路 ２５３ 入力画像メモリ ２５４ 画像合成回路 ２５５ 入力画像補正回路 ２５７ パラメタ決定回路 ２５８ メイン画像メモリ ２６１ 座標発生部 ２６２ 座標拡大部 ２６３ 補間演算部 ２７１ ジャイロ ２８１ ＣＣＤ撮像部 ２８２ 外殻 ２８３ 振動素子 ２９１ 動画供給手段 ２９２ 入力処理手段 ２９３ 画像蓄積手段 ２９４ 画像表示手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 1/04 103 Z G06F 15/62 G06F 15/66 470 J

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 時系列に入力される画像フレームを複数
   つなぎあわせて画像合成する画像処理装置であって、 時系列で前の画像の代表点候補から選択された代表点と
   時系列で後の画像の対応点との比較結果に基づいて時系
   列で前後する画像を位置補正して合成する入力処理手段
   と、上記画像フレームを入力するための画像入力手段と、 該画像入力手段の移動情報を検出する検出手段と、を有
   し、 上記入力処理手段は、上記移動情報に基づいて上記時系
   列で前後する画像のマッチング範囲を制限して上記比較
   結果を得ることを特徴とする画像処理装置。
2. 【請求項２】 上記入力処理手段は、上記時系列で前後
   する画像の各画素の重み付き平均により合成することを
   特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 上記入力処理手段は、上記時系列で前後
   する画像を同一サイズに拡大してから上記比較結果を
   得、上記位置補正された時系列で前後する画像から画像
   フレームの画素数より多い画素数の画像に合成すること
   を特徴とする請求項１記載の画像処理装置。
4. 【請求項４】 上記入力される画像フレームを記憶する
   入力画像メモリと、該入力画像メモリより大きな画像サ
   イズで上記合成後の画像を記憶するメイン画像メモリ
   と、を有し、 上記入力処理手段は、上記メイン画像メモリに記憶され
   た時系列で前の画像を上記入力画像メモリに記憶された
   時系列で後の画像と同一画素数の画像に縮小して上記位
   置補正することを特徴とする請求項１記載の画像処理装
   置。
5. 【請求項５】 上記画像フレームを入力するための画像
   入力手段と、該画像入力手段を振動させる振動手段と、
   を有し、 上記振動に応じた複数の画像それぞれが上記入力される
   画像フレームであることを特徴とする請求項１記載の画
   像処理装置。
6. 【請求項６】 上記合成された画像を表示する画像表示
   手段を有することを特徴とする請求項３記載の画像処理
   装置。
7. 【請求項７】 時系列に入力される画像フレームを複数
   つなぎあわせて画像 合成する画像処理方法であって、 時
   系列で前の画像の代表点候補から選択された代表点と時
   系列で後の画像の対応点との比較結果に基づいて時系列
   で前後する画像を位置補正して合成し、 上記画像フレー
   ムを入力するための画像入力手段の移動情報を検出し、
   上記移動情報に基づいて上記時系列で前後する画像のマ
   ッチング範囲を制限して上記比較結果を得ることを特徴
   とする画像処理方法。