JPH1091780A - 畳み込み装置および畳み込みを実行する方法 - Google Patents

Abstract

(57)【要約】 【課題】相異なる次元の畳み込みを高速で実行する比較
的廉価な畳み込み装置を提供する。 【解決手段】画素の畳み込みを実行する再構成可能な畳
み込み装置が提供される。Ｍ×Ｍ畳み込み時に、Ｍ×Ｍ
畳み込み窓の画素値とＭ×Ｍ畳み込みマスクの対応する
係数を乗算し、結果を加算して最終結果を与える。Ｎ×
Ｎ（ＮはＭよりも大きい）畳み込みでは、第１のパス時
に、Ｎ×Ｎ畳み込み窓の画素値の第１のサブセットとＮ
×Ｎ畳み込みマスクの対応する係数の第１のサブセット
を乗算し、加算器が第１のパスの中間結果を与えメモリ
に記憶する。Ｎ×Ｎ畳み込みの第２のパス時に、Ｎ×Ｎ
畳み込み窓の画素値の第２のサブセットとＮ×Ｎ畳み込
みマスクの対応する係数の第２のサブセットを乗算器に
供給し、加算器が中間結果と第２のパスの結果とを組み
合わせてＮ×Ｎ畳み込みの最終結果を与える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理で使用さ
れる畳み込み装置に関し、詳細には、それぞれの異なる
畳み込み窓次元を用いて畳み込みを実行するために使用
できる畳み込み装置に関する。

【０００２】

【従来の技術】画像処理では、低域フィルタリング（ぼ
かし）、高域フィルタリング（鮮鋭化）、エッジ検出、
エッジ強化、その他の機能を実行するために畳み込みが
使用される。畳み込みとは、ソース画素の近傍の画素の
重み付き和である。重みは、通常は方形である、畳み込
みマスクまたは畳み込みカーネルと呼ばれる係数の行列
によって決定される。行列の次元は通常、奇数であり、
そのため、行列の中心位置は出力画素の位置に対応す
る。ソース画像内の各画素上に、畳み込み窓と呼ばれる
スライディング・ウィンドウが順次センタリングされ
る。畳み込み窓内の各画素値に畳み込みマスク内の対応
する係数を乗じその積の和を求めることによって、出力
画素値が算出される。

【０００３】それぞれの異なる畳み込み窓次元を用いて
畳み込みを実行することが必要になることがある。たと
えば、それぞれの異なる状況で５×５畳み込みおよび７
×７畳み込みが必要になる。二次元画像上で７×７畳み
込みを実行するには、生成される各出力画素ごとに４９
回の乗算と４８回の加算が必要である。７×７畳み込み
マスクを用いてフィルタされた画像は多くの場合、２５
６×２５６画素または５１２×５１２画素を有する。Ｃ
ＰＵの演算装置に依存するソフトウェア手法は極めて低
速である。専用７×７ハードウェア・畳み込み装置は、
４９個の乗算器と４８個のアダーを使用するので、望ま
しい性能を有するが高価である。

【０００４】

【発明が解決しようとする課題】畳み込みを高速度で実
行し、それぞれの異なる畳み込み窓次元を用いて畳み込
みを実行することができ、比較的廉価である畳み込み装
置を提供することが望ましい。

【０００５】

【課題を解決するための手段】本発明の第１の態様によ
れば、画像の画素の畳み込みを実行する再構成可能な畳
み込み装置が提供される。この畳み込み装置は、畳み込
み窓の画素値に畳み込みマスクの対応する係数を乗じ積
を与える複数の乗算器と、これらの積を加算し結果を与
えるために乗算器に結合された加算器と、中間結果を記
憶するメモリと、コントローラとを備える。コントロー
ラは、Ｍ×Ｍ畳み込み時に、Ｍ×Ｍ畳み込み窓の画素値
とＭ×Ｍ畳み込みマスクの対応する係数を乗算器に供給
する手段を備える。加算器は、Ｍ×Ｍ畳み込みの最終結
果を与える。コントローラはさらに、Ｎ×Ｎ（ＮはＭよ
りも大きい）畳み込みの第１のパス時に、Ｎ×Ｎ畳み込
み窓の画素値の第１のサブセットとＮ×Ｎ畳み込みマス
クの対応する係数の第１のサブセットを乗算器に供給
し、その場合に加算器がＮ×Ｎ畳み込みの第１のパスの
中間結果を与える手段と、中間結果をメモリに記憶する
手段と、Ｎ×Ｎ畳み込みの第２のパス時に、Ｎ×Ｎ畳み
込み窓の画素値の第２のサブセットとＮ×Ｎ畳み込みマ
スクの対応する係数の第２のサブセットを乗算器に供給
し、中間結果をメモリから加算器に供給し、その場合に
加算器が中間結果を第２のパスの結果と組み合わせてＮ
×Ｎ畳み込みの最終結果または第２の中間結果を与える
手段とを備える。この畳み込み装置は、通常Ｍ×Ｍ個の
マルチプレクサを含み、Ｍ×Ｍ畳み込みまたはＮ×Ｎ畳
み込みを実行するように再構成することができる。再構
成可能な畳み込み装置の一実施形態では、５×５畳み込
み装置を使用して２回のパスで７×７畳み込みが実行さ
れる。

【０００６】Ｎ×Ｎ畳み込みでは２回よりも多くのパス
が必要になることがある。この場合、コントローラはさ
らに、Ｎ×Ｎ畳み込みの１回または複数の中間パスのそ
れぞれの間に、Ｎ×Ｎ畳み込み窓の画素値の中間サブセ
ットとＮ×Ｎ畳み込みマスクの対応する係数の中間サブ
セットを乗算器に供給し、各中間パス時に、前のパスの
中間結果を加算器に供給する手段とを含む。加算器は、
前のパスの中間結果を現パスの結果と組み合わせて現中
間結果を与える。最後の中間パスの結果は最後のパスの
結果と組み合わされＮ×Ｎ畳み込みの最終結果が与えら
れる。

【０００７】畳み込み装置を一定の構成で使用してＮ×
Ｎ畳み込みを実行することができる。Ｍ×Ｍ個の乗算器
を有する畳み込み装置を用いてＮ×Ｎ畳み込みを実行す
るには２回以上のパスが必要である。

【０００８】Ｍ×Ｍ畳み込み装置を使用してＬ×Ｌ畳み
込みを実行することもできる。この場合、ＬはＭよりも
小さい。Ｌ×Ｌ畳み込みは１回のパスで実行される。

【０００９】本発明の他の態様によれば、畳み込み装置
を用いて画像の画素の畳み込みを実行する方法が提供さ
れる。畳み込み装置は、畳み込み窓の画素値を畳み込み
マスクの対応する係数に乗じ積を与える複数の乗算器
と、これらの積の和を求めて結果を与えるために乗算器
に結合された加算器とを含む。Ｎ×Ｎ畳み込みの第１の
パス時に、Ｎ×Ｎ畳み込み窓の画素値の第１のサブセッ
トとＮ×Ｎ畳み込みマスクの対応する係数の第１のサブ
セットが乗算器に供給される。この場合、ＮはＭよりも
大きい。加算器は、Ｎ×Ｎ畳み込みの第１のパスの中間
結果を与え、この中間結果が記憶される。Ｎ×Ｎ畳み込
みの第２のパス時に、Ｎ×Ｎ畳み込み窓の画素値の第２
のサブセットとＮ×Ｎ畳み込みマスクの対応する係数の
第２のサブセットが乗算器に供給され、中間結果が加算
器に供給される。加算器は、この中間結果を第２のパス
の結果と組み合わせてＮ×Ｎ畳み込みの最終結果または
第２の中間結果を与える。

【００１０】本発明をよりよく理解するため、添付の図
面を参照して以下に実施例につき説明する。

【００１１】

【発明の実施例】本発明による畳み込み装置の一実施例
のブロック図が図１に示されている。畳み込み窓の画素
値と畳み込みマスクの係数が乗算器装置１０に供給され
る。乗算器装置１０は、Ｍ×Ｍ回の乗算を並列に実行す
る乗算器の配列を含む。図１の例では、乗算器装置１０
は、２５個の乗算器を５×５乗算器配列として含み、積
Ｒ０、Ｒ１、．．．Ｒ２４を生成する。これらの積は、
加算器１２に供給され、加算器１２は積Ｒ０、Ｒ
１、．．．Ｒ２４を加算し、結果Ｓを与える。

【００１２】５×５畳み込みでは、５×５乗算器装置１
０は、畳み込み窓の２５個の画素値と畳み込みマスクの
対応する２５個の係数を受け取り、２５個の積Ｒ０、Ｒ
１、．．．Ｒ２４を生成する。加算器１２は、これらの
積を組み合わせて結果Ｓを与える。一実施形態では、乗
算は単一のクロック・サイクルで実行され、加算はパイ
プライン化され、各クロック・サイクルごとに１つの結
果が組み合わされる。速度が、使用される回路実施態様
の関数であることが理解されよう。画像の画素は順次畳
み込まれ、画像全体の畳み込みが行われる。

【００１３】図１に示した畳み込み装置は、Ｍ×Ｍより
も大きな畳み込み窓次元を用いて畳み込みを実行するよ
うに再構成することも、あるいはＭ×Ｍよりも小さな畳
み込み窓次元を用いて畳み込みを実行するように再構成
することもできる。したがって、Ｍ×Ｍ個の乗算器を有
するＭ×Ｍ畳み込み装置を、Ｎ×Ｎ（ＮはＭよりも大き
い）畳み込みを実行するように再構成することができ
る。上記の例では、５×５畳み込み装置を７×７畳み込
みを実行するように再構成することができる。

【００１４】一般に、再構成された畳み込み装置は下記
のように動作する。Ｎ×Ｎ畳み込みの第１のパス時に、
Ｎ×Ｎ畳み込み窓の第１のサブセットの画素値とＮ×Ｎ
畳み込みマスクの対応する係数の第１のサブセットが乗
算器装置１０に供給され、加算器１２が中間結果を生成
する。この中間結果はメモリ２０に記憶される。第１の
パス時に画像の画素が処理され、画像の各画素ごとの中
間結果がメモリ２０に記憶される。

【００１５】メモリ２０は、画像の各画素ごとの中間結
果を記憶するのに十分な容量を有する。最終結果で所望
の精度を維持するために、メモリ２０内の各位置は画素
値よりも大きなビット幅を有することが好ましい。一実
施形態では、画素値が１６ビットであるときメモリ２０
は３２ビット語を使用する。代替手法では、浮動小数点
演算が使用される。

【００１６】Ｎ×Ｎ畳み込みの第２のパス時に、Ｎ×Ｎ
畳み込み窓の画素値の第２のサブセットとＮ×Ｎ畳み込
みマスクの対応する係数の第２のサブセットが乗算器装
置１０に供給され、メモリ２０から中間結果が読み取ら
れる。第２のパス時に乗算器装置１０によって生成され
た積が、加算器１２による中間結果と組み合わされ最終
結果が生成される。第２のパス時には画像内の各画素が
同様に処理される。したがって、Ｍ×Ｍ畳み込み装置は
２回のパスでＮ×Ｎ畳み込みを実行することができる。

【００１７】２回のパスでこの畳み込みを実行するには
長い時間が必要であるが、畳み込み装置は著しく縮小さ
れる。上記の例では、５×５畳み込み装置を使用して２
回のパスで７×７畳み込みが実行される。５×５畳み込
み装置は、２５個の乗算器と２４個のアダーとを含む。
これに対して、７×７畳み込み装置では、４９個の乗算
器と４８個のアダーが必要である。畳み込み装置が、乗
算器装置１０と加算器１２とを含み、それぞれの異なる
次元（それぞれの異なる数の乗算器）を有することがで
き、畳み込み窓がそれぞれの異なる次元（それぞれの異
なる数の画素）を有することができることが理解されよ
う。したがって、所与の畳み込みを実行するときに２回
よりも多くのパスが必要になることもある。２回よりも
多くのパスを使用するとき、最終結果が得られるまで、
各パスの中間結果がメモリ２０に記憶され、次のパスの
結果と組み合わされる。

【００１８】コントローラ２４は、乗算器装置１０およ
びメモリ２０を制御する。コントローラ２４は、７×７
畳み込みにおける実行すべき畳み込みの次元を示すＡ制
御信号（Ａ ＣＮＴＬ）と、７×７畳み込みにおける畳
み込みの現在のパスを示すＢ制御信号（Ｂ ＣＮＴＬ）
を乗算器装置１０に供給する。コントローラ２４は、メ
モリ２０との間の読取りおよび書込み（Ｒ／Ｗ）も制御
する。第１のパス時に、メモリ２０に中間結果が書き込
まれる。第２のパス時には、メモリ２０から中間結果が
読み取られ、乗算器装置に供給され、あるいは直接、加
算器１２に供給される。畳み込みで２回よりも多くのパ
スが必要な場合、あるいはＮの値がより大きな場合、あ
るいはこの両方である場合は、追加制御信号が必要にな
る。

【００１９】Ｍ×Ｍ畳み込み装置を用いてＮ×Ｎ畳み込
みを実行するときに２回よりも多くのパスが必要になる
ことがある。この場合、各中間パスが中間結果を生成す
る。各中間パスの結果が前のパスの結果と組み合わされ
新しい中間結果が生成され、この結果がメモリ２０に記
憶される。最終パスの結果が最後の中間パスの結果と組
み合わされ最終結果が生成される。この場合、各中間パ
ス時に各画素ごとに中間結果が書き込まれ読み取られる
ので、メモリ２０の構成は２回のパスのケースと異なっ
てもよい。可能な手法には、より高速なメモリを使用す
ることと、畳み込みをより低速に実行することと、２ポ
ート・メモリを使用することと、より多くのメモリを使
用することが含まれる。

【００２０】５×５畳み込み装置の乗算器装置１０の例
のブロック図を図２に示す。図の乗算器装置は、２５個
の乗算器Ｍ０、Ｍ１、．．．Ｍ２４を５×５配列として
有する。各乗算器は、関連する画素値レジスタと係数レ
ジスタとを有する。したがってたとえば、乗算器４０
（Ｍ０）は、画素レジスタ４２および係数レジスタ４４
から入力を受け取る。乗算器４０は積Ｒ０を生成する。
各係数レジスタ４４は、レジスタ・バス４６上の係数値
を受け取る。畳み込みマスクの係数は通常、画像全体の
畳み込み中、一定のままである。乗算器配列の各行内の
画素レジスタ４２、４８などは通常、画像の各行ごとに
画素を順次処理できるように直列接続される。後述のよ
うに、各画素の処理後に画素レジスタ内の画素値が右へ
シフトされる。乗算器装置を再構成するマルチプレクサ
は、図２では図示を簡単にするために省略されているが
図７に示されており、このマルチプレクサについては下
記で説明する。

【００２１】５×５畳み込み装置の加算器１２の例のブ
ロック図を図３に示す。乗算器装置１０から得た積Ｒ
０、Ｒ１、．．．Ｒ２４が加算され結果Ｓが与えられ
る。結果Ｓは、実行中の畳み込みに応じて畳み込みの最
終結果でも、あるいは中間結果でもよい。図３の例は、
２４個のアダーＡ０、Ａ１、．．．Ａ２３を使用して、
乗算器装置１０の２５個の乗算器から得た積Ｒ０、Ｒ
１、．．．Ｒ２４の加算を実行する。アダー６０（Ａ
０）は積Ｒ０と積Ｒ１を組み合わせ、アダー６２（Ａ
１）は積Ｒ２とＲ３を組み合わせる。アダー６０および
６２の出力は、アダー６４（Ａ１０）によって組み合わ
され、アダー６４の出力は、アダー６６（Ａ１５）によ
って積Ｒ４と組み合わされる。この構成は、残りの積を
組み合わせて結果Ｓを与えるように繰り返される。加算
器１２内でいくつかの異なるアダー構成を実施できるこ
とが理解されよう。必要なことは、積Ｒ０、Ｒ
１、．．．Ｒ２４の和を求めることである。

【００２２】図１ないし図３に示し上記で説明した５×
５畳み込み装置を使用して画像の５×５畳み込みを実行
する回路構成を図４に概略的に示す。乗算器Ｍ０、Ｍ
１、．．．Ｍ２４は、５×５畳み込みの畳み込み窓に対
応する５×５配列として示されている。畳み込み窓の画
素の画素値は、画素バッファ８０、８２、８４、８６に
よって乗算器に供給される。各画素バッファは、画像の
１つの行またはラインの画素値を保持することができ
る。具体的には、バッファ８０は、畳み込み窓の第１の
行内の５つの画素値を乗算器装置１０の画素値レジスタ
Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４（図２）にシフトする。
同様に、バッファ８２、８４、８６は、５つの画素値を
それぞれ、乗算器装置の第２、第３、第４の行内の画素
値レジスタに供給し、畳み込み窓の第５の行の画素値
は、ホスト・コンピュータなどのデータ源から供給する
ことができる。畳み込みマスクの係数は、レジスタ・バ
ス４６上で係数レジスタＣ０、Ｃ１、．．．Ｃ２４（図
２）へ転送される。次に、畳み込み窓の２５個の画素値
が、畳み込みマスクの対応する係数と乗じられ、それら
の積が加算され加算器１２の出力で結果が与えられる。
この結果は、畳み込み窓の中心にある乗算器Ｍ１２の位
置にある画素に対応する。

【００２３】次に、画像の第１の行内の第２の画素に対
して畳み込みが実行される。畳み込み窓が、画像に対し
て１画素だけ右へシフトされる。これは、図４の実施形
態では、乗算器装置の画素値レジスタ内の画素値を１位
置だけ右へシフトし、バッファ８０、８２、８４、８６
から得た４つの新しい画素値をそれぞれ、乗算器Ｍ０、
Ｍ５、Ｍ１０、Ｍ１５の画素値レジスタにシフトし、新
しい画素値を乗算器Ｍ２０の画素値レジスタにシフトす
ることによって行われる。この動作は実際上、畳み込み
マスクを画像に対して１画素だけ右へシフトする。画素
値は、畳み込みマスクの対応する係数と乗じられ、それ
らの積が加算され第１の行内の第２の画素の結果が与え
られる。このプロセスは、第１の行のすべての画素に対
して繰り返される。

【００２４】各バッファ８０、８２、８４、８６からシ
フトされた画素値と畳み込みマスクの第５の行に入力さ
れた画素値は、第１の行の畳み込みが実行されている
間、あらゆるクロック・サイクルで上の行のバッファに
入力される。たとえば、バッファ８２から出力された画
素値は、バッファ８０に入力される。したがって、画像
の第１の行が処理された後、バッファ８０は、画像の第
２の行の画素値を含み、バッファ８２は、画像の第３の
行の画素値を含み、バッファ８４は、画像の第４の行の
画素値を含み、バッファ８６は、画像の第５の行の画素
値を含む。したがって、畳み込み窓は実際上、画像に対
して１行だけ下にシフトされる。画像の第６の行の画素
値は、データ源から乗算器装置１０の第５の行に入力さ
れる。このように、画像の第２の行に対して畳み込みが
実行される。このプロセスは、画像の各画素に対して畳
み込みが実行されるまで繰り返される。

【００２５】画像のエッジ付近の畳み込み窓内のどの位
置でも画素値が得られないことは明らかである。たとえ
ば、画像の１番上の行の畳み込みを行っているとき、５
×５畳み込み窓の最初の２行では画素値が得られない。
このような画素値の欠如はいくつかの方法で対処するこ
とができる。１つの手法では、画像のエッジ付近の画素
の畳み込みが行われず、出力画像はソース画像よりも小
さくなる。この手法は、畳み込み窓が大きな場合にはあ
まり望ましくない。他の手法では、たとえば定数値など
任意の画素値を使用して畳み込み窓内の空位置が充填さ
れる。他の手法では、画像のエッジにある行または列内
の画素値が重複され、畳み込み窓内の空位置を充填する
ために使用される。

【００２６】図１ないし図３に示し上記で説明した５×
５畳み込み装置を使用して画像の７×７畳み込みを実行
する回路構成を図５および図６に概略的に示す。図５で
は、乗算器Ｍ０、Ｍ１、．．．Ｍ２４が、７×７畳み込
みの第１のパスを実行するために７×７畳み込み窓に対
して位置決めされている。図６では、乗算器Ｍ０、Ｍ
１、．．．Ｍ２４が、７×７畳み込みの第２のパスを実
行するために７×７畳み込み窓に対して位置決めされて
いる。図２に示した５×５乗算器配列は図５では、乗算
器Ｍ０、Ｍ１、．．．Ｍ６が畳み込み窓の第１の行内の
画素を処理し、乗算器Ｍ７、Ｍ８、．．．Ｍ１３が７×
７畳み込み窓の第２の行内の画素を処理し、乗算器Ｍ１
４、Ｍ１５、．．．Ｍ２０が畳み込み窓の第３の行内の
画素を処理し、乗算器Ｍ２１、Ｍ２２、Ｍ２３、Ｍ２４
が７×７畳み込み窓の第４の行内の最初の４画素を処理
するように再構成される。５×５畳み込み装置を再構成
する技法について下記で図７を参照して説明する。バッ
ファ８０、８２、８４が、画像の３つの連続行の画素値
を畳み込み窓の最初の３行内の乗算器に供給する。ホス
ト・コンピュータなどの画素データ源が、畳み込み窓の
第４の行内の乗算器Ｍ２１、Ｍ２２、Ｍ２３、Ｍ２４に
画素値を供給する。

【００２７】７×７畳み込みの第１のパスは下記のよう
に実行される。バッファ８０、８２、８４が、畳み込み
窓の最初の３行内の乗算器の画素値レジスタに画素値を
ロードし、乗算器Ｍ２１、Ｍ２２、Ｍ２３、Ｍ２４にデ
ータ源から得た画素値がロードされる。７×７畳み込み
マスクの係数のサブセットが、各乗算器内の対応する係
数レジスタにロードされる。乗算器Ｍ０、Ｍ１、．．．
Ｍ２４が、それぞれの画素値レジスタおよび係数レジス
タ内の値どうしを乗じ各積を与える。加算器１２によっ
て積Ｒ０、Ｒ１、．．．Ｒ２４が組み合わされ、画像の
第１の行内の第１の画素の中間結果が与えられる。この
中間結果は、メモリ２０内の、処理中の画素に対応する
アドレスに記憶される。次いで、畳み込み窓の各行の画
素値レジスタ内の画素値が１位置だけ右へシフトされ、
バッファ８０、８２、８４からの新しい画素値がそれぞ
れ、乗算器Ｍ０、Ｍ７、Ｍ１４の画素値レジスタへシフ
トされ、データ源からの新しい画素値が乗算器Ｍ２１の
画素値レジスタにロードされる。第１の行内の第２の画
素に対する乗算が実行され、加算器１２によって積Ｒ
０、Ｒ１、．．．Ｒ２４が組み合わされ、画像の第１の
行内の第２の画素の中間結果が与えられる。この中間結
果はメモリ２０にロードされる。このプロセスは、各画
素ごとの中間結果がメモリ２０にロードされ、それによ
って７×７畳み込みの第１のパスが完了するまで、画像
内の各画素ごとに繰り返される。上記で図５に関連して
説明したように、各バッファの出力は、各クロック・サ
イクルで上の行内のバッファの入力にロードされ、その
ため、畳み込み窓は実際上、各行の処理が完了した後に
画像に対して１行だけ下にシフトされる。

【００２８】７×７畳み込みの第２のパスに関する５×
５畳み込み装置の回路構成を図６に示す。乗算器Ｍ２
１、Ｍ２２、Ｍ２３は、７×７畳み込み窓の第４の行内
の最後の３画素を処理する。乗算器Ｍ０、Ｍ１、Ｍ６
は、７×７畳み込み窓の第５の行内の画素を処理し、乗
算器Ｍ７、Ｍ８、．．．Ｍ１３は、７×７畳み込み窓の
第６の行内の画素を処理し、乗算器Ｍ１４、Ｍ１
５、．．．Ｍ２０は、７×７畳み込み窓の第７の行内の
画素を処理する。バッファ８０、８２、８４はそれぞ
れ、畳み込み窓の第４、第５、第６の行内の乗算器に画
素値を供給し、データ源は畳み込み窓の第７の行内の乗
算器に画素値を供給する。乗算器Ｍ２１、Ｍ２２、Ｍ２
３は畳み込み窓の第４の行内の最後の３画素を処理する
ので、第２のパス時にバッファ８０と乗算器Ｍ２１との
間に、第４の行内の最初の４画素に対応する第４段レジ
スタが接続され、乗算器Ｍ２１、Ｍ２２、Ｍ２３に画素
データを供給する適切なタイミングが確保される。畳み
込みマスクの下部内の係数は一般に、畳み込みマスクの
上部内の係数とは異なるので、第２のパス時には、各乗
算器内の係数レジスタに畳み込みマスクの下部の係数が
ロードされる。画素値が、対応する係数と乗じられ、積
Ｒ０、Ｒ１、．．．Ｒ２３が与えられる。第１のパス時
に同じ画素に関して得られる中間結果が、メモリ２０か
ら読み出され第２のパスの結果と組み合わされる。図６
の実施形態では、この中間結果が乗算器Ｍ２４に供給さ
れ、乗算器Ｍ２４の係数レジスタに値１がロードされ
る。したがって、第２のパス時に、第１のパスから得た
中間値が積Ｒ２４として加算器１２に供給される。加算
器１２によって、第２のパスから得た積Ｒ０、Ｒ
１、．．．Ｒ２３と第１のパスから得た中間結果（Ｒ２
４）が組み合わされ、７×７畳み込みの最終結果が与え
られる。中間結果が必要に応じて直接、加算器１２のＲ
２４入力に与えられることが理解されよう。この場合、
Ｒ２４は、７×７畳み込みの第２のパス時に使用されな
い乗算器を表す。７×７畳み込みの第２のパス時には画
像内の各画素が同様に処理される。第１のパスから得た
中間結果がメモリ２０から読み出され、第２のパスから
得た結果と組み合わされ各画素ごとの最終結果が与えら
れる。

【００２９】２回のパスで７×７畳み込みを実行するよ
うに５×５畳み込み装置を再構成することについて図７
を参照して説明する。再構成は、５×５畳み込み装置内
のある乗算器にそれぞれの異なる画素値を供給すること
によって行われる。具体的には、５×５畳み込み装置内
のいくつかの乗算器は、同じデータ源から画素値を受け
取ることができ、それに対して、５×５畳み込み装置内
の他の回路は、畳み込み装置の再構成時に異なるデータ
源から画素値を受け取ることができる。それぞれの異な
る画素値を必要とする乗算器に対するデータの選択は、
マルチプレクサによって制御することができる。図４お
よび５を参照すると、図４の５×５畳み込みと図５の７
×７畳み込みの第１のパスとで、乗算器Ｍ０、Ｍ
１、．．．Ｍ４が畳み込み窓の行に対して同じ位置にあ
ることが分かる。しかし、図６に示した７×７畳み込み
の第２のパスでは、乗算器Ｍ０は、バッファ８０ではな
くバッファ８２から画素値を受け取る。第２のパスにお
いて、マルチプレクサ（図示せず）を使用して、乗算器
Ｍ０に供給される画素値のデータ源をバッファ８０から
バッファ８２に切り換えることができる。乗算器Ｍ５お
よびＭ６は、５×５畳み込み（図４）では第２の行の最
初の２つの位置に現れ、７×７畳み込みの第１のパス
（図５）では第１の行の最後の２つの位置に現れ、７×
７畳み込みの第２のパス（図６）では第５の行の最後の
２つの位置に現れる。乗算器Ｍ５は、５×５畳み込みで
はバッファ８２から入力画素値を受け取り、７×７畳み
込みの第１のパスと第２のパスの両方では乗算器Ｍ４の
画素レジスタから画素値を受け取る。図７を参照すると
分かるように、マルチプレクサ１３０は、乗算器Ｍ５の
画素レジスタ１３２に供給される画素データ源を制御す
る。マルチプレクサ１３０は、畳み込み装置が５×５畳
み込みを実行するために使用されているか、それとも７
×７畳み込みを実行するために使用されているかを示す
Ａ制御信号（Ａ ＣＮＴＬ）によって制御される。５×
５畳み込みが実行されているときは、畳み込み窓の第２
の行の入力画素値がマルチプレクサ１３０によって画素
レジスタ１３２に供給される。７×７畳み込みが実行さ
れているときは、乗算器Ｍ４の画素レジスタの出力がマ
ルチプレクサ１３０によって画素レジスタ１３２に供給
される。

【００３０】同様に、乗算器Ｍ７、Ｍ８、Ｍ９は、５×
５畳み込み窓（図４）の第２の行の最後の３つの位置に
現れ、７×７畳み込みの第１のパスでは畳み込み窓の第
２の行の最初の３つの位置に現れ、７×７畳み込み窓の
第２のパスでは第６の行の最初の３つの位置に現れる。
したがって、マルチプレクサ１４０は、乗算器Ｍ７の画
素レジスタ１４２に供給される画素値のデータ源を制御
する。５×５畳み込みが実行されているとき、マルチプ
レクサ１４０は画素レジスタ１４４（乗算器Ｍ６）の出
力を画素レジスタ１４２（乗算器Ｍ７）に供給する。７
×７畳み込みの第１のパスが実行されているとき、マル
チプレクサ１４０は、畳み込み窓の第２の行に対応する
画素値をバッファ８２から供給する。７×７畳み込みの
第２のパスが実行されているとき、マルチプレクサ１４
０は、畳み込み窓の第６の行に対応する画素値をバッフ
ァ８４から供給する。

【００３１】図４ないし図６を調べると分かるように、
乗算器Ｍ０、Ｍ５、Ｍ７、Ｍ１０、Ｍ１４、Ｍ１５、Ｍ
２０、Ｍ２１、Ｍ２４は、それらの乗算器に供給される
画素値のデータ源を制御するマルチプレクサを必要とす
る。各ケースで、マルチプレクサは、畳み込みに応じて
マルチプレクサに画素値を供給し、パスが処理される。
５×５畳み込み装置内の残りの乗算器は、７×７畳み込
みの場合にマルチプレクサを必要としない。

【００３２】図５から明白なように、画像内の画素値の
１番下の３行は、７×７畳み込みの第１のパス時には必
要とされない。同様に、画像内の画素値の１番上の３行
は、７×７畳み込みの第２のパス時には必要とされな
い。

【００３３】上記では、本発明の再構成可能な畳み込み
回路について、２回のパスで７×７畳み込みを実行する
ように構成された５×５畳み込み装置に関連して説明し
た。５×５畳み込み装置は、他の次元を有する畳み込み
を実行するように構成することができる。５×５畳み込
み窓の周囲の係数の値を０に設定することによって、５
×５畳み込み装置を用いて３×３畳み込みを実行するこ
とができる。したがって、図４を参照すると分かるよう
に、３×３畳み込みの場合、乗算器Ｍ０ないしＭ４、Ｍ
５、Ｍ９、Ｍ１０、Ｍ１４、Ｍ１５、Ｍ１９、Ｍ２０な
いしＭ２４の畳み込みマスクの係数は０に設定される。
より一般的には、Ｍ×Ｍ畳み込み装置を使用してＬ×Ｌ
畳み込みを実行することができる。この場合、ＬはＭよ
りも小さく、使用されないマルチプレクサの係数は０に
設定される。

【００３４】図８に示したように乗算器を４×６配列と
して再構成し６回のパスを使用することにより、５×５
畳み込み装置によって１１×１１畳み込みを実行するこ
とができる。各パスで中間結果が生成される。中間結果
は、記憶し第６のパスの結果と組み合わせることも、あ
るいは次のパスの中間結果と組み合わせ１１×１１畳み
込みの最終結果を与えることもできる。４×６乗算器配
列を使用することによって、ローカル・メモリに記憶さ
れている中間結果を前のパスの後に導入するために、各
パスで５×５畳み込み装置の２５個の乗算器のうちの１
つが使用可能なままにされる。図８を参照すると分かる
ように、４×６乗算器配列が使用され、第１のパスと第
３のパスではすべての行および列が活性である。第２お
よび第４のパスでは、４×６乗算器配列の１つの列が不
活性である。第５のパスでは、４×６乗算器配列の１つ
の行が不活性であり、第６のパスでは、１つの行および
１つの列が不活性である。各パス時に、入力画像内のい
くつかの画素は使用されない。制御側ソフトウェアは、
使用されない画素を送ってはならず、かつメモリ２０内
の中間結果の位置を追跡しなければならない。同様に、
９×９、１３×１３、１５×１５以上の畳み込みマスク
・サイズに関して畳み込みを実行することができる。畳
み込みマスク・サイズが増加するにつれて、パスの数が
増加するが、ＣＰＵソフトウェア・ベースの解決策に対
する性能向上はほぼ同じままである。

【００３５】この再構成可能畳み込み装置内の乗算器の
数が本発明の範囲内で変更可能であることが理解されよ
う。乗算器装置は、Ｍ×Ｍ乗算器配列などの正方形乗算
器配列を使用することも、あるいはＭ₁×Ｍ₂乗算器配列
などの長方形乗算器配列を使用することも、あるいはそ
の他の乗算器構成を使用することもできる。前述のよう
に、正方形の５×５乗算器配列を使用して５×５畳み込
みを実行することができる。５×５畳み込み装置は、図
８に示したように１１×１１畳み込みを実行するとき
は、長方形の４×６乗算器配列として再構成される。５
×５乗算器配列は、図５および図６に示したように７×
７畳み込みを実行するときは、７つの乗算器からなる３
つの行と７つよりも少ない乗算器からなる１つの行とを
有する不規則配列として再構成される。畳み込みを実行
するために使用されるパスの数および各パスにおける乗
算器の構成は、本発明の範囲内で変更することができ
る。図５および６に示したように、７×７畳み込みの第
１のパスと第２のパスとでそれぞれの異なる乗算器構成
が使用される。所与のパスでは、１つまたは複数の乗算
器が使用されない。たとえば、図８に示した１１×１１
畳み込みを参照されたい。この畳み込み装置を使用し
て、畳み込み窓内の画素値の数が畳み込み装置内の乗算
器の数よりも大きな畳み込みを実行することができる。
たとえば、Ｍ×Ｍ乗算器を有する畳み込み回路を使用し
てＮ×Ｎ畳み込みを実行することができる（ＮはＭより
も大きい）。さらに、この畳み込み装置を使用して、畳
み込み窓内の画素値の数が畳み込み回路内の乗算器の数
よりも小さな畳み込みを実行することができる。畳み込
みの最終結果は、各パスの結果を前のパスの結果に加え
最終結果または新しい中間結果を与えることによって、
対話的に算出することができる。別法として、中間結果
を畳み込みの終わりまで保存し、最後のパスの結果と組
み合わせ、畳み込みの最終結果を与えることができる。
画像の画素には通常、行ごとに畳み込みが行われる。し
かし、画素には畳み込みを列ごとに行うことも、あるい
は他の所望の順序で行うこともできる。畳み込み窓の画
素値および畳み込みマスクの対応する係数は、任意の所
望の方法で乗算器装置の乗算器に与えることができる。
図２の例では、各乗算器は、画素値レジスタと係数レジ
スタとを含む。各行の画素値レジスタは互いに連鎖され
る。しかし、画素値は各画素値レジスタに別々に書き込
むことができる。

【００３６】グレースケール画像では、各画素は、所定
数のビットを有する単一の画素値で表される。本明細書
で図示し説明した畳み込み装置は、画像内の各画素値の
畳み込みを実行する。カラー画像では、各画素は赤画素
値、緑画素値、青画素値で表される。この場合、本明細
書で図示し説明した３つの畳み込み装置を使用して、３
つの色値の畳み込みを並行して実行することができる。
別法として、単一の畳み込み装置を使用して赤画素値セ
ット、緑画素値セット、青画素値セットの畳み込みを順
次実行することができる。

【００３７】現在本発明の好ましい実施形態とみなされ
ているものについて図示し説明したが、当業者には、本
発明の範囲から逸脱せずに本発明に様々な変更および修
正を加えられることが明らかであろう。以下に本発明の
実施態様のいくつかを下記に列挙する。

【００３８】（実施態様１）画像の画素の畳み込みを実
行する再構成可能な畳み込み装置であって、畳み込み窓
の画素値に畳み込みマスクの対応する係数を乗じ積を与
える複数の乗算器（１０）と、前記積を加算し結果を与
えるために前記乗算器に結合された加算器（１２）と、
中間結果を記憶するメモリ（２０）と、コントローラ
（２４）とを備え、前記コントローラ（２４）が、Ｍ×
Ｍ畳み込み時に、Ｍ×Ｍ畳み込み窓の画素値とＭ×Ｍ畳
み込みマスクの対応する係数を前記乗算器（１０）に供
給し、その場合に前記加算器（１２）が、Ｍ×Ｍ畳み込
みの最終結果を与える手段と、Ｎ×Ｎ（ＮはＭよりも大
きい）畳み込みの第１のパス時に、Ｎ×Ｎ畳み込み窓の
画素値の第１のサブセットとＮ×Ｎ畳み込みマスクの対
応する係数の第１のサブセットを前記乗算器（１０）に
供給し、その場合に前記加算器（１２）がＮ×Ｎ畳み込
みの第１のパスの中間結果を与える手段と、前記中間結
果を前記メモリ（２０）に記憶する手段と、Ｎ×Ｎ畳み
込みの第２のパス時に、Ｎ×Ｎ畳み込み窓の画素値の第
２のサブセットとＮ×Ｎ畳み込みマスクの対応する係数
の第２のサブセットを前記乗算器（１０）に供給し、前
記中間結果を前記メモリ（２０）から前記加算器（１
２）に供給し、その場合に前記加算器（１２）が前記中
間結果を前記第２のパスの結果と組み合わせＮ×Ｎ畳み
込みの最終結果または第２の中間結果を与える手段とを
含むことを特徴とする再構成可能な畳み込み装置。

【００３９】（実施態様２）前記各乗算器が、画素値を
保持する画素レジスタと係数を保持する係数レジスタと
を含むことを特徴とする実施態様１に記載の再構成可能
な畳み込み装置。 （実施態様３）さらに、画像の画素値を前記乗算器に供
給するバッファを含み、前記画像内の各画素に対して畳
み込みが実行されることを特徴とする実施態様１に記載
の再構成可能な畳み込み装置。

【００４０】（実施態様４）画像の画素の畳み込みを実
行する再構成可能な畳み込み装置であって、畳み込み窓
の画素値に畳み込みマスクの対応する係数を乗じ積を与
える複数の乗算器（１０）と、前記積を加算し結果を与
えるために前記乗算器に結合された加算器（１２）と、
中間結果を記憶するメモリ（２０）と、コントローラ
（２４）とを備え、前記コントローラ（２４）が、Ｍ×
Ｍ畳み込み時に、Ｍ×Ｍ畳み込み窓の画素値とＭ×Ｍ畳
み込みマスクの対応する係数を前記乗算器に供給し、そ
の場合に前記加算器（１２）が、Ｍ×Ｍ畳み込みの最終
結果を与える手段と、Ｎ×Ｎ（ＮはＭよりも大きい）畳
み込みの第１のパス時に、Ｎ×Ｎ畳み込み窓の画素値の
第１のサブセットとＮ×Ｎ畳み込みマスクの対応する係
数の第１のサブセットを乗算器（１０）に供給し、その
場合に前記加算器（１２）がＮ×Ｎ畳み込みの第１のパ
スの第１の中間結果を与える手段と、前記第１の中間結
果を前記メモリ（２０）に記憶する手段と、Ｎ×Ｎ畳み
込みの１回または複数の中間パスのそれぞれの間に、前
記Ｎ×Ｎ畳み込み窓の画素値の中間サブセットと前記Ｎ
×Ｎ畳み込みマスクの対応する係数の中間サブセットを
乗算器（１０）に供給し、前記１回または複数の中間パ
スのそれぞれの間に、前のパスの中間結果を前記加算器
（１２）に供給し、その場合に前記加算器（１２）が前
のパスの中間結果を現パスの結果と組み合わせＮ×Ｎ畳
み込みの現中間結果を与える手段と、前記現中間結果を
前記メモリ（２０）に記憶する手段と、Ｎ×Ｎ畳み込み
の最終パス時に、前記Ｎ×Ｎ畳み込み窓の画素値の最終
サブセットと前記Ｎ×Ｎ畳み込みマスクの対応する係数
の最終サブセットを乗算器（１０）に供給し、最後の中
間結果を前記メモリ（２０）から前記加算器（１２）に
供給し、その場合に前記加算器（１２）が前記最後の中
間結果を前記最終パスの結果と組み合わせＮ×Ｎ畳み込
みの最終結果を与える手段とを含むことを特徴とする再
構成可能な畳み込み装置。

【００４１】（実施態様５）画像の画素の畳み込みを実
行する畳み込み装置であって、畳み込み窓の画素値に畳
み込みマスクの対応する係数を乗じ積を与える複数の乗
算器（１０）と、前記積を加算し結果を与えるために前
記乗算器に結合された加算器（１２）と、中間結果を記
憶するメモリ（２０）と、コントローラ（２４）とを備
え、前記コントローラ（２４）が、Ｎ×Ｎ畳み込みの第
１のパス時に、Ｎ×Ｎ畳み込み窓の画素値の第１のサブ
セットとＮ×Ｎ畳み込みマスクの対応する係数の第１の
サブセットを前記乗算器（１０）に供給し、その場合に
前記加算器（１２）が、Ｎ×Ｎ畳み込みの第１のパスの
中間結果を与える手段と、前記中間結果を前記メモリ
（２０）に記憶する手段と、Ｎ×Ｎ畳み込みの第２のパ
ス時に、Ｎ×Ｎ畳み込み窓の画素値の第２のサブセット
とＮ×Ｎ畳み込みマスクの対応する係数の第２のサブセ
ットを乗算器（１０）に供給し、前記中間結果を前記メ
モリ（２０）から前記加算器（１２）に供給し、その場
合に前記加算器（１２）が前記中間結果を前記第２のパ
スの結果と組み合わせＮ×Ｎ畳み込みの最終結果または
第２の中間結果を与える手段とを含むことを特徴とする
畳み込み装置。

【００４２】（実施態様６）畳み込み窓の画素値に畳み
込みマスクの対応する係数を乗じて積を与える複数の乗
算器（１０）と、前記積の和を求め結果を与えるために
前記乗算器（１０）に結合された加算器（１２）とを含
む畳み込み装置を用いて画像の画素の畳み込みを実行す
る方法であって、 ａ）Ｍ×Ｍ畳み込み時に、Ｍ×Ｍ畳み込み窓の画素値と
Ｍ×Ｍ畳み込みマスクの対応する係数を前記乗算器（１
０）に供給し、前記加算器（１２）が、Ｍ×Ｍ畳み込み
の最終結果を与えるステップと、 ｂ）Ｎ×Ｎ（ＮはＭよりも大きい）畳み込みの第１のパ
ス時に、Ｎ×Ｎ畳み込み窓の画素値の第１のサブセット
とＮ×Ｎ畳み込みマスクの対応する係数の第１のサブセ
ットを前記乗算器（１０）に供給し、前記加算器（１
２）がＮ×Ｎ畳み込みの第１のパスの中間結果を与える
ステップと、 ｃ）前記中間結果を記憶するステップと、 ｄ）Ｎ×Ｎ畳み込みの第２のパス時に、Ｎ×Ｎ畳み込み
窓の画素値の第２のサブセットとＮ×Ｎ畳み込みマスク
の対応する係数の第２のサブセットを乗算器（１０）に
供給し、前記中間結果を前記加算器（１２）に供給し、
前記加算器（１２）が前記中間結果を前記第２のパスの
結果と組み合わせＮ×Ｎ畳み込みの最終結果または第２
の中間結果を与えるステップとを含むことを特徴とする
方法。

【００４３】（実施態様７）さらに、前記画像内の各画
素ごとにステップｂ）およびｃ）を繰り返し、次いで、
前記画像内の各画素ごとにステップｄ）を繰り返し、前
記画像内の各画素ごとにＮ×Ｎ畳み込みの前記最終結果
または前記第２の中間結果を与えることを含むことを特
徴とする実施態様６に記載の畳み込みを実行する方法。 （実施態様８）畳み込み窓の画素値に畳み込みマスクの
対応する係数を乗じて積を与える複数の乗算器（１０）
と、前記積の和を求め結果を与えるために前記乗算器
（１０）に結合された加算器（１２）とを含む畳み込み
装置を用いて画像の画素の畳み込みを実行する方法であ
って、Ｎ×Ｎ畳み込みの第１のパス時に、Ｎ×Ｎ畳み込
み窓の画素値の第１のサブセットとＮ×Ｎ畳み込みマス
クの対応する係数の第１のサブセットを前記乗算器（１
０）に供給し、前記加算器（１２）がＮ×Ｎ畳み込みの
第１のパスの中間結果を与えるステップと、前記中間結
果を記憶するステップと、Ｎ×Ｎ畳み込みの第２のパス
時に、Ｎ×Ｎ畳み込み窓の画素値の第２のサブセットと
Ｎ×Ｎ畳み込みマスクの対応する係数の第２のサブセッ
トを乗算器（１０）に供給し、前記中間結果を前記加算
器（１２）に供給し、前記加算器（１２）が前記中間結
果を前記第２のパスの結果と組み合わせＮ×Ｎ畳み込み
の最終結果または第２の中間結果を与えるステップとを
含むことを特徴とする方法。

【００４４】（実施態様９）さらに、Ｎ×Ｎ畳み込みの
１回または複数の後続のパスのそれぞれの間に、前記Ｎ
×Ｎ畳み込み窓の画素値の後続のサブセットと前記Ｎ×
Ｎ畳み込みマスクの対応する係数の後続のサブセットを
前記乗算器に供給するステップと、前記１回または複数
の後続のパスのそれぞれの間に、前のパスの中間結果を
前記加算器（１２）に供給し、前記加算器（１２）が前
のパスの中間結果を現パスの結果と組み合わせＮ×Ｎ畳
み込みの現中間結果または最終結果を与えるステップと
を含むことを特徴とする実施態様８に記載の畳み込みを
実行する方法。 （実施態様１０）画像の画素の畳み込みを実行する再構
成可能な畳み込み装置であって、畳み込み窓の画素値に
畳み込みマスクの対応する係数を乗じ積を与えるＭ×Ｍ
粉の乗算器（１０）と、前記積を加算し結果を与えるた
めに前記乗算器（１０）に結合された加算器（１２）
と、Ｌ×Ｌ（ＬはＭよりも小さい）畳み込み時に、Ｌ×
Ｌ畳み込み窓の画素値とＬ×Ｌ畳み込みマスクの対応す
る係数を前記乗算器（１０）に供給し、その場合に前記
加算器（１２）が、Ｌ×Ｌ畳み込みの最終結果を与える
手段とを備えることを特徴とする再構成可能な畳み込み
装置。

【図面の簡単な説明】

【図１】本発明の実施形態による畳み込み装置のブロッ
ク図である。

【図２】図１に示した乗算器装置の簡略化ブロック図で
ある。

【図３】図１に示した加算器の簡略化ブロック図であ
る。

【図４】図１ないし３の畳み込み装置を用いて５×５畳
み込みを実行する技法を概略的に表した図である。

【図５】図１ないし３の５×５畳み込み装置を使用して
７×７畳み込みの第１のパスを実行する技法を概略的に
表した図である。

【図６】図１ないし３の５×５畳み込み装置を使用して
７×７畳み込みの第２のパスを実行する技法を概略的に
表した図である。

【図７】再構成可能なフィーチャを示す乗算器装置の部
分ブロック図である。

【図８】５×５畳み込み装置を用いて１１×１１畳み込
みを実行する技法を説明するための、１１×１１畳み込
み窓を概略的に表した図である。

【符号の説明】

１０ 乗算器装置 １２ 加算器 ２０ メモリ ２４ コントローラ ４０ 乗算器 ４２、４８ 画素レジスタ ４４ 係数レジスタ ４６ レジスタ・バス

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像の画素の畳み込みを実行する再構成
   可能な畳み込み装置であって、 畳み込み窓の画素値に畳み込みマスクの対応する係数を
   乗じ積を与える複数の乗算器と、 前記積を加算し結果を与えるために前記乗算器に結合さ
   れた加算器と、 中間結果を記憶するメモリと、 コントローラとを備え、前記コントローラが、 Ｍ×Ｍ畳み込み時に、Ｍ×Ｍ畳み込み窓の画素値とＭ×
   Ｍ畳み込みマスクの対応する係数を前記乗算器に供給
   し、その場合に前記加算器が、Ｍ×Ｍ畳み込みの最終結
   果を与える手段と、 Ｎ×Ｎ（ＮはＭよりも大きい）畳み込みの第１のパス時
   に、Ｎ×Ｎ畳み込み窓の画素値の第１のサブセットとＮ
   ×Ｎ畳み込みマスクの対応する係数の第１のサブセット
   を前記乗算器に供給し、その場合に前記加算器がＮ×Ｎ
   畳み込みの第１のパスの中間結果を与える手段と、 前記中間結果を前記メモリに記憶する手段と、 Ｎ×Ｎ畳み込みの第２のパス時に、Ｎ×Ｎ畳み込み窓の
   画素値の第２のサブセットとＮ×Ｎ畳み込みマスクの対
   応する係数の第２のサブセットを前記乗算器に供給し、
   前記中間結果を前記メモリから前記加算器に供給し、そ
   の場合に前記加算器が前記中間結果を前記第２のパスの
   結果と組み合わせＮ×Ｎ畳み込みの最終結果または第２
   の中間結果を与える手段とを含むことを特徴とする再構
   成可能な畳み込み装置。