JP4900722B2

JP4900722B2 - 画像処理装置

Info

Publication number: JP4900722B2
Application number: JP2008061990A
Authority: JP
Inventors: 祐次郎谷; 篤司内山
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2008-03-12
Filing date: 2008-03-12
Publication date: 2012-03-21
Anticipated expiration: 2028-03-12
Also published as: US20100135589A1; US8204342B2; JP2009218975A

Description

本発明は、画像処理装置に関し、特に、ＨＤＰｈｏｔｏにおけるエンコーダ及びデコーダに関する。

ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤＰｈｏｔｏ（又はＪＰＥＧＸＲ）が提案されている。

ＨＤＰｈｏｔｏにおけるエンコーダは、所定の周波数変換処理（ＰＣＴ）を実行する周波数変換部と、ブロック歪みを軽減するための所定のプレフィルタ処理を実行するプレフィルタとを備えて構成されている。周波数変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数変換処理を実行する。プレフィルタは、周波数変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行する。また、周波数変換部は、複数の処理単位領域を含む第１画素ブロックを処理対象として周波数変換処理を実行し、プレフィルタは、第１画素ブロックよりも行方向及び列方向に２画素ずつ広い第２画素ブロックを処理対象としてプレフィルタ処理を実行する。第１画素ブロックのサイズは、第１階層においては縦１６画素×横１６画素であり、第２階層においては縦４画素×横４画素である。第２画素ブロックのサイズは、第１階層においては縦２０画素×横２０画素であり、第２階層においては縦８画素×横８画素である。

なお、本明細書では、説明の簡単化のため、ＹＵＶ４４４形式の画像を処理する例についてのみ説明する。ＹＵＶ４２２形式の画像を処理する場合の色差信号に関しては、第１画素ブロックのサイズは、第１階層においては縦１６画素×横８画素であり、第２階層においては縦４画素×横２画素である。また、第２画素ブロックのサイズは、第１階層においては縦２０画素×横１２画素であり、第２階層においては縦８画素×横６画素である。同様に、ＹＵＶ４２０形式の画像を処理する場合の色差信号に関しては、第１画素ブロックのサイズは、第１階層においては縦８画素×横８画素であり、第２階層においては縦２画素×横２画素である。また、第２画素ブロックのサイズは、第１階層においては縦１２画素×横１２画素であり、第２階層においては縦６画素×横６画素である。

また、ＨＤＰｈｏｔｏにおけるデコーダは、上記の周波数変換処理に対応する周波数逆変換処理を実行する周波数逆変換部と、上記のプレフィルタ処理に対応するポストフィルタ処理を実行するポストフィルタとを備えて構成されている。周波数逆変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数逆変換処理を実行する。ポストフィルタは、周波数逆変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行する。また、周波数逆変換部は、複数の処理単位領域を含む第１画素ブロックを処理対象として周波数逆変換処理を実行し、ポストフィルタは、第１画素ブロックに対して行方向及び列方向に２画素ずつずれた第２画素ブロックを処理対象としてポストフィルタ処理を実行する。第１画素ブロック及び第２画素ブロックの各サイズは、第１階層においては縦１６画素×横１６画素であり、第２階層においては縦４画素×横４画素である。

なお、ＨＤＰｈｏｔｏの詳細については、例えば下記非特許文献１に開示されており、ＪＰＥＧＸＲの詳細については、例えば下記非特許文献２に開示されている。

"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞ "Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞

図１７は、ＨＤＰｈｏｔｏにおけるプレフィルタ処理を説明するための図である。画素ブロックＰＢ１０１は、周波数変換処理の処理対象である縦１６画素×横１６画素の画素ブロックである。画素ブロックＰＢ１０２は、プレフィルタ処理の対象である縦２０画素×横２０画素の画素ブロックである。画素ブロックＰＢ１０２は、画素ブロックＰＢ１０１よりも、上下左右の各方向に２画素ずつ広い。

砂地ハッチングを付した領域Ｒ１０１に関しては、画素ブロックＰＢ１０１の左上及び真上の各画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が周波数変換部に転送されている。縦縞ハッチングを付した領域Ｒ１０２に関しては、画素ブロックＰＢ１０１の左上の画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が第１のメモリ（図示しない）に記憶されている。第１のメモリは、ラインメモリであり、画素平面の行の長さに応じた記憶容量を有している。ジグザグハッチングを付した領域Ｒ１０３に関しては、画素ブロックＰＢ１０１の真上の画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が第１のメモリに記憶されている。砂地ハッチングを付した領域Ｒ１０４に関しては、画素ブロックＰＢ１０１の左の画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が周波数変換部に転送されている。網目ハッチングを付した領域Ｒ１０５に関しては、画素ブロックＰＢ１０１の左の画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が第２のメモリ（図示しない）に記憶されている。上記のラインメモリとは異なり、第２のメモリの記憶容量は、画素平面の行の長さに依存しない。格子ハッチングを付した領域Ｒ１０６に関しては、画素ブロックＰＢ１０１の左の画素ブロックに対する処理においてすでにプレフィルタ処理が実行され、プレフィルタ処理後の画素信号が第１のメモリに記憶されている。

この状態で、太い破線で示した縦１６画素×横１６画素の画素ブロックＰＢ１０３に関する画素信号が、プレフィルタに入力される。プレフィルタは、入力されたこれらの画素信号に対してプレフィルタ処理を実行する。画素ブロックＰＢ１０１に関するプレフィルタ処理後の画素信号は、周波数変換部に転送される。横縞ハッチングを付した領域Ｒ１０７に関するプレフィルタ処理後の画素信号は、第２のメモリに記憶される。斜線ハッチングを付した領域Ｒ１０８に関するプレフィルタ処理後の画素信号は、第１のメモリに記憶される。

領域Ｒ１０８に関するプレフィルタ処理後の画素信号は、画素ブロックＰＢ１０１の真下及び右下の各画素ブロックに対する処理において使用されるため、これらの画素ブロックに対する処理が完了するまで、領域Ｒ１０８に関するプレフィルタ処理後の画素信号を、第１のメモリ内に保持しておく必要がある。画素ブロックＰＢ１０１と同一の段に属する他の画素ブロックについても同様である。その結果、第１のメモリの記憶容量は画素平面の行の長さに比例して増大するため、サイズの大きな画像を扱う場合には、第１のメモリに要求される記憶容量も大きくなり、画像処理装置の回路規模が全体として増大する。

図１８は、ＨＤＰｈｏｔｏにおけるポストフィルタ処理を説明するための図である。画素ブロックＰＢ２０１は、周波数逆変換処理の処理対象である縦１６画素×横１６画素の画素ブロックである。画素ブロックＰＢ２０２は、ポストフィルタ処理の対象である縦１６画素×横１６画素の画素ブロックである。画素ブロックＰＢ２０２は、画素ブロックＰＢ２０１に対して、左上方向に２画素ずつずれている。なお、画素ブロックＰＢ２０１のうち画素ブロックＰＢ２０２に重ならない領域に関しては、画素ブロックＰＢ２０１の右、真下、及び右下の各画素ブロックに対する処理において、ポストフィルタ処理が実行される。

ジグザグハッチングを付した領域Ｒ２０１に関しては、画素ブロックＰＢ２０１の左上及び真上の各画素ブロックに対する処理において、周波数逆変換部からポストフィルタへの画素信号の転送がすでに完了し、ポストフィルタ処理前の画素信号が第３のメモリ（図示しない）に記憶されている。第３のメモリは、ラインメモリであり、画素平面の行の長さに応じた記憶容量を有している。網目ハッチングを付した領域Ｒ２０２に関しては、画素ブロックＰＢ２０１の左の画素ブロックに対する処理において、周波数逆変換部からポストフィルタへの画素信号の転送がすでに完了し、ポストフィルタ処理前の画素信号が第４のメモリ（図示しない）に記憶されている。上記のラインメモリとは異なり、第４のメモリの記憶容量は、画素平面の行の長さに依存しない。砂地ハッチングを付した領域Ｒ２０３に関しては、画素ブロックＰＢ２０１の左の画素ブロックに対する処理において、周波数逆変換部からポストフィルタへの画素信号の転送がすでに完了し、ポストフィルタ処理前の画素信号が第３のメモリに記憶されている。

この状態で、画素ブロックＰＢ２０１に関する画素信号が、周波数逆変換部からポストフィルタに入力される。ポストフィルタは、画素ブロックＰＢ２０２に関する画素信号に対してポストフィルタ処理を実行する。横縞ハッチングを付した領域Ｒ２０４に関するポストフィルタ処理前の画素信号は、第４のメモリに記憶される。斜線ハッチングを付した領域Ｒ２０５に関するポストフィルタ処理前の画素信号は、第３のメモリに記憶される。

領域Ｒ２０５に関するポストフィルタ処理前の画素信号は、画素ブロックＰＢ２０１の真下及び右下の各画素ブロックに対する処理において使用されるため、これらの画素ブロックに対する処理が完了するまで、領域Ｒ２０５に関するポストフィルタ処理前の画素信号を、第３のメモリ内に保持しておく必要がある。画素ブロックＰＢ２０１と同一の段に属する他の画素ブロックについても同様である。その結果、第３のメモリの記憶容量は画素平面の行の長さに比例して増大するため、サイズの大きな画像を扱う場合には、第３のメモリに要求される記憶容量も大きくなり、画像処理装置の回路規模が全体として増大する。

本発明はかかる事情に鑑みて成されたものであり、メモリに要求される記憶容量を削減することにより、画像処理装置の全体として回路規模を削減することが可能な、画像処理装置を得ることを目的とする。

本発明の第１の態様に係る画像処理装置は、第１画素ブロックを処理対象として周波数変換処理を実行する周波数変換部と、前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行するプレフィルタとを備え、前記プレフィルタは、第１画素ブロックよりも行方向及び列方向に所定画素数ずつ広い第２画素ブロックを処理対象とし、前記プレフィルタは、行方向に並ぶ複数の第２画素ブロックに対してプレフィルタ処理を順に実行し、プレフィルタ処理を実行するために前記プレフィルタに対して連続的に入力される画素信号群における、列方向に関する画素信号の個数は、第２画素ブロックの行数に等しい。

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記プレフィルタは記憶部を有し、前記記憶部には、一の第２画素ブロックに対するプレフィルタ処理によって得られたプレフィルタ処理後の画素信号群のうち、次の第２画素ブロックに対応する第１画素ブロックに重複する列の画素信号が記憶されることを特徴とする。

本発明の第３の態様に係る画像処理装置は、第１画素ブロックを処理対象として周波数逆変換処理を実行する周波数逆変換部と、前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行するポストフィルタと、前記ポストフィルタに外部接続された第１の記憶部とを備え、前記ポストフィルタは、第１画素ブロックに対して行方向及び列方向に所定画素数ずつずれた第２画素ブロックを処理対象とし、前記ポストフィルタは、行方向に並ぶ複数の第２画素ブロックに対してポストフィルタ処理を順に実行し、前記第１の記憶部には、前記周波数逆変換部から前記ポストフィルタに入力された第１画素ブロックの画素信号群のうち、第２画素ブロックに重ならない行の画素信号が記憶される。

本発明の第４の態様に係る画像処理装置は、第３の態様に係る画像処理装置において特に、前記ポストフィルタは第２の記憶部を有し、前記第２の記憶部には、前記周波数逆変換部から前記ポストフィルタに入力された第１画素ブロックの画素信号群のうち、第２画素ブロックに重ならない列の画素信号が記憶されることを特徴とする。

本発明によれば、画像処理装置の全体として回路規模を削減することが可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

後述の第１の実施の形態では、本発明に係る画像処理装置をＨＤＰｈｏｔｏにおけるエンコーダ（特にプレフィルタ）に適用する例について説明する。また、後述の第２の実施の形態では、本発明に係る画像処理装置をＨＤＰｈｏｔｏにおけるデコーダ（特にポストフィルタ）に適用する例について説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、プレフィルタ２と周波数変換部３とを備えて構成されている。プレフィルタ２は、内部メモリとしての記憶部４を有している。画素平面の行の長さに応じた記憶容量を有するラインメモリとは異なり、記憶部４の記憶容量は、画素平面の行の長さに依存しない。

画像処理装置１の前段の処理装置（例えば色変換処理部）からプレフィルタ２へ、画素信号（色信号、輝度信号、又は色差信号等）Ｓ１が入力される。プレフィルタ２は、画素信号Ｓ１に対してプレフィルタ処理を実行し、プレフィルタ処理後の画素信号Ｓ２を出力する。画素信号Ｓ２は、周波数変換部３に入力される。周波数変換部３は、画素信号Ｓ２に対して周波数変換処理を実行し、周波数変換処理後の信号Ｓ３を出力する。

図２は、画素平面内の一つのマクロブロックＭＢを示す図である。マクロブロックＭＢは、縦１６画素×横１６画素の、合計２５６個の画素で構成されている。マクロブロックＭＢ内には、縦４個×横４個の、合計１６個の画素ブロックＲＡが規定されている。各画素ブロックＲＡは、縦４画素×横４画素の、合計１６個の画素で構成されている。周波数変換部３は、各画素ブロックＲＡを処理単位領域として、所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行する。

また、マクロブロックＭＢよりも上下左右の各方向に２画素ずつ広い、縦２０画素×横２０画素の画素ブロックＯＢが規定されている。画素ブロックＯＢ内には、縦５個×横５個の、合計２５個の画素ブロックＲＢが規定されている。各画素ブロックＲＢは、縦４画素×横４画素の、合計１６個の画素で構成されている。プレフィルタ２は、各画素ブロックＲＢを処理単位領域として、所定のプレフィルタ処理を実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、プレフィルタ２の処理単位領域となる。

図２に示すように、プレフィルタ２の処理単位領域である画素ブロックＲＢ１（斜線ハッチングを付している）は、周波数変換部３の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４（砂地ハッチングを付している）にオーバーラップしている。このように、プレフィルタ２は、周波数変換部３の複数の処理単位領域にオーバーラップする領域を処理単位領域として、プレフィルタ処理を実行する。その結果、ブロック歪みが低減される。

図３〜７は、画像処理装置１の動作を説明するための図である。説明の簡略化のため、各図には、画素平面の中央部に位置する９個のマクロブロックＭＢに対応する、９個の画素ブロックＲ１１〜Ｒ１３，Ｒ２１〜Ｒ２３，Ｒ３１〜Ｒ３３を抜き出して示している。そのうちの中央の画素ブロックＲ２２が、現在の処理対象の画素ブロックである。

また、説明の明確化のため、図３〜７においては、画像処理装置１の前段の処理装置からプレフィルタ２への画素信号の入力処理が完了した領域には、ジグザグハッチングを付している。同様に、プレフィルタ２によるプレフィルタ処理が完了した領域には、砂地ハッチングを付している。同様に、画素信号が記憶部４内に記憶されている領域には、網目ハッチングを付している。同様に、プレフィルタ２から周波数変換部３への画素信号の転送処理が完了した領域には、斜線ハッチングを付している。同様に、画素信号が破棄される領域には、縦縞ハッチングを付している。

まず図３を参照して、この時点では、画素ブロックＲ１１〜Ｒ１３，Ｒ２１に関して、プレフィルタ２によるプレフィルタ処理と、プレフィルタ２から周波数変換部３への画素信号の転送処理とが完了している。また、画素ブロックＲ２２のうちの左２列の領域Ａ１に関しては、画素ブロックＲ２１に関する処理においてプレフィルタ２によるプレフィルタ処理が実行された後、プレフィルタ処理後の画素信号が記憶部４内に記憶されている。

次に図４を参照して、画像処理装置１の前段の処理装置からプレフィルタ２に、縦２０画素×横１６画素の画素ブロックに相当する、縦２０個×横１６個の画素信号（領域Ａ２）が連続的に入力される。領域Ａ２は、画素ブロックＲ２２よりも上下方向に２画素ずつ広い。また、図２に示したように、画素ブロックＲ２２に対して規定されるプレフィルタ処理の処理対象（画素ブロックＯＢ）は、画素ブロックＲ２２よりも上下方向に２画素ずつ広い。従って、プレフィルタ処理を実行するためにプレフィルタ２に対して連続的に入力される画素信号群における、列方向に関する画素信号の個数（この例では２０画素）は、プレフィルタ２の処理対象である画素ブロックの行数（この例では２０行）に等しい。

次に図５を参照して、プレフィルタ２は、領域Ａ２に関する縦２０個×横１６個の画素信号に対して、４行×４列のプレフィルタ素子を２０回使用して、プレフィルタ処理を実行する。

次に図６を参照して、記憶部４から読み出した領域Ａ１に関するプレフィルタ処理後の画素信号と、領域Ａ２のうち画素ブロックＲ２２に重なる領域Ａ３に関するプレフィルタ処理後の画素信号とが、プレフィルタ２から周波数変換部３に転送される。これとともに、領域Ａ２のうち画素ブロックＲ２３に重なる領域Ａ４に関するプレフィルタ処理後の画素信号は、記憶部４内に記憶される。また、領域Ａ２内の上２行の領域Ａ５に関するプレフィルタ処理後の画素信号と、領域Ａ２内の下２行の領域Ａ６に関するプレフィルタ処理後の画素信号とは、破棄される。

以上の結果、図７に示すように、図３に示した状態から、一つの画素ブロックＲ２２だけ処理が進行した状態となる。以降は、同様の処理が繰り返される。

＜まとめ＞
第１の実施の形態に係る画像処理装置１によれば、プレフィルタ２は、第１画素ブロック（図２のマクロブロックＭＢ）よりも行方向及び列方向に所定画素数ずつ広い第２画素ブロック（図２の画素ブロックＯＢ）を処理対象とする。また、図３〜７に示したように、プレフィルタ２は、行方向に並ぶ複数の画素ブロックＲ２１〜Ｒ２３に対応する複数の第２画素ブロックに対して、プレフィルタ処理を順に実行する。そして、プレフィルタ処理を実行するためにプレフィルタ２に対して連続的に入力される画素信号群（図４の領域Ａ２）における、列方向に関する画素信号の個数（上記の例では２０個）は、第２画素ブロックの行数（上記の例では２０行）に等しい。従って、第１の実施の形態に係る画像処理装置１によれば、画素平面の行の長さに応じた記憶容量を有するラインメモリが不要となるため、画像処理装置１の全体として回路規模を削減することが可能となる。

また、第１の実施の形態に係る画像処理装置１によれば、プレフィルタ２は記憶部４を有している。そして、記憶部４には、一の第２画素ブロックに対するプレフィルタ処理によって得られたプレフィルタ処理後の画素信号群（図５の領域Ａ２）のうち、次の第２画素ブロックに対応する第１画素ブロック（画素ブロックＲ２３）に重複する列の画素信号（図６の領域Ａ４）が記憶される。従って、第１の実施の形態に係る画像処理装置１によれば、各第２画素ブロック毎に３２０個（縦２０×横１６画素）の画素信号（図４の領域Ａ２）をプレフィルタ２に入力すれば足りる。その結果、記憶部４を省略して各第２画素ブロック毎に４００個（縦２０×横２０画素）の画素信号を転送する場合と比較すると、前段の処理装置からプレフィルタ２への画素信号の転送量を、２０％削減することが可能となる。しかも、記憶部４の記憶容量は画素平面の行の長さに依存しないため、画像処理装置１の回路規模の増大に与える影響は小さい。

なお、各第２画素ブロック毎に４００個（縦２０×横２０画素）の画素信号を転送すれば、記憶部４を省略することもでき、この場合は、画像処理装置１の回路規模をさらに削減することが可能である。

＜変形例＞
図８は、第１の実施の形態の変形例に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、第１階層のプレフィルタ２１及び周波数変換部３１と、第２階層のプレフィルタ２２及び周波数変換部３２とを備えて構成されている。プレフィルタ２１は記憶部４１を有しており、プレフィルタ２２は記憶部４２を有している。記憶部４１，４２は、図１に示した記憶部４に相当する。

画像処理装置１の前段の処理装置からプレフィルタ２１へ、画素信号Ｓ１が入力される。プレフィルタ２１は、画素信号Ｓ１に対してプレフィルタ処理を実行し、プレフィルタ処理後の画素信号Ｓ２１を出力する。画素信号Ｓ２１は、周波数変換部３１に入力される。周波数変換部３１は、画素信号Ｓ２１に対して周波数変換処理を実行し、ハイパス成分の信号Ｓ３Ｈと、第１階層における直流成分の信号Ｓ４とを出力する。信号Ｓ４は、プレフィルタ２２に入力される。プレフィルタ２２は、信号Ｓ４に対してプレフィルタ処理を実行し、プレフィルタ処理後の信号Ｓ２２を出力する。信号Ｓ２２は、周波数変換部３２に入力される。周波数変換部３２は、信号Ｓ２２に対して周波数変換処理を実行し、ローパス成分の信号Ｓ３Ｌと、直流成分の信号Ｓ３Ｄとを出力する。

プレフィルタ２１，２２においては、図１に示したプレフィルタ２と同様に、画素平面の行の長さに応じた記憶容量を有するラインメモリが省略されている。

図９は、周波数変換部３１，３２による周波数変換処理を説明するための図である。図９の（Ｃ）に示すように、周波数変換部３２からは、１個の直流成分の信号Ｓ３Ｄが出力される。また、図９の（Ｂ）に示すように、周波数変換部３２からは、縦４画素×横４画素の画素平面のうちの左上角の直流成分を除いた、１５個のローパス成分の信号Ｓ３Ｌが出力される。この場合、プレフィルタ２２は、縦４画素×横４画素の画素平面よりも上下左右の各方向に２画素ずつ広い、縦８画素×横８画素の画素平面に対して、プレフィルタ処理を実行する必要がある。

この縦８画素×横８画素の画素平面は、第１階層における直流成分の信号を並べて形成する必要がある。従って、周波数変換部３１は、図９の（Ａ）に示すように、縦８個×横８個（縦３２画素×横３２画素）の処理単位領域に対して、周波数変換処理を実行する必要がある。この場合、プレフィルタ２１は、縦３２画素×横３２画素の画素平面よりも上下左右の各方向に２画素ずつ広い、縦３６画素×横３６画素の画素平面に対して、プレフィルタ処理を実行する必要がある。なお、周波数変換部３１は、太線で囲んだ縦１６画素×横１６画素の領域（縦４画素×横４画素の１６個の処理単位領域から成る）を現在の処理対象のマクロブロックとして、周波数変換処理を実行する。その結果、周波数変換部３１からは、各処理単位領域のうちの左上角の直流成分を除いた、２４０個（１５画素×１６個）のハイパス成分の信号Ｓ３Ｈが出力される。

このように、第１階層及び第２階層の双方においてプレフィルタ処理を実行する場合には、第１階層のプレフィルタ２１には、縦３６画素×横３６画素の画素空間に相当する画素信号を、各マクロブロック毎に入力する必要がある。但し、プレフィルタ２１は記憶部４１を有しているため、図９（Ａ）の右半分の領域に関するプレフィルタ処理後の画素信号を記憶部４１に記憶しておくことにより、次のマクロブロックの処理において、この領域に関するプレフィルタ処理を省略できる。

＜第２の実施の形態＞
図１０は、本発明の第２の実施の形態に係る画像処理装置５の構成を示すブロック図である。画像処理装置５は、ポストフィルタ６、周波数逆変換部７、及び記憶部９を備えて構成されている。ポストフィルタ６は、内部メモリとしての記憶部８を有している。画素平面の行の長さに応じた記憶容量を有するラインメモリとは異なり、記憶部８の記憶容量は、画素平面の行の長さに依存しない。記憶部９は、ポストフィルタ６の外部メモリとして、ポストフィルタ６に接続されている。なお、記憶部９を画像処理装置５の外部に配置し、記憶部９とポストフィルタ６とを外部バスを介して相互に接続しても良い。

画像処理装置５の前段の処理装置（例えば逆量子化部）から周波数逆変換部７へ、逆量子化後の信号Ｓ５が入力される。周波数逆変換部７は、信号Ｓ５に対して周波数逆変換処理を実行し、周波数逆変換処理後の画素信号Ｓ６を出力する。画素信号Ｓ６は、ポストフィルタ６に入力される。ポストフィルタ６は、画素信号Ｓ６に対してポストフィルタ処理を実行し、ポストフィルタ処理後の画素信号Ｓ７を出力する。

図１１は、画素平面内の一つのマクロブロックＭＢを示す図である。図１１を参照して、周波数逆変換部７は、各画素ブロックＲＡを処理単位領域として、上述の周波数変換処理（ＰＣＴ）に対応する所定の周波数逆変換処理を実行する。また、ポストフィルタ６は、各画素ブロックＲＢを処理単位領域として、上述のプレフィルタ処理に対応する所定のポストフィルタ処理をそれぞれ実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、ポストフィルタ６の処理単位領域となる。図１１に示すように、ポストフィルタ６の処理単位領域である画素ブロックＲＢ１は、周波数逆変換部７の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４にオーバーラップしている。

また、図１１において、マクロブロックＭＢは、周波数逆変換処理の処理対象である縦１６画素×横１６画素の画素ブロックである。太い一点鎖線で示した画素ブロックＳＢは、一回のポストフィルタ処理の処理対象である縦１６画素×横１６画素の画素ブロックである。画素ブロックＳＢは、マクロブロックＭＢに対して、左上方向に２画素ずつずれている。なお、マクロブロックＭＢのうち画素ブロックＳＢに重ならない領域に関しては、マクロブロックＭＢの右、真下、及び右下の各マクロブロックに対する処理において、ポストフィルタ処理が実行される。

図１２〜１５は、画像処理装置５の動作を説明するための図である。説明の簡略化のため、各図には、画素平面の中央部に位置する９個のマクロブロックＭＢに対応する、９個の画素ブロックＲ５１〜Ｒ５３，Ｒ６１〜Ｒ６３，Ｒ７１〜Ｒ７３を抜き出して示している。そのうちの中央の画素ブロックＲ６２が、現在の処理対象の画素ブロックである。

また、説明の明確化のため、図１２〜１５においては、周波数逆変換部７からポストフィルタ６への画素信号の転送処理が完了した領域には、ジグザグハッチングを付している。同様に、ポストフィルタ６によるポストフィルタ処理が完了した領域には、砂地ハッチングを付している。同様に、画素信号が記憶部８内に記憶されている領域には、網目ハッチングを付している。同様に、画素信号が記憶部９内に記憶されている領域には、縦縞ハッチングを付している。同様に、ポストフィルタ６から後段の処理装置への画素信号の転送処理が完了した領域には、斜線ハッチングを付している。

まず図１２を参照して、この時点では、画素ブロックＲ５１〜Ｒ５３，Ｒ６１に関して、周波数逆変換部７からポストフィルタ６への画素信号の転送処理が完了している。画素ブロックＲ５１のうちの右下２行２列の領域Ｂ１と、画素ブロックＲ５２のうちの下２行の領域Ｂ２と、画素ブロックＲ５３のうちの下２行の領域Ｂ３と、画素ブロックＲ６１のうちの下２行の領域Ｂ４とに関しては、ポストフィルタ処理前の画素信号が記憶部９内に記憶されている。また、画素ブロックＲ６１のうちの右上１４行２列（又は右２列）の領域Ｂ５に関しては、ポストフィルタ処理前の画素信号が記憶部８内に記憶されている。

次に図１３を参照して、周波数逆変換部７からポストフィルタ６に、縦１６画素×横１６画素の画素ブロックＲ６２に相当する、縦１６個×横１６個の画素信号（領域Ｂ６）が連続的に入力される。

次に図１４を参照して、記憶部９から読み出した領域Ｂ１に関する画素信号と、記憶部９から読み出した領域Ｂ２のうちの左１４列の領域Ｂ７に関する画素信号と、記憶部８から読み出した領域Ｂ５に関する画素信号と、領域Ｂ６のうちの左上１４行１４列の領域Ｂ９に関する画素信号とに対して、ポストフィルタ処理が実行される。具体的に、ポストフィルタ６は、これらの縦１６個×横１６個の画素信号に対して、４行×４列のポストフィルタ素子を１６回使用して、ポストフィルタ処理を実行する。領域Ｂ６のうちの右上１４行２列（又は右２列）の領域Ｂ１０に関する画素信号については、この時点ではポストフィルタ６によるポストフィルタ処理が実行されることなく、記憶部８内に記憶される。また、領域Ｂ６のうちの下２行の領域Ｂ１１に関する画素信号については、この時点ではポストフィルタ６によるポストフィルタ処理が実行されることなく、記憶部９内に記憶される。

次に図１５を参照して、領域Ｂ１，Ｂ７，Ｂ５，Ｂ９に関するポストフィルタ処理後の画素信号が、ポストフィルタ６から後段の処理装置に向けて出力される。以上の結果、図１５に示すように、図１２に示した状態から、一つの画素ブロックＲ６２だけ処理が進行した状態となる。以降は、同様の処理が繰り返される。

＜まとめ＞
第２の実施の形態に係る画像処理装置５によれば、ポストフィルタ６は、第１画素ブロック（図１１のマクロブロックＭＢ）に対して行方向及び列方向に所定画素数ずつずれた第２画素ブロック（図１１の画素ブロックＳＢ）を、一回のポストフィルタ処理における処理対象とする。また、図１２〜１５に示したように、ポストフィルタ６は、行方向に並ぶ複数の画素ブロックＲ６１〜Ｒ６３に対応する複数の第２画素ブロックに対して、ポストフィルタ処理を順に実行する。そして、記憶部９には、周波数逆変換部７からポストフィルタ６に入力された第１画素ブロックの画素信号群（図１３の領域Ｂ６）のうち、第２画素ブロックに重ならない行の画素信号（図１４の領域Ｂ１１）が記憶される。しかも、記憶部９は、ポストフィルタ６の内部メモリではなく、ポストフィルタ６に外部接続された外部メモリである。従って、第２の実施の形態に係る画像処理装置５によれば、画素平面の行の長さに応じた記憶容量を有するラインメモリをポストフィルタ６内に配設することが不要となるため、ポストフィルタ６の回路規模を削減することが可能となる。

また、第２の実施の形態に係る画像処理装置５によれば、ポストフィルタ６は記憶部８を有している。そして、記憶部８には、周波数逆変換部７からポストフィルタ６に入力された第１画素ブロックの画素信号群（図１３の領域Ｂ６）のうち、第２画素ブロックに重ならない列の画素信号（図１４の領域Ｂ１０）が記憶される。従って、第２の実施の形態に係る画像処理装置５によれば、画素ブロックＲ６２の次の画素ブロックＲ６３に対応する第２画素ブロックを処理するにあたって、領域Ｂ６を処理するために画素ブロックＲ６２に関する画素信号を周波数逆変換部７からポストフィルタ６に再入力する必要がない。その結果、周波数逆変換部７からポストフィルタ６への画素信号の転送量を削減することが可能となる。しかも、記憶部８の記憶容量は画素平面の行の長さに依存しないため、画像処理装置５の回路規模の増大に与える影響は小さい。

＜変形例＞
図１６は、第２の実施の形態の変形例に係る画像処理装置５の構成を示すブロック図である。画像処理装置５は、第１階層のポストフィルタ６１及び周波数逆変換部７１と、第２階層のポストフィルタ６２及び周波数逆変換部７２と、ポストフィルタ６１，６２に外部接続された記憶部９とを備えて構成されている。ポストフィルタ６１は記憶部８１を有しており、ポストフィルタ６２は記憶部８２を有している。記憶部８１，８２は、図１０に示した記憶部８に相当する。

画像処理装置５の前段の処理装置から周波数逆変換部７１へ、ハイパス成分の信号Ｓ５Ｈが入力される。また、画像処理装置５の前段の処理装置から周波数逆変換部７２へ、ローパス成分の信号Ｓ５Ｌと直流成分の信号Ｓ５Ｄとが入力される。周波数逆変換部７２は、信号Ｓ５Ｌ，Ｓ５Ｄに対して周波数逆変換処理を実行し、第１階層の直流成分に相当する信号Ｓ６２を出力する。ポストフィルタ６２は、信号Ｓ６２に対してポストフィルタ処理を実行し、ポストフィルタ処理後の信号Ｓ８を出力する。信号Ｓ８は、周波数逆変換部７１に入力される。

周波数逆変換部７１は、信号Ｓ５Ｈ，Ｓ８に対して周波数逆変換処理を実行し、画素信号Ｓ６１を出力する。ポストフィルタ６１は、信号Ｓ６１に対してポストフィルタ処理を実行し、ポストフィルタ処理後の画素信号Ｓ７を出力する。

ポストフィルタ６１，６２においては、図１０に示したプレフィルタ６と同様に、画素平面の行の長さに応じた記憶容量を有するラインメモリが省略されている。

このように、第１階層及び第２階層の双方においてポストフィルタ処理を実行する場合においても、第２の実施の形態に係る発明を適用することができ、上記と同様の効果を得ることができる。

本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。画素平面内の一つのマクロブロックを示す図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。第１の実施の形態の変形例に係る画像処理装置の構成を示すブロック図である。周波数変換部による周波数変換処理を説明するための図である。本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。画素平面内の一つのマクロブロックを示す図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。画像処理装置の動作を説明するための図である。第２の実施の形態の変形例に係る画像処理装置の構成を示すブロック図である。ＨＤＰｈｏｔｏにおけるプレフィルタ処理を説明するための図である。ＨＤＰｈｏｔｏにおけるポストフィルタ処理を説明するための図である。

符号の説明

１，５画像処理装置
２，２１，２２プレフィルタ
３，３１，３２周波数変換部
４，４１，４２，８，８１，８２，９記憶部
６，６１，６２ポストフィルタ
７，７１，７２周波数逆変換部

Claims

第１画素ブロックを処理対象として周波数変換処理を実行する周波数変換部と、
前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行するプレフィルタと
を備え、
前記プレフィルタは、第１画素ブロックよりも行方向及び列方向に所定画素数ずつ広い第２画素ブロックを処理対象とし、
前記プレフィルタは、行方向に並ぶ複数の第２画素ブロックに対してプレフィルタ処理を順に実行し、
プレフィルタ処理を実行するために前記プレフィルタに対して連続的に入力される画素信号群における、列方向に関する画素信号の個数は、第２画素ブロックの行数に等しい、画像処理装置。
前記プレフィルタは記憶部を有し、
前記記憶部には、一の第２画素ブロックに対するプレフィルタ処理によって得られたプレフィルタ処理後の画素信号群のうち、次の第２画素ブロックに対応する第１画素ブロックに重複する列の画素信号が記憶される、請求項１に記載の画像処理装置。
第１画素ブロックを処理対象として周波数逆変換処理を実行する周波数逆変換部と、
前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行するポストフィルタと、
前記ポストフィルタに外部接続された第１の記憶部と
を備え、
前記ポストフィルタは、第１画素ブロックに対して行方向及び列方向に所定画素数ずつずれた第２画素ブロックを処理対象とし、
前記ポストフィルタは、行方向に並ぶ複数の第２画素ブロックに対してポストフィルタ処理を順に実行し、
前記第１の記憶部には、前記周波数逆変換部から前記ポストフィルタに入力された第１画素ブロックの画素信号群のうち、第２画素ブロックに重ならない行の画素信号が記憶される、画像処理装置。
前記ポストフィルタは第２の記憶部を有し、
前記第２の記憶部には、前記周波数逆変換部から前記ポストフィルタに入力された第１画素ブロックの画素信号群のうち、第２画素ブロックに重ならない列の画素信号が記憶される、請求項３に記載の画像処理装置。