JP4819517B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、デジタルカメラなどに好適な画像処理方法及び画像処理装置に関し、特にデジタルカメラなどのＪＰＥＧ処理に好適な画像処理方法及び画像処理装置に関する。

特許文献１では、画像データのリサイズに先立って画像データの高域成分を除去するローパスフィルタ処理（ＬＰＦ）処理や画像データの拡大縮小を行うリサイズ処理などの複数の空間的な画像処理とその後のＪＰＥＧ圧縮処理とを、処理データをフレームメモリに書き込まずに直結的に行うことができる画像処理装置が提案されている。具体的には、複数の画像処理部を小容量のメモリを介して直結して構成し、フレームメモリから画像処理部にデータを入力するときには、一定数の列方向データを有するブロック単位で画像データを入力するようにしている。

更に、特許文献１の手法では、画像処理部とＪＰＥＧ処理部とを直結するために、画像処理部とＪＰＥＧ処理部との間に２つのバッファメモリ（ダブルバッファ）を設けておき、画像処理部から出力された画像データを、ダブルバッファによってＪＰＥＧ処理に好適なデータ並び順、即ちＭＣＵ（Minimum Coded Unit）単位で入力するようにようにしている。
特開２０００−３１２３２７号公報

画像処理部における空間的な画像処理の際の画像処理効率を上げるためには、空間的な画像処理に用いるタップ数に対して処理する画素数を多くして出力できるデータ数を多くすれば良い。しかしながら、画像処理部における画像処理効率を上げても、ＪＰＥＧ処理部に一度に入力できる列方向幅には制限がある（例えば、ＹＣ４２２の場合には８画素）ために、ＪＰＥＧ処理部の入力段において画像処理効率が低下し、画像処理のトータルの処理効率は向上しない。

本発明は、上記の事情に鑑みてなされたもので、画像処理のトータルの処理効率を向上させるようにＪＰＥＧ処理を行うことができる画像処理方法及び画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理方法は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程とを有し、上記並び替え工程は、上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出す読み出し工程と、上記読み出し工程中に読み出された上記１ブロックライン分のブロック毎の圧縮画像データに対して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張工程と、上記画像伸張工程中に取得された上記１ブロックライン分のブロック毎の伸張画像データのうちで、各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データのみを出力する出力工程と、上記出力工程により出力された各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程と、上記読み出し工程、上記画像伸張工程、上記出力工程、及び上記画像再圧縮工程をＮ回繰り返し処理させ、繰り返し処理を１回行う毎に上記Ｋの値を１ずつ増やすことにより、上記出力工程において出力する単位ブロックの位置を上から１ずつ移動させる繰り返し工程とを含むことを特徴とする。
また、上記の目的を達成するために、本発明の第２の態様による画像処理方法は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程とを有し、上記並び替え工程は、上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張工程と、上記画像伸張工程中に取得された上記１ブロック分のブロック毎の伸張画像データを上記フレームメモリに書き込む際に、上記伸張画像データの並び替えがなされるように書き込みを行う並び替えデータ書き込み工程と、上記並び替えデータ書き込み工程により上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程とを含むことを特徴とする。
また、上記の目的を達成するために、本発明の第３の態様による画像処理方法は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程とを有し、上記並び替え工程は、上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得し、この取得した１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む画像伸張工程と、上記画像伸張工程によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリから読み出す際に、上記伸張画像データの並び替えがなされるように読み出しを行う並び替えデータ読み出し工程と、上記並び替えデータ読み出し工程により並び替えられた上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程とを含むことを特徴とする。

また、上記の目的を達成するために、本発明の第４の態様による画像処理装置は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張部と、上記画像伸張部において取得された上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む際に、上記伸張画像データの並び替えがなされるように書き込みを行う並び替えデータ書き込み部と、上記並び替えデータ書き込み部により上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを読み出して再度の画像圧縮処理を施す第２の画像圧縮部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第５の態様による画像処理装置は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得するとともに、この取得した１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む画像伸張部と、上記画像伸張部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリから読み出す際に、上記伸張画像データの並び替えがなされるように読み出しを行う並び替えデータ読み出し部と、上記並び替えデータ読み出し部により上記フレームメモリから読み出された上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す第２の画像圧縮部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第６の態様による画像処理装置は、撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データに対して並び替え処理を施す並び替え部とを具備し、上記並び替え部は、上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張部と、上記画像伸張部によって取得された上記１ブロックライン分のブロック毎の伸張画像データのうちで、各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データのみを出力する出力部と、上記出力部により出力された各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データに対して再度画像圧縮処理を施す第２の画像圧縮部とを含み、上記画像伸張部、上記出力部、及び上記第２の画像圧縮部による処理をＮ回繰り返し行わせ、これら処理を１回行う毎に上記Ｋの値を１ずつ増やすことで、上記出力部から出力させる各ブロックの単位ブロックの位置を上から１つずつ移動させることにより上記並び替えを行うことを特徴とする。

これら第１〜第６の態様によれば、縦方向に並ぶ複数の単位ブロックを連続して画像圧縮部に入力することができるので、画像処理部から画像圧縮部に画像データを入力する際に画像処理のトータルの処理効率を向上させることができる。

本発明によれば、画像処理のトータルの処理効率を向上させるようにＪＰＥＧ処理を行うことができる画像処理方法及び画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、第１の実施形態に係る画像処理装置を、例えばデジタルカメラに適用した場合のブロック図である。図１に示すデジタルカメラは、撮像素子１と、プリプロセス部２と、バス３と、メモリコントローラ４と、フレームメモリ５と、入力ＤＭＡ６と、画像処理部７と、バッファメモリ８と、ＪＰＥＧ圧縮部９と、出力ＤＭＡ１０と、入力ＤＭＡ１１と、ＪＰＥＧ伸張／圧縮部１２と、出力ＤＭＡ１３と、カードインターフェイス（Ｉ／Ｆ）１４と、メモリカード１５とから構成されている。

図１において、ＣＣＤなどで構成される撮像素子１において得られた撮像信号は、プリプロセス部２に入力される。プリプロセス部２では、入力された撮像信号の増幅などのアナログ処理や撮像信号のデジタル変換処理などの前処理が行われる。そして、プリプロセス部２において得られた画像データ（１フレーム分のＲＧＢベイヤデータ）がバス３及びメモリコントローラ４を介してＳＤＲＡＭなどで構成されたフレームメモリ５に書き込まれる。

フレームメモリ５に書き込まれた画像データは、ブロックライン毎に、入力ＤＭＡ６を介して画像処理部７により読み出される。ここで、第１の実施形態では、ＬＰＦ処理やリサイズ処理などの空間的な画像処理が施されることを想定して、１ブロックラインの画像データとして、画像処理部７における空間的な画像処理により削られる分の画像データ（のりしろ）を後段のＪＰＥＧ圧縮処理で必要な画像データに付加した画像データを読み出すようにする。この１ブロックライン分の画像データは、列方向の画素数が圧縮処理の最小単位（Minimum Coded Unit ＭＣＵ）のＮ倍であり、行方向の長さが走査線の長さ分のデータとなる。また、第１の実施形態ではＪＰＥＧ圧縮処理が、行方向にＭＣＵをＭ個並べて構成される単位ブロックを列方向にＮ個並べて構成されるブロックに相当する分の画像データ毎に行われる。

また、画像処理部７は、図２に示すように複数の直列に接続された画像処理部と、それぞれの画像処理部の間に設けられた小容量のバッファメモリとから構成されている。画像処理部７に入力された画像データは、ＹＣ生成処理が施されてＹＣデータが生成される。その後、ホワイトバランス補正処理や階調補正処理などのその他の画像処理が施され、記録時の画像サイズなどに応じてＬＰＦ処理、拡大縮小処理などの複数の空間的な画像処理がなされる。特に、空間的な画像処理が行われる場合には、のりしろ部分の画像データが削られる。これにより、上記ブロックに相当する分の画像データのみがバッファメモリ８に順次書き込まれる。

バッファメモリ８は、例えば２個のバッファメモリで構成されており、それぞれのバッファメモリは、上記ブロックに相当する画像データを１個格納できるだけの容量を少なくとも有している。このような構成のバッファメモリ８を用いることによって、画像処理部７で処理された画像データが、各々がＮ個の単位ブロックからなる複数のブロックに分割される。

バッファメモリ８を構成する２つのバッファメモリは、図３（ａ）に示す１つのブロックに相当する画像データが一方のバッファメモリに書き込まれているときに、他方のバッファメモリからは図３（ｂ）に示す１つのブロックが上側の単位ブロックから順次読み出されるようになっている。なお、図３（ｂ）の例は、Ｎが４、即ち１個のブロックが４個の単位ブロックから構成される例を示しているが、Ｍ、Ｎの値はそれ以外の値でも構わない。

画像処理部７から出力され、バッファメモリ８でブロック分割された画像データは、ブロック毎に上側の単位ブロックから第１の画像圧縮部としてのＪＰＥＧ圧縮部９に入力される。そして、ＪＰＥＧ圧縮部９では、ブロック毎に上側の単位ブロックから非可逆圧縮（ここでは、ＪＰＥＧ圧縮）が行われ、ブロック毎の単位ブロックのＪＰＥＧ圧縮データは順次出力ＤＭＡ１０を介してフレームメモリ５に書き込まれ、１ブロックライン分のＪＰＥＧ圧縮データが得られる。

ここで、上記ブロックを構成する単位ブロックについて説明する。上記したように、１つの単位ブロックは、Ｍ個（例えば４個）のＭＣＵから構成されている。ＭＣＵは、ＪＰＥＧ処理（ＪＰＥＧ圧縮及び伸張）を行う際の単位ブロックデータであり、通常８×８画素若しくはその整数倍の大きさを有する。また、ＭＣＵはＹＣ生成処理によって生成されたＹ、Ｃｂ、Ｃｒデータで構成されるが、これらＹ、Ｃｂ、Ｃｒデータをフレームメモリ５上にどのように配置するのかには種々の手法がある。例えば、図４（ａ）に示すようにＪＰＥＧ処理出力順に従って１つのＭＣＵを構成するＹ、Ｃｂ、Ｃｒの順でフレームメモリ上に配置するようにしても良いし、図４（ｂ）に示すように１つのＭＣＵを構成するＹ、Ｃｂ、Ｃｒをそれぞれフレームメモリ上の別の場所に配置するようにしても良い。

第１の実施形態では、ブロックラインの列方向幅を大きくとるようにしているので、画像処理部７における空間的な画像処理の際のタップ数に対して出力できるデータ数を大きくすることができ、画像処理効率を上げることができる。また、ブロックライン毎に読み出されたデータは、全てＭＣＵで構成された単位ブロック毎にＪＰＥＧ圧縮部９に入力することができる。

図５（ａ）は、ＪＰＥＧ圧縮部９において圧縮された１ブロックライン分のブロック毎のＪＰＥＧ圧縮データが単位ブロック毎に出力ＤＭＡ１０を介してフレームメモリ５に書き込まれる順序を示す図である。バッファメモリ８からは図３（ｂ）に示すように、ブロック毎にラスタスキャン方式で単位ブロックが順次読み出され、ＪＰＥＧ圧縮部９では先に入力されたブロックの上側の単位ブロックから順次ＪＰＥＧ圧縮が行われる。したがって、フレームメモリ５には、図５（ｂ）に示す並び順でブロック毎のＪＰＥＧ圧縮データが書き込まれる。このデータ並び順はＪＰＥＧ圧縮する前の画像データの並び順が変更されたものなので、この順序のまま記録媒体に記録した場合には、画像再生時に正しい画像が再生されない。

そこで、第１の実施形態では、データ並び順が変更されたＪＰＥＧ圧縮データを正しい順序になるように並び替えて記録するようにしている。このために、ＪＰＥＧ圧縮部９で圧縮されてフレームメモリ５に書き込まれた１ブロックライン分のブロック毎のＪＰＥＧ圧縮データは、入力ＤＭＡ１１を介してブロック毎に読み出されて画像伸張部及び第２の画像圧縮部としてのＪＰＥＧ伸張／圧縮部１２に入力される。

図５（ｃ）は、フレームメモリ５に格納された１ブロックライン分のブロック毎のＪＰＥＧ圧縮データが入力ＤＭＡ１１を介してフレームメモリ５から読み出される順序を示す図である。図５（ｃ）に示すフレームメモリ５からの読み出しの順序は、図５（ａ）に示すフレームメモリ５への書き込みの順序と同じである。ＪＰＥＧ伸張／圧縮部１２においては、図５（ｃ）の順序に従った順序で単位ブロック毎にＪＰＥＧ伸張処理が行われ、これによって得られた１ブロックライン分のブロック毎のＪＰＥＧ伸張データが出力ＤＭＡ１３を介して単位ブロック毎に図６に示すような順序で順次フレームメモリ５に書き込まれる。こうして得られた１ブロックライン分のブロック毎のＪＰＥＧ伸張データは、図３（ｂ）に示す並び順と同じ並び順に並び替えがなされている。

この後、フレームメモリ５に格納された１ブロックライン分のブロック毎のＪＰＥＧ伸張データが入力ＤＭＡ１１を介して再び読み出されてＪＰＥＧ伸張／圧縮部１２に入力されてＪＰＥＧ再圧縮処理が行われる。このときの読み出し順は、正しい順序でＪＰＥＧ圧縮処理がなされるように、図７に示すようにして、画像データにおける各ブロックの上側の単位ブロックから読み出される。このようにして読み出された単位ブロックがＪＰＥＧ圧縮された後、図８（ａ）に示すような順序でフレームメモリ５に入力される。これにより、図８（ｂ）に示すような、並び順が正しく並び替えられた１ブロックライン分のブロック毎のＪＰＥＧ圧縮データがフレームメモリ５に書き込まれる。

ここで、ＪＰＥＧ伸張／圧縮部１２におけるＪＰＥＧ再圧縮の際に用いる量子化テーブルは、ＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮で用いた量子化テーブルと同じものを使用するが好ましい。これにより再圧縮による画質の劣化を抑えることができる。更に、ＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮の際の符号量に基づいて、ＪＰＥＧ伸張／圧縮部１２におけるＪＰＥＧ再圧縮の際に用いる量子化テーブルを変更することにより、ＪＰＥＧ再圧縮による画質の劣化をより抑えることができる。

その後、以上説明したような画像処理、ＪＰＥＧ圧縮、ＪＰＥＧ伸張、並び替え、ＪＰＥＧ再圧縮の一連の処理が１ブロックラインずつ、１フレーム分繰り返される。これによりフレームメモリ５に書き込まれた１フレーム分のＪＰＥＧ圧縮データは、所定のヘッダ情報が付加されて、最終的にはカードインターフェイス（Ｉ／Ｆ）を介して記録媒体としてのメモリカード１５に転送されて記録される。なお、図１では、記録媒体としてメモリカードを示しているが、この記録媒体は、例えばスマートメディア（登録商標）カード、コンパクトフラッシュ（登録商標）カード、ＳＤカード、メモリスティック（登録商標）カードなどの種々の半導体メモリカードに限らず、また、ハードディスクや、光磁気ディスク（ＭＯ）、ＤＶＤ等の光ディスクを用いるようにしても良い。

以上説明したように、第１の実施形態によれば、１ブロックラインの列方向幅を大きくした画像データを読み出すようにしているので画像処理部７における画像処理の際のタップ数に対して出力できるデータ数を大きくすることができ、画像処理部７における画像処理効率を大きくすることができる。また、画像処理部７からＪＰＥＧ圧縮部９へはＭＣＵからなる単位ブロック毎に画像データが入力されるので、画像処理部７からＪＰＥＧ圧縮部９に画像データを入力する際の画像処理のトータルの処理効率を向上させることができる。

また、ＪＰＥＧ圧縮部９で圧縮されて得られたＪＰＥＧ圧縮データは、フレームメモリ５に書き込むときに並び順が正しくなくなってしまう。しかしながら、第１の実施形態では、フレームメモリ５に書き込まれたＪＰＥＧ圧縮データを読み出して伸張し、これによって得られたＪＰＥＧ伸張データをフレームメモリ５に書き込む際にＪＰＥＧ伸張データの並び順をＪＰＥＧ圧縮前の並び順に並び替えてから、ラスタスキャン順に読み出してＪＰＥＧ再圧縮を行うことによって、最終的にメモリカード１５に記録されるＪＰＥＧ圧縮データの並び順を正しいものとすることができる。

ここで、上記したようなＪＰＥＧ伸張、並び替え、ＪＰＥＧ再圧縮の一連のＪＰＥＧ圧縮データの並び替え処理は、メモリカード１５へのＪＰＥＧ圧縮データのデータ転送に同期させるようにして行うことが好ましい。即ち、ＪＰＥＧ再圧縮によって得られたＪＰＥＧ圧縮データのフレームメモリ５への書き込みが終了した時点で、またはメモリカード１５の転送速度が遅いことを利用して、書き込みと並列でフレームメモリ５からメモリカード１５にＪＰＥＧ圧縮データが転送されるようにすることにより、フレームメモリ５のバストラフィックのピークを防ぐことができ、結果として、ＪＰＥＧ圧縮処理までの処理の高速化に繋がる。

また、上記の説明においては、ＪＰＥＧ圧縮データの並び替えは、ＪＰＥＧ圧縮部９において１ブロックライン分の画像データがＪＰＥＧ圧縮され、フレームメモリ５への書き込みが終了した時点で行うようになっている。しかしこれに限るものではなく、ＪＰＥＧ圧縮部９において１フレーム分の画像データがＪＰＥＧ圧縮され、フレームメモリ５への書き込みが終了した時点で行うようにしても良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、ＪＰＥＧ圧縮データの並び替えの別の例である。なお、構成については図１で説明したものと同様であるので説明を省略する。

以後、第１の実施形態と同様の部分については簡単に説明する。撮像素子１から入力された撮像信号は、プリプロセス部２を介してデジタルデータに変換され、バス３及びメモリコントローラ４を介してフレームメモリ５に書き込まれる。フレームメモリ５に書き込まれた画像データは、第１の実施形態で説明したようなブロックライン毎に画像処理部７により読み出されて画像処理が施される。画像処理部７で処理されたデータは、バッファメモリ８に図９（ａ）のようにしてブロック毎に書き込まれ、図９（ｂ）のようにしてブロック毎にＪＰＥＧ圧縮部９に入力される。ＪＰＥＧ圧縮部９では、入力されたブロックの上側の単位ブロックから順次ＪＰＥＧ圧縮処理が施されて、これにより得られた１ブロックライン分のブロック毎のＪＰＥＧ圧縮データが、図１０（ａ）に示す順序でフレームメモリ５に入力され、図１０（ｂ）に示すようにしてフレームメモリ５に書き込まれる。

図１０（ｂ）のようにしてフレームメモリ５に書き込まれた１ブロックライン分のＪＰＥＧ圧縮データが、図１０（ｃ）に示す順序で入力ＤＭＡ１１を介してＪＰＥＧ伸張部１２に入力される。入力されたＪＰＥＧ圧縮データは、順次伸張された後、図１１（ａ）に示す順序で出力ＤＭＡ１３を介してフレームメモリ５に入力される。これにより、フレームメモリ５には、図１１（ｂ）に示すようにして１ブロックライン分のブロック毎のＪＰＥＧ伸張データが書き込まれる。

次に、フレームメモリ５に書き込まれたＪＰＥＧ伸張データの読み出し順序が図１２に示すような順序に変更されて読み出され入力ＤＭＡ１１を介してＪＰＥＧ伸張／圧縮部１２に入力され、ＪＰＥＧ再圧縮される。その後、ＪＰＥＧ再圧縮により得られたＪＰＥＧ圧縮データが図１３（ａ）に示す順序で出力ＤＭＡ１３を介してフレームメモリ５に入力される。これにより、図１３（ｂ）に示すような、並び順が正しく並び替えられた１ブロックライン分のブロック毎のＪＰＥＧ圧縮データがフレームメモリ５に書き込まれる。

以上説明したような第２の実施形態の手法でも、画像処理部７における画像処理効率を大きくすることができるとともに、ＪＰＥＧ圧縮部９に画像データを入力する際に画像処理のトータルの処理効率を向上させることができる。また、最終的にメモリカード１５に記録されるＪＰＥＧ圧縮データの並び順を正しい順序とすることができる。

なお、第２の実施形態においてもＪＰＥＧ圧縮部２４におけるＪＰＥＧ再圧縮の際に用いる量子化テーブルをＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮で用いた量子化テーブルと同じものを使用したり、ＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮の際の符号量に基づいて変更したりすることが好ましい。

また、第２の実施形態においても、第１の実施形態と同様に、画像データの１フレーム毎にＪＰＥＧ処理を行うようにしても良い。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図１４は、本発明の第３の実施形態に係る画像処理装置を、例えばデジタルカメラに適用した場合のブロック図である。図１４が図１と異なる点は、ＪＰＥＧ伸張／圧縮部１２の代わりにＪＰＥＧ伸張部２１と、バッファメモリ２３と、ＪＰＥＧ圧縮部２４とが設けられている点である。

以後、第１及び第２の実施形態と同様の部分については簡単に説明する。撮像素子１から入力された撮像信号は、プリプロセス部２を介してデジタルデータに変換され、バス３及びメモリコントローラ４を介してフレームメモリ５に書き込まれる。フレームメモリ５に書き込まれた画像データは、ブロックライン毎に画像処理部７により読み出されて画像処理が施される。画像処理部７で処理されたデータは、バッファメモリ８に図１５（ａ）のようにしてブロック毎に書き込まれ、図１５（ｂ）のようにしてブロック毎にＪＰＥＧ圧縮部９に入力される。ＪＰＥＧ圧縮部９では、入力されたブロックの上側の単位ブロックから順次ＪＰＥＧ圧縮処理が施されて、これにより得られた１ブロックライン分のブロック毎のＪＰＥＧ圧縮データが、図１６（ａ）のようにしてフレームメモリ５に入力される。これにより、フレームメモリ５には、図１６（ｂ）に示すようにしてＪＰＥＧ圧縮データが書き込まれる。

これ以後のＪＰＥＧ圧縮データの並び替えの処理が、第１及び第２の実施形態と異なる。図１６（ｂ）のようにしてフレームメモリ５に書き込まれた１ブロックライン分のＪＰＥＧ圧縮データは、図１６（ｃ）に示す順序でＮ回（例では４回）読み出され、入力ＤＭＡ１１を介してＪＰＥＧ伸張部２１に入力される。ＪＰＥＧ伸張部２１では、図１７に示すように、入力された４回分の１ブロックライン分のＪＰＥＧ伸張処理が行われる。その後、ＪＰＥＧ伸張処理により得られたブロック毎のＪＰＥＧ伸張データは、バッファメモリ２３に入力される。

バッファメモリ２３からは、入力されたブロックのうちで上からＫ番目（１≦Ｋ≦Ｎ）の単位ブロックのみが並び替えデータとしてＪＰＥＧ圧縮部２４に出力され、残りの単位ブロックは破棄される。ＪＰＥＧ圧縮部２４に入力された単位ブロックはＪＰＥＧ再圧縮され、出力ＤＭＡ１３を介してフレームメモリ５に書き込まれる。

ここで、上記Ｋの値は、入力されたブロック毎のＪＰＥＧ伸張データが何回目に入力されたものであるかに応じて決定される値である。例の場合、１回目に入力されたＪＰＥＧ伸張データの場合にはＫ＝１となり、図１８に示すようにして各ブロックの上から１番目の単位ブロックのＪＰＥＧ伸張データのみ（この例では、１、５、９、１３、…、９７）がＪＰＥＧ圧縮部２４に出力されて圧縮処理がなされる。以下同様にして、２回目に入力されたＪＰＥＧ伸張データの場合には、各ブロックの上から２番目の単位ブロックのＪＰＥＧ伸張データのみ（この例では、２、６、１０、１４、…、９８）がＪＰＥＧ圧縮部２４に出力されて圧縮処理がなされ、３回目に入力されたＪＰＥＧ伸張データの場合には、各ブロックの上から３番目の単位ブロックのＪＰＥＧ伸張データのみ（この例では、３、７、１１、１５、…、９９）がＪＰＥＧ圧縮部２４に出力されて圧縮処理がなされ、４回目に入力されたＪＰＥＧ伸張データの場合には、各ブロックの上から４番目の単位ブロックのＪＰＥＧ伸張データのみ（この例では、４、８、１２、１６、…、１００）がＪＰＥＧ圧縮部２４に出力されて圧縮処理がなされる。ＪＰＥＧ圧縮された単位ブロックのデータは、図１９（ａ）に示すような順序で出力ＤＭＡ１３を介してフレームメモリ５に入力される。このような処理を行うことにより、最終的にフレームメモリ５に書き込まれた後の１ブロックライン分のＪＰＥＧ圧縮データの並び順は、図１９（ｂ）に示すようになり、正しい並び順のＪＰＥＧ圧縮データが得られる。

なお、ＪＰＥＧ圧縮部２４におけるＪＰＥＧ再圧縮の際に用いる量子化テーブルも、第１の実施形態と同様にＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮で用いた量子化テーブルと同じものを使用したり、ＪＰＥＧ圧縮部９におけるＪＰＥＧ圧縮の際の符号量に基づいて変更したりすることが好ましい。

その後、以上説明したような画像処理、ＪＰＥＧ圧縮、ＪＰＥＧ伸張、並び替え、ＪＰＥＧ再圧縮の一連の処理が順次入力される１ブロックライン毎に、１フレーム分繰り返される。このようにしてフレームメモリ５に書き込まれた１フレーム分のＪＰＥＧ圧縮データは、最終的にはカードＩ／Ｆ１４を介して記録媒体としてのメモリカード１５に転送されて記録される。なお、第１の実施形態と同様に、ＪＰＥＧ圧縮データをメモリカード１５に記録する際に、ＪＰＥＧ圧縮データをフレームメモリ５に書き込むことなく、直接メモリカード１５に記録するようにしても良い。

以上説明したように、第３の実施形態によれば、ＪＰＥＧ伸張処理とＪＰＥＧ再圧縮処理とを直結して行うことができるので、第１の実施形態で説明した効果に加えて、非圧縮のＪＰＥＧ伸張データをフレームメモリ５に読み書きする分のバストラフィックをなくすことができる。これにより処理速度を上げることができる。

次に、第１の実施形態〜第３の実施形態において、フレームメモリ５に書き込まれた１ブロックライン分のＪＰＥＧ圧縮データの切れ目を認識し、次に並び替えを行うブロックラインのＪＰＥＧ圧縮データの先頭アドレスを設定するための手法について説明する。

１ブロックラインの切れ目を認識するための１つ目の手法は、ＪＰＥＧ圧縮部９で１つのＭＣＵ×Ｍ個のブロック（単位ブロック）のＪＰＥＧ圧縮が行われる毎に図２０のようにリスタートマーカと呼ばれるマーカデータを挿入するようにしておき、このリスタートマーカの数を出力ＤＭＡ１０においてカウントすることで、ブロックラインの切れ目のアドレスを検出して記憶し、記憶されたアドレスに基づいて、次に並び替えを行うブロックラインのＪＰＥＧ圧縮データの先頭アドレスを設定する手法である。例えば、図２０の例では、リスタートマーカが１００個カウントされた時点で１ブロックライン分のＪＰＥＧ圧縮データがフレームメモリ５に書き込まれたことが検出されるので、このときのアドレスを記憶しておくようにすれば、１ブロックライン分のＪＰＥＧ圧縮データをフレームメモリ５から読み出して並び替えを行うことができる。

また、１ブロックラインの切れ目を認識するための２つ目の手法としては、フレームメモリ５から入力ＤＭＡ１１を介してＪＰＥＧ圧縮データを読み出す際にリスタートマーカの数をカウントすることでブロックラインの切れ目のアドレスを検出して記憶し、記憶されたアドレスに基づいて、次に並び替えを行うブロックラインのＪＰＥＧ圧縮データの先頭アドレスを設定する手法である。

更に、１ブロックラインの切れ目を認識するための３つ目の手法としては、１ブロックラインの圧縮処理が終了するたびに圧縮処理を終了する手法である。即ち、１ブロックラインを１つの画像データとして、１ブロックライン分のＪＰＥＧ圧縮が行われる毎に、それによって得られるＪＰＥＧ圧縮データをメモリカード１５に記録するようにする。この際に、それぞれのＪＰＥＧ圧縮データの先頭アドレスを同時に記憶するようにし、記憶されたアドレスに基づいて、次に並び替えを行うブロックラインのＪＰＥＧ圧縮データの先頭アドレスを設定する手法である。この３つ目の手法の場合には、１ブロックライン分のＪＰＥＧ圧縮が行われる毎にＪＰＥＧファイルが生成される。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

第１の実施形態に係る画像処理装置を、例えばデジタルカメラに適用した場合のブロック図である。 画像処理部の構成を示す図である。 図３（ａ）は第１の実施形態においてバッファメモリにデータを書き込む際の図であり、図３（ｂ）は第１の実施形態においてバッファメモリからデータを読み出す際の図である。 単位ブロックについて説明するための図である。 図５（ａ）は第１の実施形態においてＪＰＥＧ圧縮部で圧縮されたＪＰＥＧ圧縮データの書き込み順について示す図であり、図５（ｂ）は図５（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図であり、図５（ｃ）はフレームメモリからのＪＰＥＧ圧縮データ読み出し順について示す図である。 第１の実施形態においてＪＰＥＧ伸張／圧縮部におけるＪＰＥＧ伸張処理について示す図である。 第１の実施形態におけるＪＰＥＧ圧縮データの並び替えについて説明するための図である。 図８（ａ）は第１の実施形態において最終的にフレームメモリに入力されるＪＰＥＧ圧縮データの入力順について示す図であり、図８（ｂ）は図８（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図である。 図９（ａ）は第２の実施形態においてバッファメモリにデータを書き込む際の図であり、図９（ｂ）は第２の実施形態においてバッファメモリからデータを読み出す際の図である。 図１０（ａ）は第２の実施形態においてＪＰＥＧ圧縮部で圧縮されたＪＰＥＧ圧縮データの書き込み順について示す図であり、図１０（ｂ）は図１０（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図であり、図１０（ｃ）はフレームメモリからのＪＰＥＧ圧縮データ読み出し順について示す図である。 図１１（ａ）は第２の実施形態においてＪＰＥＧ伸張／圧縮部で伸張されたＪＰＥＧ伸張データの書き込み順について示す図であり、図１１（ｂ）は図１１（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ伸張データの概念図である。 第２の実施形態におけるＪＰＥＧ圧縮データの並び替えについて説明するための図である。 図１３（ａ）は第２の実施形態において最終的にフレームメモリに入力されるＪＰＥＧ圧縮データの入力順について示す図であり、図１３（ｂ）は図１３（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図である。 第３の実施形態に係る画像処理装置を、例えばデジタルカメラに適用した場合のブロック図である。 図１５（ａ）は第３の実施形態においてバッファメモリにデータを書き込む際の図であり、図１５（ｂ）は第３の実施形態においてバッファメモリからデータを読み出す際の図である。 図１６（ａ）は第３の実施形態においてＪＰＥＧ圧縮部で圧縮されたＪＰＥＧ圧縮データの書き込み順について示す図であり、図１６（ｂ）は図１６（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図であり、図１６（ｃ）はフレームメモリからのＪＰＥＧ圧縮データ読み出し順について示す図である。 第３の実施形態においてＪＰＥＧ伸張部におけるＪＰＥＧ伸張処理について示す図である。 第３の実施形態におけるＪＰＥＧ圧縮データの並び替えについて説明するための図である。 図１９（ａ）は第３の実施形態において最終的にフレームメモリに入力されるＪＰＥＧ圧縮データの入力順について示す図であり、図１９（ｂ）は図１９（ａ）の順序でフレームメモリに書き込まれたＪＰＥＧ圧縮データの概念図である。 リスタートマーカについて説明するための図である。

符号の説明

１…撮像素子（ＣＣＤ）、２…プリプロセス部、３…バス、４…メモリコントローラ、５…フレームメモリ（ＳＤＲＡＭ）、６，１１…入力ＤＭＡ、７…画像処理部、８，２３…バッファメモリ、９…ＪＰＥＧ圧縮部、１０，１３…出力ＤＭＡ、１２…ＪＰＥＧ伸張／圧縮部、１４…カードインターフェイス（Ｉ／Ｆ）、１５…メモリカード、２１…ＪＰＥＧ伸張部、２４…ＪＰＥＧ圧縮部

Claims (22)

1. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、
   上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、
   上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、
   上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、
   上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程と、
   を有し、
   上記並び替え工程は、
   上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出す読み出し工程と、
   上記読み出し工程中に読み出された上記１ブロックライン分のブロック毎の圧縮画像データに対して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張工程と、
   上記画像伸張工程中に取得された上記１ブロックライン分のブロック毎の伸張画像データのうちで、各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データのみを出力する出力工程と、
   上記出力工程により出力された各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程と、
   上記読み出し工程、上記画像伸張工程、上記出力工程、及び上記画像再圧縮工程をＮ回繰り返し処理させ、繰り返し処理を１回行う毎に上記Ｋの値を１ずつ増やすことにより、上記出力工程において出力する単位ブロックの位置を上から１ずつ移動させる繰り返し工程と、
   を含むことを特徴とする画像処理方法。
2. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、
   上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、
   上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、
   上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、
   上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程と、
   を有し、
   上記並び替え工程は、
   上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張工程と、
   上記画像伸張工程中に取得された上記１ブロック分のブロック毎の伸張画像データを上記フレームメモリに書き込む際に、上記伸張画像データの並び替えがなされるように書き込みを行う並び替えデータ書き込み工程と、
   上記並び替えデータ書き込み工程により上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程と、
   を含むことを特徴とする画像処理方法。
3. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理方法であって、
   上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するブロック分割工程と、
   上記ブロック分割工程中に分割された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理して１ブロックライン分のブロック毎の圧縮画像データを取得する画像圧縮工程と、
   上記画像圧縮工程で取得された上記１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む書き込み工程と、
   上記書き込み工程で書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを順次読み出して、上記画像処理された画像データと対応する伸張画像データが得られるように、圧縮画像データの並び順を正しい並び順に並び替える並び替え工程と、
   を有し、
   上記並び替え工程は、
   上記書き込み工程中に上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得し、この取得した１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む画像伸張工程と、
   上記画像伸張工程によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリから読み出す際に、上記伸張画像データの並び替えがなされるように読み出しを行う並び替えデータ読み出し工程と、
   上記並び替えデータ読み出し工程により並び替えられた上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す画像再圧縮工程と、
   を含むことを特徴とする画像処理方法。
4. 上記画像圧縮処理は非可逆方式の画像圧縮処理であることを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
5. 上記非可逆方式の画像圧縮処理はＪＰＥＧ圧縮処理を含むことを特徴とする請求項４に記載の画像処理方法。
6. 上記画像圧縮処理の最小単位はＭＣＵ（Minimum Coded Unit）からなることを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
7. 上記フレームメモリは揮発性メモリを含むことを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
8. 上記画像圧縮工程、上記書き込み工程、及び上記並び替え工程を上記画像処理された画像データの１ブロックライン分ずつ繰り返すことにより、上記画像データの１フレーム分の圧縮画像データを取得する繰り返し工程を更に有することを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
9. 上記画像圧縮工程と上記書き込み工程とを上記画像データの１ブロックライン分ずつ繰り返すことにより取得された１フレーム分の圧縮画像データに対し、上記並び替え工程を上記画像データの１ブロックライン分ずつ繰り返して上記画像データの１フレーム分の圧縮画像データを取得する繰り返し工程を更に有することを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
10. 上記並び替え工程において並び替え処理が施された上記圧縮画像データを上記フレームメモリに書き込むために転送する記憶転送工程と、
    上記記憶転送工程において上記フレームメモリに書き込まれた上記圧縮画像データを読み出して記録媒体に書き込むために転送する記録転送工程と、
    を更に含み、
    上記並び替え処理は、上記記憶転送工程中に上記圧縮画像データを上記フレームメモリに転送する際の転送速度と上記記録転送工程中に上記圧縮画像データを上記記録媒体に転送する際の転送速度とが略同じになるように実行されることを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
11. 上記並び替え工程において並び替え処理が施されて上記フレームメモリに書き込まれた上記圧縮画像データを読み出して上記記録媒体に書き込むために転送する記録転送工程を更に含み、
    上記並び替え処理は、上記記録転送工程において上記圧縮画像データを上記記録媒体に転送する際の転送速度に応じて実行されることを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
12. 上記記録媒体は、半導体メモリ、ハードディスク、光磁気ディスク、及び光ディスクの少なくとも何れかを含むことを特徴とする請求項１０又は１１に記載の画像処理方法。
13. 上記画像圧縮工程は、
    上記単位ブロックの画像圧縮処理を行う毎に該単位ブロックに対してリスタートマーカを挿入するリスタートマーカ挿入工程と、
    上記書き込み工程中に上記リスタートマーカの数をカウントして、上記複数のブロックの圧縮画像データを１ブロックライン分上記フレームメモリに書き込むことが完了したときのアドレスを、上記カウント数に基づいて検出する第１のリスタートマーカカウント工程と、
    上記第１のリスタートマーカカウント工程中に検出されたアドレスを記憶するアドレス記憶工程と、
    上記アドレス記憶工程において記憶されたアドレスに基づいて、次に並び替え処理を行うブロックラインの圧縮画像データの先頭アドレスを設定するアドレス設定工程と、
    を含むことを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
14. 上記画像圧縮工程は、上記単位ブロックの画像圧縮処理を行う毎に該単位ブロックに対してリスタートマーカを挿入するリスタートマーカ挿入工程を含み、
    上記並び替え工程は、上記読み出し工程中に上記リスタートマーカの数をカウントして、上記複数のブロックの圧縮画像データを１ブロックライン分読み出したときのアドレスを検出する第２のリスタートマーカカウント工程と、
    上記第２のリスタートマーカカウント工程中に検出されたアドレスを記憶するアドレス記憶工程と、
    上記アドレス記憶工程中に記憶されたアドレスに基づいて、次に並び替え処理を行うブロックラインの圧縮画像データの先頭アドレスを設定するアドレス設定工程と、
    を含むことを特徴とする請求項１に記載の画像処理方法。
15. 上記画像圧縮工程は、上記複数のブロックを１ブロックライン分だけ画像圧縮処理する毎に上記画像圧縮処理を終了し、このときに取得された１ブロックライン分の圧縮画像データのアドレスを検出して記憶し、該記憶されたアドレスに基づいて、次に並び替え処理を行うブロックラインの圧縮画像データの先頭アドレスを設定するアドレス設定工程を含むことを特徴とする請求項１乃至３の何れか１つに記載の画像処理方法。
16. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、
    上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、
    上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、
    上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張部と、
    上記画像伸張部において取得された上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む際に、上記伸張画像データの並び替えがなされるように書き込みを行う並び替えデータ書き込み部と、
    上記並び替えデータ書き込み部により上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを読み出して再度の画像圧縮処理を施す第２の画像圧縮部と、
    を具備することを特徴とする画像処理装置。
17. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、
    上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、
    上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、
    上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得するとともに、この取得した１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリに書き込む画像伸張部と、
    上記画像伸張部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の伸張画像データを上記フレームメモリから読み出す際に、上記伸張画像データの並び替えがなされるように読み出しを行う並び替えデータ読み出し部と、
    上記並び替えデータ読み出し部により上記フレームメモリから読み出された上記１ブロックライン分のブロック毎の伸張画像データに対して再度の画像圧縮処理を施す第２の画像圧縮部と、
    を具備することを特徴とする画像処理装置。
18. 撮像されてフレームメモリに格納された画像データに対して画像処理部により空間的な画像処理を施し、これによって取得された画像データを上記画像処理部と直列に接続された画像圧縮部により画像圧縮処理して出力させる画像処理装置であって、
    上記画像処理部により画像処理された画像データを、列方向の画素数が画像圧縮処理の最小単位のＮ（Ｎ≧２）倍であり行方向の画素数が走査線の長さ分である１ブロックライン分順次入力し、各々が行方向に上記画像圧縮処理の最小単位をＭ個並べた単位ブロックを列方向にＮ個並べたブロックからなる複数のブロックに分割して該ブロック毎の画像データを順次出力するバッファメモリと、
    上記バッファメモリにおいて分割されて保持された上記画像データを、上記複数のブロック毎に上側の単位ブロックから順番に画像圧縮処理することで１ブロックライン分のブロック毎の圧縮画像データを取得するとともに、この１ブロックライン分のブロック毎の圧縮画像データを上記フレームメモリに書き込む第１の画像圧縮部と、
    上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データに対して並び替え処理を施す並び替え部と、
    を具備し、
    上記並び替え部は、
    上記第１の画像圧縮部によって上記フレームメモリに書き込まれた上記１ブロックライン分のブロック毎の圧縮画像データを読み出して画像伸張処理を施すことにより１ブロックライン分のブロック毎の伸張画像データを取得する画像伸張部と、
    上記画像伸張部によって取得された上記１ブロックライン分のブロック毎の伸張画像データのうちで、各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データのみを出力する出力部と、
    上記出力部により出力された各ブロックの上からＫ（１≦Ｋ≦Ｎ）番目に相当する単位ブロックの伸張画像データに対して再度画像圧縮処理を施す第２の画像圧縮部と、
    を含み、
    上記画像伸張部、上記出力部、及び上記第２の画像圧縮部による処理をＮ回繰り返し行わせ、これら処理を１回行う毎に上記Ｋの値を１ずつ増やすことで、上記出力部から出力させる各ブロックの単位ブロックの位置を上から１つずつ移動させることにより上記並び替えを行うことを特徴とする画像処理装置。
19. 上記画像圧縮処理は非可逆方式の画像圧縮処理であることを特徴とする請求項１６乃至１８の何れか１つに記載の画像処理装置。
20. 上記非可逆方式の画像圧縮処理はＪＰＥＧ圧縮処理を含むことを特徴とする請求項１９に記載の画像処理装置。
21. 上記画像圧縮処理の最小単位はＭＣＵ（Minimum Coded Unit）からなることを特徴とする請求項１６乃至１８の何れか１つに記載の画像処理装置。
22. 上記フレームメモリは揮発性メモリを含むことを特徴とする請求項１６乃至１８の何れか１つに記載の画像処理装置。

Images