JP4987800B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子により得られる画像を一時記憶するために画像が通るバスに圧縮伸長を行う手段を備えることにより生じるバス帯域の余裕分を利用して高速化を図る撮像装置に関する。

昨今のデジタルスチルカメラは、画素数及び連写速度の向上が著しく、デジタルビデオカメラにおいてもＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）化が進行し、単位時間当たりに処理するデータ量は年々拡大している。

このように大きなデータ量の画像を画像処理する場合は、回路の高速化もさることながら、連写時の画像を処理するために欠かすことができない記憶部の扱えるバス帯域が処理性能の律則条件となることも多い。

これに対処するために記憶部を大量に接続したり処理周波数を上げることは、コストとパワーの増大に直結する。
特に、デジタルカメラにおいて、常時ＨＤ映像を表示しつつ１０００万画素超の静止画撮影を同時に行なうことは、これまでのＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）映像表示に比して大きなデータ量を扱いながら、かつ、多画素の静止画処理を並行して行なう必要があるため、より強力な処理性能が必要となっている。また、デジタルカメラにおいて画像を記録する際には、通常ＪＰＥＧ圧縮を行なっているが、記録媒体に所定のデータ量以内での記録を行うため、ＪＰＥＧ圧縮処理を何度か反復することで、記録対象となる画像に適した量子化テーブルを決定する必要があり、これによって画像一枚当りの処理時間が増加し、連写速度向上の妨げになっている。

そこで、例えば、画像表示時に作成した量子化テーブルを画像記録時に参照することにより画像記録用の量子化テーブルの作成時間分全体の処理時間を短縮させ、その余裕が生じた処理時間を使って連写速度の向上を図ること（例えば、特許文献１参照）や撮影に先立って量子化テーブルを予測することにより画像記録用量子化テーブルの作成時間を短縮させ、その余裕が生じた処理時間を使って連写速度の向上を図ることが考えられる（例えば、特許文献２参照）。

また、消費電力の増加や発熱量を抑えつつ、高画質な画像表示を行うものとして、例えば、画像処理デバイスから表示デバイスに送られる表示画像を圧縮することにより画像処理デバイスと表示デバイスとの間で送られる表示画像のデータ量を低減するものがある（例えば、特許文献３参照）。
特開２００２−１１２０８６号公報 特開２００２−２４７５１７号公報 特開２００４−１０４２２２号公報

しかしながら、上述したように、画像表示時に作成した量子化テーブルを画像記録時に参照する場合や撮影に先立って量子化テーブルを予測する場合、図１０に示すように、撮像素子により得られる画像と表示部に表示される画像の画角が同じであれば、画像表示時の量子化テーブルを画像記録時に参照したり量子化テーブルを予測したりすることができるが、撮像素子により得られる画像と表示部に表示される画像とで画角が異なるとき、すなわち、図１０に示すように、電子ズーム等により表示部に表示される画像の一部を拡大した状態において撮像素子により得られる画像を記録するときは、表示画像と記録画像とが一致せず量子化テーブルを参照したり予測したりすることができないという問題がある。

また、上述したように、画像処理デバイスから表示デバイスに送られる表示画像を圧縮する場合は、画像処理デバイスと表示デバイスとの間で送られる表示画像のデータ量を低減するために有効であるが、画像を一時記憶するための記憶部のバス帯域の低減に有効ではなく、記憶部のバス帯域が処理速度の律則条件となることが多い昨今、連写速度の向上にはつながらない。

そこで、本発明は、撮像素子により得られる画像と表示画像とで画角が異なるときでも、画像表示時に生成された量子化テーブルを画像記録時に使用される量子化テーブルに利用することが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、撮像素子と、撮影者により押されると、前記撮像素子により得られる画像の記録準備処理又は記録処理が開始される撮影シャッタと、入力される画像を記憶する記憶部と、入力される画像を表示する表示部と、入力される画像のサイズを変更するリサイズ部と、入力される画像に対して画像処理を行いバスを介して前記記憶部に送出する画像処理部と、前記バスを介して前記記憶部から送出される画像処理後の画像を圧縮し前記バスを介して前記記憶部に送出する表示圧縮部と、前記バスを介して前記記憶部から送出される圧縮後の画像を伸長する表示伸長部と、前記リサイズ部に送出する画像を、前記撮像素子により得られる画像又は前記表示伸長部から送出される画像のどちらか一方に切り換える第１のバス切換え部と、前記画像処理部に送出する画像を、前記リサイズ部から送出される画像又は前記撮像素子により得られる画像のどちらか一方に切り換える第２のバス切換え部と、前記表示部に送出する画像を、前記表示伸長部から送出される画像又は前記リサイズ部から送出される画像のどちらか一方に切り換える第３のバス切換え部と、入力される画像を記録する記録部と、前記バスを介して前記記憶部から送出される画像処理後の画像を圧縮し前記記録部に送出する記録圧縮部とを備え、前記表示圧縮部は、入力される画像を圧縮する際に使用する表示圧縮用量子化テーブルを参照して前記記録圧縮部で使用される記録圧縮用量子化テーブルを生成し、前記第１〜第３のバス切換え部は、それぞれ、前記撮影シャッタが押されていないとき、前記撮像素子により得られる画像が前記リサイズ部に入力され、前記リサイズ部から送出される画像が前記画像処理部に入力され、前記表示伸長部から送出される画像が前記表示部に入力されるように画像を切り替え、前記撮影シャッタが押されているとき、前記撮像素子により得られる画像が前記画像処理部に入力され、前記表示伸長部から送出される画像が前記リサイズ部に入力され、前記リサイズ部から送出される画像が前記表示部に入力されるように画像を切り換える。

また、前記表示圧縮部は、前記画像処理後の画像の記録期間における表示圧縮率を、前記撮影シャッタが押されていないときの表示圧縮率又は前記画像処理後の画像の記録準備期間における表示圧縮率よりも高くするように構成してもよい。

本発明によれば、撮像素子で撮像された画像と表示画像とで画角が異なるときでも、画像表示時に作成した量子化テーブルを画像記録時に参照することができ、余裕が生じた処理時間を利用して連写速度を向上させることができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置を示す図である。
図１に示す撮像装置１は、撮像素子２と、撮影シャッタ３と、記憶部４と、表示部５と、リサイズ部６と、画像処理部７と、表示圧縮部８と、表示伸長部９と、バス切換え部１０〜１２と、記録部１３と、記録圧縮伸長部１４と、表示拡大／縮小制御部１５と、バス１６と、ＣＰＵ１７とを備えて構成されている。

撮像素子２は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等により構成され、被写体を撮像した画像を送出する。

撮影シャッタ３は、撮影者により押されると、その旨を示す信号をＣＰＵ１７に出力する。
記憶部４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、又はＤＤＲＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）等により構成され、撮像素子２から送出される画像、画像処理部７から送出される画像、表示圧縮部８から送出される画像、表示伸長部９から送出される画像、又は記録圧縮伸長部１４から送出される画像を記憶する。

表示部５は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成され、入力される画像を表示する。
リサイズ部６は、入力される画像のサイズを変更する。

画像処理部７は、入力される画像に対して、ベイヤー補間処理、色マトリクス変換処理、及び輪郭強調処理等の所定の画像処理を行う。
表示圧縮部８は、バス１６を介して記憶部４から送出される画像処理後の画像をＪＰＥＧ圧縮する。

表示伸長部９は、バス１６を介して記憶部４から送出される圧縮後の画像を伸長する。
バス切換え部１０は、リサイズ部６に送出する画像を、撮像素子２により得られる画像（撮像素子２から記憶部４に送出された画像）又は表示伸長部９から送出される画像のどちらか一方に切り換える。

バス切換え部１１は、画像処理部７に送出する画像を、リサイズ部６から送出される画像又は撮像素子２により得られる画像のどちらか一方に切り換える。
バス切換え部１２は、表示部５に送出する画像を、表示伸長部９から送出される画像又はリサイズ部６から送出される画像のどちらか一方に切り換える。

記録部１３は、例えば、Ｆｌａｓｈメモリ等で構成され、入力される画像を記録する。
記録圧縮伸長部１４は、バス１６を介して記憶部４から送出される画像処理後の画像をＪＰＥＧ圧縮しバス１６を介して（記憶部４に一旦記憶した後、再度バス１６を介して）記録部１３に送出したり、記録部１３に記録される画像を伸長して表示部５に送出する。

表示拡大／縮小制御部１５は、撮影者による不図示の操作ボタンの操作に基づいて、表示部５に表示される画像の拡大又は縮小の指示をＣＰＵ１７に出力し、表示部５に表示される画像のサイズを変更させる。

ＣＰＵ１７は、撮影シャッタ３から出力される撮影シャッタ３の状態を示す信号や表示拡大／縮小制御部１５から出力される表示拡大／縮小指示に基づいて、撮像装置１の各種動作制御を行う。

例えば、ＣＰＵ１７は、撮影シャッタ３が押されておらず、かつ、画像の表示拡大／縮小指示がないとき、バス切換え部１０〜１２にそれぞれ切換信号を出力し、リサイズ部６に送出する画像を撮像素子２により得られる画像に切り換えさせ、画像処理部７に送出する画像をリサイズ部６から送出される画像に切り換えさせ、表示部５に送出する画像を表示伸長部９から送出される画像に切り換えさせ、撮像素子２により得られる画像が表示部５に表示されることのみが行われるようにする（設定状態（１））。このときの撮像装置１の動作の期間を以下「表示のみ期間」という。

また、ＣＰＵ１７は、撮影シャッタ３が半押しされ（撮影シャッタ３が押されていない状態から一番下まで押された状態のうち半分程度の深さまで押された状態）、かつ、画像の表示拡大／縮小指示があるとき、バス切換え部１０〜１２にそれぞれ切換信号を出力し、画像処理部７に送出する画像を撮像素子２により得られる画像に切り換えさせ、リサイズ部６に送出する画像を表示伸長部９から送出される画像に切り換えさせ、表示部５に送出する画像をリサイズ部６から送出される画像に切り換えさせ、撮像素子２により得られる画像の記録準備（ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＡＥ（Ａｕｔｏ Ｅｘｐｏｒｓｕｒｅ）などの撮影アシスト行為）が行われるようにする（設定状態（２））。このときの撮像装置１の動作の期間を以下「記録準備期間」という。

また、ＣＰＵ１７は、撮影シャッタ３が全押しされ（撮影シャッタ３が一番下まで押されている状態）、かつ、画像の表示拡大／縮小指示があるとき、バス切換え部１０〜１２にそれぞれ切換信号を出力し、画像処理部７に送出する画像を撮像素子２により得られる画像に切り換えさせ、リサイズ部６に送出する画像を表示伸長部９から送出される画像に切り換えさせ、表示部５に送出する画像をリサイズ部６から送出される画像に切り換えさせ、撮像素子２により得られる画像の記録が行われるようにする（設定状態（３））。このときの撮像装置１の動作の期間を以下「記録期間」という。

なお、ＣＰＵ１７は、画像の表示拡大／縮小指示がないとき、撮影シャッタ３が半押し又は全押しされても、設定状態（１）を実行するものとする。
図２は、表示圧縮部８を示す図である。

図２に示す表示圧縮部８は、圧縮部１８と、量子化テーブル生成部１９、２０と、圧縮量検出部２１とを備えて構成されている。
上記量子化テーブル生成部１９は、表示テーブル１９−１と、量子化テーブルに任意倍率を乗算し倍率を変えるスケーリングファクター（以降ＳＦとする）１９−２と、倍率決定部１９−３と、表示圧縮用量子化テーブル１９−４と、乗算器１９−５とを備えて構成されている。

上記量子化テーブル生成部２０は、記録テーブル２０−１と、ＳＦ２０−２と、記録圧縮用量子化テーブル２０−３と、乗算器２０−４とを備えて構成されている。
なお、表示テーブル１９−１、表示圧縮用量子化テーブル１９−４、記録テーブル２０−１、及び記録圧縮用量子化テーブル２０−３は、それぞれ、例えば、８×８配列からなるテーブルであり、撮像装置１の電源投入時にＣＰＵ１７により初期設定がされるものとする。

図３は、圧縮部１８を示す図である。
図３に示す圧縮部１８は、ＤＣＴ変換部１８−１と、量子化部１８−２と、ハフマン符号化部１８−３とを備えて構成されている。

上記圧縮部１８は、画像処理部７から出力される「表示圧縮前の画像」に対して、ＤＣＴ変換部１８−１においてＤＣＴ演算を行い時間領域から周波数領域に変換した後、量子化部１８−２において量子化テーブル生成部１９で生成される表示圧縮用量子化テーブル１９−４を使用して量子化処理を行い、さらに、ハフマン符号化部１８−３において発生頻度に基づくハフマン符号化を行う。

図２において、圧縮量検出部２１は、圧縮部１８で圧縮された画像毎に圧縮量を検出し、その検出した圧縮量を倍率決定部１９−３に出力する。
また、倍率決定部１９−３は、圧縮量検出部２１から出力される圧縮量が適正範囲内であるか否かを判断し、圧縮量が適正範囲内であると判断した場合、ＳＦ１９−２に圧縮のための倍率の選択指示を行うための指示信号を出力する。

また、ＳＦ１９−２は、ＳＦ１９−２から出力される指示信号に対応する倍率を予め設定される複数の倍率の中から選択し、その選択した倍率を乗算器１９−５に出力する。
また、乗算器１９−５は、ＳＦ１９−２から出力される倍率で、表示テーブル１９−１の各パラメータに対して乗算を行い、表示圧縮用量子化テーブル１９−４を生成する。この表示圧縮用量子化テーブル１９−４は、次の表示圧縮用量子化テーブル１９−４を生成する際に使用される表示テーブル１９−１として更新される。

また、量子化テーブル生成部２０の乗算器２０−４は、ＳＦ２０−２から出力される所定の倍率で、量子化テーブル生成部１９から出力される表示圧縮用量子化テーブル１９−４の各パラメータに対して乗算を行うことにより記録圧縮用量子化テーブル２０−３を生成し、記録圧縮伸長部１４に出力する。なお、ＳＦ２０−２から出力される倍率は、ＳＦ１９−２から出力される倍率と同じであっても、異なっていてもよい。

図４は、記録圧縮伸長部１４を示す図である。なお、図３に示す構成と同じ構成には同じ符号を付している。
図４に示す記録圧縮伸長部１４は、ＤＣＴ変換部１８−１と、量子化部１８−２と、ハフマン符号化部１８−３と、伸長部１４−１とを備えて構成されている。

記録圧縮伸長部１４は、画像処理部７から送出される「記録圧縮前の画像」に対して、表示圧縮部８と同様に、ＪＰＥＧ圧縮処理を行った後、バス１６を介して記憶部４に送出する。この圧縮処理では、表示圧縮部８で生成される記録圧縮用量子化テーブル２０−３が使用される。また、記録圧縮伸長部１４は、伸長部１４−１において、記録部１３からバス１６を介して読み出した画像に対して伸長処理を行った後、表示部５に送出する。この伸長処理は、ＪＰＥＧ圧縮処理と逆の処理、すなわち、記録部１３から読み出した画像に対して、ハフマン復号、逆量子化、逆ＤＣＴ変換を順に行う。

図５は、バス切換え部１０〜１２のそれぞれの動作を説明するための図である。
図５に示すように、バス切換え部１０は、「表示のみ期間」において、端子Ａと端子Ｃとを接続することにより撮像素子２により得られる画像をリサイズ部６に送出させる。また、バス切換え部１０は、「記録準備期間」又は「記録期間」において、端子Ｂと端子Ｃとを接続することにより表示伸長部９から送出される画像をリサイズ部６に送出させる。

また、バス切換え部１１は、「表示のみ期間」において、端子Ｅと端子Ｆとを接続することによりリサイズ部６から送出される画像を画像処理部７に送出させる。また、バス切換え部１１は、「記録準備期間」又は「記録期間」において、端子Ｄと端子Ｆとを接続することにより撮像素子２により得られる画像を画像処理部７に送出させる。

また、バス切換え部１２は、「表示のみ期間」において、端子Ｇと端子Ｉとを接続することにより表示伸長部９から送出される画像を表示部５に送出させる。また、バス切換え部１２は、「記録準備期間」又は「記録期間」において、端子Ｈと端子Ｉとを接続することによりリサイズ部６から送出される画像を表示部５に送出させる。

これにより、「表示のみ期間」において表示圧縮部８により圧縮される画像は、リサイズ部６によりサイズが変更された後の画像（「リサイズ後画像」）になる。そのため、「表示のみ期間」におけるバス１６の帯域が低減され、その低減されたバス１６の帯域を利用して連写速度を向上させることができる。

また、「記録準備期間」又は「記録期間」において表示圧縮部８により圧縮される画像は、リサイズ部６によりサイズが変更される前の画像（「リサイズ前画像」）になる。そのため、「記録準備期間」又は「記録期間」において表示圧縮用量子化テーブル１９−４を参照して記録圧縮用量子化テーブル２０−３を生成することができるので、記録処理時間を短縮することができその短縮した処理時間を利用して連写速度を向上させることができる。

図６Ａは、「表示のみ期間」における撮像装置１の動作の流れを説明するための図である。
まず、撮像素子２は、被写体を撮像した画像をバス１６を介して記憶部４に送出する。

次に、リサイズ部６は、記憶部４に記憶される画像をバス１６を介して読み出し、その画像のサイズを表示拡大／縮小制御部１５から送られてくる指示に基づいて変更する。なお、本実施形態では、サイズが変更された後の画像のデータ量が、サイズが変更される前の画像のデータ量の１／１６になるように、リサイズ部６で画像のサイズが変更されるものとする。

次に、画像処理部７は、リサイズ部６によりサイズが変更された画像に対して、ベイヤー補間処理、色マトリクス変換処理、及び輪郭強調処理等の画像処理を行う。
次に、表示圧縮部８は、画像処理部７により画像処理された画像をＪＰＥＧ圧縮した後、バス１６を介して記憶部４に送出する。なお、本実施形態では、表示圧縮処理が行われた後の画像のデータ量が、表示圧縮処理が行われる前の画像のデータ量の１／５になるように、表示圧縮部８の表示圧縮率が設定されているものとする。

次に、表示伸長部９は、表示圧縮部８により圧縮された画像をバス１６を介して記憶部４から読み出し、その画像に対して伸長処理を行い、表示部５に送出する。
そして、表示部５は、表示伸長部９により伸長された画像を表示する。

本実施形態の撮像装置１における「表示のみ期間」では、撮像素子２により得られる画像をすぐにリサイズした後に、画像処理、表示圧縮、及び表示伸長を行っているので、撮像素子２により得られる画像のデータ量をＡ［ＭＢ／ｓ］とするとき、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４からリサイズ部６に送出される画像のデータ量がＡ［ＭＢ／ｓ］、表示圧縮部８から記憶部４に送出される画像のデータ量がＡ／８０［ＭＢ／ｓ］、記憶部４から表示伸長部９に送出される画像のデータ量がＡ／８０［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ／８０＋Ａ／８０＝８１Ａ／４０［ＭＢ／ｓ］になる。

一方、従来の撮像装置（図１に示す表示圧縮部８、表示伸長部９、及びバス切換え部１０〜１２以外の構成を備える撮像装置）における「表示のみ期間」では、図７Ａに示すように、撮像素子２により得られる画像がバス１６を介して記憶部４に送出され、画像処理部７においてバス１６を介して記憶部４から読み出された画像に対して画像処理が行われた後、バス１６を介して記憶部４に送出され、リサイズ部６においてバス１６を介して記憶部４から読み出された画像に対してリサイズが行われ表示部５に表示される。そのため、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４から画像処理部７に送出される画像のデータ量がＡ［ＭＢ／ｓ］、画像処理部７から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４からリサイズ部６に送出される画像のデータ量がＡ［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ＋Ａ＝４Ａ＝１６０Ａ／４０［ＭＢ／ｓ］になる。

従って、図８に示すように、「表示のみ期間」において、本実施形態の撮像装置１におけるバス１６の帯域（８１Ａ／４０）は、従来の撮像装置におけるバス１６の帯域（１６０Ａ／４０）よりも小さくすることができる。

図６Ｂは、「記録準備期間」における撮像装置１の動作の流れを説明するための図である。
まず、撮像素子２は、被写体を撮像した画像をバス１６を介して記憶部４に送出する。

次に、画像処理部７は、記憶部４に記憶される画像をバス１６を介して読み出し、その画像に対してベイヤー補間処理、色マトリクス変換処理、及び輪郭強調処理等の画像処理を行う。

次に、表示圧縮部８は、画像処理部７により画像処理された画像をＪＰＥＧ圧縮してバス１６を介して記憶部４に送出する。なお、本実施形態では、この表示圧縮処理後の画像のデータ量が、表示圧縮処理前の画像のデータ量の１／５になるように、表示圧縮部８の表示圧縮率が設定されているものとする。

次に、表示伸長部９は、記憶部４に記憶される画像をバス１６を介して読み出し、その画像に対して伸長処理を行う。
次に、リサイズ部６は、表示伸長部９により伸長された画像のサイズを変更し、表示部５に送出する。

そして、表示部５は、リサイズ部６によりサイズが変更された画像を表示する。
本実施形態の撮像装置１における「記録準備期間」では、撮像素子２により得られる画像に対して画像処理、表示圧縮、及び表示伸長を行った後、リサイズしているので、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４から画像処理部７に送出される画像のデータ量がＡ［ＭＢ／ｓ］、表示圧縮部８から記憶部４に送出される画像のデータ量はＡ／５［ＭＢ／ｓ］、記憶部４から表示伸長部９に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ／５＋Ａ／５＝１２Ａ／５＝９６Ａ／４０［ＭＢ／ｓ］になる。

一方、上記従来の撮像装置における「記録準備期間」では、上述した従来の撮像装置における「表示のみ期間」と同様に（図７Ａ参照）、撮像素子２により得られる画像に対して画像処理を行った後、リサイズし表示するため、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４から画像処理部７に送出される画像のデータ量がＡ［ＭＢ／ｓ］、画像処理部７から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４からリサイズ部６に送出される画像のデータ量がＡ［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ＋Ａ＝４Ａ＝１６０Ａ／４０［ＭＢ／ｓ］になる。

従って、図８に示すように、「記録準備期間」において、本実施形態の撮像装置１におけるバス１６の帯域（９６Ａ／４０）も、従来の撮像装置におけるバス１６の帯域（１６０Ａ／４０）よりも小さくすることができる。

図６Ｃは、「記録期間」における撮像装置１の動作の流れを説明するための図である。撮像素子２から画像が送出されてから表示部５に画像が表示されるまでの表示動作は、図６Ｂに示す「記録準備期間」における撮像装置１の表示動作と同様であるため説明を省略し、ここでは撮像素子２から画像が送出されてから記録部１３に画像が記録されるまでの記録動作のみを説明する。

まず、撮像素子２は、被写体を撮像した画像をバス１６を介して記憶部４に送出する。
次に、画像処理部７は、記憶部４に記憶される画像をバス１６を介して読み出し、その画像に対してベイヤー補間処理、色マトリクス変換処理、及び輪郭強調処理等の画像処理を行う。

次に、記録圧縮伸長部１４は、画像処理部７により画像処理された画像をＪＰＥＧ圧縮してバス１６を介して記憶部４に記憶する。なお、本実施形態では、この記録圧縮処理後の画像のデータ量が、記録圧縮処理前の画像のデータ量の１／５になるように、記録圧縮伸長部１４の記録圧縮率が設定されているものとする。

そして、記憶部４に記憶される画像がバス１６を介して読み出された後、記録部１３に記録される。
本実施形態の撮像装置１の「記録期間」においても、撮像素子２により得られる画像に対して画像処理、表示圧縮、及び表示伸長を行った後、リサイズしている。そのため、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４から画像処理部７に送出される画像のデータ量がＡ［ＭＢ／ｓ］、表示圧縮部８から記憶部４に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］、記憶部４から表示伸長部９に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］、記録圧縮伸長部１４から記憶部４に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］、記憶部４から記録部１３に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ／５＋Ａ／５＋Ａ／５＋Ａ／５＝１４Ａ／５＝１１２Ａ／４０［ＭＢ／ｓ］になる。

一方、上記従来の撮像装置における「記録期間」では、図７Ｂに示すように、撮像素子２により得られる画像に対して画像処理を行った後、リサイズして表示する。また、撮像素子２により得られる画像に対して画像処理を行った後、圧縮して記録する。そのため、記録圧縮処理後の画像のデータ量が記録圧縮処理前の画像のデータ量の１／５になる場合、撮像素子２から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４から画像処理部７に送出される画像のデータ量がＡ［ＭＢ／ｓ］、画像処理部７から記憶部４に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記憶部４からリサイズ部６に送出される画像のデータ量がＡ［ＭＢ／ｓ］、記録圧縮伸長部１４から記憶部４に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］、記憶部４から記録部１３に送出される画像のデータ量がＡ／５［ＭＢ／ｓ］になり、バス１６の帯域はＡ＋Ａ＋Ａ＋Ａ＋Ａ／５＋Ａ／５＝２２Ａ／５＝１７６Ａ／４０［ＭＢ／ｓ］になる。

従って、図８に示すように、「記録期間」において、本実施形態の撮像装置１におけるバス１６の帯域（１１２Ａ／４０）は、従来の撮像装置におけるバス１６の帯域（１７６Ａ／４０）よりも小さくすることができる。

本実施形態の撮像装置１では、画像処理後の画像に対して表示圧縮を行った後、その画像を記憶部４に記憶し、その記憶部４に記憶された画像に対して伸長を行っているので、バス１６の帯域を低減することができ、その低減したバス１６の帯域を利用して連写速度を向上させることができる。

また、本実施形態の撮像装置１では、フレーム単位で更新される表示圧縮用量子化テーブル１９−４に基づいて生成された記録圧縮用量子化テーブル２０−３を使用して記録用の画像に対してＪＰＥＧ圧縮を行っているので、通常、記録圧縮用量子化テーブルを生成するためのステップと、その記録圧縮用量子化テーブルを使用してＪＰＥＧ圧縮を行うためのステップの２つのステップが必要なところを、記録圧縮用量子化テーブル２０−３を使用してＪＰＥＧ圧縮を行う１つのステップで済むため、１フレームの画像の記録処理にかかる時間を短縮することができ、その短縮した時間を利用して連写速度を向上させることができる。

また、本実施形態の撮像装置１では、「表示のみ期間」において、画像をリサイズした後に、画像処理、表示圧縮、及び表示伸長を行っているので、画像処理、表示圧縮、及び表示伸長を行った後に、画像をリサイズする従来の撮像装置と比べて、画像処理、表示圧縮、及び表示伸長のそれぞれで処理すべき画素数を削減することができ、その分バス１６の帯域を低減することができる。これにより、その低減したバス１６の帯域を利用してさらに連写速度を向上させることができる。また、その低減したバス１６の帯域を、1枚の画像を処理する際に、記憶部４から複数回画像データの授受を繰り返して画像処理を行うよう利用して表示画像を高画質化させてもよい。

また、本実施形態の撮像装置１では、「記録準備期間」又は「記録期間」において、画像処理、表示圧縮、及び表示伸長を行った後に、画像をリサイズしているので、表示部５に表示されている画像と、実際に撮像素子２で得られた画像とで画角が異なっていても、表示圧縮用量子化テーブル１９−４に基づいて生成された記録圧縮用量子化テーブル２０−３を使用して表示圧縮を行うことができる。

また、「記録期間」において表示部５に表示される画像は、撮影シャッタ３が押された瞬間に画角がぶれていないかなど被写体が的確に捉えられているかを確認するために利用される程度であるため、「表示のみ期間」や「記録準備期間」において表示部５に表示された画像よりも情報価値が低い。すなわち、「記録期間」において、表示圧縮部８の表示圧縮率を高くしても問題がないことが多いため、図５や図９に示すように、「記録期間」における表示圧縮部８の表示圧縮率が、「表示のみ期間」又は「記録準備期間」における表示圧縮部８の表示圧縮率よりも高くなるように構成してもよい。図９に示す例では、「記録期間」における表示圧縮部８の表示圧縮率を１／１０にしている。

これにより、「記録期間」における表示圧縮部８の表示圧縮率を高くする分、バス１６の帯域に余裕をもたせることができるので、その余裕分を連写処理や高画質化に使用させることができさらに連写速度や高画質化を向上させることができる。

また、「表示のみ期間」又は「記録準備期間」では、記録部１３に画像を記録する必要がないため、「記録期間」に比べて、バス１６の帯域に余裕が生まれる。そのため、図５に示すように、「表示のみ期間」又は「記録準備期間」において、表示圧縮部８の表示圧縮率を低くしても、バス１６の帯域が処理性能の律則条件にならず、高画質の画像を表示部５に表示させることができる。そのため、撮影者は、表示部５に表示される画像を見ながら被写体の状態を十分に確認したり、的確に撮影準備を行ったりすることができる。

また、上記実施形態では、ＣＰＵ１７が撮影シャッタ３から出力される撮影シャッタ３の状態を示す信号や表示拡大／縮小制御部１５から出力される表示拡大／縮小指示に基づいてバス切換え部１０〜１２の切換動作を制御したり表示圧縮部８の表示圧縮率を変更したりする構成であるが、撮影シャッタ３から出力される撮影シャッタ３の状態を示す信号や表示拡大／縮小制御部１５から出力される表示拡大／縮小指示がＣＰＵ１７を介さず直接バス切換え部１０〜１２や表示圧縮部８に入力され、それらの信号や指示に基づいてバス切換え部１０〜１２が切換動作を行ったり表示圧縮部８が表示圧縮率を変更してもよい。

本発明の実施形態の撮像装置を示す図である。 表示圧縮部を示す図である。 圧縮部を示す図である。 記録圧縮伸長部を示す図である。 バス切換え部の動作を説明するための図である。 「表示のみ期間」における本実施形態の撮像装置の動作の流れを説明するための図である。 「記録準備期間」における本実施形態の撮像装置の動作の流れを説明するための図である。 「記録期間」における本実施形態の撮像装置の動作の流れを説明するための図である。 「表示のみ期間」又は「記録準備期間」における従来の撮像装置の動作の流れを説明するための図である。 「記録期間」における従来の撮像装置の動作の流れを説明するための図である。 従来の撮像装置における記憶部のバス帯域と本実施形態の撮像装置における記憶部のバス帯域とを示す図である。 従来の撮像装置における記憶部のバス帯域と他の実施形態の撮像装置における記憶部のバス帯域とを示す図である。 表示拡大しない場合の画像と表示拡大した場合の画像と記録画像とを示す図である。

符号の説明

１ 撮像装置
２ 撮像素子
３ 撮影シャッタ
４ 記憶部
５ 表示部
６ リサイズ部
７ 画像処理部
８ 表示圧縮部
９ 表示伸長部
１０〜１２ バス切換え部
１３ 記録部
１４ 記録圧縮伸長部
１５ 表示拡大／縮小制御部
１６ バス
１７ ＣＰＵ
１８ 圧縮部
１９、２０ 量子化テーブル生成部
２１ 圧縮量検出部
１４−１ 伸長部
１８−１ ＤＣＴ変換部
１８−２ 量子化部
１８−３ ハフマン符号化部
１９−１ 表示テーブル
１９−２ ＳＦ
１９−３ 倍率決定部
１９−４ 表示圧縮用量子化テーブル
１９−５ 乗算器
２０−１ 表示テーブル
２０−２ ＳＦ
２０−４ 記録圧縮用量子化テーブル
２０−５ 乗算器

Claims (2)

1. 撮像素子と、
   撮影者により押されると、前記撮像素子により得られる画像の記録準備処理又は記録処理が開始される撮影シャッタと、
   入力される画像を記憶する記憶部と、
   入力される画像を表示する表示部と、
   入力される画像のサイズを変更するリサイズ部と、
   入力される画像に対して画像処理を行いバスを介して前記記憶部に送出する画像処理部と、
   前記バスを介して前記記憶部から送出される画像処理後の画像を圧縮し前記バスを介して前記記憶部に送出する表示圧縮部と、
   前記バスを介して前記記憶部から送出される圧縮後の画像を伸長する表示伸長部と、
   前記リサイズ部に送出する画像を、前記撮像素子により得られる画像又は前記表示伸長部から送出される画像のどちらか一方に切り換える第１のバス切換え部と、
   前記画像処理部に送出する画像を、前記リサイズ部から送出される画像又は前記撮像素子により得られる画像のどちらか一方に切り換える第２のバス切換え部と、
   前記表示部に送出する画像を、前記表示伸長部から送出される画像又は前記リサイズ部から送出される画像のどちらか一方に切り換える第３のバス切換え部と、
   入力される画像を記録する記録部と、
   前記バスを介して前記記憶部から送出される画像処理後の画像を圧縮し前記記録部に送出する記録圧縮部と、
   を備え、
   前記表示圧縮部は、入力される画像を圧縮する際に使用する表示圧縮用量子化テーブルを参照して前記記録圧縮部で使用される記録圧縮用量子化テーブルを生成し、
   前記第１〜第３のバス切換え部は、それぞれ、前記撮影シャッタが押されていないとき、前記撮像素子により得られる画像が前記リサイズ部に入力され、前記リサイズ部から送出される画像が前記画像処理部に入力され、前記表示伸長部から送出される画像が前記表示部に入力されるように画像を切り替え、前記撮影シャッタが押されているとき、前記撮像素子により得られる画像が前記画像処理部に入力され、前記表示伸長部から送出される画像が前記リサイズ部に入力され、前記リサイズ部から送出される画像が前記表示部に入力されるように画像を切り換える
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記表示圧縮部は、前記画像処理後の画像の記録期間における表示圧縮率を、前記撮影シャッタが押されていないときの表示圧縮率又は前記画像処理後の画像の記録準備期間における表示圧縮率よりも高くする
   ことを特徴とする撮像装置。