JP4313907B2

JP4313907B2 - 撮像装置及びその制御方法

Info

Publication number: JP4313907B2
Application number: JP23971699A
Authority: JP
Inventors: 秀行蓮覚寺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-08-26
Filing date: 1999-08-26
Publication date: 2009-08-12
Anticipated expiration: 2019-08-26
Also published as: JP2001069518A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像信号処理を行う撮像装置、特に静止画の良好な信号処理を実現可能な撮像装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来より、例えばデジタルカメラでは、ＣＣＤ等の撮像センサから出力される映像信号をリアルタイムに処理してＥＶＦ画像を作成する動画の信号処理と、同撮像センサから出力される映像信号を一旦ＤＲＡＭ等に記憶した後に信号処理を行う静止画の信号処理とが行われている。この信号処理は、複数の水平フィルタ処理、垂直フィルタ処理等から構成されており、水平Ｈ０、垂直Ｖ０画素の入力された映像信号を信号処理し、有効領域が水平Ｈ１、垂直Ｖ１画素の画像データを現像して出力するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような従来の撮像装置にあっては、撮像センサから出力される画像データの左辺及び右辺では、信号処理の内部のフィルタにおいて幾何学的に連続した映像信号が入力されず、適切なフィルタ処理ができない。
【０００４】
このため、水平Ｈ１は必ずＨ０より小さくなり、その量は信号処理が水平Ｎタップのフィルタと等価であるとした場合、次のようになる。
【０００５】
Ｈ１＝Ｈ０−Ｎ（Ｎが偶数の場合）
＝Ｈ０−（Ｎ−１）（Ｎが奇数の場合）
同様に垂直に対しても、信号処理が水平Ｍタップのフィルタと等価であるとした場合、次のようになる。
【０００６】
Ｖ１＝Ｖ０−Ｍ（Ｍが偶数の場合）
＝Ｖ０−（Ｍ−１）（Ｍが奇数の場合）
したがって、カメラの記録画像サイズよりも大きい有効領域を有する撮像センサを使用する必要があった。また、撮像センサの有効領域を大きくするには該撮像センサの面積を大きくする必要があり、コストがかかっていた。
【０００７】
本発明の目的は、撮像センサの有効領域により近い画像出力を実現することができ、小型で安価な撮像装置及びその制御方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明に係る撮像装置及びその制御方法は、次のように構成したものである。
【０００９】
（１）映像を電気信号に変換する撮像素子と、前記撮像素子からのアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器により変換されたデジタル映像信号を記憶する記憶手段と、前記記憶手段から読み出した映像信号を遅延する遅延手段と、前記遅延手段により遅延された映像信号を保持する保持手段と、前記遅延手段からの映像信号と前記保持手段からの映像信号の何れかを選択する選択手段と、前記選択手段により選択された映像信号に所定の信号処理を施す信号処理回路と、を備え、映像の左端の画素データを前記保持手段に保持し、該左端の次の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを前記保持手段に保持し、該右端の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うことを特徴とする撮像装置。
（２）前記記憶手段から映像信号が読み出されているとき以外は該記憶手段と前記遅延手段の動作を停止しないことを特徴とする前記（１）記載の撮像装置。
（３）撮像素子により映像を電気信号に変換し、前記撮像素子からのアナログ映像信号をデジタル信号に変換して記憶手段に格納し、前記記憶手段から読み出した映像信号を遅延し、遅延された映像信号を保持し、前記遅延した映像信号と保持した映像信号の何れかを選択し、選択された映像信号に所定の信号処理を施し、その際映像の左端の画素データを保持し、該左端の次の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを保持し、該右端の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うようにしたことを特徴とする撮像装置の制御方法。
（４）前記記憶手段から映像信号が読み出されているとき以外は記憶動作と遅延動作を停止しないようにしたことを特徴とする前記（３）記載の撮像装置の制御方法。
【００１９】
【発明の実施の形態】
以下、本発明の実施例を図面について説明する。
【００２０】
図１は本発明の第１の実施例の構成を示すブロック図であり、前述のデジタルカメラの要部を示している。
【００２１】
図１において、１は映像を電気信号に変換する撮像素子であるＣＣＤ、２はＣＣＤ１からのアナログ映像信号をデジタル信号にＡ／Ｄ変換するＡ／Ｄ変換器、３はＡ／Ｄ変換されたデジタル映像信号を記憶（保持）する記憶手段であるＤＲＡＭで、メモリ書き込み手段であるメモリコントローラ４を通じて映像信号が書き込まれる。
【００２２】
５はメモリ読み出し手段を兼ねたメモリコントローラ４によってＤＲＡＭ３から読み出された映像信号と上記Ａ／Ｄ変換された映像信号とを選択するセレクタ、６〜８はセレクタ５から出力される映像信号を遅延する遅延ライン（遅延手段）、９は映像信号に所定の信号処理を施す信号処理回路で、ここでは遅延ライン６〜８によって遅延された映像信号に対して信号処理を行う。１０は全体を制御するＣＰＵである。
【００２３】
上記ＣＣＤ１はカラーフィルタ配列を備えており、１Ｈの映像信号は点順次に二つのカラーフィルタに対応する信号を出力する。このため、図２に示すように、映像信号をＡ，Ｂの二つのグループに分けて示す。図２は映像信号を複製する領域を示す図であり、領域Ｐ１はＡ／Ｄ変換器２の出力をメモリコントローラ４がＤＲＡＭ３に書き込む領域である。ＣＰＵ１０は図２に示すように、１ライン毎に、ＣＣＤ１のカラーフィルタの１周期と等しい画素分である２画素を、１ラインの先頭と最後から所定回数複製し、それぞれ領域Ｐ２、領域Ｐ３の映像信号を作成する。
【００２４】
そして、ＣＰＵ１０からの指示によって、メモリコントローラ４は領域Ｐ１，Ｐ２，Ｐ３の映像信号を読み出し、セレクタ５を通して１Ｈの遅延ライン６に出力する。この遅延ライン６の出力は、遅延ライン７と信号処理回路９へ出力される。また遅延ライン７の出力は遅延ライン８と信号処理回路９へ出力される。これらの遅延ライン６，７，８によって３Ｈの遅延ラインが構成され、その出力を信号処理回路９が信号処理する。信号処理回路９から出力された映像信号は、メモリコントローラ４を通じてＤＲＡＭ３に書き込まれる。
【００２５】
このように、映像の両端でＣＣＤ１の水平カラーフィルタ配列の繰り返し周期と等しい画素分の画像データを複数回複製し、該複製した領域を含む映像信号に対して信号処理を行うことにより、ＣＣＤ１の有効領域により近い画像出力を実現することができ、小型で安価な撮像装置とすることができる。
【００２６】
図３は本発明の第２の実施例の構成を示すブロック図であり、図１と同一符号は同一構成要素を示している。
【００２７】
図３において、１１〜１３は遅延ライン６〜８によって遅延された映像信号を保持するラッチ（保持手段）、１４〜１６は遅延ライン６〜８からの映像信号とラッチ１１〜１３からの映像信号の何れかを選択するセレクタ（選択手段）で、選択された映像信号が信号処理回路９によって信号処理される。１７はＤＲＡＭ３に対する映像信号の書き込み手段及び読み出し手段を構成しているメモリコントローラ４、遅延ライン６〜８、ラッチ１１〜１３及びセレクタ１４〜１６を制御して映像の左右両端（両辺）で画像データの複製を行う複製コントローラ（制御手段）である。
【００２８】
上記のように構成されたデジタルカメラにおいて、映像信号の左端においては、複製コントローラ１７の制御によって左端の映像信号をラッチ６に保持し、左端から２番目の映像信号が遅延ライン６から出力された状態でメモリ読み出し動作と遅延動作を停止し、所定期間セレクタ１４によって遅延ライン６とラッチ１１の出力を交互に選択して信号処理回路９で信号処理を行う。
【００２９】
また、映像信号の右端においては、同様に複製コントローラ１７の制御によって右端の一つ手前の映像信号をラッチ１１に保持し、右端の映像信号が遅延ライン６から出力された状態でメモリ読み出し動作と遅延動作を停止し、所定期間セレクタ１４によって遅延ライン６とラッチ１１の出力を交互に選択して信号処理回路９で信号処理を行う。
【００３０】
そして、ＤＲＡＭ３から映像信号が読み出されているとき以外は、ＤＲＡＭ３の記憶動作と遅延ライン６〜８の遅延動作は停止しないようにしている。
【００３１】
すなわち、静止画の信号処理時には、デジタル化された映像信号はメモリコントローラ４によってＤＲＡＭ３に書き込まれた後に、メモリコントローラ４によって読み出され、セレクタ５を通り、１Ｈの遅延ライン６に送られる。このとき、遅延ライン６、遅延ライン７、遅延ライン８の三つの遅延ラインによって３Ｈの遅延ラインが構成されている。
【００３２】
上記各遅延ライン６，７，８の出力は、複製コントローラ１７の制御によってラッチ１１，１２，１３にそれぞれ保持される。また信号処理回路９に入力される映像信号は、セレクタ１４，１５，１６の出力であり、セレクタ１４は複製コントローラ１７の制御によって、遅延ライン６の出力とラッチ１１の出力から何れかを選択し、セレクタ１５は複製コントローラ１７の制御によって、遅延ライン７の出力とラッチ１２の出力から何れかを選択し、セレクタ１６は複製コントローラ１７の制御によって、遅延ライン８の出力とラッチ１３の出力から何れかを選択する。
【００３３】
また、信号処理回路９は入力された映像信号を信号処理し、画像データを作成して出力する。この信号処理回路９から出力された画像データは、メモリコントローラ４によってＤＲＡＭ３に書き込まれる。
【００３４】
図４は映像信号の左端での画像データの複製を行うタイミングを示す図であり、遅延ライン６の出力（ＣＬＫ）、ラッチ１１の出力、セレクタ１４の出力、メモリコントローラ４の制御信号、遅延ライン６の動作制御信号、ラッチ１１の保持制御信号、及びセレクタ１４の選択制御信号を示している。同様に、図５は映像信号の右端での画像データの複製を行うタイミングを示す図である。
【００３５】
映像信号の左端においては、複製コントローラ１７は図４に示すように、メモリコントローラ４の映像信号の読み出しと、遅延ライン６，７，８の遅延動作と、ラッチ１１，１２，１３の保持動作と、セレクタ１４，１５，１６の選択動作を制御することによって、映像信号の複製を行う。また、ＣＣＤ１はカラーフィルタ配列を備えており、１Ｈの映像信号は点順次に二つのカラーフィルタに対応する信号を出力する。このため図４においては、映像信号をＡ，Ｂの２つのグループに分けて示している。
【００３６】
図４において、時刻ｔ１では、メモリコントローラ４の制御信号はＨｉｇｈ（高レベル）であり、この制御信号がＨｉｇｈの期間はメモリコントローラ４はＤＲＡＭ３からデジタル化された映像信号を読み出す。遅延ライン６の動作制御信号もＨｉｇｈであり、この制御信号がＨｉｇｈの期間は遅延ライン６はメモリコントローラ４からの出力を取り込み、１Ｈ遅延した映像信号を出力する。また、ラッチ１１の保持動作制御信号はＨｉｇｈであり、この制御信号がＨｉｇｈの期間はラッチ１１はラッチしたデータを保持する。セレクタ１４の選択制御信号はＬｏｗ（低レベル）であり、この制御信号がＬｏｗの期間はセレクタ１４は遅延ライン６の出力を選択する。
【００３７】
時刻ｔ２では、遅延ライン６から左端の最初の映像信号であるＡ０が出力される。複製コントローラ１７はラッチ１１の保持制御信号をＨｉｇｈにし、次のサイクルにおいてラッチ１１がデータを取り込むように制御する。
【００３８】
時刻ｔ３においては、遅延ライン６から左端から２番目の映像信号であるＢ０が出力される。複製コントローラ１７は、メモリコントローラ４の制御信号をＬｏｗにし、時刻ｔ６までの期間ＤＲＡＭ３からの読み出しを停止する。また、遅延ライン６の動作制御信号をＬｏｗにし、時刻ｔ６までの期間遅延ライン６の動作を停止する。また、ラッチ１１の保持動作制御信号をＨｉｇｈにし、ラッチ１１に映像信号Ａ０を保持させる。
【００３９】
時刻ｔ４においては、遅延ライン６の制御信号（Ｌｏｗ）によって遅延ライン６の出力は前のサイクルの状態のまま保持される。複製コントローラ１７はセレクタ１４の選択制御信号をＨｉｇｈにする。これによって、セレクタ１４はラッチ１１の出力を選択する。このサイクルから時刻ｔ６までは、セレクタ１４の選択制御信号はトグル動作を行い、これによってセレクタ１４は映像信号Ａ０とＢ０を交互に出力する。
【００４０】
時刻ｔ５においては、メモリコントローラ４の制御信号及び遅延ライン６の動作制御信号はＨｉｇｈになり、次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を再開する。
【００４１】
時刻ｔ６では、遅延ライン６から左端から３番目の映像信号Ａ１が出力される。複製コントローラ１７はセレクタ１４の選択制御信号のトグル動作を停止し、Ｌｏｗの状態を続ける。同様に、複製コントローラ１７は、遅延ライン７，８とラッチ１２，１３とセレクタ１５，１６をそれぞれ制御することによって、左端での映像信号の複製を行う。
【００４２】
また、映像信号の右端においては、複製コントローラ１７は図５に示すように、メモリコントローラ４の映像信号の読み出しと、遅延ライン６，７，８の動作と、ラッチ１１，１２，１３の保持動作と、セレクタ１４，１５，１６の選択を制御することによって、映像信号の複製を行う。
【００４３】
図５の時刻ｔ７においては、複製コントローラ１７はメモリコントローラ４の制御信号をＨｉｇｈにかつ遅延ライン６の動作制御信号もＨｉｇｈにし、これにより遅延ライン６から映像信号が読み出される。このとき読み出される映像信号は、１ラインの水平サイズを２ｎとするＢｎ−２である。セレクタ１４の選択制御信号はＬｏｗであり、セレクタ１４は遅延ライン６の出力を選択する。
【００４４】
時刻ｔ８においては、複製コントローラ１７はラッチ１１の保持動作制御信号をＬｏｗにし、これによって次のサイクルにラッチ１１は遅延ライン６の出力をラッチする。
【００４５】
時刻ｔ９においては、複製コントローラ１７はメモリコントローラ４の制御信号及び遅延ライン６の動作制御信号をＬｏｗにし、これによって次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を停止する。また、ラッチ１１の保持動作制御信号をＨｉｇｈにし、１ラインの最後から２番目の映像信号であるＡｎ−１の保持を行う。
【００４６】
時刻ｔ９では、遅延ライン６から１ラインの最後の映像信号であるＢｎ−１が読み出される。
【００４７】
時刻ｔ１０では、複製コントローラ１７はセレクタ１４の選択制御信号をＨｉｇｈにする。これによって、セレクタ１４はラッチ１１の出力を選択する。このサイクルから時刻ｔ１２までは、セレクタ１４の選択制御信号はトグル動作を行い、これによってセレクタ１４は映像信号Ａｎ−１とＢｎ−１を交互に出力する。
【００４８】
時刻ｔ１１では、メモリコントローラ４の制御信号及び遅延ライン６の動作制御信号はＨｉｇｈになり、次のサイクルからＤＲＡＭ３からの映像信号の読み出しと遅延ライン６の動作を再開する。
【００４９】
時刻ｔ１２では、複製コントローラ１７はセレクタ１４の選択制御信号のトグル動作を停止し、Ｌｏｗの状態を続ける。同様に、複製コントローラ１７は、遅延ライン７，８とラッチ１２，１３とセレクタ１５，１６をそれぞれ制御することによって、右端での映像信号の複製を行う。
【００５０】
また、動画の信号処理時には、ＣＣＤ１から出力される映像信号を停止することはできない。このため、遅延ライン６，７，８の動作を停止することができない。したがって、複製コントローラ１７は、遅延ライン６，７，８の動作制御信号を常にＨｉｇｈにし、ラッチ１１，１２，１３の保持動作制御信号も常にＨｉｇｈにし、セレクタ１４，１５，１６の選択制御信号は常にＬｏｗにし、セレクタ１４，１５，１６がそれぞれ遅延ライン６，７，８の出力を選択するように制御を行い、映像信号の複製は行わない。
【００５１】
なお、本実施例においては、撮像センサのカラーフィルタの水平繰り返し周期を２として、遅延ライン６，７，８の出力を保持するためにラッチ１１，１２，１３を使用したが、水平繰り返し周期が２より大きい場合には、遅延ライン６，７，８の出力を保持するためのラッチの段数を増やし、セレクタ１４，１５，１６の選択制御を変更することによって容易に対応することができる。この場合、必要なラッチの数は遅延ライン一つに対して（撮像センサのカラーフィルタの水平繰り返し周期−１）個である。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、映像の左右両端において画像データの複製を行うことによって、映像の左右両端での信号処理におけるデジタルフィルタの演算が安定する。このため、撮像素子の有効映像信号領域により近い画像データを記録することができる。また、記録する画像データの大きさが従来と同じ大きさの場合、従来より少ない画素数の撮像素子を使用することができ、コストダウン、装置の小型化、少消費電力化を図ることができる。
【００５３】
また、遅延手段からの読み出し後に映像信号の複製を行うことにより、複製のために遅延手段の記憶容量を増やす必要がなくなり、かつＣＰＵで映像信号の左右両端の複製をする必要がなく、ＣＰＵのタイム及び映像信号を格納する記憶手段の容量を削減することができ、経済的である。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示すブロック図
【図２】映像信号の複製を行う領域を示す図
【図３】本発明の第２の実施例の構成を示すブロック図
【図４】映像信号の左端での複製を行うタイミングを示す図
【図５】映像信号の右端での複製を行うタイミングを示す図
【符号の説明】
１ＣＣＤ（撮像素子）
２Ａ／Ｄ変換器
３ＤＲＡＭ（記憶手段）
４メモリコントローラ（書き込み手段，読み出し手段）
５セレクタ
６遅延ライン（遅延手段）
７遅延ライン（遅延手段）
８遅延ライン（遅延手段）
９信号処理回路
１０ＣＰＵ
１１ラッチ（保持手段）
１２ラッチ（保持手段）
１３ラッチ（保持手段）
１４セレクタ（選択手段）
１５セレクタ（選択手段）
１６セレクタ（選択手段）
１７複製コントローラ（制御手段）

Claims

映像を電気信号に変換する撮像素子と、前記撮像素子からのアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器により変換されたデジタル映像信号を記憶する記憶手段と、前記記憶手段から読み出した映像信号を遅延する遅延手段と、前記遅延手段により遅延された映像信号を保持する保持手段と、前記遅延手段からの映像信号と前記保持手段からの映像信号の何れかを選択する選択手段と、前記選択手段により選択された映像信号に所定の信号処理を施す信号処理回路と、を備え、映像の左端の画素データを前記保持手段に保持し、該左端の次の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを前記保持手段に保持し、該右端の画素データが前記遅延手段から出力された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間前記保持手段の出力と前記遅延手段の出力を交互に選択して信号処理を行うことを特徴とする撮像装置。
前記記憶手段から映像信号が読み出されているとき以外は該記憶手段と前記遅延手段の動作を停止しないことを特徴とする請求項１記載の撮像装置。
撮像素子により映像を電気信号に変換し、前記撮像素子からのアナログ映像信号をデジタル信号に変換して記憶手段に格納し、前記記憶手段から読み出した映像信号を遅延し、遅延された映像信号を保持し、前記遅延した映像信号と保持した映像信号の何れかを選択し、選択された映像信号に所定の信号処理を施し、その際映像の左端の画素データを保持し、該左端の次の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うとともに、映像の右端の一つ手前の画素データを保持し、該右端の画素データが遅延された状態で映像信号の読み出し動作と遅延動作を停止し、所定期間保持された信号と遅延された信号を交互に選択して信号処理を行うようにしたことを特徴とする撮像装置の制御方法。
前記記憶手段から映像信号が読み出されているとき以外は記憶動作と遅延動作を停止しないようにしたことを特徴とする請求項３記載の撮像装置の制御方法。