JP5883992B2 - 画素混合装置およびその動作制御方法 - Google Patents

Description

この発明は，画素混合装置ならびにその動作制御方法およびその動作制御プログラムに関する。

縮小画像を生成するために，同色画素ごとに画素混合することがある。たとえば，ベイヤ配列の固体電子撮像素子を用いて得られたカラー画像データについて画素混合が行われる場合には，画素加算比率を調整して加算画素の重心を等間隔にするもの（特許文献１），画素加算前の増幅量を調整して加算画素の重心を等間隔とするもの（特許文献２）などがある。

特開2008-98971号公報 特開2006-261789号公報

しかしながら，単純に同色画素ごとに画素混合した場合には，画素混合前の画像が高周波数成分のものかどうかが分らなくなってしまうことがある。特許文献１，２についてのものでも，画素混合前の画像が高周波数成分かどうかは分らないことがある。

この発明は，画素混合が行われても，画素混合前の画像が高周波数成分のものであったかどうかが分るようにすることを目的とする。

この発明による画素混合装置は，列方向および行方向に多数の画素が配列されている被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出する同色画素抽出手段，ならびに同色画素抽出手段によって抽出された同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合する第１の同色画素混合手段を備えていることを特徴とする。

この発明は，画素混合装置に適した動作制御方法も提供している。すなわち，この方法は，同色画素抽出手段が，列方向および行方向に多数の画素が配列されている被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出し，同色画素混合手段が，同色画素抽出手段によって抽出された同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合することを特徴とする。

この発明は，画素混合装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体も提供するようにしてもよい。

この発明によると，被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素が，列方向および行方向の少なくとも一方において異なる周期で抽出される。抽出された同色画素が，異なる周期で抽出された同色画素ごとに混合ブロック単位で混合させられる。混合させられる同色画素は，異なる周期で抽出されているものであるから，被写体像が高周波数成分であっても，混合後の同色画素のレベルが異なる。そのレベルから被写体像が高周波数成分であったかどうかが分るようになる。

同色画素抽出手段は，たとえば，列方向および行方向に多数のカラー画素が周期的に配列されているカラー被写体像において，複数のカラー画素から構成される混合ブロックに含まれている同色画素のうち少なくとも輝度にもっとも寄与する同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出するものである。

被写体像を構成する画素を得るための多数の光電変換素子を含み，被写体像を撮像する固体電子撮像素子，被写体像を固体電子撮像素子の受光面上に結像するフォーカス・レンズ，および第１の同色画素混合手段において異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色混合画素にもとづいてフォーカス・レンズのフォーカス位置を制御するフォーカス・レンズ制御手段をさらに備えるようにしてもよい。

第１の同色画素混合手段において異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色画素間にレベル差があるかどうかを判定するレベル差判定手段，およびレベル差判定手段によりレベル差があると判定されたことに応じて，被写体像にノイズ低減を行うノイズ低減手段をさらに備えるようにしてもよい。

第１の同色画素混合手段において異なる周期で抽出される同色画素に対応する光電変換素子ごとに露光時間が異なるように固体電子撮像素子を制御する撮像制御手段，および同色画素混合手段によって異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合されたことにより得られる複数の同色混合画素を，露光時間に応じたレベルで混合ブロックごとに混合する第２の同色画素混合手段をさらに備えてもよい。

第１の同色画素混合手段は，たとえば，混合ブロック単位での混合後に得られる同色混合画素の重心位置が，混合ブロック単位で同一となるように混合するものである。

同色画素抽出手段は，第１モードで，列方向および行方向に多数のカラー画素が周期的に配列されているカラー被写体像において複数のカラー画素から構成される混合ブロックに含まれる同色画素のうち輝度にもっとも寄与する第１の同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出し，輝度にもっとも寄与する同色画素以外の第２の同色画素を抽出し，第１の同色画素混合手段は，第１のモードで，混合後の重心位置が混合ブロックごとに同一となるように，同色画素抽出手段によって抽出された第１の同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合し，第２の同色画素を同色画素ごとに混合ブロック単位で混合するものでもよい。

同色画素抽出手段は，たとえば，第２のモードで，混合ブロックに含まれる同色画素のうち最も外側にある同色画素を抽出し，第１の同色画素混合手段は，たとえば，第２のモードで，同色画素抽出手段において抽出された同色画素を混合ブロックごとに混合するものである。

固体電子撮像素子の発熱量がしきい値未満かどうかを判定する発熱量判定手段，ならびに発熱量判定手段により発熱量がしきい値未満と判定されたことに応じて同色画素抽出手段および第１の同色画素混合手段を第１のモードで動作し，発熱量判定手段により発熱量がしきい値以上と判定されたことに応じて同色画素抽出手段および第１の同色画素混合手段を第２のモードで動作するように同色画素抽出手段および第１の同色画素混合手段を制御する第１の制御手段をさらに備えるようにしてもよい。

画素混合装置の電源容量がしきい値未満からどうかを判定する容量判定手段，ならびに容量判定手段により電源容量がしきい値以上と判定されたことに応じて同色画素抽出手段および第１の同色画素混合手段を第１のモードで動作し，容量判定手段により電源容量がしきい値未満と判定されたことに応じて同色画素抽出手段および第１の同色画素混合手段を第２のモードで動作するように同色画素抽出手段および第１の同色画素混合手段を制御する第１の制御手段をさらに備えてもよい。

記録指令が与えられたことに応じて第１のモードとし，記録指令が与えられなかったことに応じて第２のモードとし，第１の同色画素混合手段により混合された画素を表わすデータを記録媒体に記録する記録制御手段をさらに備えてもよい。

画素混合装置を備えた撮像装置を構成してもよい。

部分カラー画像の一例である。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 部分カラー画像の一例である。 画像部分の一例である。 画素混合を示している。 画素混合を示している。 画素混合を示している。 画素混合を示している。 ディジタル・カメラの電気的構成を示すブロック図である。 パーソナル・コンピュータの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 ディジタル・カメラの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 ディジタル・カメラの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 露光時間と信号電荷の蓄積レベルとの関係を示している。 ダイナミック・レンジが広がる様子を示している。 ダイナミック・レンジを広げる処理手順を示すフローチャートである。 ダイナミック・レンジを広げる処理手順を示すフローチャートである。 補間処理手順を示すフローチャートである。 補間処理手順を示すフローチャートである。 補間処理手順を示すフローチャートである。 補間処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。

図１は，多数のフォトダイオードの受光面上にカラー・フィルタがベイヤ配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１である。

図１の部分カラー画像１は，行方向（行数が増加する方向）および列方向（列数が増加する方向）にいずれも６つの画素10から構成されている。奇数列奇数行には，受光面上に，赤色の光成分を透過する特性を有する赤色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた赤色画素（Ｒ画素）がある。偶数列偶数行には，受光面上に青色の光成分を透過する特性を有する青色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた青色画素（Ｂ画素）がある。偶数列奇数行および奇数行偶数列には，受光面上に緑色の光成分を透過する特性を有する緑色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた緑色画素がある。この実施例では，奇数行においてＲ画素の間にある緑色画素をＧｒ画素と呼び，偶数行においてＢ画素の間にある緑色画素をＧｂ画素と呼ぶこととする。図１において，奇数行偶数列にＲ画素が配列され，偶数行奇数列にＢ画素が配列され，その他に緑色画素が配列されていてもよい。Ｂ画素と同一行にはＧｂ画素が存在し，同一列にはＧｒ画素が存在している。また，Ｒ画素と同一行にはＧｒ画素が存在し，同一列にはＧｂ画素が存在している。

図１では，ベイヤ配列にしたがった部分カラー画像１が表されているから，列方向および行方向の２画素×２画素の基本配列パターンにしたがって，画素10が繰り返されている。

また，この実施例では，列方向および行方向の３画素×３画素の画素混合ブロックＢｒが規定される。後述するように，この画素混合ブロックＢｒ内において，同色画素同士が混合させられてカラー画像が１／９に縮小させられる。但し，輝度にもっとも寄与するＧｒ画素とＧｂ画素とは同色画素であるが，画素混合においては区別され，Ｇｒ画素同士，Ｇｂ画素同士が画素混合させられる。また，画素混合ブロックＢｒは，３画素×３画素の大きさでなくともよいのはいうまでもない。

部分カラー画像１を構成する３画素×３画素の４つの画素混合ブロックＢｒで規定される画像部分のうち，左上，右上，左下および右下のそれぞれの画像部分を画像部分11，12，13および14とする。

図２から図５は，画像部分11の画素混合の様子を示している。このような同色画素混合により，混合画素の重心位置が画素混合ブロックＢｒ単位で同一となる。

図２は，画像部分11を構成するＲ画素の画素混合である。図２においては，分りやすくするために，Ｒ画素以外の画素が省略されている。

画像部分11においては，四隅の画素10がＲ画素となっている。四隅の４つのＲ画素が抽出後に混合させられ，かつ平均化された画素が画像部分11の縮小後のＲ混合画素となる。

図３は，画像部分11を構成するＧｒ画素の画素混合である。図３においては，分りやすくするために，Ｇｒ画素以外の画素の色を表わす符号が省略されている。

画像部分11においては，中央の画素10の上下がＧｒ画素となっている。これらの二つのＧｒ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｒ混合画素となる。

図４は，画像部分11を構成するＧｂ画素の画素混合である。図４においては，分りやすくするために，Ｇｂ画素以外の画素の色を表わす符号が省略されている。

画像部分11においては，中央の画素の左右がＧｂ画素となっている。これらの二つのＧｂ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｂ混合画素となる。

図５は，画像部分11を構成するＢ画素を示している。画像部分11には，中央の一つのＢ画素があるので，そのＢ画素そのものが縮小後のＢ混合画素となる。

図６から図９は，画像部分12の画素混合の様子を示している。これらにおいても図２から図５と同様に，画素混合される画素以外の画素は図示が省略されている。

図６は，画像部分12のＲ画素の画素混合である。中央の画素10の上下にＲ画素があるから，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。

図７は，画像部分12のＧｒ画素の画素混合である。四隅にＧｒ画素があるから，それらの４つのＧｒ画素が混合させられてＧｒ混合画素が生成される。

図８は，画像部分12のＧｂ画素である。中央にＧｂ画素があり，そのＧｂ画素がＧｂ混合画素とされる。

図９は，画像部分12のＢ画素である。中央の画素10の左右にＢ画素があるから，それらの二つのＢ画素が混合させられてＢ混合画素が生成される。

図10から図13は，画像部分13の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。

図10は，画像部分13のＲ画素の画素混合である。中央の画素10の左右にＲ画素があり，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。

図11は，画像部分13のＧｒ画素である。Ｇｒ画素は中央にあるので，そのＧｒ画素がＧｒ混合画素となる。

図12は，画像部分13のＧｂ画素の画素混合である。画像部分13の四隅のＧｂ画素が画素混合させられてＧｂ混合画素が生成される。

図13は，画像部分13のＢ画素の画素混合である。画像部分13の中央の画素の上下のＢ画素が画素混合させられてＢ混合画素が生成される。

図14から図17は，画像部分14の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。

図14は，画像部分14のＲ画素である。Ｒ画素は中央にあるので，そのＲ画素がＲ混合画素となる。

図15は，画像部分14のＧｒ画素である。Ｇｒ画素は，中央の画素10の左右にあるので，それらの二つのＧｒ画素が画素混合させられて，Ｇｒ混合画素となる。

図16は，画像部分14のＧｂ画素である。Ｇｂ画素は，中央の画素10の上下にあるので，それらの二つのＧｂ画素が画素混合させられて，Ｇｂ混合画素となる。

図17は，画像部分14のＢ画素である。Ｂ画素は四隅にあるので，それらの４つのＢ画素が混合させられて，Ｂ混合画素となる。このように，各色の画素である，緑色成分の画素，青色成分の画素および赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が，画素混合ブロックＢｒにおいて同一の画素位置上となるように画素混合している。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

図18は，横縞の部分カラー画像１を示している。

被写体が白黒の横縞であり，かつその白と黒との周期が画素混合ブロックＢｒの周期よりも短いものとする。たとえば，図18に示すように，第３ｎ＋１行および第３ｎ＋２行は黒色の線であり，第３ｎ＋３行は白色の線であったものとする。部分カラー画像１には，黒色の部分であることが分るようにクロス・ハッチングが付されている。クロス・ハッチングがされていない部分が白色の部分を表わしている。黒色の部分のレベルは０，白色の部分のレベルは100とする。

図19は，画像部分11を取り出したものである。

画像部分11の第１行および第２行は黒色の部分であり，第３行は白色の部分である。このような画像部分11において，上述したようにＲ画素，Ｇｒ画素，Ｇｂ画素およびＢ画素ごとに画素混合が行われると，次のようになる。

図20は，Ｒ画素の画素混合を示しており，図２に対応している。

第１行にある二つのＲ画素は黒色であり，第３行にある二つのＲ画素は白色であるから，これらのＲ画素が混合させられて，かつ平均化されることにより，図20の右側に示されているようにＲ混合画素15が得られる。Ｒ混合画素15のレベルは50となる。Ｒ混合画素15のレベルが50であることが分るように，Ｒ混合画素15は，クロス・ハッチングではなく，単なるハッチングで示されている。

図21は，Ｇｒ画素の画素混合を示しており，図３に対応している。

第１行にあるＧｒ画素は黒色であり，第３行にあるＧｒ画素は白色であるから，これらのＧｒ画素が混合させられて，かつ平均化されることにより，図21の右側に示されているようにＧｒ混合画素16が得られる。Ｇｒ混合画素16のレベルも50となる。Ｇｒ混合画素16も，レベルが50であることが分るように，クロス・ハッチングではなく，単なるハッチングで示されている。

図22は，Ｇｂ画素の画素混合を示しており，図４に対応している。

第２行にある二つのＧｂ画素はいずれも黒色であり，かつ平均化されることにより，図22の右側に示されているようにＧｂ混合画素17が得られる。Ｇｂ混合画素17のレベルは０となる。Ｇｂ混合画素のレベルが０であることが分るように，クロス・ハッチングで示されている。

図23は，Ｂ画素の画素混合を示しており，図５に対応している。

第２行にあるＢ画素は黒色であるので，図23の右側に示されているようにＢ混合画素のレベルも０である。Ｂ混合画素のレベルが０であることが分るように，クロス・ハッチングで示されている。

図21の右側に示されているＧｒ混合画素16と図22の右側に示されているＧｂ混合画素17とを比較すると分るように，これらのＧｒ混合画素16のレベルとＧｂ混合画素17のレベルとの間に差が生じるので，画素混合前の部分カラー画像１（カラー画像，被写体像）が高周波数成分（この場合，縦方向の高周波成分）の画像であったことが分る。

Ｇｒ画素とＧｂ画素との平均を緑色画素の混合画素することにより，Ｇ混合画素が得られるようになる。Ｇ混合画素，Ｒ混合画素およびＢ混合画素から縮小画像が得られるようになる。このように，この実施例では，列方向および行方向の少なくとも一方において，異なる周期で同色画素が抽出され，抽出された同色画素が，異なる周期で抽出された複数の同色画素ごとに画素混合ブロックＢｒ単位で混合させられることとなる。

図20から図23は，画像部分11についてのものであったが，その他の画像部分12から14についても同様に，Ｇｒ混合画素とＧｂ混合画素とのレベル差にもとづいて，画素混合前の画像が高周波数成分のものであったかどうかが分るのはいうまでもない。

図24は，ディジタル・カメラの電気的構成を示すブロック図である。

ディジタル・カメラには電池26が内蔵されており，電池26からの電源が電源制御回路25を介して，ディジタル・カメラの各回路に供給される。

上述したように，ベイヤ配列の撮像素子21によって被写体が撮像されると，被写体像を表わす画像データは，高周波信号検出回路22に入力する。高周波信号検出回路22において，上述したように，画素混合ブロックＢｒごとに，Ｒ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素が生成され，それらの混合画素から入力した画像データが高周波数成分をもつものかどうかが検出される。高周波数成分をもつものであることが分ると，後述のように，種々のものに利用される。なお，上記では高周波信号検出回路22において画素混合を行い，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素を生成するようにしたが，これに限られず，撮像素子21からカラー画像データを読み出す段階，または出力する段階で画素混合を行うようにしてもよい。これにより処理速度を向上することができる。

高周波数信号検出回路22において上述のようにＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素が生成されると，さらに，Ｇｒ混合画素とＧｂ混合画素とが混合させられて，Ｇ混合画素が生成される。これにより，縮小画像を表わす画像データが生成される。縮小画像を表わす画像データはメモリ23に与えられ，一時的に記憶される。

縮小画像を表わす画像データはメモリ23から読み出され，表示処理回路24に与えられる。表示処理回路24によって縮小画像を表わす画像データが表示装置27に与えられることにより，表示装置27に縮小画像が表示される。

図25および図26は，他の実施例を示すものである。

図25は，パーソナル・コンピュータの電気的構成を示すブロック図である。

パーソナル・コンピュータの全体の動作は，ＣＰＵ30によって統括される。

ＣＰＵ30には，通信装置31，メモリ32，キーボードなどの入力装置33および表示装置34が接続されている。また，パーソナル・コンピュータには，ハードディスク38およびハードディスク38にアクセスするハードディスク・ドライブ37ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ35も含まれている。

上述した処理を行うプログラムが格納されているCD-ROM36がCD-ROMドライブ35に装填され，CD-ROM36からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM36に格納されていなくともネットワークを介して送信されたプログラムを通信装置31において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。

図26は，図25に示すパーソナル・コンピュータの処理手順を示すフローチャートである。

上述したように撮像素子によって撮像されたカラー画像データがハードディスク38に記録されており，そのハードディスク38からカラー画像データが読み取られる（ステップ41）。

上述のように，画素混合ブロックＢｒにおいて，Ｇｒ画素とＧｂ画素とが別々に混合させられ（ステップ42），Ｇｒ混合画素とＧｂ混合画素とが得られる。すると，得られたＧｒ混合画素とＧｂ混合画素とにレベル差があるかどうかが確認される（ステップ43）。

レベル差があると判断されると（ステップ43でＹＥＳ），ハードディスク38から読み取られた画像データによって表わされる被写体像は高周波画像と判断される（ステップ44）。レベル差が無いと判断されると（ステップ43でＮＯ），その被写体像は高周波画像ではないと判断される（ステップ45）。

図27および図28は，他の実施例を示すものである。この実施例は，上述したようにして得られるＧｒ混合画素とＧｂ混合画素とから，ディジタル・カメラのピントが合っているかどうかを判断するものである。

図27は，ディジタル・カメラの電気的構成を示すブロック図である。この図において，図24に示すものと同一物については同一符号を付して説明を省略する。

撮像素子21の前方には，フォーカス・モータ52によって制御されるフォーカス・レンズ51が設けられている。

上述のように，撮像素子21から出力された画像データは，フォーカス検知回路53に入力する。フォーカス検知回路53において，上述したようにＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素が生成される。詳しくは後述するように，生成されたＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素を用いてピントが合っているかどうかが検出される。ピントが合っていない場合には，フォーカス制御回路54によってフォーカス・モータ52が駆動させられ，フォーカス・レンズ51が位置決めさせられる。なお，上記ではフォーカス検知回路53において画素混合を行い，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素を生成するようにしたが，これに限らず，撮像素子21からカラー画像データを読み出す段階，または出力する段階で画素混合を行うようにしてもよい。これにより処理速度を向上することができる。

ピントが合うと，フォーカス検知回路53において，Ｇｒ混合画素およびＧｂ混合画素が混合させられてＧ混合画素が生成される。生成されたＲ混合画素，Ｂ混合画素およびＧ混合画素によって表わされる縮小画像が表示装置27に表示される。

図28は，図24に示すディジタル・カメラの処理手順を示すフローチャートである。

フォーカス・モータ52によってフォーカス・レンズ51が移動させられる（ステップ61）。その移動位置において，撮像素子21によって被写体が撮像され，被写体像を表わす画像データがフォーカス検知回路53に入力する。フォーカス検知回路53において上述のように，Ｇｒ画素とＧｂ画素とが別々に混合させられて，Ｇｒ混合画素およびＧｂ混合画素が生成される（ステップ62）。生成されたＧｒ混合画素とＧｂ混合画素とのレベル差が検出され（ステップ63），そのレベル差の有無が判定される（ステップ64）。

レベル差があると（ステップ64でＹＥＳ），上述したように，撮像素子21からは高周波画像データが高周波信号検出回路22に入力したと判定される（ステップ65）。高周波信号検出回路22に高周波画像データが入力すると，その画像データによって表わされる被写体像はぼけていないこととなるので，ピントが合っていると判定される（ステップ66）。レベル差がないと（ステップ64でＮＯ），高周波画像データは高周波信号検出回路22に入力していないと判定される（ステップ67）。その画像データによって表わされる被写体像はぼけていると考えられるので，ピントが合っていないと判定される（ステップ68）。フォーカス・レンズ51が移動させられと，再びステップ62からの処理が繰り返される。

図29および図30は，他の実施例を示すものである。

図29は，ディジタル・カメラの電気的構成を示すブロック図である。この図においても図１等に示すものと同一物については同一符号を付して説明を省略する。

ディジタル・カメラにはモード設定スイッチ57が含まれており，動画撮影モード，動画記録モードなどの設定が可能である。動画撮影モードは，被写体を動画撮影し，表示装置27の表示画面に表示するモードであり，動画記録モードは，動画データをメモリ・カード59に記録するモードである。

また，撮像素子21の発熱量を検出する発熱量検出回路29も設けられている。発熱量を示す信号は制御回路28に入力する。制御回路28において，撮像素子21の発熱量が所定以上となってしまっているかどうかが判断される。

図24に示すものと同様に，撮像素子21から出力した画像データは高周波信号検出回路22に入力し，画像データが高周波数成分をもつものかどうかが検出される。高周波数成分をもつものである場合，エッジ方向判別回路71において，画素混合ブロックＢｒごとに被写体像のエッジ方向が判別される。判別されたエッジ方向に対応したフィルタを用いて，方向別フィルタ処理回路72において，画像データがフィルタ処理される。これにより，エッジを保持しつつノイズ低減が実現できる。

動画記録モードが設定されていると，上述のようにして得られた画像データが記録制御回路58の制御のもとにメモリ・カード59に記録されることとなる。

図30は，図24に示すディジタル・カメラの処理手順を示すフローチャートである。

撮像された画像データが読み取られ（ステップ81），高周波信号検出回路22においてＧｒ画素とＧｂ画素とが別々に混合させられる（ステップ82）。この混合により得られたＧｒ混合画素の画素値とＧｂ混合画素の画素値とから，縦方向（行方向）において連続してレベル差があるかどうかが判定される（ステップ83）。縦方向において連続してレベル差がある場合には（ステップ83でＹＥＳ），縦方向（行方向）にエッジがあると考えられるので（エッジのラインが横方向），そのエッジが保持されるように縦方向にノイズ低減特性を有するフィルタ処理が行われる（ステップ84）。

縦方向において連続してレベル差が無い場合には（ステップ83でＮＯ），Ｇｒ混合画素の画素値とＧｂ混合画素の画素値とから，横方向に連続してレベル差があるかどうかが判定される（ステップ85）。横方向に連続してレベル差がある場合には（ステップ85でＹＥＳ），横方向にエッジがあると考えられるので（エッジのラインが縦方向），そのエッジが保持されるように横方向にノイズ低減特性を有するフィルタ処理が行われる（ステップ86）。

エッジが保持された状態でノイズ低減処理が行われるようになる。

図31から図34は，他の実施例を示すものである。この実施例は，Ｇｒ画素を得るための撮像素子のフォトダイオードの露光時間とＧｂ画素を得るための撮像素子のフォトダイオードの露光時間とを変えるものである。

図31は，撮像素子のフォトダイオードとそのフォトダイオードに蓄積される信号電荷のレベル（信号電荷量）との関係を示している。横軸が露光時間であり，縦軸が信号電荷のレベルである。

露光時間に比例して，フォトダイオードに蓄積される信号電荷の量は増加していく。しかしながら，露光時間ｔ２となり，信号電荷のレベルがＬ２となる，フォトダイオードに蓄積される信号電荷は飽和してしまう。

この実施例では，Ｇｒ画素を得るためのフォトダイオードとＧｂ画素を得るためのフォトダイオードとの露光時間の比率が２：１とされる。たとえば，Ｇｒ画素を得るためのフォトダイオードは時間ｔ２まで露光されるのに対し，Ｇｂ画素を得るためのフォトダイオードは時間ｔ１までとなる。C-MOSの撮像素子を利用し，Ｇｒ画素を得るためのフォトダイオードに蓄積された信号電荷の掃き出しタイミングと，Ｇｂ画素を得るためのフォトダイオードに蓄積された信号電荷の掃き出しタイミングとを切り替えることにより，露光時間を容易に変えることができるのはいうまでもない。

図32は，このようにして得られる信号電荷によって表わされる露光時間と画素のレベルとの関係を示している。

上述のように異なる露光時間により得られるＧｒ画素とＧｂ画素とを混合することにより，ダイナミック・レンジの広い画像データが得られるようになる。たとえば，露光時間が長いＧｒ画素は飽和しやすいために低輝度側の割合を多くし，露光時間が短いＧｂ画素は飽和しにくいために高輝度側の割合が多くなるように混合する。

図33および図34は，上述したようにダイナミック・レンジを広げる処理手順を示すフローチャートである。図29に示すディジタル・カメラを利用することができる。

まず，所望のダイナミック・レンジとなるようにディジタル・カメラが設定される（ステップ91）。たとえば，表示装置27の表示画面にタッチ・パネルを形成し，表示画面にダイナミック・レンジ設定メニューを表示させることにより，ダイナミック・レンジを設定することができる。設定されたダイナミック・レンジをもつように，Ｇｒ画素とＧｂ画素とのそれぞれの露光時間が算出される（ステップ92）。

制御回路28の制御のもとに撮像素子21の露光が開始され（ステップ93），短露光のフォトダイオードの信号電荷の掃き出しタイミングとなると（ステップ94でＹＥＳ），その短露光のフォトダイオードに蓄積された信号電荷が掃き出される（ステップ95）。

露光時間が終了すると（ステップ96でＹＥＳ），Ｇｒ画素とＧｂ画素とがそれぞれ別々となるように，上述のように画素混合させられる（ステップ97）。Ｇｒ混合画素とＧｂ混合画素をそれぞれ表わすデータが一時的にメモリに取り込まれ（ステップ98），露光時間の比率に応じて，上述のようにＧｒ混合画素とＧｂ混合画素とが混合させられる（ステップ99）。上述のようにダイナミック・レンジが広がった縮小画像が得られる。Ｇｒ画素とＧｂ画素以外のＲ画素およびＢ画素についても上述したように，同色画素ごとに画素混合が行われるのはいうまでもない。

図35および図36は，他の実施例を示すもので，ディジタル・カメラの処理手順を示すフローチャートである。

ディジタル・カメラは，動画記録も可能なものとする。ディジタル・カメラの電気的構成は，図29に示すものを利用できる。

モード設定スイッチ57により動画撮影モードが設定されると，ディジタル・カメラはスルー画モード（第２のモード）に設定される（ステップ101）。すると，上述したように画素混合ブロックＢｒの四隅の画素が混合させられる（ステップ102）。たとえば，図１に示す画像部分11であれば，四つのＲ画素が混合させられてＲ混合画素が生成される。同様に，画像部分12，13または14であれば，四つのＧｒ画素，Ｇｂ画素またはＢ画素が混合させられ，Ｇｒ混合画素，Ｇｂ混合画素またはＢ混合画素が生成される。一つの画素混合ブロックＢｒから一つの混合画素が得られるようになる。したがって，四つの画素混合ブロックＢｒからＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素またはＢ混合画素が得られるようになる。四つの混合画素のそれぞれを１画素と見なすと，ベイヤ配列となっている。

四つの画素混合ブロックＢｒから得られたＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素またはＢ混合画素がメモリ23に取り込まれ（ステップ103），補間処理（デモザイク処理とも言われる）により補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成される（ステップ104）。補間Ｒ画素および補間Ｂ画素は，Ｒ混合画素およびＢ混合画素そのものでよい。また，補間Ｇ画素は，Ｇｒ混合画素とＧｂ混合画素の平均画素でよい。４つの画素混合ブロック単位で一組の補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成されることとなる。そのようにして生成された補間画素によって表される画像が表示装置27の表示画面に表示されるようになる（ステップ105）。

モード設定ダイアルによって動画記録モード（第１のモード）に切り替えられると（ステップ106でＹＥＳ），混合画素ブロックＢｒ単位で上述したように同色画素の画素混合が行われる（ステップ107）。上述のように，画素ブロックＢｒごとにＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素が得られる。そのようにして得られた混合画素がメモリ23に取り込まれ（ステップ109），画素ブロックＢｒごとに補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成される（ステップ109）。そのようにして生成された補間画素によって表される画像が表示装置27の表示画面に表示されるようになる（ステップ110）。

ライブビュー・モード（動画撮影モード）のときには，迅速に画像を表示でき，動画モード（動画記録モード）のときには解像度の低下を防ぐことができるようになる。図24に示すディジタル・カメラにおいて，撮像素子21から出力された画像データを高周波信号検出回路22において単に通過させ，その画像データについて表示処理ブロックにおいて上述の処理を実現できる。

図37および図38は，さらに他の実施例を示すもので，ディジタル・カメラの処理手順を示すフローチャートである。この処理手順についても図29に示すディジタル・カメラを利用できる。

まず，混合画素ブロックＢｒ単位で上述したように同色画素の画素混合が行われる（ステップ122）。上述のように，画素ブロックＢｒごとにＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素が得られる。そのようにして得られた混合画素がメモリ23に取り込まれ（ステップ123），画素ブロックＢｒごとに補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成される（ステップ124）。そのようにして生成された補間画素によって表される画像が表示装置27の表示画面に表示されるようになる（ステップ125）。

制御回路28により電源26の電池残量が充分かどうかが判断される。電池残量が充分であれば（ステップ126でＹＥＳ），上述の処理が繰り返される。

電池残量が充分でなければ（ステップ126でＮＯ），上述したように画素混合ブロックＢｒの四隅の画素が混合させられる（ステップ127）。

四つの画素混合ブロックＢｒから得られたＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素またはＢ混合画素がメモリ23に取り込まれ（ステップ128），補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成される（ステップ129）。補間Ｒ画素および補間Ｂ画素は，Ｒ混合画素およびＢ混合画素そのものでよい。また，補間Ｇ画素は，Ｇｒ混合画素とＧｂ混合画素の平均画素でよい。４つの画素混合ブロック単位で一組の補間Ｒ画素，補間Ｇ画素および補間Ｂ画素が生成されることとなる。そのようにして生成された補間画素によって表される画像が表示装置27の表示画面に表示されるようになる（ステップ130）。

撮像素子が大きくなった場合にも上述のステップ127から130までの処理が行われるようにしてもよい。

以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。

この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図39は，本発明の撮影装置の一実施形態であるスマートフォン91の外観を示すものである。図39に示すスマートフォン141は，平板状の筐体142を有し，筐体142の一方の面に表示部としての表示パネル161と，入力部としての操作パネル162とが一体となった表示入力部160を備えている。また，係る筐体142は，マイクロフォン172と，スピーカ171，操作部180と，カメラ部181とを備えている。なお，筐体142の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。

図40は，図39に示すスマートフォン141の構成を示すブロック図である。図40に示すように，スマートフォンの主たる構成要素として，無線通信部150と，表示入力部160と，通話部170と，操作部180と，カメラ部181と，記憶部190と，外部入出力部200と，ＧＰＳ(Global Positioning System)受信部210と，モーションセンサ部220と，電源部230と，主制御部240とを備える。また，スマートフォン141の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部150は，主制御部240の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部160は，主制御部240の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチ・パネルであって，表示パネル161と，操作パネル162とを備える。

表示パネル161は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル162は，表示パネル161の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部240に出力する。次いで，主制御部190は，受信した検出信号に基づいて，表示パネル161上の操作位置（座標）を検出する。

図39に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン141の表示パネル161と操作パネル162とは一体となって表示入力部170を構成しているが，操作パネル172が表示パネル171を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル172は，表示パネル171外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル172は，表示パネル171に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル171に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル171の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル172が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体142の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル162で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部170は，スピーカ171やマイクロフォン172を備え，マイクロフォン172を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部240に出力したり，無線通信部150あるいは外部入出力部200により受信された音声データを復号してスピーカ171から出力するものである。また，図39に示すように，例えば，スピーカ171を表示入力部160が設けられた面と同じ面に搭載し，マイクロフォン172を筐体142の側面に搭載することができる。

操作部180は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図39に示すように，操作部180は，スマートフォン141の筐体142の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部190は，主制御部240の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部190は，スマートフォン内蔵の内部記憶部191と着脱自在な外部メモリスロットを有する外部記憶部192により構成される。なお，記憶部190を構成するそれぞれの内部記憶部191と外部記憶部192は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部200は，スマートフォン141に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン141に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン141の内部の各構成要素に伝達することや，スマートフォン141の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部210は，主制御部240の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン141の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部210は，無線通信部150や外部入出力部200（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部230は，例えば，３軸の加速度センサなどを備え，主制御部240の指示にしたがって，スマートフォン141の物理的な動きを検出する。スマートフォン141の物理的な動きを検出することにより，スマートフォン141の動く方向や加速度が検出される。係る検出結果は，主制御部240に出力されるものである。

電源部230は，主制御部240の指示にしたがって，スマートフォン141の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部240は，マイクロプロセッサを備え，記憶部190が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン141の各部を統括して制御するものである。また，主制御部240は，無線通信部150を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部190が記憶するアプリケーションソフトウェアにしたがって主制御部240が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部200を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部230は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部160に表示する等の画像処理機能を備える。画像処理機能とは，主制御部240が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部150に表示する機能のことをいう。

更に，主制御部240は，表示パネル161に対する表示制御と，操作部180，操作パネル182を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御部240は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル161の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部240は，操作部180を通じたユーザ操作を検出したり，操作パネル162を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部240は，操作パネル162に対する操作位置が，表示パネル111に重なる重畳部分（表示領域）か，それ以外の表示パネル161に重ならない外縁部分（非表示領域）かを判定し，操作パネル162の感応領域や，ソフトウェアキーの表示位置を制御するタッチ・パネル制御機能を備える。

また，主制御部240は，操作パネル162に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部181は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部181は，主制御部240の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部180に記録したり，入出力部200や無線通信部150を通じて出力することができる。図39に示すにスマートフォン141において，カメラ部181は表示入力部160と同じ面に搭載されているが，カメラ部181の搭載位置はこれに限らず，表示入力部160の背面に搭載されてもよいし，あるいは，複数のカメラ部181が搭載されてもよい。なお，複数のカメラ部181が搭載されている場合には，撮影に供するカメラ部181を切り替えて単独にて撮影したり，あるいは，複数のカメラ部181を同時に使用して撮影することもできる。

また，カメラ部181はスマートフォン141の各種機能に利用することができる。例えば，表示パネル151にカメラ部181で取得した画像を表示することや，操作パネル162の操作入力のひとつとして，カメラ部181の画像を利用することができる。また，ＧＰＳ受信部210が位置を検出する際に，カメラ部181からの画像を参照して位置を検出することもできる。更には，カメラ部181からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン141のカメラ部181の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部181からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部210により取得した位置情報，マイクロフォン172により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部210により取得した姿勢情報等などを付加して記録部190に記録したり，入出力部200や無線通信部150を通じて出力することもできる。

また，上述の実施例では，画素混合ブロックＢｒにおける混合画素の重心位置は同一となっているのはいうまでもない。

21 撮像素子
22 高周波信号検出回路（同色画素抽出手段，第１の同色画素混合手段）
28 制御回路（撮像制御手段，容量判定手段，発熱量判定手段）
29 発熱量検出回路
30 ＣＰＵ（同色画素抽出手段，第１の同色画素混合手段）
Ｂｒ 画素混合ブロック（混合ブロック）

Claims (13)

1. 列方向および行方向に多数の画素が配列されている被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出する同色画素抽出手段，
   上記同色画素抽出手段によって抽出された同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合する第１の同色画素混合手段，
   上記被写体像を構成する画素を得るための多数の光電変換素子を含み，上記被写体像を撮像する固体電子撮像素子，
   上記被写体像を上記固体電子撮像素子の受光面上に結像するフォーカス・レンズ，ならびに
   上記第１の同色画素混合手段において，異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色混合画素にもとづいて上記フォーカス・レンズのフォーカス位置を制御するフォーカス・レンズ制御手段，
   を備えた画素混合装置。
2. 上記同色画素抽出手段は，
   列方向および行方向に多数のカラー画素が周期的に配列されているカラー被写体像において，複数のカラー画素から構成される混合ブロックに含まれている同色画素のうち少なくとも輝度にもっとも寄与する同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出するものである，
   請求項１に記載の画素混合装置。
3. 上記第１の同色画素混合手段において，異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色画素間にレベル差があるかどうかを判定するレベル差判定手段，および
   上記レベル差判定手段によりレベル差があると判定されたことに応じて，上記被写体像にノイズ低減を行うノイズ低減手段，
   をさらに備えた請求項１または２に記載の画素混合装置。
4. 上記同色画素抽出手段によって，異なる周期で抽出される同色画素に対応する光電変換素子ごとに露光時間が異なるように上記固体電子撮像素子を制御する撮像制御手段，および
   上記第１の同色画素混合手段において，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合されたことにより得られる複数の同色混合画素を，露光時間に応じたレベルで混合ブロックごとに混合する第２の同色画素混合手段，
   をさらに備えた請求項１から３のうち，いずれか一項に記載の画素混合装置。
5. 上記第１の同色画素混合手段は，
   混合ブロック単位での混合後に得られる同色混合画素の重心位置が，混合ブロック単位で同一となるように混合するものである，
   請求項１から４のうち，いずれか一項に記載の画素混合装置。
6. 上記同色画素抽出手段は，第１モードで，列方向および行方向に多数のカラー画素が周期的に配列されているカラー被写体像において複数のカラー画素から構成される混合ブロックに含まれる同色画素のうち輝度にもっとも寄与する第１の同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出し，輝度にもっとも寄与する同色画素以外の第２の同色画素を抽出し，
   上記第１の同色画素混合手段は，第１のモードで，混合後の重心位置が混合ブロックごとに同一となるように，上記同色画素抽出手段によって抽出された第１の同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合し，第２の同色画素を同色画素ごとに混合ブロック単位で混合するものである，
   請求項１から５のうち，いずれか一項に記載の画素混合装置。
7. 上記同色画素抽出手段は，第２のモードで，混合ブロックに含まれる同色画素のうち最も外側にある同色画素を抽出し，
   上記第１の同色画素混合手段は，第２のモードで，上記同色画素抽出手段において抽出された同色画素を混合ブロックごとに混合するものである，
   請求項６に記載の画素混合装置。
8. 上記固体電子撮像素子の発熱量がしきい値未満かどうかを判定する発熱量判定手段，ならびに
   上記発熱量判定手段により発熱量がしきい値未満と判定されたことに応じて上記同色画素抽出手段および上記第１の同色画素混合手段を第１のモードで動作し，上記発熱量判定手段により発熱量がしきい値以上と判定されたことに応じて上記同色画素抽出手段および上記第１の同色画素混合手段を第２のモードで動作するように上記同色画素抽出手段および上記第１の同色画素混合手段を制御する第１の制御手段，
   をさらに備えた請求項７に記載の画素混合装置。
9. 画素混合装置の電源容量がしきい値未満からどうかを判定する容量判定手段，ならびに
   上記容量判定手段により電源容量がしきい値以上と判定されたことに応じて上記同色画素抽出手段および上記第１の同色画素混合手段を第１のモードで動作し，上記容量判定手段により電源容量がしきい値未満と判定されたことに応じて上記同色画素抽出手段および上記第１の同色画素混合手段を第２のモードで動作するように上記同色画素抽出手段および上記第１の同色画素混合手段を制御する第１の制御手段，
   をさらに備えた請求項７に記載の画素混合装置。
10. 記録指令が与えられたことに応じて第１のモードとし，記録指令が与えられなかったことに応じて第２のモードとし，
    第１の同色画素混合手段により混合された画素を表わすデータを記録媒体に記録する記録制御手段，
    をさらに備えた請求項７に記載の画素混合装置。
11. 請求項１から10のうち，いずれか一項に記載の画素混合装置を備えた撮像装置。
12. 同色画素抽出手段が，列方向および行方向に多数の画素が配列されている被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出し，
    同色画素混合手段が，上記同色画素抽出手段によって抽出された同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合し，
    上記被写体像を構成する画素を得るための多数の光電変換素子を含む固体電子撮像素子が，上記被写体像を撮像し，
    フォーカス・レンズが，上記被写体像を上記固体電子撮像素子の受光面上に結像し，
    フォーカス・レンズ制御手段が，上記同色画素混合手段において，異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色混合画素にもとづいて上記フォーカス・レンズのフォーカス位置を制御する，
    画素混合装置の動作制御方法。
13. 画素混合装置を制御するコンピュータが読み取り可能なプログラムであって，
    列方向および行方向に多数の画素が配列されている被写体像において，複数の画素から構成される混合ブロックに含まれる同色画素を，列方向および行方向の少なくとも一方において異なる周期で抽出させ，
    抽出された同色画素を，異なる周期で抽出された複数の同色画素ごとに混合ブロック単位で混合させ，
    上記被写体像を構成する画素を得るための多数の光電変換素子を含む固体電子撮像素子によって，上記被写体像を撮像させ，
    フォーカス・レンズによって上記被写体像を上記固体電子撮像素子の受光面上に結像させ，
    異なる周期で抽出された同色画素ごとに混合ブロック単位で混合された複数の同色混合画素にもとづいて上記フォーカス・レンズのフォーカス位置を制御させるように画素混合装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。

Images