JP2023516410A - イメージセンサおよびイメージ光感知方法 - Google Patents

Abstract

本願は、イメージセンサ（７０２）およびイメージ光感知方法を提供する。イメージセンサ（７０２）は、赤色ピクセル（Ｒ）、緑色ピクセル（Ｇ）、青色ピクセル（Ｂ）および不可視光ピクセルを含み、赤色ピクセル（Ｒ）、緑色ピクセル（Ｇ）、および青色ピクセル（Ｂ）は大ピクセルであり、不可視光ピクセルは小ピクセルであり、大ピクセルの光感知面積は小ピクセルより大きい。赤色ピクセル（Ｒ）、緑色ピクセル（Ｇ）および青色ピクセル（Ｂ）はベイヤー形式で配置される。本願において、色情報が十分であるとき、大ピクセルに対する小ピクセルによって生じる光クロストークが低減され得、従って、大ピクセルの信号対雑音比が改善され得る。

Description

本願は、イメージ処理技術に関し、特に、イメージセンサおよびイメージ光感知方法に関する。

従来のベイヤー赤緑青センサ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｓｅｎｓｏｒ，ＲＧＢ Ｓｅｎｓｏｒ）のカラーフィルタアレイ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ，ＣＦＡ）は、Ｒ、ＧおよびＢの３つのピクセルを含む。異なる位置のピクセルは、Ｒ、ＧおよびＢのうち１つの色のみを感知し、モザイクカラーイメージを形成するように配置される。図１は、典型的なベイヤーＲＧＢ ＣＦＡの概略図である。アレイは２×２アレイとして配置される。最小反復単位において、第１の行はＲピクセルおよびＧピクセルを含み、第２の行はＧピクセルおよびＢピクセルを含む。ＲＧＢセンサに基づいて、赤緑青赤外線センサ（ＲＧＢ－ｉｎｆｒａｒｅｄ， ＲＧＢＩＲ Ｓｅｎｓｏｒ）は、Ｒピクセル、ＧピクセルまたはＢピクセルの一部を低減し、ＩＲピクセルを追加し、モザイクカラーイメージを形成する。図２は典型的なＲＧＢＩＲ ＣＦＡの概略図である。図２に示されるように、アレイは２×２アレイとして配置される。最小反復単位において、第１の行はＲピクセルおよびＧピクセルを含み、第２の行はＩＲピクセルおよびＢピクセルを含む。図３は典型的なＲＧＢＩＲ ＣＦＡの概略図である。図３に示されるように、アレイは４×４アレイとして配置される。最小反復単位において、第１の行は、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＧピクセルを含み、第２の行は、Ｇピクセル、ＩＲピクセル、Ｇピクセル、およびＩＲピクセルを含み、第３の行は、Ｂピクセル、Ｇピクセル、Ｒピクセル、およびＧピクセルを含み、第４の行は、Ｇピクセル、ＩＲピクセル、Ｇピクセル、およびＩＲピクセルを含む。

関連技術は、光感知中に赤外光から可視光（赤色光、緑色光、および青色光を含む）を分離できるイメージセンサの設計ソリューションを提供する。ＩＲ遮断（ｃｕｔ－ｏｆｆ）フィルタレイヤが、赤、緑、青の３色のピクセルユニットに追加された後に、ＩＲ成分は、可視光ピクセル（Ｒピクセル、Ｇピクセル、およびＢピクセルを含む）を光感知することによって取得される光感知結果からフィルタ除去され得る。

上記の方法によれば、可視光ピクセルにおけるＩＲ信号がフィルタ除去されるが、隣接するＩＲピクセルにおける赤外光のクロストークはなお、可視光ピクセルと干渉し、可視光ピクセルの信号対雑音比に影響する。

本願は、色情報が十分なとき、大ピクセルに対する小ピクセルによって生じる光クロストークを低減し、大ピクセルの信号対雑音比を改善するために、イメージセンサおよびイメージ光感知方法を提供する。

第１の態様によれば、本願はイメージセンサを提供する。イメージセンサは、赤色ピクセル、緑色ピクセル、青色ピクセルおよび不可視光ピクセルを含む。赤色ピクセル、緑色ピクセルおよび青色ピクセルは大ピクセルであり、不可視光ピクセルは小ピクセルであり、大ピクセルの光感知面積は小ピクセルより大きい。赤色ピクセル、緑色ピクセルおよび青色ピクセルはベイヤー形式で配置される。

本願において提供されるイメージセンサは、大ピクセルおよび小ピクセルを含むピクセルアレイを使用する。大ピクセルは、従来のＲＧＢセンサと一致するベイヤーＲＧＢ ＣＦＡ形式であり、大ピクセルの光感知面積は小ピクセルより大きく、その結果、大ピクセルに基づいて取得された色情報は低減されないことがあり得、可視光イメージの解像度は減少しないことがあり得、既存のデモザイクアルゴリズムが直接に再使用されて既存の画像信号プロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＩＳＰ）にシームレスに埋め込まれ得る。加えて、大ピクセルの光感知面積は小ピクセルより大きい。それに対応して、大ピクセルの光感度は、小ピクセルより大きい。従って、光ピクセルは大ピクセルとして設計され得、これにより、可視光のイメージング品質を改善してより正確な色情報を取得する。加えて、大ピクセル（可視光ピクセル）に隣接する小ピクセル（不可視光ピクセル）の面積は小さい。これにより、不可視光ピクセルと可視光ピクセルとの間の接触範囲を大きく低減し、可視光ピクセルに対する不可視光ピクセルによって生じる光クロストークを低減し、可視光ピクセルによって取得される色情報に対する不可視光ピクセルの光感知結果によって生じる干渉を低減する。従って、可視光イメージの色情報の信号対雑音比が更に改善される。更に、赤外線ピクセルまたは白色ピクセルが小ピクセルとして設計されるとき、詳細情報の取得は影響されないことがあり得、不可視光ピクセルが赤外線ピクセルであるとき、赤外線暗視シナリオにおいて赤外光が補足され得る。従って、赤外線ピクセルが小ピクセルとして設計されるとき、赤外線イメージング結果は影響を受けないことがあり得、不可視光ピクセルが白色ピクセルであるとき、白色光ピクセルのスペクトル反応曲線は広く、光感知能力が強い。従って、白色ピクセルが小ピクセルとして設計されるとき、白色光のイメージング結果が影響を受けないことがあり得る。本願において、イメージの色情報は、可視光ピクセルに基づいて取得され得、イメージの詳細情報は不可視光ピクセルに基づいて取得され得、色情報は詳細情報と融合され、最終的なイメージが取得される。本願において提供されるイメージセンサによれば、より正確な色情報が大ピクセルに基づいて取得され得、小ピクセルに基づいて取得される詳細情報は影響を受けないことがあり得、その結果、融合したイメージの詳細および色性能が大きく改善される。加えて、可視光ピクセルは、従来のＲＧＢセンサと一致するベイヤーＲＧＢ ＣＦＡ形式である。従って、可視光イメージは最大解像度イメージであり、ＩＲピクセルまたはＷピクセルとして使用される不可視光ピクセルは、可視光ピクセルのピクセル行とピクセル列との間に配置され得、４つの可視光ピクセルが１つの不可視光ピクセルを囲み、４つの不可視光ピクセルが１つの可視光ピクセルを囲むピクセルアレイを形成する。従って、取得される不可視光イメージも最大解像度イメージであり、大ピクセルおよび小ピクセルの設計は、可視光イメージの色情報および不可視光イメージの詳細に影響を与えない。

可能な実装において、不可視光ピクセルは、赤外線ピクセルまたは白色ピクセルを含み、白色ピクセルは、白色光を感知するために使用され、白色光は、赤色光、緑色光、青色光、および赤外光を含む。

可能な実装において、４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む。

可能な実装において、大ピクセルおよび小ピクセルの面積は、イメージセンサのクロストーク精度に基づいて設定される。

概して、ピクセルアレイにおける隣接ピクセルの中心点間の距離は固定され、距離はイメージセンサのサイズ、プロセスなどに依存する。これに基づいて、大ピクセルおよび小ピクセルの面積は、イメージセンサのクロストーク精度に基づいて設定され得る。クロストークを低減するべく、大ピクセルと小ピクセルとの面積の比率は、可能な限り大きいことが期待される。光感度を改善するべく、大ピクセルの面積が大きいことは、イメージのより正確な色情報が取得されたことを示し、小ピクセルの面積が大きいことは、イメージのより詳細な情報が取得されたことを示す。従って、大ピクセルおよび小ピクセルの最大面積が限定されるが、大ピクセルおよび小ピクセルの面積が可能な限り大きいことがなお期待される。更に、大ピクセルおよび小ピクセルの面積は、イメージセンサの精度、照度の要件、および赤外線照射器の照明強度などの要素間のバランスをとるために予め設定され得る。任意選択で、大ピクセルおよび小ピクセルの面積を設定することは、代替的に、大ピクセルおよび小ピクセルの隣接する辺の間の空間を設定することであり得る。大ピクセルおよび小ピクセルの面積が大きい場合、隣接する辺の間の空間が小さい。大ピクセルおよび小ピクセルの面積または大ピクセルと小ピクセルとの間の隣接する辺の空間が設定されるとき、上記の要素が考慮されるので、設定される大ピクセルおよび小ピクセルに基づいて、高解像度を有する色情報が取得され得るだけでなく、十分な詳細情報も補足され得る。これにより、イメージセンサによって取得される最終的なイメージのイメージング品質を改善する。

可能な実装において、大ピクセルおよび小ピクセルは、正多角形または円形である。

可能な実装において、赤色ピクセル、緑色ピクセル、および青色ピクセルは、赤外線遮断フィルタレイヤに対応する。赤外線遮断フィルタレイヤは、波長が第１の予め設定された波長より大きい光信号を遮断するために使用され、波長が第１の予め設定された波長より大きい光信号は、赤外光を含む。

本願において提供されるイメージセンサによれば、赤外線遮断フィルタレイヤは、Ｒピクセル、Ｇピクセル、およびＢピクセルに対応するマイクロレンズ上にコーティングされ、Ｒピクセル、ＧピクセルおよびＢピクセルに到達しないように赤外光を遮断して、ＩＲ信号を可視光ピクセルの光感知結果から除去する。従って、光感知結果の色はより正確で、これにより、センサの光感知効果を改善する。 更に、本願において、赤外線遮断フィルタレイヤは、コーティング技術を使用することによってマイクロレンズ上にコーティングされ得る。従って、複雑な機械構造を追加する必要はない。また、マイクロレンズの下方にあるピクセルの構造は変更されない。ピクセルの比較的単純で安定した内部構造は、撮像に影響を及ぼす主光線入射角（Ｃｈｉｅｆ Ｒａｙ Ａｎｇｌｅ，ＣＲＡ）等の問題を制御することに寄与し、これにより、ピクセルの安定した構造を維持しつつ、イメージセンサの光感知効果を改善する。

可能な実装において、第１の予め設定された波長は６５０ｎｍである。この場合、赤外線遮断フィルタは、波長が可視光領域外に属するすべての光線を遮断して、波長範囲内に属するすべての赤外光が、赤色ピクセル、緑色ピクセル、および青色ピクセルに入ることができないことを確実にする。

可能な実装において、センサは更に、光フィルタレイヤを含み、光フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤを含む。各赤色ピクセルは、１つの赤色フィルタレイヤに対応し、赤色フィルタレイヤは、赤色光および第１の波長範囲における赤外光を通過させるために使用される。各緑色ピクセルは、１つの緑色フィルタレイヤに対応し、緑色フィルタレイヤは、緑色光および第２の波長範囲における赤外光を通過させるために使用される。各青色ピクセルは１つの青色フィルタレイヤに対応し、青色フィルタレイヤは、青色光および第３の波長範囲における赤外光を通過させるために使用される。第１の波長範囲における赤外光、第２の波長範囲における赤外光、および第３の波長範囲における赤外光の波長は、第１の予め設定された波長より大きい。不可視光ピクセルが赤外線ピクセルであるとき、光フィルタレイヤは更に赤外線フィルタレイヤを含む。各赤外線ピクセルは１つの赤外線フィルタレイヤに対応し、赤外線フィルタレイヤは、特定の波長範囲における赤外光を通過させるために使用される。不可視光ピクセルが白色ピクセルであるとき、光フィルタレイヤは更にオールパスフィルタレイヤまたはデュアルパスフィルタレイヤを含む。各白色ピクセルは１つのオールパスフィルタレイヤまたは１つのデュアルパスフィルタレイヤに対応し、オールパスフィルタレイヤは、フルバンド範囲における光を通過させるために使用され、デュアルパスフィルタレイヤは、赤色光、緑色光、青色光、および特定の波長範囲における赤外光を通過させるために使用される。

可能な実装において、赤外線遮断フィルタレイヤおよび／または光フィルタレイヤは、対応するピクセルのマイクロレンズ上にコーティングされる。

本願において提供されるイメージセンサによれば、赤色フィルタレイヤおよび赤外線遮断フィルタレイヤは、Ｒピクセル上にコーティングされ、Ｒピクセルの光感知結果におけるＩＲ成分をフィルタ除去し、その結果、Ｒピクセルは赤色光のみを感知し得る。それに対応して、緑色フィルタレイヤおよび赤外線遮断フィルタレイヤがＧピクセル上にコーティングされ、青色フィルタレイヤおよび赤外線遮断フィルタレイヤはＢピクセルにコーティングされ、ＧピクセルおよびＢピクセルの光感知結果におけるＩＲ成分をフィルタ除去し、その結果、Ｇピクセルは緑色光のみを感知し得、Ｂピクセルは青色光のみを感知し得る。赤外線フィルタレイヤは、ＩＲピクセル上にコーティングされ、その結果、ＩＲピクセルは赤外光のみを感知し得る。代替的に、オールパスフィルタレイヤまたはデュアルパスフィルタレイヤは、Ｗピクセル上にコーティングされ、その結果、Ｗピクセルは白色光のみを感知し得る。従って、イメージセンサによって取得される光感知結果の 色正確度が大きく改善される。

赤色フィルタレイヤは、赤外線遮断フィルタレイヤの上方または下方に配置され、緑色フィルタレイヤは赤外線遮断フィルタレイヤの上方または下方に配置され、青色フィルタレイヤは赤外線遮断フィルタレイヤの上方または下方に配置されてよいことを理解されたい。本願において、マイクロレンズをコーティングする赤外線遮断フィルタレイヤと、赤色フィルタレイヤ、緑色フィルタレイヤまたは青色フィルタレイヤとの順序は限定されない。

本願で提供されるイメージセンサによれば、赤色フィルタレイヤおよび赤外線遮断フィルタレイヤは赤色ピクセルのマイクロレンズ上にコーティングされ、緑色フィルタレイヤおよび赤外線遮断フィルタレイヤは緑色ピクセルのマイクロレンズ上にコーティングされ、青色フィルタレイヤおよび赤外線遮断フィルタレイヤは青色ピクセルのマイクロレンズ上にコーティングされ、赤外線フィルタレイヤは赤外線ピクセルのマイクロレンズ上にコーティングされる。マイクロレンズ上の赤外線遮断フィルタレイヤと、赤色フィルタレイヤ、緑色フィルタレイヤまたは青色フィルタレイヤとの間のコーティングの位置関係は限定されない。赤色フィルタレイヤ、緑色フィルタレイヤおよび青色フィルタレイヤは、赤外線遮断フィルタレイヤ上に別個にコーティングされ得る。代替的に、光線がマイクロレンズに到達する前に赤外線遮断フィルタレイヤおよび任意の可視光成分の光フィルタレイヤを最初に通過する限り、赤外線遮断フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤ、または青色フィルタレイヤ上にコーティングされ得る。

可能な実装において、赤外線遮断フィルタレイヤはマイクロレンズ上にコーティングされ、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤは、マイクロレンズの内側にコーティングされるか、または、赤色ピクセル、緑色ピクセル、および青色ピクセル内にそれぞれ配置される。可能な実装において、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤはマイクロレンズ上にコーティングされ、赤外線遮断フィルタレイヤは、マイクロレンズの内側にコーティングされるか、または、赤色ピクセル、緑色ピクセル、および青色ピクセル内に配置される。

可能な実装において、センサは更に、大ピクセルおよび小ピクセルの露光時間を別個に制御するように構成されるロジック制御回路を含む。

本願において提供されるイメージセンサによれば、大ピクセルおよび小ピクセルの露光時間は別個に制御される。例えば、赤外光が過度に強く、可視光が過度に弱いとき、大ピクセルの露光時間は増加され得、小ピクセルの露光時間は低減され得、その結果、可視光および赤外光（赤外光または白色光）のイメージング輝度のバランスがとられる傾向がある。これにより、赤外光または可視光が優勢であるときに容易に生じる露光不均衡の問題を解決し、イメージセンサの光感知のダイナミックレンジを改善し、解像度および信号対雑音比などの指標に対するユーザ要求を満たす。

可能な実装において、ロジック制御回路は、第１の制御ラインおよび第２の制御ラインを含む。大ピクセルは、第１の制御ラインに連結され、小ピクセルは第２の制御ラインに連結される。ロジック制御回路は、具体的に、第１の制御ラインに基づき、大ピクセルの露光開始時点を制御し、第２の制御ラインに基づき、小ピクセルの露光開始時点を制御するように構成されている。

可能な実装において、ロジック制御回路は更に、第１の制御ラインおよび第２の制御ラインに基づいて、大ピクセルおよび小ピクセルの露光時間が予め設定された比率を満たすよう制御するように構成される。

例えば、第１の制御ラインは、第１の制御信号を出力し、第２の制御ラインは第２の制御信号を出力する。第１の制御信号の第１の有効遷移エッジが到達したとき、大ピクセルの露光が開始する。第２の制御信号の第２の有効遷移エッジが到達したとき、小ピクセルの露光が開始する。大ピクセルおよび小ピクセルの露光時間が予め設定された比率を満たすことを可能にするべく、第１の有効遷移エッジおよび第２の有効遷移エッジの到達時点が設定される。

本願において提供されるイメージセンサによれば、大ピクセルおよび小ピクセルの露光時間が予め設定された比率を満たすことを可能にするべく、大ピクセルおよび小ピクセルのそれぞれの制御信号の有効遷移エッジの到達時点が設定され得る。例えば、大ピクセルの露光時間と小ピクセルの露光時間との比率が２：１であるとき、露光結果は、より高い解像度およびより高い信号対雑音比を有する。このように、大ピクセルの制御信号が最初に通過し、小ピクセルの制御信号が後に通過し、２ピクセルの遷移時点間の時間差によって可視光信号および赤外光信号の露光時間が予め設定された比率を満たすことを可能にすることが確実にされる。従って、イメージセンサの光感知効果は、大ピクセルの露光時間と小ピクセルの露光時間との比率を高精度に設定することによって、より高精度に制御され得る。例えば、有効遷移エッジは、高レベル信号の立ち下がりエッジ、低レベル信号の立ち上がりエッジ、高レベル信号の立ち上がりエッジまたは低レベル信号の立ち下がりエッジであってよい。

可能な実装において、センサは更に、紫外光および波長が第２の予め設定された波長より大きい赤外光をフィルタ除去するように構成される光フィルタを含み、第２の予め設定された波長は、第１の予め設定された波長、および、特定の波長範囲における任意の波長より大きい。

本願において提供されるイメージセンサによれば、光フィルタは、自然の光線における比較的長い波長を有する遠赤外光および比較的短い波長を有する紫外光をフィルタ除去し得、遠赤外光および紫外光が感光性コンポーネントの光感知特性に影響を与えることを防止する。

可能な実装において、イメージセンサは更に、電荷読み出しモジュールを含み、ピクセルアレイにおける各ピクセルは感光性コンポーネントを含む。感光性コンポーネントは、光線を電荷に変換するように構成され、電荷読み出しモジュールは、感光性コンポーネントによって累積された電荷を出力して、光感知結果を取得する。

可能な実装において、センサは、更に、赤色ピクセル、緑色ピクセル、青色ピクセルおよび赤外線ピクセルの露光時間を独立に制御するように構成されているロジック制御回路を含む。

本願において提供されるイメージセンサによれば、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間は別個に制御される。いくつかのシナリオが、ＲピクセルおよびＧピクセルの光感知結果に対して比較的高い要件を有し、ＢピクセルおよびＩＲピクセルの光感知結果を低減することを期待するとき、ＲピクセルおよびＧピクセルの光感知効果を強くし、ＢピクセルおよびＩＲピクセルの光感知効果を弱くするように、４つのピクセルの露光時間は柔軟に制御され得、その結果、最終的な光感知結果は、シナリオ要件をより良く満たす。従って、これによって更にイメージセンサの光感知のダイナミックレンジを改善し、解像度および信号対雑音比などの指標に対するユーザ要求をより良く満たす光感知結果を提供する。

可能な実装において、ロジック制御回路は、第１の制御ライン、第２の制御ライン、第３の制御ラインおよび第４の制御ラインを含む。ピクセルアレイ内の赤色ピクセルは第１の制御ラインに連結され、ピクセルアレイ内の緑色ピクセルは第２の制御ラインに連結され、ピクセルアレイ内の青色ピクセルは第３の制御ラインに連結され、ピクセルアレイ内の赤外線ピクセルは第４の制御ラインに連結される。ロジック制御回路は、具体的に、第１の制御ラインに基づき、赤色ピクセルの露光開始時点を制御する、第２の制御ラインに基づき、緑色ピクセルの露光開始時点を制御する、第３の制御ラインに基づき、青色ピクセルの露光開始時点を制御する、および第４の制御ラインに基づき、赤外線ピクセルの露光開始時点を制御するように構成されている。

可能な実装において、ロジック制御回路は、更に、第１の制御ライン、第２の制御ライン、第３の制御ラインおよび第４の制御ラインに基づき、赤色ピクセルの露光時間、緑色ピクセルの露光時間、青色ピクセルの露光時間および赤外線ピクセルの露光時間を予め設定された比率を満たすように制御するように構成されている。

本願において提供されるイメージセンサによれば、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間は、予め設定された比率を満たすよう予め設定され得、イメージセンサの光感知効果を高精度で制御する。

例えば、第１の制御ラインは第１の制御信号を出力し、第２の制御ラインは第２の制御信号を出力し、第３の制御ラインは第３の制御信号を出力し、第４の制御ラインは第４の制御信号を出力する。第１の制御信号の第１の有効遷移エッジが到達したとき、赤色ピクセルの露光が開始される。第２の制御信号の第２の有効遷移エッジが到達したとき、緑色ピクセルの露光が開始される。第３の制御信号の第３の有効遷移エッジが到達したとき、緑色ピクセルの露光が開始される。第４の制御信号の第４の有効遷移エッジが到達したとき、赤外線ピクセルの露光が開始される。Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間が予め設定された比率を満たすことを可能にするべく、第１の有効遷移エッジ、第２の有効遷移エッジ、第３の有効遷移エッジ、および第４の有効遷移エッジの到達時点が設定される。

可能な実装において、センサは更に、行座標制御ライン、列座標制御ラインおよび露光開始制御ラインを含む。ピクセルアレイ内の各ピクセルは、ピクセルの行座標制御ラインおよび列座標制御ラインに連結される。露光開始制御ラインは、複数の分岐を含み、各分岐は１つのピクセルに対応する。ターゲットピクセルの行座標制御ラインおよび列座標制御ラインにより出力される制御信号が両方とも有効レベルである場合、ターゲットピクセルに対応する露光開始制御ラインの分岐は、ターゲットピクセルの露光開始時点を制御するための制御信号を出力し、ターゲットピクセルはピクセルアレイ内の任意のピクセルである。

本願において提供されるイメージセンサによれば、各ピクセルの光感知時間は別個に制御され得る。ターゲット領域内のあるピクセルが強調される必要があるいくつかのシナリオでは、ターゲット領域内の当該ピクセルの露光時間のみが増加され得る。これにより、更に、センサの光感知を改善し、更に、光感知結果に対するユーザ要求を満たす。

可能な実装において、センサは、更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するために用いられる露光終了制御信号を含む。

可能な実装において、ロジック制御回路は、第１の制御変数ｘおよび第２の制御変数ｙを含む。ｘおよびｙが可視光ピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第１の制御ラインに第１の制御信号として出力される。ｘおよびｙがＩＲピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第２の制御信号として第２の制御ラインに出力される。

可能な実装において、ロジック制御回路は、第１の制御変数ｘおよび第２の制御変数ｙを含む。ｘおよびｙがＲピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第１の制御信号として第１の制御ラインに出力される。ｘおよびｙがＧピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第２の制御信号として第２の制御ラインに出力される。ｘおよびｙがＢピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第３の制御信号として第３の制御ラインに出力される。ｘおよびｙがＩＲピクセルの座標条件を満たす場合、ロジック制御回路のリセット信号が、第４の制御信号として第４の制御ラインに出力される。

第２の態様によれば、本願は、イメージセンサに適用されるイメージ光感知方法を提供する。イメージセンサは、赤色ピクセル、緑色ピクセル、青色ピクセル、および不可視光ピクセルを備え、赤色ピクセル、緑色ピクセル、および青色ピクセルは大ピクセルであり、不可視光ピクセルは小ピクセルであり、大ピクセルの光感知面積は小ピクセルより大きく、赤色ピクセル、緑色ピクセル、および青色ピクセルはベイヤー形式で配置される。方法は、赤色ピクセルに基づいて赤色光を感知し、緑色ピクセルに基づいて緑色光を感知し、青色ピクセルに基づいて青色光を感知し、小ピクセルに基づいて赤外光または白色光を感知することを含む。

可能な実装において、不可視光ピクセルは赤外線ピクセルまたは白色ピクセルを含み、白色ピクセルは白色光を感知するために使用される。白色光は、赤色光、緑色光、青色光および赤外光を含む。方法は具体的には、赤外線ピクセルに基づいて赤外光を感知する段階、または、白色ピクセルに基づいて白色光を感知する段階を備える。

可能な実装において、４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む。

可能な実装において、大ピクセルおよび小ピクセルの面積は、イメージセンサのクロストーク精度に基づいて設定される。

可能な実装において、大ピクセルおよび小ピクセルは正多角形または円形である。

可能な実装において、イメージセンサは更に赤外線遮断フィルタレイヤを含む。各大ピクセルは、１つの赤外線遮断フィルタレイヤに対応し、赤外線遮断フィルタレイヤは、波長が第１の予め設定された波長より大きい光信号を遮断するために使用され、波長が第１の予め設定された波長より大きい光信号は赤外光を含む。方法は更に、光線が赤外線遮断フィルタレイヤを通過して大ピクセルに到達する段階を備える。

可能な実装において、イメージセンサは更に、光フィルタレイヤを含む。光フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤを含む。各赤色ピクセルは、１つの赤色フィルタレイヤに対応し、赤色フィルタレイヤは、赤色光および第１の波長範囲における赤外光を通過させるために使用される。各緑色ピクセルは、１つの緑色フィルタレイヤに対応し、緑色フィルタレイヤは、緑色光および第２の波長範囲における赤外光を通過させるために使用される。各青色ピクセルは１つの青色フィルタレイヤに対応し、青色フィルタレイヤは、青色光および第３の波長範囲における赤外光を通過させるために使用される。第１の波長範囲における赤外光、第２の波長範囲における赤外光、および第３の波長範囲における赤外光の波長は、第１の予め設定された波長より大きい。不可視光ピクセルが赤外線ピクセルであるとき、光フィルタレイヤは更に赤外線フィルタレイヤを含む。各赤外線ピクセルは１つの赤外線フィルタレイヤに対応し、赤外線フィルタレイヤは、特定の波長範囲における赤外光を通過させるために使用される。不可視光ピクセルが白色ピクセルであるとき、光フィルタレイヤは更にオールパスフィルタレイヤまたはデュアルパスフィルタレイヤを含む。各白色ピクセルは１つのオールパスフィルタレイヤまたは１つのデュアルパスフィルタレイヤに対応し、オールパスフィルタレイヤは、フルバンド範囲における光を通過させるために使用され、デュアルパスフィルタレイヤは、赤色光、緑色光、青色光、および特定の波長範囲における赤外光を通過させるために使用される。方法は更に、光線が赤外線遮断フィルタレイヤおよび赤色フィルタレイヤを通過して赤色ピクセルに到達する段階、光線が赤外線遮断フィルタレイヤおよび緑色フィルタレイヤを通過して緑色ピクセルに到達する段階、光線が赤外線遮断フィルタレイヤおよび青色フィルタレイヤを通過して青色ピクセルに到達する段階、光線が赤外線フィルタレイヤを通過して赤外線ピクセルに到達する段階、または、光線がオールパスフィルタレイヤもしくはデュアルパスフィルタレイヤを通過して白色ピクセルに到達する段階とを備える。

可能な実装において、イメージセンサは更にロジック制御回路を含む。ロジック制御回路は第１の制御ラインおよび第２の制御ラインを含む。大ピクセルは、第１の制御ラインに連結され、小ピクセルは第２の制御ラインに連結される。方法は更に、第１の制御ラインに基づいて赤色ピクセルの露光開始時点を制御する段階と、第２の制御ラインに基づいて緑色ピクセルの露光開始時点を制御する段階とを備える。

第３態様によれば、本願は独立露光装置を提供する。装置は、少なくとも２つの制御ユニットを含む。少なくとも２つの制御ユニットの各々は、センサのピクセルアレイ内の１つのタイプのピクセルの露光開始時点を対応して制御するように構成されている。センサのピクセルアレイは少なくとも２つのタイプのピクセルを含む。

複数のタイプのピクセルを含む既存のセンサによれば、異なるタイプのピクセルの露光時間は一律に制御される。光条件が理想的でない場合に、露光不均衡の問題が容易に生じ、露光制御は柔軟性に欠け、センサは、露光の比較的狭いダイナミックレンジを有する。本願において提供される装置は、センサの光感知のダイナミックレンジおよび信号対雑音比を改善するために、センサにおける異なるタイプのピクセルの露光時間を独立に制御できる。例えば、装置は、センサから独立した制御ユニットまたはロジック制御回路であり、対応するプロダクトの形態は、プロセッサまたはプロセッサを含むチッププロダクトであってよい。

可能な実装において、装置は更にピクセルアレイを含む。

装置は、制御ユニットを含むセンサであってよい。

可能な実装において、センサはＲＧＢＩＲセンサである。少なくとも２つのタイプのピクセルは、可視光ピクセルおよびＩＲピクセルを含む。可視光ピクセルは、Ｒピクセル、ＧピクセルおよびＢピクセルを含む。代替的に、少なくとも２つのタイプのピクセルは、Ｒピクセル、Ｂピクセル、ＧピクセルおよびＩＲピクセルを含む。少なくとも２つの制御ユニットは、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットを含む。第１の制御ユニットは、Ｒピクセルの露光開始時点を制御するように構成され、第２の制御ユニットはＧピクセルの露光開始時点を制御するように構成され、第３の制御ユニットは、Ｂピクセルの露光開始時点を制御するように構成され、第４の制御ユニットは、ＩＲピクセルの露光開始時点を制御するように構成されている。

可能な実装において、センサはＲＧＢＷセンサである。少なくとも２つのタイプのピクセルは、可視光ピクセルおよびＷピクセルを含む。可視光ピクセルは、Ｒピクセル、ＧピクセルおよびＢピクセルを含む。少なくとも２つの制御ユニットは、第１の制御ユニットおよび第２の制御ユニットを含む。第１の制御ユニットは、可視光ピクセルの露光開始時点を制御するように構成され、第２の制御ユニットは、Ｗピクセルの露光開始時点を制御するように構成されている。代替的に、少なくとも２つのタイプのピクセルは、Ｒピクセル、Ｂピクセル、ＧピクセルおよびＷピクセルを含む。少なくとも２つの制御ユニットは、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットを含む。第１の制御ユニットは、Ｒピクセルの露光開始時点を制御するように構成され、第２の制御ユニットは、Ｇピクセルの露光開始時点を制御するように構成され、第３の制御ユニットは、Ｂピクセルの露光開始時点を制御するように構成され、第４の制御ユニットは、Ｗピクセルの露光開始時点を制御するように構成されている。

可能な実装において、センサはＲＣＣＢセンサである。少なくとも２つのタイプのピクセルは、可視光ピクセルおよびＣピクセルを含む。可視光ピクセルは、ＲピクセルおよびＢピクセルを含む。少なくとも２つの制御ユニットは、第１の制御ユニットおよび第２の制御ユニットを含む。第１の制御ユニットは、可視光ピクセルの露光開始時点を制御するように構成されており、第２の制御ユニットは、Ｃピクセルの露光開始時点を制御するように構成されている。代替的に、少なくとも２つのタイプのピクセルは、Ｒピクセル、Ｂピクセル、およびＣピクセルを含む。少なくとも２つの制御ユニットは、第１の制御ユニット、第２の制御ユニットおよび第３の制御ユニットを含む。第１の制御ユニットは、Ｒピクセルの露光開始時点を制御するように構成されており、第２の制御ユニットは、Ｂピクセルの露光開始時点を制御するように構成されており、第３の制御ユニットは、Ｃピクセルの露光開始時点を制御するように構成されている。

可能な実装において、少なくとも２つのタイプのピクセルの露光時間は、少なくとも２つの制御ユニットに基づき、予め設定された比率を満たすように制御される。

可能な実装において、装置は更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ユニットを含む。

第４の態様によれば、本願は独立露光方法を提供し、方法は、少なくとも２つのタイプのピクセルを含むセンサに適用される。 少なくとも２つのタイプのピクセルは、第１のタイプのピクセルおよび第２のタイプのピクセルを含む。方法は、第１の制御ユニットに基づき、第１のタイプのピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、第２のタイプのピクセルの露光開始時点を制御する段階とを含む。

可能な実装において、方法は、更に、少なくとも２つのタイプのピクセルの各々の露光時間を予め設定された比率を満たすように制御する段階を含む。

例えば、第１の制御ユニットおよび第２の制御ユニットに基づき、可視光ピクセル露光時間およびＩＲピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットに基づき、Ｒ、Ｇ、ＢおよびＩＲピクセルの各露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニットおよび第２の制御ユニットに基づき、可視光ピクセルおよびＷピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットに基づき、Ｒ、Ｇ、ＢおよびＷピクセルの露光時間、予め設定された比率を満たすように制御される。 代替的に、第１の制御ユニットおよび第２の制御ユニットに基づき、可視光ピクセルおよびＣピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニット、第２の制御ユニットおよび第３の制御ユニットに基づき、Ｒピクセル、ＢピクセルおよびＣピクセルの露光時間は、予め設定された比率を満たすように制御される。

可能な実装において、センサはＲＧＢＩＲセンサであり、第１のタイプのピクセルは可視光ピクセルであり、第２のタイプのピクセルはＩＲピクセルであり、可視光ピクセルはＲピクセル、ＧピクセルおよびＢピクセルを含む。代替的に、センサはＲＧＢＷセンサであり、第１のタイプのピクセルは可視光ピクセルであり、第２のタイプのピクセルはＷピクセルであり、可視光ピクセルはＲピクセル、ＧピクセルおよびＢピクセルを含む。代替的に、センサはＲＣＣＢセンサであり、第１のタイプのピクセルは可視光ピクセルであり、第２のタイプのピクセルはＣピクセルであり、可視光ピクセルはＲピクセルおよびＢピクセルを含む。

可能な実装において、少なくとも２つのタイプのピクセルは更に、第３のタイプのピクセルを含む。方法は、更に、第３の制御ユニットに基づき、第３のタイプのピクセルの露光開始時点を制御する段階を含む。

可能な実装において、センサはＲＣＣＢセンサであり、第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＢピクセルであり、第３のタイプのピクセルはＣピクセルである。方法は、具体的に、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｃピクセルの露光開始時点を制御する段階と、を含む。

可能な実装において、少なくとも２つのタイプのピクセルは、更に、第３のタイプのピクセルおよび第４のタイプのピクセルを含む。方法は、更に、第３の制御ユニットに基づき、第３のタイプのピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、第４のタイプのピクセルの露光開始時点を制御する段階とを含む。

可能な実装において、センサはＲＧＢＩＲセンサであり、第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＧピクセルであり、第３のタイプのピクセルはＢピクセルであり、第４のタイプのピクセルはＩＲピクセルである。具体的に、方法は、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｇピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、ＩＲピクセルの露光開始時点を制御する段階と、を含む。代替的に、センサはＲＧＢＷセンサであり、第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＧピクセルであり、第３のタイプのピクセルはＢピクセルであり、第４のタイプのピクセルはＷピクセルである。具体的に、方法は、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｇピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、Ｗピクセルの露光開始時点を制御する段階と、を含む。

可能な実装において、方法は、更に、露光終了制御ユニットに基づき、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御する段階を含む。

第５の態様によれば、本願はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、命令を格納し、命令がコンピュータまたはプロセッサ上で実行されるとき、コンピュータまたはプロセッサは、第４の態様または第４の態様の可能な実装例のうちの任意の１つによる方法を実行できるようにされる。

第５の態様によれば、本願は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータまたはプロセッサ上で実行されるとき、コンピュータまたはプロセッサは、第４の態様または第４の態様の可能な実装例のうちの任意の１つによる方法を実行できるようにされる。

典型的なベイヤーＲＧＢ ＣＦＡの概略図である。

典型的なＲＧＢＩＲ ＣＦＡの概略図である。

典型的なＲＧＢＩＲ ＣＦＡの概略図である。

感光性コンポーネントの光感知特性曲線である。

大および小ピクセルイメージセンサのピクセルアレイの例示的な構造の概略図である。

大および小ピクセルイメージセンサのピクセルアレイの例示的な構造の概略図である。

イメージ取得装置の例示的な構造の概略図である。

本願によるイメージセンサの例示的な構造の概略図である。

本願によるイメージセンサの例示的な構造の概略図である。

本願によるイメージセンサの例示的な構造の概略図である。

本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。

本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。

本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。

本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。

大および小ピクセルのアレイをソートするための制御接続の一例の概略図である。

制御信号の一例の時系列図である。

大および小ピクセルのアレイをソートするための制御接続の一例の概略図である。

制御信号の一例の時系列図である。

大および小ピクセルのアレイをソートするための制御接続の一例の概略図である。

制御信号の一例の時系列図である。

本願によるイメージセンサにおける感光性コンポーネントの光感知特性曲線である。

本願によるイメージセンサにおける感光性コンポーネントの光感知特性曲線である。

独立露光装置の例示的な構造の概略図である。

本願によるイメージ光感知方法の実施形態のフローチャートである。

本願によるイメージ光感知方法の実施形態のフローチャートである。

本願による露光時間を独立に制御するための方法の実施形態のフローチャートである。

本願の目的、技術的解決手段、および利点を明確にするべく、以下では、本願における添付図面を参照して、本願における技術的解決手段を明確に説明する。当然、説明された実施形態は、本願の実施形態のすべてのではなく、一部である。本願の実施形態に基づいて創造的努力を行うことなく当業者により取得される他の実施形態は全て、本願の保護範囲に含まれるものとする。

本願の明細書、実施形態、請求項、および添付図面において、「第１」、「第２」などの用語は単に、区別および説明を意図するものであり、相対的重要性の指示もしくは示唆、または、順序の指示もしくは示唆として理解されるべきでない。また、「含む（ｉｎｃｌｕｄｅ）」、「有する（ｈａｖｅ）」という用語およびこれらの任意の変形例は、非排他的包含をカバーする、例えば、一連の段階またはユニットを含むことを意図する。方法、システム、製品またはデバイスは、明確に列挙されたこれらの段階またはユニットに限定される必要はなく、明確に列挙されていない、またはこれらのプロセス、方法、製品またはデバイスに本来的に内在する他の段階またはユニットを含んでよい。

本願において、「少なくとも１つの（項目）」は、１または複数を意味し、「複数の」は、２以上を意味することが理解されるべきである。用語「および／または」関連する対象間の関連関係を説明するために使用され、３つの関係が存在し得ることを表す。例えば、「Ａおよび／またはＢ」は、以下の３つの場合、すなわち、Ａのみが存在する場合、Ｂのみが存在する場合、ならびに、ＡおよびＢの両方が存在する場合（ここで、ＡおよびＢは単数または複数であり得る）を表し得る。文字「／」は概して、関連する対象間の「または」の関係を示す。加えて、「以下の項目（個）の少なくとも１つ」またはその同様の表現は、単一の項目（個）または複数の項目（個）の任意の組み合わせを含む、これらの項目の任意の組み合わせを意味する。例えば、ａ、ｂまたはｃのうちの少なくとも１つ（個）は、ａ、ｂ、ｃ、「ａおよびｂ」、「ａおよびｃ」「ｂおよびｃ」または「ａ、ｂおよびｃ」を示してよく、ａ、ｂおよびｃは単数または複数であってよい。

図４は感光性コンポーネントの光感知特性曲線である。図４に示されるように、感光性コンポーネントにおいて、Ｒピクセルは赤色光の波長範囲（６５０ｎｍ付近）における光感知強度ピークを有し、Ｇピクセルは、緑色光の波長範囲（５５０ｎｍ付近）における光感知強度ピークを有し、Ｂピクセルは、緑色光の波長範囲（４５０ｎｍ付近）における光感知ピークを有し、ＩＲピクセルは、赤外光の波長範囲（８５０ｎｍまたは９１０ｎｍ付近）における光感知強度ピークを有する。加えて、Ｒピクセル、ＧピクセルおよびＢピクセルも、赤外光の波長範囲（８５０ｎｍまたは９１０ｎｍ付近）における光感知強度ピークを有する。赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤは、それぞれの色に対応する２つの光感知強度ピークにおける光信号を通過させ、従って、光フィルタレイヤが使用される場合でも、感光性コンポーネントのＲピクセル、ＧピクセルおよびＢピクセルの光感知によって取得される光感知結果は、ＩＲ信号をある程度保持し、イメージセンサによって取得されたイメージの色情報は、ＩＲ信号の影響に起因して不正確であり得る。

図５は、大および小ピクセルイメージセンサのピクセルアレイの例示的な構造の概略図である。図５に示されるように、イメージセンサのピクセルアレイは、小ピクセル（Ｒピクセル、ＧピクセルおよびＢピクセルを含む）のグループを大ピクセル（Ｒピクセル、ＧピクセルおよびＢピクセルを含む）間の隙間に埋め込むことによって形成される。大ピクセルの光感知面積は大きく、感度は高いが、小ピクセルの光感知面積は小さく、感度は低い。大ピクセルイメージは、暗領域のための良好な復元能力を有し、小ピクセルイメージは、明領域のための良好な露光過度抑制効果を有する。高ダイナミックレンジイメージング（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ， ＨＤＲ）は、２つのイメージを融合することによって取得され得る。しかしながら、イメージセンサは、赤外線暗視シナリオをサポートしない。

図６は、大および小ピクセルイメージセンサのピクセルアレイの例示的な構造の概略図である。図６に示されるように、暗領域の詳細をより良く取得するために、大ピクセルは、すべてのバンドを感知し、すなわち、大ピクセルは白色ピクセルであり、白色光（赤色光、緑色光、青色光、および赤外光を含む）を感知するために使用され、小ピクセルは、可視光（赤色光、緑色光および青色光を含む）を感知し、更にイメージセンサの光感知能力を改善する。しかしながら、可視光に対するイメージセンサの光感度は弱く、正確な色情報を取得することは難しい。加えて、小ピクセルは、大ピクセルからのクロストーク光によって、より大きく干渉され、これは、小ピクセルの信号対雑音比に大きく影響する。

本願において提供されるイメージセンサによれば、可視光および赤外光の独立の光感度に基づいて、十分な色情報が取得されて可視光イメージの解像度を確実にし得るだけでなく、赤外光によって生じる可視光に対するクロストークが低減され得、可視光ピクセルの信号対雑音比が改善され得る。

イメージセンサは、携帯電話、監視カメラ、およびセキュリティアクセス制御システムなどのデバイス、ならびに、撮影、カメラ撮影、および監視がカラーイメージおよびＩＲまたはＷ白黒イメージを使用してイメージを処理する必要がある分野に適用され得る。典型的なアプリケーションシナリオは、可視光および赤外光の生体検出、夜間のビデオ監視、および、カラー－白黒動的融合を含む。本願が適用可能な端末デバイスはまた、ユーザ機器（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、ＵＥ）と称され得、陸上に展開され得るか（屋内または屋外のシナリオ、および、ハンドヘルドまたは車載シナリオを含む）、または、水上で（例えば、汽船上で）展開され得るか、または、空中で（例えば、航空機、気球または衛星で）展開され得る。端末デバイスは端末デバイス１００（ｍｏｂｉｌｅ ｐｈｏｎｅ）、タブレットコンピュータ（ｐａｄ）、無線トランシーバ機能付きコンピュータ、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ， ＶＲ）デバイス、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ， ＡＲ）デバイス、監視デバイス、スマート大型画面、スマートテレビ、遠隔医療（ｒｅｍｏｔｅ ｍｅｄｉｃａｌ）の無線デバイス、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）の無線デバイス、または同様のものであり得る。これは、本願において限定されない。

図７はイメージ取得装置の例示的な構造の概略図である。図７に示されるように、イメージ取得装置は、レンズ７０１、イメージセンサ７０２、ＩＳＰモジュール７０３、イメージ融合モジュール７０４、赤外線ランプ駆動制御モジュール７０５、および赤外線照射器７０６などのモジュールを含む。レンズ７０１は、静止イメージまたはビデオを捕捉し、撮影対象物から反射した光信号を捕捉し、捕捉された光信号をイメージセンサへ転送するように構成される。イメージセンサ７０２は、本願において提供されるイメージセンサを使用し得、光信号に基づいて撮影対象物の元のイメージデータ（可視光イメージデータおよび赤外線イメージデータ）を生成するように構成される。ＩＳＰモジュール７０３は、自動露光アルゴリズムの収束条件が満たされるまで、撮影対象物の元のイメージに基づいて赤外線照射器の可視光露光パラメータおよび照明強度を調節するように構成され、更に、可視光イメージおよび赤外線イメージを撮影対象物の元のイメージから分離するように構成される。イメージ融合モジュール７０４は、分離された可視光イメージおよび赤外線イメージを融合してターゲットイメージを取得するように構成される。赤外線ランプ駆動制御モジュール７０５は、ＩＳＰモジュール７０３によって構成された赤外線照射器の照明強度に基づいて赤外線照射器７０６を制御するように構成される。赤外線照射器７０６は赤外光照射を提供するように構成される。

任意選択で、イメージ取得装置は、単一レンズ＋単一イメージセンサ、または、二重レンズ＋二重イメージセンサ、または、単一レンズ＋スプリッタおよび二重イメージセンサの構造を使用し得る。単一レンズの構造は費用を低減でき、単一イメージセンサの構造はカメラの構造を単純化できる。これについては、本願では特に限定しない。

図８は、本願によるイメージセンサの例示的な構造の概略図である。図８に示されるように、イメージセンサは、赤色（Ｒ）ピクセル、緑色（Ｇ）ピクセル、青色（Ｂ）ピクセル、および不可視光ピクセルを含む。赤色光、緑色光、および青色光は可視光と総称されるので、赤色光、緑色光および青色光に対応するピクセル、すなわち、Ｒピクセル、Ｇピクセル、およびＢピクセルは可視光ピクセルと総称され得る。対照的に、Ｒピクセル、Ｇピクセル、およびＢピクセル以外のピクセルは、本願において不可視光ピクセルと称される。例えば、不可視光ピクセルは、赤外線（ＩＲ）ピクセルおよび白色（Ｗ）ピクセルを含む。概して、白色光は、赤色光、緑色光、青色光および赤外光を含むフルバンド範囲における光を指す。

図９ａは、本願に記載のイメージセンサの例示的な構造の概略図である。図９ａに示されるように、Ｒピクセル、ＧピクセルおよびＢピクセルは大ピクセルであり、ＩＲピクセルは小ピクセルである。大ピクセルの光感知面積は小ピクセルより大きく、それに対応して、大ピクセルの光感度は小ピクセルより大きい。Ｒピクセル、ＧピクセルおよびＢピクセルは、ベイヤーＲＧＢ ＣＦＡ形式で配置される。例えば、図１に示されるように、このアレイは２×２アレイとして配置される。最小反復単位の第１の行は、ＲピクセルおよびＧピクセルを含み、第２の行はＧピクセルおよびＢピクセルを含む。

大ピクセルおよび小ピクセルを含むピクセルアレイについては、大ピクセル（Ｒピクセル、ＧピクセルおよびＢピクセル）は、従来のＲＧＢセンサと一致するベイヤーＲＧＢ ＣＦＡ形式であり、その結果、Ｒピクセル、ＧピクセルおよびＢピクセルに基づいて取得された色情報は低減されないことがあり得、可視光イメージの解像度は減少しないことがあり得、既存のデモザイクアルゴリズムが直接的に再使用され、既存のＩＳＰにシームレスに埋め込まれ得る。加えて、大ピクセルの光感知面積は、小ピクセルより大きい。それに対応して、大ピクセルの光感度は小ピクセルより大きい。従って、大ピクセルは、より感度が高く、より正確な色情報を取得する。更に、大ピクセル（可視光ピクセル）に隣接する小ピクセル（ＩＲピクセル）の面積が小さく、その結果、ＩＲピクセルと可視光ピクセルとの間の接触範囲が大きく低減され、可視光ピクセルに対するＩＲピクセルによって生じる光クロストークが低減され、可視光ピクセルによって取得される色情報に対するＩＲピクセルの光感知結果によって生じる干渉が低減され、従って、可視光イメージの色情報の信号対雑音比が更に改善される。更に、赤外線暗視シナリオまたは暗シナリオにおいて、赤外光が補足され得、すなわち、赤外光が強力で、かつ、ＩＲピクセルが小ピクセルとして設計されるとき、赤外光のイメージング結果は影響を受けず、具体的には、詳細情報の取得が影響を受けない。本願において提供されるイメージセンサによれば、より正確な色情報が大ピクセルに基づいて取得され得、小ピクセルに基づいて取得される詳細情報は影響を受けないことがあり得、その結果、融合したイメージの詳細および色性能が大きく改善される。

図９ｂは、本願に記載のイメージセンサの例示的な構造の概略図である。図９ｂに示されるように、Ｒピクセル、Ｇピクセル、およびＢピクセルは大ピクセルであり、Ｗピクセルは小ピクセルである。大ピクセルの光感知面積は小ピクセルより大きく、それに対応して、大ピクセルの光感度は小ピクセルより大きい。Ｒピクセル、Ｇピクセル、およびＢピクセルは、図１に示されるようなベイヤーＲＧＢ ＣＦＡ形式で配置される。

大ピクセルおよび小ピクセルを含むピクセルアレイについては、大ピクセル（Ｒピクセル、ＧピクセルおよびＢピクセル）は、従来のＲＧＢセンサと一致するベイヤーＲＧＢ ＣＦＡ形式であり、その結果、Ｒピクセル、ＧピクセルおよびＢピクセルに基づいて取得された色情報は低減されないことがあり得、可視光イメージの解像度は減少しないことがあり得、既存のデモザイクアルゴリズムが直接的に再使用され、既存のＩＳＰにシームレスに埋め込まれ得る。加えて、大ピクセルの光感知面積は、小ピクセルより大きい。それに対応して、大ピクセルの光感度は小ピクセルより大きい。従って、大ピクセルは、より感度が高く、より正確な色情報を取得する。更に、大ピクセル（可視光ピクセル）に隣接する小ピクセル（Ｗピクセル）の面積が小さく、その結果、Ｗピクセルと可視光ピクセルとの間の接触範囲が大きく低減され、可視光ピクセルに対するＷピクセルによって生じる光クロストークが低減され、可視光ピクセルによって取得される色情報に対するＷピクセルの光感知結果によって生じる干渉が低減され、従って、可視光イメージの色情報の信号対雑音比が更に改善される。更に、白色光ピクセルのスペクトル反応曲線は広く、光感知能力が強い。従って、白色ピクセルが小ピクセルとして設計されるとき、白色光のイメージング結果は影響を受けないことがあり得、詳細情報の取得は影響を受けないことがあり得る。本願において提供されるイメージセンサによれば、より正確な色情報が大ピクセルに基づいて取得され得、小ピクセルに基づいて取得される詳細情報は影響を受けないことがあり得、その結果、融合したイメージの詳細および色性能が大きく改善される。

ピクセルアレイにおいて、４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む。しかしながら、ピクセルアレイの端の位置において、大ピクセルがもっとも外側に位置する場合、１つの大ピクセルを囲む４つの小ピクセルは、大ピクセルの位置に実装されないことがあり得、小ピクセルがもっとも外側に位置する場合、１つの小ピクセルを囲む４つの大ピクセルは、小ピクセルの位置に実装されないことがあり得る。別のピクセルを囲む４つのピクセルの設定は、本願において具体的に限定されない。

本願において、イメージの色情報は、可視光ピクセルに基づいて取得され得、イメージの詳細情報は、不可視光ピクセルに基づいて取得され得、可視光ピクセルによって取得される可視光イメージは、不可視光ピクセルによって取得される不可視光イメージと融合されて最終的なイメージが取得される。加えて、可視光ピクセルは、従来のＲＧＢセンサと一致するベイヤーＲＧＢ ＣＦＡ形式である。従って、可視光イメージは最大解像度イメージであり、ＩＲピクセルまたはＷピクセルとして使用される不可視光ピクセルは、可視光ピクセルのピクセル行とピクセル列との間に配置され得、４つの可視光ピクセルが１つの不可視光ピクセルを囲み、４つの不可視光ピクセルが１つの可視光ピクセルを囲むピクセルアレイを形成する。従って、取得される不可視光イメージも最大解像度イメージであり、大ピクセルおよび小ピクセルの設計は、可視光イメージの色情報および不可視光イメージの詳細に影響を与えない。

概して、ピクセルアレイにおける隣接ピクセルの中心点間の距離は固定され、距離はイメージセンサのサイズ、プロセスなどに依存する。これに基づいて、大ピクセルおよび小ピクセルの面積は、イメージセンサのクロストーク精度に基づいて設定され得る。クロストークを低減するべく、大ピクセルと小ピクセルとの面積の比率は、可能な限り大きいことが期待される。光感度を改善するべく、大ピクセルの面積が大きいことは、イメージのより正確な色情報が取得されたことを示し、小ピクセルの面積が大きいことは、イメージのより詳細な情報が取得されたことを示す。従って、大ピクセルおよび小ピクセルの最大面積が限定されるが、大ピクセルおよび小ピクセルの面積が可能な限り大きいことがなお期待される。更に、大ピクセルおよび小ピクセルの面積は、イメージセンサの精度、照度の要件、および赤外線照射器の照明強度などの要素間のバランスをとるために予め設定され得る。任意選択で、大ピクセルおよび小ピクセルの面積を設定することは、代替的に、大ピクセルおよび小ピクセルの隣接する辺の間の空間を設定することであり得る。大ピクセルおよび小ピクセルの面積が大きい場合、隣接する辺の間の空間が小さい。

上記要素に基づいて、大ピクセルおよび小ピクセルは、本願において正多角形または円形である。大ピクセルおよび小ピクセルの形状は同一であり得る、または、異なり得る。例えば、図８、図９ａおよび図９ｂに示されるように、大ピクセルは正八角形であり、小ピクセルは正方形である。任意選択で、大ピクセルおよび小ピクセルは代替的に正六角形、正方形、または同様のものであり得る。これについては、本願では特に限定しない。

図１０は、本願に記載のイメージセンサの垂直断面図の例示的な構造の概略図である。本実施形態における垂直断面図は、図８における破線に沿って切断することによって形成される。例えば、図１０は、破線上の７つのピクセル、すなわち、Ｒピクセル、ＩＲピクセル、Ｂピクセル、ＩＲピクセル、Ｒピクセル、ＩＲピクセル、およびＢピクセルを示す。各ピクセルは、マイクロレンズ１００１、光フィルタレイヤ、および電荷読み出しモジュール１００３を含む。赤外線遮断フィルタレイヤ１００４が更に、Ｒピクセル、ＧピクセルおよびＢピクセルに配置される。Ｒピクセルにおける光フィルタレイヤは赤色フィルタレイヤ１００２Ｒであり、Ｇピクセルにおける光フィルタレイヤは緑色フィルタレイヤ１００２Ｇであり、Ｂピクセルにおける光フィルタレイヤは青色フィルタレイヤ１００２Ｂであり、ＩＲピクセルにおける光フィルタレイヤは赤外線フィルタレイヤ１００２ＩＲである。

赤外線遮断フィルタレイヤ１００４は、ＩＲカットとも称され得、波長が第１の予め設定された波長より大きい光信号を遮断するように構成され、波長が第１の予め設定された波長より大きい光信号は赤外線信号を含む。例えば、第１の予め設定された波長は６５０ｎｍである。赤外線遮断フィルタレイヤ１００４は、波長が６５０ｎｍより大きい光信号を遮断するように構成され、波長が６５０ｎｍより大きい光信号は赤外光を含む。例えば、可視光の典型的な波長は約４３０ｎｍから６５０ｎｍであり、ＩＲピクセルの光感知の赤外光の典型的な波長は約８５０ｎｍから９２０ｎｍである。ＩＲカットは、波長が６５０ｎｍより大きい光信号を遮断でき、その結果、約８５０ｎｍ～９２０ｎｍの波長範囲における赤外光は、Ｒピクセル、ＧピクセルおよびＢピクセルに入ることができない。

光線が赤色フィルタレイヤ１００２Ｒを通過するときのＲピクセルにおける光線の光感知特性が、図４において黒色の薄い実線Ｒで示され、Ｒピクセルは、赤色光の６５０ｎｍ付近、および赤外光の８５０ｎｍ付近に２つの光感知強度ピークを有する。光線が緑色フィルタレイヤ１００２Ｇを通過するときのＧピクセルにおける光線の光感知特性は、図４における点線Ｇによって示され、Ｇピクセルは、緑色光の５５０ｎｍ付近、および赤外光の８５０ｎｍ付近に２つの光感知強度ピークを有する。光線が青色フィルタレイヤ１００２Ｂを通過するときのＢピクセルにおける光線の光感知特性が、図４において鎖線Ｂで示され、Ｂピクセルは、青色光の４５０ｎｍ付近、および赤外光の８５０ｎｍ付近に２つの光感知強度ピークを有する。光線が赤外線フィルタレイヤ１００２ＩＲを通過するときのＩＲピクセルの光感知特性が、図４において破線ＩＲで示され、ＩＲピクセルは、赤外光の８５０ｎｍ（９１０ｎｍ）付近だけに光感知強度ピークを有する。

これに基づいて、赤色フィルタレイヤ１００２Ｒは、赤色光および第１の波長範囲における赤外光を通過させることができ、緑色フィルタレイヤ１００２Ｇは、緑色光および第２の波長範囲における赤外光を通過させることができ、青色フィルタレイヤ１００２Ｂは、青色光および第３の波長範囲における赤外光を通過させることができると分かる。第１の波長範囲、第２の波長範囲および第３の波長範囲は、同一であってもよく、または異なってもよいこと、第１の波長範囲内にある赤外光の波長、第２の波長範囲内にある赤外光の波長および第３の波長範囲内にある赤外光の波長は、すべて第１の予め設定された波長より大きいことを理解されたい。赤外線フィルタレイヤ１００２ＩＲは、特定の波長範囲における赤外光のみを通過させ得る。特定の波長範囲は８５０ｎｍから９２０ｎｍであってよく、または、特定の波長範囲は８５０ｎｍから９２０ｎｍの範囲内の任意の特定の波長であってよく、および８５０ｎｍから９２０ｎｍの範囲付近の任意の特定の波長であってよいことを理解されたい。例えば、ＩＲピクセルは主に、８５０ｎｍの赤外光を感知し得るか、または、９１０ｎｍの赤外光を主に感知し得る。ＩＲピクセルは、８５０ｎｍから９２０ｎｍの範囲内のおよび８５０ｎｍから９２０ｎｍの範囲付近の任意の特定の波長の赤外光を感知してよい。これは、本願において限定されない。

マイクロレンズ１００１は、イメージセンサの各光感知ピクセル上の小さい凸レンズ装置であり、入力された光線が各光感知ピクセルに集中して入ることを可能にするように構成される。

赤外線遮断フィルタレイヤ１００４は、Ｒピクセル、ＧピクセルおよびＢピクセルに対応するマイクロレンズ上に別個にコーティングされる。従って、６５０ｎｍを超える光線は、Ｒピクセル、ＧピクセルまたはＢピクセルに入ることができない。

赤色フィルタレイヤ１００２Ｒは更に、Ｒピクセルに対応するマイクロレンズ上にコーティングされる。従って、６５０ｎｍ付近の赤色光のみがＲピクセルに入り、Ｒピクセルは赤色光のみを感知し得る。

緑色フィルタレイヤ１００２Ｇは更に、Ｇピクセルに対応するマイクロレンズ上にコーティングされる。従って、５５０ｎｍ付近の緑色光のみがＧピクセルに入り、Ｇピクセルは緑色光のみを感知し得る。

青色フィルタレイヤ１００２Ｂは更に、Ｂピクセルに対応するマイクロレンズ上にコーティングされる。従って、４５０ｎｍ付近の青色光のみがＢピクセルに入り、Ｂピクセルは青色光のみを感知し得る。

赤外線フィルタレイヤ１００２ＩＲは、ＩＲピクセルに対応するマイクロレンズ上にコーティングされる。従って、８５０ｎｍまたは９１０ｎｍ付近の近赤外光のみがＩＲピクセルに入り、ＩＲピクセルは、赤外光のみを感知し得る。

本願において、赤外線遮断フィルタレイヤは、Ｒピクセル、ＧピクセルおよびＢピクセルに対応するマイクロレンズ上にコーティングされ、赤外光を遮断してＲピクセル、Ｇピクセル、Ｂピクセルに到達しないようにして、可視光ピクセルの光感知結果からＩＲ信号を除去する。従って、光感知結果の色はより正確で、これにより、センサの光感知効果を改善する。更に、本願において、赤外線遮断フィルタレイヤは、コーティング技術を使用することによってマイクロレンズ上にコーティングされ得る。従って、複雑な機械構造を追加する必要はない。また、マイクロレンズの下方にあるピクセル構造は変更されず、マイクロレンズの下方のピクセルは、フォトダイオード等の感光性コンポーネントのみを有する。ピクセルの比較的単純で安定した内部構造は、撮像に影響を及ぼす主光線入射角（Ｃｈｉｅｆ Ｒａｙ Ａｎｇｌｅ，ＣＲＡ）等の問題を制御することに寄与し、フィルタレイヤがマイクロレンズ上にコーティングされ、これにより、ピクセルの安定した構造を維持しつつ、センサの光感知効果を改善する。

ピクセルの内部構造は円滑な内壁ではなく、ピクセルの内壁上にはいくつかの突出部が存在する。光線の入射角が、マイクロレンズのメイン光路から逸れる場合、一部の光線はピクセルの内壁上の突出部により遮断され、センサの光感知効果が劣化する。センサの光学中心（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）に位置するピクセルのＣＲＡは０度であり、光学中心から更に離れた箇所にあるピクセルのＣＲＡ角度はより大きい。概して、ピクセルとピクチャ中心との間の偏移距離が水平座標として用いられ、ピクセルのＣＲＡ角度が垂直座標として用いられる場合、ピクセルから当該中心までの偏移距離と、ピクセルのＣＲＡ角度との間の関数は、線形関数である。このルールは、ＣＲＡ特性整合性と称される。センサが、ＣＲＡ特性整合性のルールに準拠することを可能にすべく、ピクセルのマイクロレンズの位置は、ピクセルの位置に基づき微調整される必要がある。例えば、光学中心に配置されたピクセルのマイクロレンズはピクセルのちょうど上に配置され、光学中心から逸れたピクセルのマイクロレンズは、ピクセルのちょうど上に配置されない。光学中心から更に遠く離れた箇所にあるピクセルのマイクロレンズは、より大きな程度に逸れる。マイクロレンズの下方にあるピクセルの内部構造が比較的複雑である場合、ＣＲＡ特性は不整合である可能性があり得る。この場合、ピクセル表面上のマイクロレンズの位置を微調整する方法は、もはや適用できない可能性がある。しかしながら、本願で提供されるセンサに追加されるフィルタレイヤが、マイクロレンズ上でコーティングされる。これは、ピクセルの内部構造を変更せず、ピクセルの内部結果は単純で安定しており、これにより、センサのＣＲＡ特性整合性に影響を及ぼすことなく、センサの光感知効果を改善する。

イメージセンサにおける各ピクセルは感光性コンポーネントを含む。例えば、感光性コンポーネントはフォトダイオードであってよく、光信号を電気信号に変換し、または、光信号を電荷に変換するように構成される。

電荷読み出しモジュール１００３は、感光性コンポーネントにより累積された電荷を読み取り、電荷を後続のイメージ処理回路またはイメージプロセッサに出力するように構成されている。電荷読み出しモジュールは、バッファ領域と同様である。感光性コンポーネントにより累積された電荷は転送され、電荷読み出しモジュール内に一時的にバッファされ、対応するピクセルの電荷信号が、読み出し信号の制御下に出力される。

図１０に示されるイメージセンサにおいて、赤色フィルタレイヤ１００２Ｒ、緑色フィルタレイヤ１００２Ｇ、青色フィルタレイヤ１００２Ｂ、および赤外線フィルタレイヤ１００２ＩＲのみがマイクロレンズ１００１上にコーティングされ得、赤外線遮断フィルタレイヤ１００４は、Ｒピクセル、Ｇピクセル、およびＢピクセルの内部に配置されることを理解されたい。例えば、１つのガラスがピクセルの内部に配置され、赤外線遮断フィルタレイヤ１００４は、配置されたガラス上にコーティングされる。

可能な実装において、図１１は、本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。図１１に示されるように、赤外線遮断フィルタレイヤ１１０４は、赤色フィルタレイヤ１１０２Ｒ、緑色フィルタレイヤ１１０２Ｇおよび青色フィルタレイヤ１１０２Ｂ上で別個にコーティングされる。図１１に示されるイメージセンサの他の部分は、図１０に示されるセンサの部分と同一であり、詳細については、ここで再び説明しない。

可能な実装において、赤外線遮断フィルタレイヤ１１０４のみがマイクロレンズ１１０１上でコーティングされ得、赤色フィルタレイヤ１１０２ＲはＲピクセルに配置され得、緑色フィルタレイヤ１１０２ＧはＧピクセルに配置され得、青色フィルタレイヤ１１０２ＢはＢピクセルに配置され得、赤外線フィルタレイヤ１１０２ＩＲはＩＲピクセルに配置され得る。例えば、１つのガラスがピクセルの内部に配置され、赤色フィルタレイヤ１１０２Ｒ、緑色フィルタレイヤ１１０２Ｇ、青色フィルタレイヤ１１０２Ｂ、および／または赤外線フィルタレイヤ１１０２ＩＲは、配置されたガラス上にコーティングされる。

可能な実装において、赤色フィルタレイヤ１１０２Ｒ、緑色フィルタレイヤ１１０２Ｇ、および青色フィルタレイヤ１１０２Ｂは、赤外線遮断フィルタレイヤ１１０４上に別個にコーティングされ得る。

本願において提供されるイメージセンサによれば、マイクロレンズの外側または内側上の赤外線遮断フィルタレイヤと赤色フィルタレイヤ、緑色フィルタレイヤ、または青色フィルタレイヤとの間のコーティング位置関係は限定されるものではない。

図１０に示されるイメージセンサに基づいて、図１２は、本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。図１２に示されるように、イメージセンサは更に、紫外光および波長が第２の予め設定された波長より大きい赤外光をフィルタ除去するように構成される光フィルタ１２０５を含み、第２の予め設定された波長は、第１の予め設定された波長、および、特定の波長範囲における、赤外線フィルタレイヤを通過する任意の波長より大きい。このようにして、可視光および一部の赤外光は、光フィルタ１２０５を通過する。

波長が第２の予め設定された波長より大きい赤外光は、遠赤外光と称されてよく、遠赤外光の波長は赤外線フィルタレイヤの通過を許容された赤外光の波長より大きい。例えば、可視光の波長は約４３０ｎｍから６５０ｎｍであり、ＩＲピクセルの光感知の赤外光の典型的な波長は約８５０ｎｍから９２０ｎｍである。第２の予め設定された波長は、例えば、９００ｎｍまたは９２０ｎｍであってよく、または、８５０ｎｍから９５０ｎｍの間の任意の波長であってよい。例えば、光フィルタ１２０５は、オールパス光フィルタまたはデュアルパス（ｄｕａｌ－ｐａｓｓ）光フィルタであってよい。例えば、オールパス光フィルタは、波長が４００ｎｍより小さい紫外光および波長が９００ｎｍより大きい赤外光をフィルタ除去するように構成される。例えば、デュアルパス光フィルタは、可視光および８００ｎｍから９００ｎｍの範囲内にある赤外光のみを通過させるように構成される。この場合、デュアルパス光フィルタが９００ｎｍより大きい赤外光をフィルタ除去することと同等である。例えば、デュアルパス光フィルタは、可視光および９００ｎｍから９５０ｎｍの範囲内にある赤外光のみを通過させるように構成される。この場合、デュアルパス光フィルタが９５０ｎｍより大きい赤外光をフィルタ除去することと同等である。オールパス光フィルタによってフィルタ除去される赤外光の波長およびデュアルパス光フィルタの通過を許容される赤外光の波長の両方が、要件に基づき設計されてよいことを理解されたい。これは、本願において限定されない。光フィルタ１２０５は、比較的波長が長い遠赤外光および紫外光が、感光性コンポーネントの光感知特性に影響を及ぼすことを防ぐことができる。

マイクロレンズ１２０１、光フィルタレイヤ、赤外線遮断フィルタレイヤ１２０４、および電荷読み出しモジュール１２０３については、図１０に示される実施形態の説明を参照されたい。詳細については、ここで再び説明しない。

図１３は、本願によるイメージセンサの垂直断面図の例示的な構造の概略図である。本実施形態における垂直断面図は、図９ａまたは図９ｂにおける破線に沿って切断することによって形成される。図１３に示されるように、例えば、破線に沿った７つのピクセル、すなわち、Ｒピクセル、Ｗピクセル、Ｂピクセル、Ｗピクセル、Ｒピクセル、Ｗピクセル、およびＢピクセルが示される。各ピクセルは、マイクロレンズ１３０１、光フィルタレイヤ、電荷読み出しモジュール１３０３、および光フィルタ１３０５を含む。赤外線遮断フィルタレイヤ１３０４が、Ｒピクセル、Ｇピクセル、およびＢピクセルに更に配置される。Ｒピクセルにおける光フィルタレイヤは赤色フィルタレイヤ１３０２Ｒであり、Ｇピクセルにおける光フィルタレイヤは緑色フィルタレイヤ１３０２Ｇであり、Ｂピクセルにおける光フィルタレイヤは青色フィルタレイヤ１３０２Ｂであり、ＩＲピクセルにおける光フィルタレイヤはオールパスフィルタレイヤまたはデュアルパスフィルタレイヤ１３０２Ｗである。

オールパスフィルタレイヤは、赤色光、緑色光、青色光、および赤外光を含むフルバンド範囲における光を通過させるために使用される。デュアルパスフィルタレイヤは、赤色光、緑色光、青色光、および特定の波長範囲における赤外光を通過させるように構成される。

マイクロレンズ１３０１、赤色フィルタレイヤ１３０２Ｒ、緑色フィルタレイヤ１３０２Ｇ、青色フィルタレイヤ１３０２Ｂ、赤外線遮断フィルタレイヤ１３０４、電荷読み出しモジュール１３０３、および光フィルタ１３０５については、図１０から図１２に示される実施形態の説明を参照されたい。詳細については、ここで再び説明しない。

本願は更に、大ピクセルおよび小ピクセルの露光時間を独立に制御できるセンサを提供する。図１４を参照する。図１４は、大ピクセルおよび小ピクセルのアレイをソートするための制御接続の一例の概略図である。

イメージセンサはピクセルアレイ１４１０およびロジック制御回路１４２０を含む。

ピクセルアレイ１４１０は、図８から図１３における任意の実施形態に示されるイメージセンサにおけるピクセルアレイである。

ロジック制御回路１４２０は、大ピクセルおよび小ピクセルの露光時間を別個に制御するように構成される。大ピクセルは、Ｒピクセル、ＧピクセルおよびＢピクセルを含む。小ピクセルは、ＩＲピクセルまたはＷピクセルである。図１４は、ＩＲピクセルを一例として使用する。具体的には、ロジック制御回路１４２０は、第１の制御ラインおよび第２の制御ラインを含み、または、第１の制御回路および第２の制御回路の２つの独立の制御回路を含んでよい。ピクセルアレイ１４１０における大ピクセルは、第１の制御ラインに連結され、ピクセルアレイ１４１０における小ピクセルは、第２の制御ラインに連結される。図１４における同一名称の制御ラインは、同一のラインであるか、または、互いに接続されていることを理解されたい。例えば、ピクセルアレイ側にある第１の制御ラインは、ロジック制御回路の第１の制御ラインと同一でるか、またはそこに接続されており、ピクセルアレイ側にある第２の制御ラインは、ロジック制御回路の第２の制御ラインと同一であるか、またはそこに接続されている。

大ピクセルの位置におけるピクセルは第１の制御ラインに連結され、小ピクセルの位置におけるピクセルは第２の制御ラインに連結される。ピクセルアレイの配置が異なるとき、ピクセルのそれぞれの座標条件は対応して変更されることが理解されるべきである。従って、ロジック制御回路とピクセルアレイとを接続する方式は、センサの配置方式に基づき、これに対応して設計される必要がある。

第１の制御ラインは第１の制御信号を出力し、第２の制御ラインは第２の制御信号を出力する。第１の制御信号は、大ピクセルの露光開始時点を制御するために使用され、第２の制御信号は、小ピクセルの露光開始時点を制御するために使用される。第１の制御信号および第２の制御信号は、互いに独立している。従って、大ピクセルおよび小ピクセルの露光開始時点は異なり得る。例えば、第１の制御信号の第１の有効遷移エッジが到達したとき、大ピクセルの露光が開始される。第２の制御信号の第２の有効遷移エッジが到達したとき、小ピクセルの露光が開始される。 第１の制御信号および第２の制御信号の有効遷移エッジは立ち下がりエッジまたは立ち上がりエッジであってよく、または、一方が立ち下がりエッジであってよく、他方が立ち上がりエッジであってよい。本願において、制御信号の有効遷移エッジは、限定されない。図１５は、例示的な制御信号の時系列図である。図１５に示されるように、第１の制御信号および第２の制御信号の有効遷移エッジは両方とも立ち下がりエッジである。可能な実装において、第１の制御信号および第２の制御信号は、ロジック制御回路のシステムリセット信号に基づき取得されてよい。図１５に示される通り、第１の制御信号および第２の制御信号が、高レベルにおけるアクティブ信号である。第１の制御信号の立ち下がりエッジが到達するとき、大ピクセルは露光を開始し、第２の制御信号の立ち下がりエッジが到達するとき、小ピクセルは露光を開始する。

任意選択で、ロジック制御回路１４２０は更に、リセット信号を含み、リセット信号はシステムクロック信号であってよい。第１の制御信号および第２の制御信号は両方とも、リセット信号を用いて取得されてよい。例えば、ロジック制御回路１４２０は内部に論理演算回路を含む。論理演算回路は、例えば、ＡＮＤ、ＯＲ、ＮＯＴまたはＸＯＲ論理演算を含んでよい。論理演算回路は、変数ｘ、変数ｙおよびリセット信号の３つの入力を含む。論理演算回路は、第１の制御ラインおよび第２の制御ラインの２つの出力端を含む。変数ｘおよび変数ｙが、大ピクセルの座標条件を満たす場合、リセット信号は第１の制御ラインの出力端に接続される。変数ｘおよび変数ｙが、小ピクセルの座標条件を満たす場合、リセット信号は第２の制御ラインの出力端に接続される。

任意選択で、ロジック制御回路１４２０は更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ラインを含む。

露光終了制御ラインは露光終了信号を出力し、露光終了信号は、高レベルのアクティブ信号または低レベルのアクティブ信号であってよい。露光終了時点は、高レベルの立ち下がりエッジまたは低レベル立ち上がりエッジであってよい。図１５に示された制御信号の時系列図において、露光終了制御信号は、高レベルのアクティブ信号であり、露光終了制御信号の立ち下がりエッジが到達するとき、ピクセルアレイ内のすべてのピクセルの露光が停止される。具体的には、ピクセルアレイにおける大ピクセルおよび小ピクセルの露光開始時点は、第１の制御ラインおよび第２の制御ラインによって別個に制御され、露光終了時点は露光終了制御ラインによって一律に制御される。図１５に示されるように、大ピクセルの露光時間は、第１の制御信号の立ち下がりエッジと露光終了制御信号の立ち下がりエッジとの間の時間差、すなわち、第１の露光時間である。小ピクセルの露光時間は、第２の制御信号の立ち下がりエッジと露光終了制御信号の立ち下がりエッジとの間の時間差、すなわち第２の露光時間である。従って、大ピクセルおよび小ピクセルの露光時間は別個に制御される。

例示的な実装において、第１の制御信号の第１の有効遷移エッジおよび第２の制御信号の第２の有効遷移エッジの到達時点は、大ピクセルおよび小ピクセルの露光時間が予め設定された比率を満たすことを可能にするように、制御され得る。例えば、大ピクセルの露光時間と小ピクセルの露光時間との比率が２：１であるとき、露光結果は、より高い解像度およびより高い信号対雑音比を有する。このように、大ピクセルの制御信号が最初に通過し、小ピクセルの制御信号が後に通過し、２ピクセルの遷移時点間の時間差によって可視光信号および赤外光信号の露光時間が予め設定された比率を満たすことを可能にすることが確実にされる。

本願において提供されるイメージセンサによれば、大ピクセルおよび小ピクセルの露光時間は別個に制御される。例えば、赤外光が過度に強く、可視光が過度に弱いとき、大ピクセルの露光時間は増加し得、小ピクセルの露光時間は低減し得、その結果、大ピクセルおよび小ピクセルのイメージング輝度のバランスがとられる傾向がある。これにより、赤外光または可視光が優勢であるときに容易に生じる露光不均衡の問題を解決し、センサの光感知のダイナミックレンジを改善し、解像度および信号対雑音比などの指標に対するユーザ要求を満たす。更に、イメージセンサの光感知効果は、大ピクセルの露光時間と小ピクセルの露光時間との比率を高精度に設定することによって、より高精度に制御され得る。

任意選択で、ロジック制御回路１４２０は更に、ピクセルアレイの感光性コンポーネントにより累積された電荷が、電荷読み出しモジュールに転送される時点を制御するように構成された電荷転送制御ラインを含む。電荷転送制御ラインは、電荷転送制御信号を出力し、電荷転送制御信号は、高レベルのアクティブ信号または低レベルのアクティブ信号であってよい。図１５に示された制御信号の時系列図において、電荷転送制御信号は高レベルのアクティブ信号であり、電荷転送制御信号の立ち下がりエッジが到達したときに、蓄積電荷が感光性コンポーネントから電荷読み出しモジュールへ転送される。可能な実装において、電荷転送制御信号がリセットされた後、露光終了制御信号がリセットされる。

代替的に、ロジック制御回路の機能は、プロセッサ上で実行されるソフトウェアコードにより実装されてよく、または、ロジック制御回路の一部の機能は、ハードウェア回路で実装されてよく、ロジック制御回路の一部の機能は、ソフトウェアモジュールで実装されてよいことを理解されたい。例えば、センサは、ピクセルアレイおよび制御ユニットを含んでよい。制御ユニットは、プロセッサ上で実行されるソフトウェアモジュールである。制御ユニットは、大ピクセルおよび小ピクセルの露光開始時点をそれぞれ独立に制御するように構成される第１の制御ユニットおよび第２の制御ユニットを含む。制御ユニットは更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ユニットを含む。制御ユニットは、更に、電荷転送制御ユニットおよびリセットユニットを含む。リセットユニットは、リセット信号を提供するように構成される。電荷転送制御ユニットの機能は電荷転送制御ラインと同様である。詳細については、ここで説明しない。

本願は更に、すべての色ピクセルの露光時間を独立に制御できるセンサを提供する。図１６を参照されたい。図１６は、大ピクセルおよび小ピクセルのアレイをソートするための制御接続の一例の概略図である。

センサは、ピクセルアレイ１６１０およびロジック制御回路１６２０を含む。

ピクセルアレイ１６１０は、図８から図１３における任意の実施形態に示されるイメージセンサにおけるピクセルアレイである。

ロジック制御回路１６２０は、Ｒピクセル、Ｇピクセル、Ｂピクセル、および小ピクセル（ＩＲピクセル、またはＷピクセル、図１６はＩＲピクセルを一例として使用する）の露光時間を別個に独立に制御するように構成される。具体的には、ロジック制御回路１６２０は、第１の制御ライン、第２の制御ライン、第３の制御ライン、および第４の制御ラインを含む。代替的に、ロジック制御回路は、４つの独立の制御回路、すなわち第１の制御回路、第２の制御回路、第３の制御回路、および第４の制御回路を含む。ピクセルアレイにおいて、Ｒピクセルが第１の制御ラインに連結され、Ｇピクセルが第２の制御ラインに連結され、Ｂピクセルが第３の制御ラインに連結され、ＩＲピクセルが第４の制御ラインに連結される。図１６における同一名称の制御ラインは、同一の制御ラインであるか、または、互いに接続されていることを理解されたい。例えば、ピクセルアレイ側にある第１の制御ラインおよびロジック制御回路の第１の制御ラインは同一のラインであり、ピクセルアレイ側にある第４の制御ラインおよびロジック制御回路の第４の制御ラインと同一のラインである等である。

第１の制御ラインに連結されたピクセルの座標は、Ｒピクセルの座標条件を満たし、第２の制御ラインに連結されたピクセルの座標は、Ｇピクセルの座標条件を満たし、第３の制御ラインに連結されたピクセルの座標は、Ｂピクセルの座標条件を満たし、第４の制御ラインに連結されたピクセルの座標は、ＩＲピクセルの座標条件を満たす。ピクセルアレイの配置が異なるとき、ピクセルのそれぞれの座標条件は対応して変更されることが理解されるべきである。従って、ロジック制御回路とピクセルアレイとを接続する方式は、センサの配置方式に基づき、これに対応して設計される必要がある。

第１の制御ラインは第１の制御信号を出力し、第２の制御ラインは第２の制御信号を出力し、第３の制御ラインは第３の制御信号を出力し、第４の制御ラインは第４の制御信号を出力する。第１の制御信号は、Ｒピクセルの露光開始時点を制御するために用いられ、第２の制御信号はＧピクセルの露光開始時点を制御するために用いられ、第３の制御信号はＢピクセルの露光開始時点を制御するために用いられ、第４の制御信号はＩＲピクセルの露光開始時点を制御するために用いられる。第１の制御信号から第４の制御信号は、互いに独立である。従って、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光開始時点は異なり得る。例えば、第１の制御信号の第１の有効遷移エッジが到達したとき、Ｒピクセルの露光が開始される。第２の制御信号の第２の有効遷移エッジが到達したとき、Ｇピクセルの露光が開始される。第３の制御信号の第３の有効遷移エッジが到達したとき、Ｂピクセルの露光が開始される。第４の制御信号の第４の有効遷移エッジが到達したとき、ＩＲピクセルの露光が開始される。 第１の制御信号から第４の制御信号までは、すべて高レベルのアクティブ信号であってよい。第１の制御信号から第４の制御信号の有効遷移エッジは、すべて立ち下がりエッジまたは立ち上がりエッジであってよく、または、これら有効遷移エッジの一部が立ち下がりエッジであってよく、残りの有効遷移エッジは立ち上がりエッジである。本願において、制御信号の有効遷移エッジは、限定されない。図１７は、例示的な制御信号の時系列図である。図１７に示されるように、第１の制御信号から第４の制御信号までは、すべて高レベルのアクティブ信号であり、第１の制御信号から第４の制御信号までの有効遷移エッジは、すべて立ち下がりエッジである。可能な実装において、第１の制御信号から第４の制御信号は、ロジック制御回路のシステムリセット信号に基づき取得されてよい。図１７に図示の通り、第１の制御信号の立ち下がりエッジが到達したとき、Ｒピクセルの露光が開始される。第２の制御信号の立ち下がりエッジが到達したとき、Ｇピクセルの露光が開始される。第３の制御信号の立ち下がりエッジが到達したとき、Ｂピクセルの露光が開始される。第４の制御信号の立ち下がりエッジが到達したとき、ＩＲピクセルの露光が開始される。

任意選択で、ロジック制御回路１６２０は、更にリセット信号を含み、リセット信号はシステムクロック信号であってよい。第１の制御信号から第４の制御信号はすべてリセット信号を用いて取得されてよい。例えば、ロジック制御回路１６２０は内部に論理演算回路を含む。論理演算回路は、例えば、ＡＮＤ、ＯＲ、ＮＯＴまたはＸＯＲ論理演算を含んでよい。論理演算回路は、変数ｘ、変数ｙおよびリセット信号の３つの入力を含む。論理演算回路は、第１の制御ラインから第４の制御ラインまでの４つの出力端を含む。変数ｘおよび変数ｙが、Ｒピクセルの座標条件を満たす場合、リセット信号は第１の制御ラインの出力端に接続される。変数ｘおよび変数ｙが、Ｇピクセルの座標条件を満たす場合、リセット信号は第２の制御ラインの出力端に接続される。変数ｘおよび変数ｙが、Ｂピクセルの座標条件を満たす場合、リセット信号は第３の制御ラインの出力端に接続される。変数ｘおよび変数ｙが、ＩＲピクセルの座標条件を満たす場合、リセット信号は第４の制御ラインの出力端に接続される。ピクセルアレイの配置が異なるとき、ピクセルのそれぞれの座標条件は対応して変更されることが理解されるべきである。従って、ロジック制御回路内の論理演算回路は、ピクセルアレイの配置方式に基づき、これに対応して調整される必要がある。

任意選択で、ロジック制御回路１６２０は、更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ラインを含む。

露光終了制御ラインは露光終了信号を出力し、露光終了信号は、高レベルのアクティブ信号または低レベルのアクティブ信号であってよい。露光終了時点は、高レベルの立ち下がりエッジまたは低レベルの立ち上がりエッジであってよい。図１７に示された制御信号の時系列図において、露光終了制御信号は、高レベルのアクティブ信号であり、露光終了制御信号の立ち下がりエッジが到達するとき、ピクセルアレイ内のすべてのピクセルの露光が停止される。具体的には、ピクセルアレイにおけるＲピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光開始時点は、第１の制御ラインから第４の制御ラインによって別個に制御され、露光終了時点は露光終了制御ラインによって一律に制御される。例えば、図１７に示された制御信号の時系列図において、Ｒピクセルの露光時間は、第１の制御信号の立ち下がりエッジと、露光終了制御信号の立ち下がりエッジとの間の時間差、すなわち、第１の露光時間である。Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間は、それぞれ第２の露光時間、第３の露光時間、第４の露光時間である。従って、Ｒピクセル、Ｇピクセル、ＢピクセルおよびＩＲピクセルの露光時間は別個に制御される。

例示的な実装において、第１の制御信号の第１の有効遷移エッジから第４の制御信号の第４の有効遷移エッジへの到達時点は、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間が予め設定された比率を満たすことを可能にするように制御され得る。

任意選択で、ロジック制御回路１６２０は更に、ピクセルアレイの感光性コンポーネントにより累積された電荷が、電荷読み出しモジュールに転送される時点を制御するように構成された電荷転送制御ラインを含む。電荷転送制御ラインは、電荷転送制御信号を出力し、電荷転送制御信号は、高レベルのアクティブ信号または低レベルのアクティブ信号であってよい。図１７に示された電荷転送制御信号は、図１５に示されたものと同一である。

代替的に、ロジック制御回路の機能は、プロセッサ上で実行されるソフトウェアコードにより実装されてよく、または、ロジック制御回路の一部の機能は、ハードウェア回路で実装されてよく、ロジック制御回路の一部の機能は、ソフトウェアモジュールで実装されてよいことを理解されたい。例えば、センサは、ピクセルアレイおよび制御ユニットを含んでよい。制御ユニットは、プロセッサ上で実行されるソフトウェアモジュールである。制御ユニットは、Ｒピクセル、Ｇピクセル、ＢピクセルおよびＩＲピクセルの露光開始時点をそれぞれ独立に制御するように構成される第１の制御ユニット、第２の制御ユニット、第３の制御ユニット、および第４の制御ユニットを含む。制御ユニットは、更に、４つのピクセル成分の露光終了時点を一律に制御するように構成された露光終了制御ユニットを含む。制御ユニットは、更に、電荷転送制御ユニットおよびリセットユニットを含む。リセットユニットは、リセット信号を提供するように構成される。電荷転送制御ユニットの機能は電荷転送制御ラインと同様である。詳細については、ここで説明しない。

本願において提供されるイメージセンサによれば、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間は別個に制御され、これにより、センサの光感知のダイナミックレンジを更に改善する。いくつかのシナリオが、ＲピクセルおよびＧピクセルの光感知結果に対する比較的高い要件を有し、ＢピクセルおよびＩＲピクセルの光感知結果を低減することを期待するとき、Ｒピクセル、Ｇピクセル、Ｂピクセル、およびＩＲピクセルの露光時間は、ＲピクセルおよびＧピクセルの光感知効果を強くしてＢピクセルおよびＩＲピクセルの光感知効果を弱くするように、柔軟に制御され得、その結果、最終的な光感知結果が、解像度および信号対雑音比などの指標に対するユーザ要求をより良く満たし得る。更に、センサの光感知効果を高精度に制御するために、Ｒピクセル、Ｇピクセル、ＢピクセルおよびＩＲピクセルの露光時間は、予め設定された比率を満たすように予め設定され得る。

本願は更に、各ピクセルの露光時間が別個に制御され得るセンサを提供する。図１８を参照されたい。図１８は、大および小ピクセルのアレイをソートするための制御接続の一例の概略図である。

センサは、ピクセルアレイ１８１０およびロジック制御回路１８１８を含む。

ピクセルアレイ１８１０は、図８から図１３における任意の実施形態に示されるセンサにおけるピクセルアレイである。

ロジック制御回路１８１８は、行座標制御回路および列座標制御回路を含み、または、行座標制御ラインおよび列座標制御ラインを含む。ピクセルアレイ内の各ピクセルは、ピクセルの行座標制御ラインおよび列座標制御ラインに連結される。

ロジック制御回路１８１８は、更に、リセット信号および露光開始制御ラインを含む。ターゲットピクセルの行座標ラインによって出力される行座標制御信号およびターゲットピクセルの列座標ラインによって出力される列座標制御信号が両方ともアクティブ信号である場合、露光開始制御ラインはリセット信号をターゲットピクセルに出力し、且つ、リセット信号に基づき、ターゲットピクセルの露光開始時点を制御する。 例えば、露光開始制御ラインは複数の分岐を有し、各ピクセルは１つの分岐に連結される。ターゲットピクセルの行座標制御信号および列座標制御信号が要件を満たす場合、ターゲットピクセルに対応する分岐がアクティブ制御信号を出力する。列座標制御ラインおよび行座標制御ラインは、スイッチと同等である。リセット信号は入力であり、露光開始制御ラインは出力である。列座標制御ラインおよび行座標制御ラインの信号がアクティブ信号の場合、スイッチはオンにされ、その結果、リセット信号が露光開始制御ラインを用いてターゲットピクセルに出力され得、ターゲットピクセルの露光が制御される。例えば、列座標制御ラインおよび行座標制御ラインの信号がアクティブ信号であり、リセット信号の有効遷移エッジが到達するとき、ターゲットピクセルは露光が開始されるように制御される。列座標制御ラインおよび行座標制御ラインの信号のうちのいずれか一方が要件を満たさない場合、スイッチはオフにされ、露光開始制御ラインは制御信号を出力しない。ピクセルアレイにおける各ピクセルは、対応する行座標ラインおよび対応する列座標ラインを有するので、各ピクセルの露光時間は別個に制御され得る。例えば、集中的に露光される必要があるピクセルの行座標ラインおよび列座標ラインにおける信号は、好ましくは、集中的に露光される必要があるピクセルの露光時間を延ばすために、アクティブ信号に設定され得る。

任意選択で、ロジック制御回路１８１８は、更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ラインを含む。詳細については、ロジック制御回路１６１８およびロジック制御回路１８１８の露光終了制御ラインを参照されたい。詳細については、ここで説明しない。

任意選択で、ロジック制御回路１８１８は、更に、感光性コンポーネントにより累積された電荷を電荷読み出しモジュールにいつ転送するかを制御するように構成された電荷転送制御ラインを含む。詳細については、ロジック制御回路１６１８およびロジック制御回路１８１８の電荷転送制御ラインを参照されたい。詳細については、ここで説明しない。

代替的に、ロジック制御回路の機能は、プロセッサ上で実行されるソフトウェアコードにより実装されてよく、または、ロジック制御回路の一部の機能は、ハードウェア回路で実装されてよく、ロジック制御回路の一部の機能は、ソフトウェアモジュールで実装されてよいことを理解されたい。例えば、センサは、ピクセルアレイおよび制御ユニットを含んでよい。制御ユニットは、プロセッサ上で実行されるソフトウェアモジュールである。制御ユニットは、行制御ユニット、列制御ユニットおよび露光開始制御ユニットを含む。行制御ユニットおよび列制御ユニットはそれぞれ、ピクセルの行座標および列座標を示すように構成されている。露光開始制御ユニットは、ターゲットピクセルの行制御ユニットおよび列制御ユニットが要件を満たす場合、ターゲットピクセルの露光開始時点を制御すべくアクティブ制御信号を出力するように構成されている。

本願において提供されるセンサによれば、各ピクセルの露光開始時点は、ピクセルの行座標制御ラインおよび列座標制御ラインの制御信号のステータスに基づき制御されてよく、すべてのピクセルの露光終了時点は、露光終了制御ラインにより一律に制御される。従って、すべてのピクセルの露光時間は、異なってよい。更に、ピクセルに対応する行座標制御信号および列座標制御信号がアクティブ信号になる時点が設定され得、各ピクセルの露光時間が予め設定された比率を満たすことが可能になる。ターゲット領域内のあるピクセルが強調される必要があるいくつかのシナリオでは、ターゲット領域内の当該ピクセルの露光時間のみが増加されてよい。これにより、更に、センサの光感知を改善し、更に、光感知結果に対するユーザ要求を満たす。

図１９は、例示的な制御信号の時系列図である。図１９は、２ピクセルを一例として使用して、露光開始制御信号によるピクセルの露光開始時点に対する制御を説明する。当該時系列図におけるすべての信号は、高レベルのアクティブ信号である。代替的に、各制御信号は、低レベルのアクティブ信号得あってよいことを理解されたい。

第１のピクセルは、第１の行座標制御ラインおよび第１の列座標制御ラインに連結されている。第１の行座標制御ラインの信号は、行座標制御信号１であり、第１の列座標制御ラインの信号は、列座標制御信号１である。第２のピクセルは、第２の行座標制御ラインおよび第２の列座標制御ラインに連結されている。第２の行座標制御ラインの信号は、行座標制御信号２であり、第２の列座標制御ラインの信号は、列座標制御信号２である。第１のピクセルの行座標制御信号１および列座標制御信号１が両方とも高レベルにあるとき、第１のピクセルの露光開始制御信号はアクティブである。具体的には、リセット信号が、露光開始制御信号として用いられ、リセット信号の立ち下がりエッジが到達するとき、第１のピクセルは、露光が開始されるよう制御される。第２のピクセルの行座標制御信号２および列座標制御信号２が両方とも高レベルにあるとき、第２のピクセルの露光開始制御信号はアクティブである。具体的には、リセット信号が、露光開始制御信号として用いられ、リセット信号の立ち下がりエッジが到達するとき、第２のピクセルは、露光が開始されるよう制御される。露光終了制御信号の立ち下がりエッジが到達するとき、第１のピクセルの露光および第２のピクセルの露光の両方が停止される。この場合、第１のピクセルの露光時間は第１の露光時間であり、第２のピクセルの露光時間は第２の露光時間である。第１のピクセルの露光開始制御信号および第２のピクセルの露光開始制御信号は、同一信号の２つの異なる分岐であってよいことを理解されたい。第１のピクセルの座標制御信号が要件を満たす場合、第１のピクセルに対応する分岐が、アクティブ制御信号を出力する。第２のピクセルの座標制御信号が要件を満たす場合、第２のピクセルに対応する分岐が、アクティブ制御信号を出力する。

図２０ａは、本願による、イメージセンサにおける感光性コンポーネントの光感知特性曲線である。図２０ａに示されるように、水平座標は、光線の波長を示し、単位はｎｍであり、垂直座標は光感知強度を示す。薄い実線は、Ｒピクセルの光感知特性曲線を示し、点線は、Ｇピクセルの光感知特性曲線を示し、鎖線は、Ｂピクセルの光感知特性曲線を示し、破線は、ＩＲピクセルの光感知特性曲線を示す。Ｒピクセルは、赤色光の６５０ｎｍ付近にのみ光感知強度ピークを有し、Ｇピクセルは、緑色光の５５０ｎｍ付近にのみ光感知強度ピークを有し、Ｂピクセルは、青色光の４５０ｎｍ付近にのみ光感知強度ピークを有し、ＩＲピクセルは、赤外光の８５０ｎｍ（場合によっては、９１０ｎｍであってよい）付近にのみ光感知強度ピークを有することが図２０ａから分かる。図４に示される光感知特性曲線と比較して、本願において提供されるイメージセンサは、Ｒピクセル、Ｇピクセル、およびＢピクセルの光感知結果からＩＲ信号を除去し、その結果、Ｒピクセルは赤色光のみを感知でき、Ｇピクセルは緑色光のみを感知でき、Ｂピクセルは青色光のみを感知できる。従って、イメージセンサの光感知結果の色正確度が改善される。

図２０ｂは、本願による、イメージセンサにおける感光性コンポーネントの光感知特性曲線である。図２０ｂに示されるように、水平座標は、光線の波長を示し、単位はｎｍであり、垂直座標は光感知強度を示す。薄い実線は、Ｒピクセルの光感知特性曲線を示し、点線は、Ｇピクセルの光感知特性曲線を示し、鎖線は、Ｂピクセルの光感知特性曲線を示し、破線は、Ｗピクセルの光感知特性曲線を示す。Ｒピクセルは、赤色光の６５０ｎｍ付近のみに光感知強度ピークを有し、Ｇピクセルは、緑色光の５５０ｎｍ付近のみに光感知強度ピークを有し、Ｂピクセルは、青色光の４５０ｎｍ付近のみに光感知強度ピークを有し、Ｗピクセルの光感知範囲がフルバンドをカバーすることが図２０ｂから分かる。図４に示される光感知特性曲線と比較して、本願において提供されるイメージセンサは、Ｒピクセル、Ｇピクセル、およびＢピクセルの光感知結果からＩＲ信号を除去し、その結果、Ｒピクセルは赤色光のみを感知でき、Ｇピクセルは緑色光のみを感知でき、Ｂピクセルは青色光のみを感知できる。従って、イメージセンサの光感知結果の色正確度が改善される。

本願は独立露光装置を提供する。装置は、イメージセンサのピクセルアレイの露光時間を制御するように構成される。装置は、少なくとも２つの制御ユニットを備え、少なくとも２つの制御ユニットの各々は、センサのピクセルアレイ内の対応する１つのタイプのピクセルの露光開始時点を制御するように構成されており、センサのピクセルアレイは、少なくとも２つのタイプのピクセル、例えば大ピクセルおよび小ピクセルを含む。

独立露光装置は、イメージセンサから独立した制御装置としてみなされてよく、例えば、汎用プロセッサまたは専用プロセッサであってよく、または、独立に固化されたハードウェアロジックまたはハードウェア回路としてみなされてよいことを理解されたい。例えば、独立露光装置は、図１４、図１６、および図１８におけるロジック制御回路とみなされ得る。

図２１は独立露光装置の例示的な構造の概略図である。図１４、図１６および図１８に示されるロジック制御回路はまた、図２１に示される露光制御装置で実行されるソフトウェアモジュールによって実装され得ることを理解されたい。

露光制御装置は、少なくとも１つの中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、少なくとも１つのメモリ、マイクロコントローラユニット（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ，ＭＣＵ）、受信インタフェースおよび送信インタフェース等を含む。任意選択で、露光制御装置は更に、専用ビデオまたはグラフィックスプロセッサ、グラフィック処理装置（ＧＰＵ）などを含む。

任意選択で、ＣＰＵは、シングルコアプロセッサ（ｓｉｎｇｌｅ－ＣＰＵ）またはマルチコアプロセッサ（ｍｕｌｔｉ－ＣＰＵ）であってよい。任意選択で、ＣＰＵは、複数のプロセッサを含むプロセッサグループであってよく、当該複数のプロセッサは、１または複数のバスを用いて互いに連結される。可能な実装において、露光制御は、汎用ＣＰＵまたはＭＣＵ上で実行されるソフトウェアコードによって部分的に実装され、且つハードウェアロジック回路によって部分的に実装されてよく、または、汎用ＣＰＵまたはＭＣＵ上で実行されるソフトウェアコードによって全体的に実装されてもよい。 任意選択で、メモリは、例えば、組み込みマルチメディアカード（Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｃａｒｄ，ＥＭＭＣ）、ユニバーサルフラッシュストレージ（Ｕｎｉｖｅｒｓａｌ Ｆｌａｓｈ Ｓｔｏｒａｇｅ，ＵＦＳ）またはリードオンリメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）等の不揮発性メモリであってよく、または、静的情報および命令を格納可能な別のタイプの静的ストレージデバイスであってよく、または、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）または情報および命令を格納可能な別のタイプの動的ストレージデバイス等の揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってよく、または、電気的消去可能プログラマブルリードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＣＤ－ＲＯＭ）または別の光ディスクストレージ、光ディスクストレージ（圧縮光ディスク、レーザディスク、光ディスク、デジタル多用途ディスクまたはブルーレイディスク、または同様のものを含む）、磁気ディスク記憶媒体もしくは別の磁気ストレージデバイス、あるいは、命令またはデータ構造の形態のプログラムコードを保持または格納するように構成され且つコンピュータによりアクセス可能な任意の他のコンピュータ可読記憶媒体であってよい。しかしながら、メモリはこれに限定されない。受信インタフェースは、プロセッサチップのデータ入力インタフェースであってよい。

可能な実装において、独立露光装置は、更にピクセルアレイを含む。この場合、独立露光装置は、少なくとも２つのタイプのピクセル、例えば大ピクセルおよび小ピクセルを含む。換言すると、独立露光装置は、制御ユニットまたはロジック制御回路を含むイメージセンサであり得、または、独立露光装置は、露光を独立に制御し得るイメージセンサである。例えば、独立露光装置は、露光を独立して制御するＲＧＢＩＲセンサ、ＲＧＢＷセンサまたは同様のものであってよい。

可能な実装において、可視光ピクセルは、１つのタイプのピクセルに分類され、具体的には、Ｒピクセル、Ｇピクセル、およびＢピクセルが、１つのタイプのピクセル（大ピクセル）に分類され、ＩＲピクセルまたはＷピクセルが別のタイプのピクセル（小ピクセル）とみなされると理解されたい。

別の任意選択の場合において、各ピクセル成分は、１つのタイプのピクセルとしてみなされる。例えば、ＲＧＢＩＲセンサは、Ｒ、Ｇ、ＢおよびＩＲの４つのタイプのピクセルを含み、ＲＧＢＷセンサは、Ｒ、Ｇ、ＢおよびＷの４つのタイプのピクセルを含み、ＲＣＣＢセンサは、Ｒ、ＢおよびＣの３つのタイプのピクセルを含む。

可能な実装において、センサはＲＧＢＩＲセンサであり、ＲＧＢＩＲセンサは、可視光ピクセルおよびＩＲピクセルの独立の露光を実装してよく、または、Ｒ、Ｇ、ＢおよびＩＲの４つの成分の独立の露光を実装してよい。

可視光ピクセルおよびＩＲピクセルを独立して露光するＲＧＢＩＲセンサの場合、少なくとも２つの制御ユニットは、第１の制御ユニットおよび第２の制御ユニットを含む。第１の制御ユニットは、可視光ピクセルの露光開始時点を制御するように構成されている。第２の制御ユニットは、ＩＲピクセルの露光開始時点を制御するように構成されている。

Ｒ、Ｇ、ＢおよびＩＲの４つの成分を独立して露光するＲＧＢＩＲセンサについては、少なくとも２つの制御ユニットは、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットを含む。第１の制御ユニットは、Ｒピクセルの露光開始時点を制御するように構成されている。第２の制御ユニットは、Ｇピクセルの露光開始時点を制御するように構成されている。第３の制御ユニットは、Ｂピクセルの露光開始時点を制御するように構成されている。第４の制御ユニットは、ＩＲピクセルの露光開始時点を制御するように構成されている。

可能な実装において、センサはＲＧＢＷセンサであり、ＲＧＢＷセンサは、可視光ピクセルおよびＷピクセルの独立の露光を実装してよく、または、Ｒ、Ｇ、ＢおよびＷの４つの成分の独立の露光を実装してよい。

可視光ピクセルおよびＷピクセルを独立して露光するＲＧＢＷセンサの場合、少なくとも２つの制御ユニットは、第１の制御ユニットおよび第２の制御ユニットを含む。第１の制御ユニットは、可視光ピクセルの露光開始時点を制御するように構成されている。第２の制御ユニットは、Ｗピクセルの露光開始時点を制御するように構成されている。

Ｒ、Ｇ、ＢおよびＷの４つの成分を独立して露光するＲＧＢＷセンサの場合、少なくとも２つの制御ユニットは、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットを含む。第１の制御ユニットは、Ｒピクセルの露光開始時点を制御するように構成されている。第２の制御ユニットは、Ｇピクセルの露光開始時点を制御するように構成されている。第３の制御ユニットは、Ｂピクセルの露光開始時点を制御するように構成されている。第４の制御ユニットは、Ｗピクセルの露光開始時点を制御するように構成されている。

可能な実装において、独立露光装置は、更に、少なくとも２つの制御ユニットに基づき、少なくとも２つのタイプのピクセルの露光時間を予め設定された比率を満たすように制御してよい。例えば、第１の制御ユニットおよび第２の制御ユニットに基づき、可視光ピクセル露光時間およびＩＲピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットに基づき、Ｒ、Ｇ、ＢおよびＩＲピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニットおよび第２の制御ユニットに基づき、可視光ピクセルの露光時間およびＷピクセルの露光時間は、予め設定された比率を満たすように制御される。代替的に、第１の制御ユニット、第２の制御ユニット、第３の制御ユニットおよび第４の制御ユニットに基づき、Ｒ、Ｇ、ＢおよびＷピクセルの露光時間、予め設定された比率を満たすように制御される。

可能な実装において、独立露光装置は、更に、ピクセルアレイ内のすべてのピクセルの露光終了時点を一律に制御するように構成された露光終了制御ユニットを含む。

本願は、更に、イメージ光感知方法を提供する。図２２は、本願によるイメージ光感知方法の実施形態のフローチャートである。図２２に示されるように、方法は、本願において提供されるイメージセンサに適用される。イメージセンサは、赤色ピクセル、緑色ピクセル、青色ピクセル、および不可視光ピクセルを含み、ここで、赤色ピクセル、緑色ピクセル、および青色ピクセルは大ピクセルであり、不可視光ピクセルは小ピクセルであり、大ピクセルの光感知面積は小ピクセルより大きい。赤色ピクセル、緑色ピクセル、および青色ピクセルはベイヤー形式で配置される。イメージ光感知方法は以下を含む。

段階２２０１：赤色ピクセルに基づいて赤色光を感知する。

段階２２０２：緑色ピクセルに基づいて緑色光を感知する。

段階２２０３：青色ピクセルに基づいて青色光を感知する。

段階２２０４：小ピクセルに基づいて赤外光または白色光を感知する。

小ピクセルとして使用される不可視光ピクセルは、赤外線ピクセルまたは白色ピクセルを含み、白色ピクセルは、白色光を感知するために使用される。白色光は、赤色光、緑色光、青色光および赤外光を含む。従って、段階２２０４は更に、赤外線ピクセルに基づいて赤外光を感知する、または、白色ピクセルに基づいて白色光を感知する段階を含み得る。

可能な実装において、４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む。大ピクセルおよび小ピクセルの面積は、イメージセンサのクロストーク精度に基づいて設定される。大ピクセルおよび小ピクセルは正多角形または円形である。

イメージセンサにおけるピクセルの構造および原理については、装置側の説明を参照されたい。詳細については、ここで再び説明しない。

段階２２０１から２２０４の番号は、方法の実行順序を限定するものではないことを更に理解されたい。段階２２０１から２２０４は同期して実行されてよく、または、これら段階は、厳密に同期して実行されなくてよく、段階と段階との間に時間差が存在する。これは、本願において限定されない。

図２２に示される実施形態に基づいて、図２３は、本願によるイメージ光感知方法の実施形態のフローチャートである。図２３に示されるように、イメージセンサは更に、マイクロレンズ、赤外線遮断フィルタレイヤ、および光フィルタレイヤを含み得る。各ピクセルは、１つのマイクロレンズに対応し、各大ピクセルは、１つの赤外線遮断フィルタレイヤに対応する。赤外線遮断フィルタレイヤは、波長が第１の予め設定された波長より大きい光信号を遮断するために使用され、波長が第１の予め設定された波長より大きい光信号は、赤外光を含む。光フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤを含む。各赤色ピクセルは、１つの赤色フィルタレイヤに対応し、赤色フィルタレイヤは、赤色光および第１の波長範囲における赤外光を通過させるために使用される。各緑色ピクセルは、１つの緑色フィルタレイヤに対応し、緑色フィルタレイヤは、緑色光および第２の波長範囲における赤外光を通過させるために使用される。各青色ピクセルは１つの青色フィルタレイヤに対応し、青色フィルタレイヤは、青色光および第３の波長範囲における赤外光を通過させるために使用される。第１の波長範囲における赤外光、第２の波長範囲における赤外光、および第３の波長範囲における赤外光の波長は、第１の予め設定された波長より大きい。不可視光ピクセルが赤外線ピクセルであるとき、光フィルタレイヤは更に赤外線フィルタレイヤを含む。各赤外線ピクセルは１つの赤外線フィルタレイヤに対応し、赤外線フィルタレイヤは、特定の波長範囲における赤外光を通過させるために使用される。不可視光ピクセルが白色ピクセルであるとき、光フィルタレイヤは更にオールパスフィルタレイヤまたはデュアルパスフィルタレイヤを含む。各白色ピクセルは１つのオールパスフィルタレイヤまたは１つのデュアルパスフィルタレイヤに対応し、オールパスフィルタレイヤは、フルバンド範囲における光を通過させるために使用され、デュアルパスフィルタレイヤは、赤色光、緑色光、青色光、および特定の波長範囲における赤外光を通過させるために使用される。イメージ光感知方法は更に以下を含み得る。

段階２３０１：元の自然の光線が光フィルタを通過して、第１の光線を取得する。

光フィルタは、紫外光および遠赤外光をフィルタ除去するように構成される。遠赤外光は、比較的長い波長を有する赤外光である。例えば、波長が上述の実施形態で言及した第２の予め設定された波長より大きい赤外光は、遠赤外光と称されてよい。遠赤外光の波長は、特定の波長範囲内にあり且つ後続的に赤外線フィルタレイヤの通過を許容された赤外光の波長より大きい。光フィルタについては、装置側にある光フィルタの説明を参照されたい。詳細については、ここで説明しない。

段階２３０２：第１の光線ｈ、赤外線遮断フィルタレイヤ、赤色フィルタレイヤおよびマイクロレンズを通過して、赤色ピクセルに到達する。

段階２３０３：第１の光線が赤外線遮断フィルタレイヤ、緑色フィルタレイヤ、およびマイクロレンズを通過して緑色ピクセルに到達する。

段階２３０４：第１の光線が赤外線遮断フィルタレイヤ、青色フィルタレイヤおよびマイクロレンズを通過して、青色ピクセルに到達する。

段階２３０５：第１の光線が赤外線フィルタレイヤを通過して、赤外線ピクセルに到達するか、または、オールパスフィルタレイヤもしくはデュアルパスフィルタレイヤを通過して白色ピクセルに到達する。

段階２３０２から２３０５の番号は、方法の実行順序を限定するものではないことを更に理解されたい。通常、段階２３０２から２３０５は同期して実行されてよく、または、これら段階は、厳密に同期して実行されなくてよく、段階と段階との間に時間差が存在する。これは、本願において限定されない。

赤外線フィルタレイヤは、特定の波長範囲における赤外光のみを通過させ、赤色フィルタレイヤは、赤色光および第１の波長範囲における赤外光のみを通過させるために使用され、緑色フィルタレイヤは、緑色光および第２の波長範囲における赤外光のみを通過させるために使用され、青色フィルタレイヤは、青色光および第３の波長範囲における赤外光のみを通過させるために使用される。赤外線遮断フィルタレイヤによって遮断される赤外光は、第１の波長範囲にある赤外光、第２の波長範囲にある赤外光および第３の波長範囲にある赤外光を含む。

赤色フィルタレイヤ、緑色フィルタレイヤおよび青色フィルタレイヤを通過するすべての赤外光は、赤外線遮断フィルタレイヤによって遮断される赤外光の波長範囲内にあるので、赤外線遮断フィルタレイヤは、赤外光が、Ｒピクセル、ＧピクセルおよびＢピクセルに入るのを遮断し、その結果、Ｒピクセル、ＧピクセルおよびＢピクセルはそれぞれ、赤色光、緑色光および青色光のみを感知してよい。

段階２３０１は、任意選択の段階であり、代替的に、元の自然の光線は、光フィルタを通過せずに、フィルタレイヤおよびマイクロレンズに直接入ってよいことを理解されたい。赤外線遮断フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤまたは青色フィルタレイヤの上方に配置されてよい。代替的に、赤色フィルタレイヤ、緑色フィルタレイヤまたは青色フィルタレイヤは、赤外線遮断フィルタレイヤの上方に配置されてよい。これは、本願において限定されない。

段階２３０６：ピクセル内の感光性コンポーネントが、ピクセルに入る光線を電荷に変換する。

段階２３０７：電荷読み出しモジュールによって蓄積電荷を出力して光感知結果を取得する。

可能な実装において、方法は更に、第１の制御ラインに基づいて大ピクセルの露光開始時点を制御する段階であって、可視光ピクセルはＲピクセル、Ｇピクセル、およびＢピクセルを含む、段階と、第２の制御ラインに基づいて赤外線ピクセルの露光開始時点を制御する段階であって、小ピクセルはＩＲピクセルおよびＷピクセルを含む、段階とを備える。

大ピクセルおよび小ピクセルは、独立に露光され得、これにより、イメージセンサの光感知効果を改善する。

可能な実装において、方法は更に、第１の制御ラインおよび第２の制御ラインに基づいて、予め設定された比率を満たすように大ピクセルおよび小ピクセルの露光時間を制御する段階を備える。

可能な実装において、方法は、更に、第１の制御ラインに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ラインに基づき、Ｇピクセルの露光開始時点を制御する段階と、第３の制御ラインに基づき、Ｂピクセルの露光開始時点を制御する段階と、第４の制御ラインに基づき、ＩＲピクセルの露光開始時点を制御する段階と、を含む。

この方法において、４つのピクセルは、独立に露光され得、これにより、イメージセンサの光感知効果を改善する。

可能な実装において、方法は更に、予め設定された比率を満たすようにＲピクセル、Ｇピクセル、およびＢピクセルの露光時間を制御する段階を備える。

可能な実装において、イメージセンサ内の各ピクセルは、ピクセルの行座標制御ラインおよび列座標制御ラインに連結され、各ピクセルは露光開始制御ラインの１つの分岐に対応する。方法は、更に、ターゲットピクセルの行座標制御ラインおよび列座標制御ラインにより出力された制御信号が両方とも有効レベルである場合、ターゲットピクセルに対応する露光開始制御ラインの分岐によって制御信号を出力する段階と、制御信号に基づき、ターゲットピクセルの露光開始時点を制御する段階であって、ターゲットピクセルは、ピクセルアレイ内の任意のピクセルである、段階と、を含む。

この方法において、各ピクセルの露光時間は別個に制御され得る。

可能な実装において、方法は更に 露光終了制御ラインに基づいて、ピクセルアレイにおけるすべてのピクセルの露光終了時点を制御する段階を備える。

図２４は、本願による露光時間を独立に制御するための方法の実施形態のフローチャートである。図２４に示されるように、方法は、少なくとも２つのタイプのピクセルを含むセンサに適用され、少なくとも２つのタイプのピクセルは第１のタイプのピクセルおよび第２のタイプのピクセルを含む。この方法は、以下の段階を含む。

段階２４０１：第１の制御ユニットに基づき、第１のタイプのピクセルの露光開始時点を制御する。

段階２４０２：第２の制御ユニットに基づき、第２のタイプのピクセルの露光開始時点を制御する。

例えば、センサは、ＲＧＢＩＲセンサであってよい。これに対応して、第１のタイプのピクセルは、可視光ピクセルに対応する大ピクセルであり、可視光ピクセルは、Ｒピクセル、Ｇピクセル、およびＢピクセルを含み、第２のタイプのピクセルは、ＩＲピクセルに対応する小ピクセルである。イメージセンサは、ＲＧＢＷセンサであり得る。これに対応して、第１のタイプのピクセルは、可視光ピクセルに対応する大ピクセルであり、可視光ピクセルは、Ｒピクセル、ＧピクセルおよびＢピクセルを含み、第２のタイプのピクセルはＷピクセルに対応する小ピクセルである。第１の制御ユニットおよび第２の制御ユニットは、互いに独立している。従って、第１のタイプのピクセル露光開始時点および第２のタイプのピクセルの露光開始時点が別個に制御される。第１の制御ユニットおよび第２の制御ユニットは、ハードウェアロジック回路によって実装されてよいこと、または、プロセッサ上で実行されるソフトウェアモジュールによって実装されてよいことを理解されたい。

可能な実装において、少なくとも２つのタイプのピクセルは更に、第３のタイプのピクセルを含む。方法は、更に、第３の制御ユニットに基づき、第３のタイプのピクセルの露光開始時点を制御する段階を含む。

例えば、センサは、ＲＣＣＢセンサであり得る。第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＢピクセルであり、第３のタイプのピクセルはＣピクセルである。方法は、具体的に、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｃピクセルの露光開始時点を制御する段階と、を含む。

可能な実装において、少なくとも２つのタイプのピクセルは更に、第３のタイプのピクセルおよび第４のタイプのピクセルを含む。方法は、更に、第３の制御ユニットに基づき、第３のタイプのピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、第４のタイプのピクセルの露光開始時点を制御する段階とを含む。

例えば、センサはＲＧＢＩＲセンサであり、第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＧピクセルであり、第３のタイプのピクセルはＢピクセルであり、第４のタイプのピクセルはＩＲピクセルである。具体的に、方法は、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｇピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、ＩＲピクセルの露光開始時点を制御する段階と、を含む。代替的に、センサはＲＧＢＷセンサであり、第１のタイプのピクセルはＲピクセルであり、第２のタイプのピクセルはＧピクセルであり、第３のタイプのピクセルはＢピクセルであり、第４のタイプのピクセルはＷピクセルである。具体的に、方法は、第１の制御ユニットに基づき、Ｒピクセルの露光開始時点を制御する段階と、第２の制御ユニットに基づき、Ｇピクセルの露光開始時点を制御する段階と、第３の制御ユニットに基づき、Ｂピクセルの露光開始時点を制御する段階と、第４の制御ユニットに基づき、Ｗピクセルの露光開始時点を制御する段階と、を含む。

任意選択で、方法は更に、露光終了制御ユニットに基づいて、ピクセルアレイにおけるすべてのピクセルの露光終了時点を制御する段階を備える。

任意選択で、方法は更に、予め設定された比率を満たすように少なくとも２つのタイプのピクセルの各々の露光時間を制御する段階を備える。

例えば、大ピクセルおよび小ピクセルの露光時間は、予め設定された比率を満たすように、第１の制御ユニットおよび第２の制御ユニットに基づいて制御される。代替的に、予め設定された比率を満たすように、Ｒピクセル、Ｇピクセル、ＢピクセルおよびＩＲピクセルの露光時間が、第１の制御ユニット、第２の制御ユニット、第３の制御ユニット、および第４の制御ユニットに基づいて制御される。代替的に、予め設定された比率を満たすように、Ｒピクセル、Ｇピクセル、ＢピクセルおよびＷピクセルの露光時間が、第１の制御ユニット、第２の制御ユニット、第３の制御ユニット、および第４の制御ユニットに基づいて制御される。

異なるタイプのピクセルの露光開始時点は別個に制御され、露光終了時点は一律に制御される。従って、異なるピクセルの露光時間は、ピクセルの露光開始時点を設定することによって、予め設定された比率を満たし得る。

任意選択で、方法は、更に、電荷転送制御ユニットに基づき、感光性コンポーネントによって累積された電荷を電荷読み出しモジュールに転送する段階を含む。

本願は、更に、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータまたはプロセッサ上で実行されるとき、コンピュータまたはプロセッサは、本願において提供される露光を独立に制御するための任意の方法における一部または全部の段階を実行することが可能となる。

本願は、更に、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータまたはプロセッサ上で実行される場合、コンピュータまたはプロセッサは、本願の実施形態で提供される露光を独立して制御するための任意の方法における一部の段階または全部の段階を実行できるようにされる。

実装プロセスにおいて、上記の方法の実施形態の段階は、プロセッサにおけるハードウェア赤外線論理回路を使用することによって、または、ソフトウェアの形態の命令を使用することによって完了され得る。本願を参照して開示される方法の段階は、ハードウェア符号化プロセッサによって直接実行され得るか、または、符号化プロセッサにおけるハードウェアおよびソフトウェアモジュールの組み合わせを使用することによって実行され得る。ソフトウェアモジュールは、当該技術分野において成熟した記憶媒体、例えば、ランダムアクセスメモリ、フラッシュメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、電気的消去可能プログラマブルメモリ、またはレジスタなどに配置され得る。記憶媒体はメモリに位置し、プロセッサは、メモリにおける情報を読み出し、プロセッサのハードウェアと組み合わせて、上記方法における段階を完了する。

当業者であれば、本明細書に開示される実施形態を参照して説明される例におけるユニットおよびアルゴリズムの段階が、電子ハードウェア、または、コンピュータソフトウェアおよび電子ハードウェアの組み合わせによって実装され得ることに気付き得る。機能がハードウェアによって実行されるか、または、ソフトウェアによって実行されるかは、技術的解決手段の特定の用途および設計の制約に依存する。当業者であれば、異なる方法を使用して、説明した機能を特定の各用途ごとに実装してよいが、かかる実装が本願の範囲を超えるものとみなされるべきではない。

当業者は明確に理解し得るように、説明を簡便かつ簡潔にする目的で、前述のシステム、装置、およびユニットの詳細な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたい。詳細については、ここで再び説明しない。

本願において提供されたいくつかの実施形態において、開示されたシステム、装置、および方法は、別の方式で実装され得ることが理解されるべきである。例えば、記載される装置の実施形態は一例に過ぎない。例えば、複数のユニットへの分割は、単なる論理的な機能の分割に過ぎず、実際に実装する際には、他の分割であってもよい。例えば、複数のユニットまたはコンポーネントが組み合わされても、別のシステムへ統合されてもよく、いくつかの機能が無視されても、実行されなくてもよい。加えて、示されたか説明された相互連結もしくは直接連結または通信接続は、いくつかのインタフェースを通じて実装され得る。装置またはユニット間の間接連結または通信接続が、電気的な形態、機械的な形態、または、別の形態で実装され得る。

これらの機能がソフトウェア機能ユニットの形態で実装され、独立の製品として販売されるかまたは使用されるとき、これらの機能はコンピュータ可読記憶媒体に格納されてよい。こうした理解に基づいて、本願の技術的解決手段は本質的に、または従来技術に寄与する部分が、またはこれらの技術的解決手段のうちのいくつかが、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は記憶媒体に格納され、本願の実施形態において説明される方法の段階のすべてまたは一部を実行するようコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであり得る）に示すための複数の命令を含む。

前述の説明は、本願の単なる特定の実装例に過ぎず、本願の保護範囲を限定することを目的としているものではない。本願において開示した技術的範囲内で当業者が容易に考え出す変形または置換はいずれも、本願の保護範囲に含まれるものとする。したがって、本願の保護範囲は特許請求の範囲の保護範囲に従うものとする。

Claims (19)

1. 赤色ピクセル、緑色ピクセル、青色ピクセル、および不可視光ピクセルを備えるイメージセンサであって、
   前記赤色ピクセル、前記緑色ピクセル、および前記青色ピクセルは大ピクセルであり、前記不可視光ピクセルは小ピクセルであり、前記大ピクセルの光感知面積は前記小ピクセルより大きく、
   前記赤色ピクセル、前記緑色ピクセル、および前記青色ピクセルはベイヤー形式で配置される、イメージセンサ。
2. 前記不可視光ピクセルは赤外線ピクセルまたは白色ピクセルを含み、前記白色ピクセルは白色光を感知するために使用され、前記白色光は、赤色光、緑色光、青色光、および赤外光を含む、請求項１に記載のイメージセンサ。
3. ４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む、請求項１または２に記載のイメージセンサ。
4. 前記大ピクセルおよび前記小ピクセルの面積は、前記イメージセンサのクロストーク精度に基づいて設定される、請求項１から３のいずれか一項に記載のイメージセンサ。
5. 前記大ピクセルおよび前記小ピクセルは正多角形または円形である、請求項１から４のいずれか一項に記載のイメージセンサ。
6. 前記赤色ピクセル、前記緑色ピクセル、および前記青色ピクセルは赤外線遮断フィルタレイヤに対応し、前記赤外線遮断フィルタレイヤは、波長が第１の予め設定された波長より大きい光信号を遮断するように構成され、波長が前記第１の予め設定された波長より大きい前記光信号は前記赤外光を含む、請求項２に記載のイメージセンサ。
7. 前記イメージセンサは光フィルタレイヤを更に備え、前記光フィルタレイヤは赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤを含み、
   各赤色ピクセルは１つの赤色フィルタレイヤに対応し、前記赤色フィルタレイヤは、前記赤色光および第１の波長範囲における赤外光を通過させるために使用され、
   各緑色ピクセルは１つの緑色フィルタレイヤに対応し、前記緑色フィルタレイヤは、前記緑色光および第２の波長範囲における赤外光を通過させるために使用され、
   各青色ピクセルは１つの青色フィルタレイヤに対応し、前記青色フィルタレイヤは、前記青色光および第３の波長範囲における赤外光を通過させるために使用され、前記第１の波長範囲における前記赤外光、前記第２の波長範囲における前記赤外光、および、前記第３の波長範囲における前記赤外光の波長は、前記第１の予め設定された波長より大きく、
   前記不可視光ピクセルが前記赤外線ピクセルであるとき、前記光フィルタレイヤは更に赤外線フィルタレイヤを含み、各赤外線ピクセルは、１つの赤外線フィルタレイヤに対応し、前記赤外線フィルタレイヤは、特定の波長範囲における赤外光を通過させるために使用され、
   前記不可視光ピクセルが前記白色ピクセルであるとき、前記光フィルタレイヤは更に、オールパスフィルタレイヤまたはデュアルパスフィルタレイヤを含み、各白色ピクセルは、１つのオールパスフィルタレイヤまたは１つのデュアルパスフィルタレイヤに対応し、前記オールパスフィルタレイヤは、フルバンド範囲における光を通過させるために使用され、前記デュアルパスフィルタレイヤは、前記赤色光、前記緑色光、前記青色光および前記特定の波長範囲における赤外光を通過させるために使用される、請求項６に記載のイメージセンサ。
8. 前記赤外線遮断フィルタレイヤおよび／または前記光フィルタレイヤは対応するピクセルのマイクロレンズ上にコーティングされる、請求項７に記載のイメージセンサ。
9. 前記大ピクセルおよび前記小ピクセルの露光時間を別個に制御するように構成されるロジック制御回路を更に備える、請求項１から８のいずれか一項に記載のイメージセンサ。
10. 前記ロジック制御回路は第１の制御ラインおよび第２の制御ラインを含み、前記大ピクセルは、前記第１の制御ラインに連結され、前記小ピクセルは前記第２の制御ラインに連結され、
    前記ロジック制御回路は具体的には、前記第１の制御ラインに基づいて前記大ピクセルの露光開始時点を制御し、前記第２の制御ラインに基づいて前記小ピクセルの露光開始時点を制御するように構成される、請求項９に記載のイメージセンサ。
11. 前記イメージセンサは、紫外光、および波長が第２の予め設定された波長より大きい赤外光をフィルタ除去するように構成される光フィルタを更に備え、前記第２の予め設定された波長は、前記第１の予め設定された波長、および、前記特定の波長範囲における任意の波長より大きい、請求項７に記載のイメージセンサ。
12. イメージ光感知方法であって、前記イメージ光感知方法はイメージセンサに適用され、前記イメージセンサは赤色ピクセル、緑色ピクセル、青色ピクセルおよび不可視光ピクセルを含み、前記赤色ピクセル、前記緑色ピクセルおよび前記青色ピクセルは大ピクセルであり、前記不可視光ピクセルは小ピクセルであり、前記大ピクセルの光感知面積は前記小ピクセルより大きく、前記赤色ピクセル、前記緑色ピクセルおよび前記青色ピクセルはベイヤー形式で配置され、
    前記イメージ光感知方法は、
    前記赤色ピクセルに基づいて赤色光を感知する段階と、
    前記緑色ピクセルに基づいて緑色光を感知する段階と、
    前記青色ピクセルに基づいて青色光を感知する段階と、
    前記小ピクセルに基づいて赤外光または白色光を感知する段階と
    を備える、イメージ光感知方法。
13. 前記不可視光ピクセルは赤外線ピクセルまたは白色ピクセルを含み、前記白色ピクセルは白色光を感知するために使用され、前記白色光は、赤色光、緑色光、青色光および赤外光を含み、
    前記イメージ光感知方法は具体的には、
    前記赤外線ピクセルに基づいて前記赤外光を感知する、または、前記白色ピクセルに基づいて前記白色光を感知する段階を備える、請求項１２に記載のイメージ光感知方法。
14. ４つの大ピクセルが１つの小ピクセルを囲み、４つの小ピクセルが１つの大ピクセルを囲む、請求項１２または１３に記載のイメージ光感知方法。
15. 前記大ピクセルおよび前記小ピクセルの面積は、前記イメージセンサのクロストーク精度に基づいて設定される、請求項１２から１４のいずれか一項に記載のイメージ光感知方法。
16. 前記大ピクセルおよび前記小ピクセルは正多角形または円形である、請求項１２から１５のいずれか一項に記載のイメージ光感知方法。
17. 前記イメージセンサは更に、赤外線遮断フィルタレイヤを含み、各大ピクセルは１つの赤外線遮断フィルタレイヤに対応し、前記赤外線遮断フィルタレイヤは、波長が第１の予め設定された波長より大きい光信号を遮断するために使用され、波長が前記第１の予め設定された波長より大きい前記光信号は前記赤外光を含み、
    前記イメージ光感知方法は更に、光線が前記赤外線遮断フィルタレイヤを通過して前記大ピクセルに到達する段階を備える、請求項１３に記載のイメージ光感知方法。
18. 前記イメージセンサは更に光フィルタレイヤを含み、前記光フィルタレイヤは、赤色フィルタレイヤ、緑色フィルタレイヤ、および青色フィルタレイヤを含み、各赤色ピクセルは、１つの赤色フィルタレイヤに対応し、前記赤色フィルタレイヤは、前記赤色光および第１の波長範囲における赤外光を通過させるために使用され、各緑色ピクセルは１つの緑色フィルタレイヤに対応し、前記緑色フィルタレイヤは、前記緑色光および第２の波長範囲における赤外光を通過させるために使用され、各青色ピクセルは１つの青色フィルタレイヤに対応し、前記青色フィルタレイヤは、前記青色光および第３の波長範囲における赤外光を通過させるために使用され、前記第１の波長範囲における前記赤外光、前記第２の波長範囲における前記赤外光、および、前記第３の波長範囲における前記赤外光の波長は、前記第１の予め設定された波長より大きく、前記不可視光ピクセルが前記赤外線ピクセルであるとき、前記光フィルタレイヤは更に、赤外線フィルタレイヤを含み、各赤外線ピクセルは１つの赤外線フィルタレイヤに対応し、前記赤外線フィルタレイヤは、特定の波長範囲における赤外光を通過させるために使用され、前記不可視光ピクセルが前記白色ピクセルであるとき、前記光フィルタレイヤは更に、オールパスフィルタレイヤまたはデュアルパスフィルタレイヤを含み、各白色ピクセルは、１つのオールパスフィルタレイヤまたは１つのデュアルパスフィルタレイヤに対応し、前記オールパスフィルタレイヤは、フルバンド範囲における光を通過させるために使用され、前記デュアルパスフィルタレイヤは、前記赤色光、前記緑色光、前記青色光、および前記特定の波長範囲における赤外光を通過させるために使用され、
    前記イメージ光感知方法は更に、
    前記光線が前記赤外線遮断フィルタレイヤおよび前記赤色フィルタレイヤを通過して前記赤色ピクセルに到達する段階、
    前記光線が、前記赤外線遮断フィルタレイヤおよび前記緑色フィルタレイヤを通過して前記緑色ピクセルに到達する段階、
    前記光線が、前記赤外線遮断フィルタレイヤおよび前記青色フィルタレイヤを通過して前記青色ピクセルに到達する段階、
    前記光線が、前記赤外線フィルタレイヤを通過して前記赤外線ピクセルに到達する段階、または、
    前記光線が、前記オールパスフィルタレイヤまたは前記デュアルパスフィルタレイヤを通過して前記白色ピクセルに到達する段階
    を備える、請求項１７に記載のイメージ光感知方法。
19. 前記イメージセンサは更にロジック制御回路を含み、前記ロジック制御回路は第１の制御ラインおよび第２の制御ラインを含み、前記大ピクセルは前記第１の制御ラインに連結され、前記小ピクセルは前記第２の制御ラインに連結され、
    前記イメージ光感知方法は更に、
    前記第１の制御ラインに基づいて前記赤色ピクセルの露光開始時点を制御する段階と、
    前記第２の制御ラインに基づいて前記緑色ピクセルの露光開始時点を制御する段階と
    を備える、請求項１２から１８のいずれか一項に記載のイメージ光感知方法。

Images