JP2018198406A - 監視カメラシステムおよび画像処理装置 - Google Patents

Abstract

【課題】有益な情報を劣化させずに情報量を削減することが可能な監視カメラシステムを提供する。【解決手段】監視カメラシステムＳＳＹＳ＿Ａは、ピクセルアレイＰＸＡＲＹと、ピクセルアレイＰＸＡＲＹからの各画素値を含むＲＡＷデータに対して各種画像処理を行うイメージシグナルプロセッサＩＳＰと、ピクセルアレイＰＸＡＲＹとイメージシグナルプロセッサＩＳＰとの間に配置される前段処理ユニットＦＳＰＵ＿Ａとを有する。前段処理ユニットＦＳＰＵ＿Ａは、ピクセルアレイＰＸＡＲＹからのフレーム毎のＲＡＷデータを受けて、フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路ＩＡＥＸ＿Ａを有し、重要領域のＲＡＷデータをイメージシグナルプロセッサＩＳＰへ送信する。【選択図】図１

Description

本発明は、監視カメラシステムおよび画像処理装置に関し、例えば、センシング用途としての監視カメラシステムおよび画像処理装置に関する。

特許文献１には、圧縮率を適宜変更しながら生成した画像データを通信路へ送信する圧縮データ送信装置が示される。特許文献２には、画質劣化を抑制しつつ、第三者によって透かし情報の位置を特定され難くする電子透かしの埋め込み方法が示される。

特開２０００−２７８３４９号公報 特開２００１−３３３２６７号公報

例えば、カメラ（イメージセンサ）等の画像処理分野では、高画素化や高画質化が進んでいる。これに伴い、取り扱うデータ規模が非常に大きくなり、処理・伝送・蓄積に際して大量のリソースを要するようになってきている。このため、カメラシステムやインフラ（通信網、ストレージ、メモリ、ＣＰＵ（Central Processing Unit）など）等のリソースを低減するための技術が求められる。一方、画像処理分野では、画像全体が必要となる鑑賞用途ではなく、ＩｏＴ（Internet of Things）向けなどのように、監視・検知・認識といったセンシング用途としての需要が増えている。センシング用途のカメラでは、画像全体は必ずしも必要とされず、用途(目的)に応じて画像内の有益な情報が得られればよい。

こうした中、従来の画像処理では、特許文献１に示されるように、画像データ全体を一律に圧縮したり、特許文献２に示されるように、画像データ全体を一律に加工する（劣化させる）ような処理が行われる。このような技術は、汎用性が高い一方で、画像データ全体に一律に処理を施す関係上、用途によっては効率が悪くなる恐れがある。具体的には、有益な情報を劣化させないようにすることと、情報量を削減することとを両立することが困難となり得る。

後述する実施の形態は、このようなことを鑑みてなされたものであり、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

一実施の形態による監視カメラシステムは、ピクセルアレイと、ピクセルアレイからの各画素値を含むＲＡＷデータに対して各種画像処理を行うイメージシグナルプロセッサと、ピクセルアレイとイメージシグナルプロセッサとの間に配置される画像処理部とを有する。画像処理部は、ピクセルアレイからのフレーム毎のＲＡＷデータを受けて、フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、重要領域のＲＡＷデータをイメージシグナルプロセッサへ送信する。

前記一実施の形態によれば、監視カメラシステムにおいて、有益な情報を劣化させずに情報量を削減することが可能になる。

本発明の実施の形態１による監視カメラシステムの主要部の構成例を示す概略図である。 図１のシステムによって得られるデータの一例を示す模式図である。 本発明の実施の形態１による監視カメラシステムにおいて、図１とは異なる主要部の構成例を示す概略図である。 （ａ）および（ｂ）は、図１または図３の監視カメラシステムにおける重要領域の判別方法の一例を示す概念図である。 図１における重要領域抽出回路の構成例を示すブロック図である。 図５におけるブランキング期間情報生成回路の動作例を示す図である。 図３における重要領域抽出回路の構成例を示すブロック図である。 図１および図３における付加情報生成回路の構成例を示すブロック図である。 図１および図３におけるデータ合成回路の構成例を示すブロック図である。 図８の付加情報生成回路および図９のデータ合成回路の動作例を示す模式図である。 （ａ）および（ｂ）は、本発明の実施の形態２による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。 本発明の実施の形態２の監視カメラシステムにおいて、実際のアプリケーションへの他の適用例を示す概略図である。 本発明の実施の形態３による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。 図１３を変形した適用例を示す概略図である。 本発明の実施の形態４による監視カメラシステムにおいて、主要部の構成例および動作例を示す概略図である。 図１５とは異なる主要部の構成例および動作例を示す概略図である。 （ａ）は、本発明の比較例となる監視カメラシステムの主要部の構成例を示す概略図であり、（ｂ）は、（ａ）のシステムによって得られるデータの一例を示す模式図である。 図１７（ａ）におけるイメージセンサからイメージシグナルプロセッサへの各出力信号の一例を示すタイミングチャートである。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態の各機能ブロックを構成する回路素子は、特に制限されないが、公知のＣＭＯＳ（相補型ＭＯＳトランジスタ）等の集積回路技術によって、単結晶シリコンのような半導体基板上に形成される。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
《監視カメラシステム（比較例）の概略およびその問題点》
まず、実施の形態による監視カメラシステムの説明に先だって、比較例となる監視カメラシステムについて説明する。図１７（ａ）は、本発明の比較例となる監視カメラシステムの主要部の構成例を示す概略図であり、図１７（ｂ）は、図１７（ａ）のシステムによって得られるデータの一例を示す模式図である。図１８は、図１７（ａ）におけるイメージセンサからイメージシグナルプロセッサへの各出力信号の一例を示すタイミングチャートである。

図１７（ａ）に示す監視カメラシステムは、レンズＬＮＳと、イメージセンサＣＳＥＮと、後段処理デバイスＳＳＰＤ’とを備える。イメージセンサＣＳＥＮは、アレイ状に配置される複数の撮像素子（言い換えればピクセル（画素））によって構成されるピクセルアレイＰＸＡＲＹと、当該ピクセルアレイＰＸＡＲＹを制御する周辺回路ＰＥＲＩとを備える。複数の撮像素子は、例えば、ＣＣＤ形式やＣＭＯＳ形式の素子であり、代表的には、２×Ｇ（緑）＋Ｒ（赤）＋Ｂ（青）に対応する４個の撮像素子を繰り返すように配置される。周辺回路ＰＥＲＩは、一般的に知られているように、各撮像素子の電荷信号を読み出す回路や、当該電荷信号を増幅する回路や、当該増幅されたアナログ信号をディジタル信号に変換するアナログ・ディジタル変換回路等を備える。

後段処理デバイスＳＳＰＤ’は、イメージシグナルプロセッサＩＳＰ’と、メモリＭＥＭと、通信処理等を行う各種内部回路ＩＮＣとを備える。イメージシグナルプロセッサＩＳＰ’は、一般的に知られているように、イメージセンサＣＳＥＮの制御を担うと共に、メモリＭＥＭを用いながら、ピクセルアレイＰＸＡＲＹからのＲＡＷデータ（各画素毎の単色の画素値を含む生データ）に対して補正等の各種画像処理を行い、ＲＧＢやＹＵＶ形式の画像データを生成する。また、イメージシグナルプロセッサＩＳＰ’は、加えて、ＪＰＥＧ等の画像フォーマットへの変換を行う場合もある。

イメージシグナルプロセッサＩＳＰ’は、具体的には、イメージセンサＣＳＥＮの周辺回路ＰＥＲＩに対してＲＡＷデータの取得方法に関する各種設定を行ったのち、クロック信号ＣＫｉを供給する。これに応じて、イメージセンサＣＳＥＮは、図１８に示されるように、画素クロック信号ＣＫｐと、各画素の画素値ＰＶと、垂直同期信号ＶＳＹＮＣと、水平同期信号ＨＳＹＮＣとを出力する。

垂直同期信号ＶＳＹＮＣは、１フレーム分の画素値ＰＶの送信期間を表す信号であり、この例では、当該期間で‘１’レベル（または、‘Ｈ’レベル等）に制御される。水平同期信号ＨＳＹＮＣは、１フレーム内の１ライン分の画素値ＰＶの送信期間を表す信号であり、この例では、当該期間で‘１’レベル（または、‘Ｈ’レベル等）に制御される。具体例として、ピクセル（画素）座標を“ｈ（例えば６４０）×ｖ（例えば４８０）”とした場合を想定する。

この場合、垂直同期信号ＶＳＹＮＣが‘１’レベルに制御されたのち、水平同期信号ＨＳＹＮＣが‘１’レベルに制御された１番目の期間で、画素クロック信号ＣＫｐに同期して１行目（ｖ＝１）に含まれる“ｈ”個分の画素値ＰＶ［１，１］〜ＰＶ［ｈ，１］が出力される。また、水平同期信号ＨＳＹＮＣが‘１’レベルに制御された２番目の期間で、２行目（ｖ＝２）に含まれる“ｈ”個分の画素値ＰＶ［１，２］〜ＰＶ［ｈ，２］が出力される。以降同様にして、画素値ＰＶ［ｈ，ｖ］までの出力が行われる。

各画素の画素値ＰＶは、ピクセルアレイＰＸＡＲＹの構造に応じて、通常、１バイト〜数バイトといったパラレルデータとなる。このように、ピクセルアレイＰＸＡＲＹから周辺回路ＰＥＲＩを介して読み出された状態の各画素の画素値ＰＶは、ＲＡＷデータと呼ばれる。また、図１８に示されるように、行が切り替わる際には、水平同期信号ＨＳＹＮＣが‘０’レベル（または、‘Ｌ’レベル等）に制御される水平ブランキング期間ＴＢｈが設けられる。同様に、フレームが切り替わる際にも、垂直同期信号ＶＳＹＮＣが‘０’レベル（または、‘Ｈ’レベル等）に制御される垂直ブランキング期間が設けられる。なお、ここでは、垂直同期信号ＶＳＹＮＣに関し、‘１’レベルを活性レベル、‘０’レベルを非活性レベルとしたが、逆に、‘１’レベルを非活性レベル、‘０’レベルを活性レベルとすることも可能である。水平同期信号ＨＳＹＮＣに関しても同様である。

イメージシグナルプロセッサＩＳＰ’は、このようなＲＡＷデータに対して各種画像処理を行うことで、図１７（ｂ）に示されるように、ＲＧＢ形式やＹＵＶ形式等の画像データＩＭＤＡＴｎを生成し、それをメモリＭＥＭに格納する。ここで、ピクセルアレイＰＸＡＲＹは、通常、図１７（ｂ）に示されるように、画像データＩＭＤＡＴｎの元となる有効画素領域ＡＲｅに加えて、その周辺に配置される垂直ブランキング領域（無効画素領域）ＡＲｂｖおよび水平ブランキング領域（無効画素領域）ＡＲｂｈを備える。垂直ブランキング領域ＡＲｂｖおよび水平ブランキング領域ＡＲｂｈは、それぞれ、図１８で述べた垂直ブランキング期間および水平ブランキング期間ＴＢｈに対応する領域となる。

このように、比較例となる監視カメラシステムでは、イメージシグナルプロセッサＩＳＰ’は、ピクセルアレイＰＸＡＲＹにおける有効画素領域ＡＲｅの全領域から画像データＩＭＤＡＴｎを生成する。このため、イメージシグナルプロセッサＩＳＰ’の処理負荷の増大や、メモリＭＥＭで必要とされる容量の増大や、通信網で必要とされる帯域の増大といったリソースの増大が生じ得る。このため、リソースの制約から、ピクセルアレイＰＸＡＲＹの高画素化（画像データの高品質化）も困難となり得る。

一方、監視カメラシステムを、ＩｏＴ向けなどのように、監視・検知・認識といったセンシング用途（防犯やイベント検知等）として用いる場合、有効画素領域ＡＲｅの全領域の画像データＩＭＤＡＴｎは必ずしも必要とされず、用途(目的)に応じて画像データ内の一部に含まれる有益な情報が得られればよい。ここで、画像処理の方式として、特許文献１や特許文献２等のように、画像データ全体を一律に加工する方式が知られている。画像データ全体を一律に加工する場合、情報量の削減を行うと、劣化の程度は調整できるものの、原則的に、削減量に比例して画像データＩＭＤＡＴｎに含まれる有益な情報も劣化することになる。

また、特許文献１や特許文献２のような方式は、イメージシグナルプロセッサＩＳＰ’によって生成された画像データＩＭＤＡＴｎに対して適用される方式であるため、前述したイメージシグナルプロセッサＩＳＰ’等のリソースを低減することは困難となる。その結果、有益な情報の劣化をある程度抑制できたとしても、イメージシグナルプロセッサＩＳＰ’等のリソースを増やさない限り、高画素化等によって有益な情報の価値を更に高めるようなことは困難である。そこで、後述する実施の形態の方式を用いることが有益となる。

《監視カメラシステム（実施の形態１）の概略》
図１は、本発明の実施の形態１による監視カメラシステムの主要部の構成例を示す概略図である。図２は、図１のシステムによって得られるデータの一例を示す模式図である。図１に示す監視カメラシステムＳＳＹＳ＿Ａは、レンズＬＮＳと、イメージセンサＣＳＥＮ＿Ａと、後段処理デバイスＳＳＰＤとを備える。後段処理デバイスＳＳＰＤは、図１７（ａ）の場合と同様に、イメージシグナルプロセッサＩＳＰと、メモリＭＥＭと、各種内部回路ＩＮＣとを備える。ただし、詳細は後述するが、イメージシグナルプロセッサＩＳＰは、図１７（ａ）のイメージシグナルプロセッサＩＳＰ’とは一部異なる処理を実行する。

イメージセンサＣＳＥＮ＿Ａは、例えば、一つの半導体チップで構成され、図１７（ａ）の場合と同様のピクセルアレイＰＸＡＲＹおよび周辺回路ＰＥＲＩに加えて、前段処理ユニットＦＳＰＵ＿Ａを備える。前段処理ユニット（画像処理部）ＦＳＰＵ＿Ａは、重要領域抽出回路ＩＡＥＸ＿Ａと、付加情報生成回路ＡＩＧと、データ合成回路ＤＣＭとを有する。重要領域抽出回路ＩＡＥＸ＿Ａは、ピクセルアレイＰＸＡＲＹ（厳密には周辺回路ＰＥＲＩ）からのフレーム毎のＲＡＷデータを受けて、当該フレームの有効画素領域を、重要領域と非重要領域とに区別する。

付加情報生成回路ＡＩＧは、所定の付加情報ＡＩを生成する。付加情報ＡＩは、ユーザの用途等に応じた何らかの情報であり、例えば、重要領域のＲＡＷデータに対する画像解析結果等が挙げられる。データ合成回路ＤＣＭは、付加情報ＡＩと、ピクセルアレイＰＸＡＲＹからのＲＡＷデータとを合成し、それを後段処理デバイスＳＳＰＤのイメージシグナルプロセッサＩＳＰへ送信する。

具体的には、図２に示されるように、重要領域抽出回路ＩＡＥＸ＿Ａは、フレームの有効画素領域ＡＲｅを、その各画素値ＰＶの変化等に基づいて、重要領域ＩＡＲ１，ＩＡＲ２と非重要領域ＮＡＲとに区別する。明細書では、重要領域ＩＡＲ１，ＩＡＲ２を総称して重要領域ＩＡＲと呼ぶ。データ合成回路ＤＣＭは、重要領域抽出回路ＩＡＥＸ＿Ａからの区別情報に基づき、図１８に示したようなフレームの送信期間内の重要領域ＩＡＲに該当する期間で、重要領域ＩＡＲのＲＡＷデータをイメージシグナルプロセッサＩＳＰへ送信する。一方、データ合成回路ＤＣＭは、フレームの送信期間内の非重要領域ＮＡＲに該当する期間では、非重要領域ＮＡＲのＲＡＷデータの代わりに付加情報ＡＩをイメージシグナルプロセッサＩＳＰへ送信する。

イメージシグナルプロセッサＩＳＰは、汎用的な機能を有することを前提とすると、図１８に示したような規定のフォーマットにしたがって、１フレーム分のデータ長が固定であることを前提としてＲＡＷデータを受信する必要がある。そこで、図２に示されるように、前段処理ユニット（画像処理部）ＦＳＰＵ＿Ａは、規定のフォーマット（１フレーム分のデータ長）を保ちつつ、重要領域ＩＡＲを通常通りの期間で送信すると共に、付加情報ＡＩを非重要領域ＮＡＲに対応する残った期間で送信する。

一方、イメージシグナルプロセッサＩＳＰは、重要領域ＩＡＲのＲＡＷデータと付加情報ＡＩとが混在する形で受信したデータＤＡＴから、重要領域ＩＡＲと付加情報ＡＩとを区別する必要がある。そこで、重要領域抽出回路ＩＡＥＸ＿Ａ（具体的には、その中のブランキング期間情報生成回路（後述））は、自身の区別情報に基づき重要領域ＩＡＲの座標情報を生成する。そして、データ合成回路ＤＣＭは、図２に示されるように、当該重要領域ＩＡＲの座標情報をブランキング領域（例えば、水平ブランキング領域ＡＲｂｈ）に対応するブランキング期間（図１８の水平ブランキング期間ＴＢｈ）でイメージシグナルプロセッサＩＳＰへ送信する。

イメージシグナルプロセッサＩＳＰは、当該座標情報を認識することで重要領域ＩＡＲのＲＡＷデータと付加情報ＡＩとを区別して取得する。そして、イメージシグナルプロセッサＩＳＰは、図２に示されるように、重要領域ＩＡＲ１，ＩＡＲ２のＲＡＷデータに対してそれぞれ各種画像処理を行ったのち、生成した画像データＩＭＤＡＴｉをメモリＭＥＭに格納する。また、イメージシグナルプロセッサＩＳＰは、図２に示されるように、取得した付加情報ＡＩをメモリＭＥＭに格納する。

なお、重要領域ＩＡＲの座標情報は、水平または垂直ブランキング期間（ＡＲｂｈ，ＡＲｂｖ）に格納されればよく、望ましくは、重要領域ＩＡＲが出現する前のブランキング期間に格納されればよい。すなわち、イメージシグナルプロセッサＩＳＰは、例えば、有効画素領域ＡＲｅに加えて無効画素領域（すなわちブランキング期間）ＡＲｂｈ，ＡＲｂｖに含まれるＲＡＷデータを、一旦、メモリＭＥＭに格納したのち、当該メモリＭＥＭを読み出して画像処理を行うような場合がある。この場合、座標情報は、ブランキング期間内の任意の期間に格納されていればよい。

これにより、イメージシグナルプロセッサＩＳＰは、最初に、メモリＭＥＭから当該座標情報を読み出すことで、メモリＭＥＭから重要領域ＩＡＲのＲＡＷデータと付加情報ＡＩとを区別して取得することができる。イメージシグナルプロセッサＩＳＰは、取得した重要領域ＩＡＲのＲＡＷデータを対象に画像処理を行えばよいため、画像処理に伴う処理負荷を低減することが可能になる。ただし、この場合、画像全体のＲＡＷデータが、一旦、メモリＭＥＭに格納されるため、メモリＭＥＭで必要とされる容量は大きくなる。

一方、重要領域ＩＡＲが出現する前のブランキング期間に座標情報が格納されている場合、イメージシグナルプロセッサＩＳＰは、図１８に示したようなＲＡＷデータを受信する過程で座標情報を取得し、それに基づいて、受信処理と並行してリアルタイムで重要領域ＩＡＲのＲＡＷデータを抽出することができる。この場合、イメージシグナルプロセッサＩＳＰは、重要領域ＩＡＲに絞ったＲＡＷデータをメモリＭＥＭに格納することができる。その結果、リソースの更なる低減が可能となる。

図３は、本発明の実施の形態１による監視カメラシステムにおいて、図１とは異なる主要部の構成例を示す概略図である。図３に示す監視カメラシステムＳＳＹＳ＿Ｂは、イメージセンサＣＳＥＮと、前段処理デバイスＦＳＰＤと、後段処理デバイスＳＳＰＤと、センサＳＥＮとを備える。イメージセンサＣＳＥＮは、図１７（ａ）の場合と同様であり、例えば、一つの半導体チップで構成される。後段処理デバイスＳＳＰＤは、図１の場合と同様である。前段処理デバイスＦＳＰＤは、イメージセンサＣＳＥＮと後段処理デバイスＳＳＰＤの間に設けられ、例えば、一つの半導体チップで構成される。

センサＳＥＮは、例えば、温度センサや音声センサなどを代表に、様々な種類のものであってよい。前段処理デバイスＦＳＰＤは、前段処理ユニット（画像処理部）ＦＳＰＵ＿Ｂとセンサ制御回路ＳＣＴＬとを備える。センサ制御回路ＳＣＴＬは、センサＳＥＮを制御する。センサＳＥＮは、センサ制御回路ＳＣＴＬによる制御を受けて、ピクセルアレイＰＸＡＲＹからのフレーム毎のＲＡＷデータと並行してセンサデータＳＤＡＴを出力する。前段処理ユニットＦＳＰＵ＿Ｂは、図１に示した前段処理ユニットＦＳＰＵ＿Ａとほぼ同様である。

ただし、図１の場合と異なり、重要領域抽出回路ＩＡＥＸ＿Ｂは、センサデータＳＤＡＴに基づいて重要領域ＩＡＲと非重要領域ＮＡＲとを区別する。また、付加情報生成回路ＡＩＧは、図１の場合と同様の画像解析に基づく情報の他に、センサデータＳＤＡＴに基づく情報を付加情報ＡＩとして生成してもよい。具体的には、付加情報ＡＩは、例えば、センサデータＳＤＡＴ自体であってもよく、センサデータＳＤＡＴの解析結果等であってもよい。

図４（ａ）および図４（ｂ）は、図１または図３の監視カメラシステムにおける重要領域の判別方法の一例を示す概念図である。図４（ａ）の例では、図１の重要領域抽出回路ＩＡＥＸ＿Ａは、前回のフレームにおけるＲＡＷデータの各画素値ＰＶと、今回のフレームにおけるＲＡＷデータの各画素値ＰＶとの比較に基づいて重要領域ＩＡＲと非重要領域ＮＡＲとを区別する。この際に、１個の画素値ＰＶ毎に比較を行うと、比較を行う回路の回路規模や処理負荷が大きくなり、また、場合によっては、領域としての境界を定め難くなる恐れがある。

そこで、重要領域抽出回路ＩＡＥＸ＿Ａは、図４（ａ）に示されるように、ピクセルアレイＰＸＡＲＹａ（すなわちフレームの有効画素領域）を複数のブロックＢＫ［１，１］〜ＢＫ［３，１］，…，ＢＫ［１，２］〜ＢＫ［３，２］，…に分割して管理する。そして、重要領域抽出回路ＩＡＥＸ＿Ａは、複数のブロック毎に、内部に含まれる各画素値ＰＶの積算値または平均値を前回と今回とで比較することで、ブロック単位で重要領域ＩＡＲか非重要領域ＮＡＲかを判別する。

図４（ａ）の例では、ブロックＢＫ［２，１］，ＢＫ［３，２］において、前回と今回とで画素値ＰＶの積算値（または平均値）の変化が大きくなっている。この場合、重要領域抽出回路ＩＡＥＸ＿Ａは、ブロックＢＫ［２，１］，ＢＫ［３，２］を、例えば、何らかの動体が存在する重要領域ＩＡＲと判別すればよい。また、この例では、ブロックＢＫ［２，１］，ＢＫ［３，２］に隣接するブロックＢＫ［２，２］においても、前回と今回とで小さい変化が生じている。このような場合、重要領域抽出回路ＩＡＥＸ＿Ａは、ブロックＢＫ［３，１］を加えたより大きい矩形領域を重要領域ＩＡＲ’と判別してもよい。

図４（ｂ）の例では、図１の重要領域抽出回路ＩＡＥＸ＿Ａは、ピクセルアレイＰＸＡＲＹｂに埋め込まれた温度センサの情報に基づき重要領域ＩＡＲと非重要領域ＮＡＲとを区別する。ピクセルアレイＰＸＡＲＹｂは、図４（ｂ）に示されるように、所定の間隔毎に熱赤外線を検知する画素を備える場合がある。このようなピクセルアレイＰＸＡＲＹｂを用いる場合、図１の重要領域抽出回路ＩＡＥＸ＿Ａは、熱赤外線画素の情報に基づき、温度が高い領域（例えば、人体が存在する領域等）を認識し、その領域を重要領域ＩＡＲと判別すればよい。

なお、ここでは、ピクセルアレイＰＸＡＲＹｂ内に温度センサが埋め込まれている場合を例としたが、図３のように、ピクセルアレイＰＸＡＲＹｂの外部に温度センサ（ＳＥＮ）が設けられる場合にも、図３の重要領域抽出回路ＩＡＥＸ＿Ｂは同様の処理を行えばよい。また、重要領域の判別は、このような方法を代表に、用途に応じた様々な方法で行うことができる。例えば、センサＳＥＮが位置センサ（変位センサ）等の場合、変位が生じた領域に対応するピクセルアレイＰＸＡＲＹの領域を重要領域ＩＡＲとして判別すればよい。

《重要領域抽出回路の詳細》
図５は、図１における重要領域抽出回路の構成例を示すブロック図である。図６は、図５におけるブランキング期間情報生成回路の動作例を示す図である。図５に示す重要領域抽出回路ＩＡＥＸ＿Ａは、ブロック座標算出回路ＡＸＣと、画素値積算回路ＰＶＩと、重要領域区別回路ＩＡＪＧ＿Ａと、区別情報出力回路ＪＩＯと、ブランキング期間情報生成回路ＺＩＧとを備える。重要領域抽出回路ＩＡＥＸ＿Ａは、前述した図４（ａ）のように、画素値ＰＶの変化に基づいて重要領域ＩＡＲを抽出する回路である。

ブロック座標算出回路ＡＸＣは、画素クロック信号ＣＫｐ、水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣに基づき、現在入力されている画素値ＰＶのピクセル座標（ｈ×ｖ）を認識し、そのピクセル座標が“Ｘ×Ｙ”の空間を持つブロックの中のどのブロック座標に属するかを算出する。ブロック座標は、ピクセル座標（ｈ×ｖ）を“Ｘ×Ｙ”に圧縮した座標である。ここでは、例えば、“６４０×４８０”のピクセル座標を“８×８”のブロック座標に圧縮する場合を想定する。この場合、ピクセル座標における水平座標は“８０（＝６４０／８）”毎に分割され、垂直座標は“６０（＝４８０／８）”毎に分割され、この“８０×６０”の空間が１個のブロックに属することになる。

ブロック座標算出回路ＡＸＣは、具体的には、水平座標算出回路ＸＸＣおよび垂直座標算出回路ＹＸＣを備える。水平座標算出回路ＸＸＣは、図１８から判るように、水平同期信号ＨＳＹＮＣと、その後の画素クロック信号ＣＫｐカウント数とに基づきピクセル座標（ｈ×ｖ）における水平座標（ｈ）を認識し、例えば、それを下位側に３ビットシフト（１／８）すること等で“Ｘ”座標（“Ａ”〜“Ｈ”）を算出する。垂直座標算出回路ＹＸＣは、図１８から判るように、垂直同期信号ＶＳＹＮＣと、その後の水平同期信号ＨＳＹＮＣのカウント数とに基づきピクセル座標（ｈ×ｖ）における垂直座標（ｖ）を認識し、例えば、それを下位側に３ビットシフトすること等で“Ｙ”座標（“１”〜“８”）を算出する。

画素値積算回路ＰＶＩは、重要領域ＩＡＲを判別する際の材料を生成する回路であり、２個のカウンタ回路ＣＵＮＴ０，ＣＵＮＴ１と、面切り替え回路ＰＳＷとを備える。面切り替え回路ＰＳＷは、垂直同期信号ＶＳＹＮＣによってフレームが切り換わる毎に、カウンタ回路ＣＵＮＴ０，ＣＵＮＴ１をカウントイネーブル信号ＣＥＮ０，ＣＥＮ１によって交互に活性化する。カウンタ回路ＣＵＮＴ０，ＣＵＮＴ１のそれぞれは、“８（“Ａ”〜“Ｈ”）×８（“１”〜“８”）”個の内部カウンタを備え、入力された画素値ＰＶを選択された内部カウンタで積算する。内部カウンタの選択は、カウントイネーブル信号ＣＥＮ０，ＣＥＮ１と、ブロック座標算出回路ＡＸＣからの“Ｘ”座標および“Ｙ”座標によって行われる。

例えば、フレームの切り替わりに際し、カウントイネーブル信号ＣＥＮ０に応じてカウンタ回路ＣＵＮＴ０が選択された場合を想定する。当該フレームにおいて、ピクセル座標（［ｈ，ｖ］）［１〜８０，１〜６０］の各画素値ＰＶが入力されている各期間では、“Ｘ”座標は“Ａ”となり、“Ｙ”座標は“１”となる。その結果、カウンタ回路ＣＵＮＴ０における［Ａ，１］に対応する内部カウンタは、当該期間で入力された各画素値ＰＶを積算する。また、ピクセル座標［８１〜１６０，１〜６０］の各画素値ＰＶが入力されている各期間では、“Ｘ”座標は“Ｂ”となり、“Ｙ”座標は“１”となる。その結果、カウンタ回路ＣＵＮＴ０における［Ｂ，１］に対応する内部カウンタは、当該期間で入力された画素値ＰＶを積算する。

このようにして、カウンタ回路ＣＵＮＴ０によって１フレーム分の積算処理が行われたのち、次のフレームへ移行すると、今度は、カウントイネーブル信号ＣＥＮ１に応じてカウンタ回路ＣＵＮＴ１が選択される。カウンタ回路ＣＵＮＴ１は、当該次のフレームを対象とする積算処理を、カウンタ回路ＣＵＮＴ０の場合と同様にして行う。その後、更に次のフレームへ移行すると、今度は、カウンタ回路ＣＵＮＴ０が再び選択される。

重要領域区別回路ＩＡＪＧ＿Ａは、垂直同期信号ＶＳＹＮＣに応じて（すなわちフレームが切り替わった時点で）、“８×８”個の内部カウンタ毎に、カウンタ回路ＣＵＮＴ０とカウンタ回路ＣＵＮＴ１との差分値を算出する。重要領域区別回路ＩＡＪＧ＿Ａは、その差分値と、予め定めた閾値Ｃｔｈとを比較することで、“８×８”個のブロックのそれぞれが重要領域ＩＡＲであるか、非重要領域ＮＡＲであるかを区別する。

例えば、カウンタ回路ＣＵＮＴ０，ＣＵＮＴ１における［Ａ，１］の各内部カウンタの値をそれぞれＣ０［Ａ，１］およびＣ１［Ａ，１］とした場合、重要領域区別回路ＩＡＪＧ＿Ａは、｜Ｃ０［Ａ，１］−Ｃ１［Ａ，１］｜を算出する。重要領域区別回路ＩＡＪＧ＿Ａは、当該算出結果が閾値Ｃｔｈ以上の場合には、対応するブロック［Ａ，１］を重要領域ＩＡＲと判別し、閾値Ｃｔｈ未満の場合には、対応するブロック［Ａ，１］を非重要領域ＮＡＲと判別する。重要領域区別回路ＩＡＪＧ＿Ａは、その他の６３個のブロックに対しても同様の処理を行い、６４個のブロック毎に“１”（重要領域ＩＡＲ）または“０”（非重要領域ＮＡＲ）を出力する。

区別情報出力回路ＪＩＯは、６４個のブロック［Ａ〜Ｈ，１〜８］に対応する６４ビットのレジスタＲＥＧｊｇを備える。レジスタＲＥＧｊｇの各ビットは、重要領域区別回路ＩＡＪＧ＿Ａからの６４個のブロック毎の出力（“１”（重要領域ＩＡＲ）または“０”（非重要領域ＮＡＲ））を保持する。例えば、重要領域区別回路ＩＡＪＧ＿Ａからのブロック［Ａ，１］の出力は、レジスタＲＥＧｊｇにおけるビット［Ａ，１］に格納される。

区別情報出力回路ＪＩＯは、ブロック座標算出回路ＡＸＣからの“Ｘ”座標および“Ｙ”座標を受けて、レジスタＲＥＧｊｇ内の対応するビットが保持している値を区別情報ＪＩとして出力する。例えば、“Ｘ”座標が“Ａ”（水平座標（ｈ）が１〜８０）、“Ｙ”座標が“１”（垂直座標（ｖ）が１〜６０）の場合、区別情報出力回路ＪＩＯは、レジスタＲＥＧｊｇ内のビット［Ａ，１］の値を区別情報ＪＩとして出力する。その結果、区別情報ＪＩは、現在入力されている画素値ＰＶのピクセル座標が重要領域ＩＡＲに属しているか、非重要領域ＮＡＲに属しているかを表す情報となる。

なお、より厳密には、画素値積算回路ＰＶＩから区別情報出力回路ＪＩＯに至る処理の過程で遅延が発生するため、処理対象のフレームに時差が生じることになる。例えば、２つ前のフレームと１つ目のフレームに基づき重要領域ＩＡＲと非重要領域ＮＡＲとが区別され、その区別結果が、現在のフレームに対する区別情報ＪＩとして出力されることになる。フレームのレートが十分に早い場合、通常、このような時差は問題とならない。ただし、時差が問題となる場合には、現在のフレームを遅延させる（例えば、図９で入力される画素値ＰＶ等を数フレーム分遅延させる）ことで時差を無くしてもよい。

ブランキング期間情報生成回路ＺＩＧは、区別情報出力回路ＪＩＯのレジスタＲＥＧｊｇの情報に基づき、“Ｙ”座標毎にブランキング期間情報ＺＩを生成してレジスタＲＥＧｂｋに格納し、それを、ブロック座標算出回路ＡＸＣからの“Ｙ”座標に応じて出力する。具体的には、ブランキング期間情報生成回路ＺＩＧは、図６に示されるように、重要領域ＩＡＲの座標情報（ピクセル座標）を含むブランキング期間情報ＺＩを、当該重要領域ＩＡＲが存在する水平座標（ｈ）の先頭に位置する水平ブランキング期間ＴＢｈで出力する。

図６に示すブランキング期間情報ＺＩは、例えば、開始符号（ここでは“Ａ”＋“Ｄ”）と、対象の垂直座標（ライン）に含まれる重要領域ＩＡＲの数と、その重要領域毎の開始点（水平座標）および開始点からのデータ幅と、誤り検出用符号（例えばＣＲＣ（Cyclic Redundancy Check）符号）とを含む。図６の例では、ライン（ｖ）に、２個の重要領域ＩＡＲが含まれている。重要領域ＩＡＲの一方は、水平座標（ｈ１）を開始点としデータ幅（ｗ１）を持ち、他方は、水平座標（ｈ２）を開始点としデータ幅（ｗ２）を持つ。

また、図５に示されるように、レジスタＲＥＧｊｇにおける“Ｙ”＝３の行に“０１１０１１１０”が格納されている場合を想定する。ピクセル座標（ｈ×ｖ）は、“６４０×４８０”である。この場合、ブランキング期間情報生成回路ＺＩＧは、レジスタＲＥＧｂｋの“Ｙ”＝３に対応する箇所に、開始符号（“Ａ”＋“Ｄ”）と、重要領域数“２”と、その一方の開始点“８１”およびデータ幅“１６０”と、他方の開始点“３２１”およびデータ幅“２４０”とを格納する。ブランキング期間情報生成回路ＺＩＧは、入力された“Ｙ”座標が“３”の場合（すなわち、垂直方向のピクセル座標（ｖ）が“１２１〜１８０”の場合）に、当該レジスタＲＥＧｊｇの“Ｙ”＝３の行の保持情報をブランキング期間情報ＺＩとして出力する。その他の“Ｙ”座標（１，２，４〜８）に関しても同様である。

このような構成および動作によって、例えば、図４（ａ）におけるブロックＢＫ［２，１］，ブロックＢＫ［３，２］を重要領域ＩＡＲとして抽出することが可能になる。また、重要領域区別回路ＩＡＪＧ＿Ａにおいて、例えば、閾値Ｃｔｈを複数設けることでブロックＢＫ［２，２］を抽出することも可能であり、さらに、抽出されたブロックを大きなブロックに纏める処理を追加することで、重要領域ＩＡＲ’を抽出することも可能である。

図７は、図３における重要領域抽出回路の構成例を示すブロック図である。図７に示す重要領域抽出回路ＩＡＥＸ＿Ｂは、図５の構成例と比較して、画素値積算回路ＰＶＩが削除され、重要領域区別回路ＩＡＪＧ＿Ｂの構成および動作が異なっている。重要領域抽出回路ＩＡＥＸ＿Ｂは、前述した図４（ｂ）の場合と同様に、センサＳＥＮからのセンサデータＳＤＡＴに基づいて重要領域ＩＡＲを抽出する回路である。

重要領域区別回路ＩＡＪＧ＿Ｂは、ブロック座標算出回路ＡＸＣからの“Ｘ”座標および“Ｙ”座標を受けて、当該座標に対応するセンサデータＳＤＡＴを取得する。例えば、 “Ｘ”＝Ａおよび“Ｙ”＝１の場合、重要領域区別回路ＩＡＪＧ＿Ｂは、センサデータＳＤＡＴ［Ａ，１］を取得する。重要領域区別回路ＩＡＪＧ＿Ｂは、センサデータＳＤＡＴ［Ａ，１］が閾値Ｓｔｈ以上の場合には、対応するブロック［Ａ，１］を重要領域ＩＡＲと判別し、閾値Ｓｔｈ未満の場合には、対応するブロック［Ａ，１］を非重要領域ＮＡＲと判別する。重要領域区別回路ＩＡＪＧ＿Ｂは、その区別結果を、図５の場合の同様にして、区別情報出力回路ＪＩＯのレジスタＲＥＧｊｇに格納する。残りの６３個のブロックに関しても同様である。

このように、図７の方式では、図５の方式と異なり、画素値ＰＶを用いずに重要領域ＩＡＲを抽出することができるため、図５で述べたようなフレームの時差を低減することが可能である。なお、ここでは、閾値Ｓｔｈ以上／未満に基づいて重要領域ＩＡＲ／非重要領域ＮＡＲの区別が行われたが、この判別基準は、センサＳＥＮの種類に応じて適宜異なり得る。また、入力されるセンサデータＳＤＡＴがブロック情報を含んでいれば、重要領域区別回路ＩＡＪＧ＿Ｂは、ブロック座標算出回路ＡＸＣからの座標を受けることなく、画素値の処理とは並行かつ独立した処理によって、レジスタＲＥＧｊｇを更新することが可能である。

《付加情報生成回路およびデータ合成回路の詳細》
図８は、図１および図３における付加情報生成回路の構成例を示すブロック図である。図９は、図１および図３におけるデータ合成回路の構成例を示すブロック図である。図１０は、図８の付加情報生成回路および図９のデータ合成回路の動作例を示す模式図である。図８に示す付加情報生成回路ＡＩＧは、付加情報生成処理回路ＡＩＧＰと、内部メモリＩＭＥＭと、付加情報出力回路ＡＩＯとを備える。

内部メモリＩＭＥＭは、フレーム２個分の付加情報［１］ＡＩａ，［２］ＡＩｂを保持可能な２面構成のリングバッファ等である。付加情報生成処理回路ＡＩＧＰは、例えば、垂直同期信号ＶＳＹＮＣと、画素値ＰＶまたはセンサデータＳＤＡＴとを受けて、各フレーム毎の付加情報ＡＩｘを生成し、当該生成した付加情報ＡＩｘを、各フレーム毎に格納先の面を切り替えながら、内部メモリＩＭＥＭの一方の面に格納する。

付加情報ＡＩｘは、前述したように、ユーザの用途等に応じた何らかの情報であり、例えば、マーケティングや防犯等、用途に応じて有益となる様々な情報である。具体例として、例えば、重要領域ＩＡＲの大まかな解析結果（重要領域にどのような動体（人や物）が存在するか、動体が何個存在するか等）などが挙げられる。この場合、付加情報生成回路ＡＩＧは、画素値ＰＶおよび垂直同期信号ＶＳＹＮＣに加えて、画素クロック信号ＣＫｐおよび水平同期信号ＨＳＹＮＣを受けて対象フレームのＲＡＷデータを認識する。さらに、付加情報生成回路ＡＩＧは、図５や図７の重要領域抽出回路ＩＡＥＸからの区別情報ＪＩを受けて重要領域ＩＡＲのＲＡＷデータを認識し、それに対して画像解析を行う。

このような付加情報ＡＩｘを生成し、それを、図２に示したように、非重要領域ＮＡＲに埋め込むことで、イメージシグナルプロセッサＩＳＰを含む後段処理部（例えば図１のＳＳＰＤおよび更にその後段）の処理負荷を軽減することが可能になる。後段処理部は、通常であれば、所望の情報を得るために画像全体を対象に膨大な解析を行う必要があるが、このような付加情報ＡＩｘを利用することで、画像全体の中の一部の領域（重要領域ＩＡＲ）を対象に、かつ、ある程度の解析が既に完了した状態でその後の詳細な解析を行うことができる。すなわち、付加情報生成回路ＡＩＧは、本来の後段処理部の処理内容の一部を代行するような処理を行う。

また、付加情報ＡＩｘの別の具体例として、センサデータＳＤＴそのものや、あるいは、重要領域ＩＡＲに関連するセンサデータＳＤＴの解析結果等が挙げられる。この場合、付加情報生成回路ＡＩＧは、センサデータＳＤＡＴおよび垂直同期信号ＶＳＹＮＣや、加えて、図５や図７の重要領域抽出回路ＩＡＥＸからの区別情報ＪＩを受けて、付加情報ＡＩｘを生成する。後段処理部は、通常であれば、画素値ＰＶを含むＲＡＷデータとセンサデータＳＤＴとを独立に取得して、必要に応じてＲＡＷデータとセンサデータＳＤＴの関連付け（例えば、画像と音声の同期等）を行う必要がある。このような付加情報ＡＩｘを利用することで、後段処理部は、この関連付けが既に行われたデータを得ることができる。

さらに、付加情報ＡＩｘは、機器制御（例えば、イメージセンサやイメージシグナルプロセッサの設定や制御）に必要な情報であってもよい。例えば、図１のようなシステムの場合、イメージシグナルプロセッサＩＳＰは、付加情報ＡＩｘとしてイメージセンサＣＳＥＮ＿Ａの露光状態の情報（各画素の露出過多（飽和）／露出不足などの情報）を得ることで、イメージセンサＣＳＥＮ＿Ａへ適切な露光制御（イメージセンサＣＳＥＮ＿Ａへの設定）を行うことが可能になる。

一般的に、イメージシグナルプロセッサＩＳＰは、このような露光状態の情報を、専用線（イメージセンサＣＳＥＮ＿Ａと後段処理デバイスＳＳＰＤとを結合するＩ２Ｃ等のシリアル回線）を介してイメージセンサＣＳＥＮ＿Ａから能動的に取得している。付加情報ＡＩｘを機器制御に必要な情報とすることで、このような専用線を用いた通信処理が不要となり、フレームで得られた前段情報（例えば、イメージセンサの制御に必要な情報）を該当フレームの画像とセットで後段に伝えることが可能になる。

付加情報出力回路ＡＩＯは、図９のデータ合成回路ＤＣＭからのリクエスト信号ＲＱを受けて、内部メモリＩＭＥＭの他方の面から情報を読み出し、当該読み出した情報を付加情報ＡＩとして出力する。例えば、付加情報生成処理回路ＡＩＧＰが現在のフレームに対して付加情報［１］ＡＩａを生成している場合、付加情報出力回路ＡＩＯは、一つ前のフレームに対して生成された付加情報［２］ＡＩｂを読み出す。

図９に示すデータ合成回路ＤＣＭは、ブランキング期間判定回路ＴＢＪＤと、バッファＢＵＦと、有効画素領域用データ生成回路ＤＧＥＮと、データ選択回路ＤＳＥＬとを備える。ブランキング期間判定回路ＴＢＪＤは、画素クロック信号ＣＫｐ、水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを受けてブランキング期間（具体的には、図６の水平ブランキング期間ＴＢｈ）を判定する。ブランキング期間判定回路ＴＢＪＤは、ブランキング期間では出力信号Ｑを“１”に制御し、非ブランキング期間では出力信号Ｑを“０”に制御する。

バッファＢＵＦは、図８の付加情報生成回路ＡＩＧからの付加情報ＡＩを一時的に蓄える。有効画素領域用データ生成回路ＤＧＥＮは、図５や図７の重要領域抽出回路ＩＡＥＸからの区別情報ＪＩを受けて、区別情報ＪＩが“１”（重要領域ＩＡＲ）の場合には、画素値ＰＶを選択し、“０”（非重要領域ＮＡＲ）の場合にはバッファＢＵＦからの付加情報ＡＩを選択する。有効画素領域用データ生成回路ＤＧＥＮは、当該選択した側を出力信号ＥＩとして出力する。また、有効画素領域用データ生成回路ＤＧＥＮは、区別情報ＪＩが“０”の場合に、付加情報生成回路ＡＩＧへリクエスト信号ＲＱを順次発行する。これに応じて、付加情報生成回路ＡＩＧは、前述したように付加情報ＡＩを順次出力する。

データ選択回路ＤＳＥＬは、ブランキング期間判定回路ＴＢＪＤの出力信号Ｑを受けて、Ｑ＝１の期間（ブランキング期間）では、図５や図７の重要領域抽出回路ＩＡＥＸからのブランキング期間情報ＺＩを選択し、Ｑ＝０の期間（非ブランキング期間）では、有効画素領域用データ生成回路ＤＧＥＮの出力信号ＥＩを選択する。データ選択回路ＤＳＥＬは、当該選択した側をデータＤＡＴとして出力する。その結果、データ選択回路ＤＳＥＬは、フレームの送信期間内の重要領域ＩＡＲに該当する期間では、重要領域ＩＡＲのＲＡＷデータ（画素値ＰＶ）をデータＤＡＴとして出力し、非重要領域ＮＡＲに該当する期間では、付加情報ＡＩをデータＤＡＴとして出力する。

ここで、各フレーム毎の付加情報ＡＩは、例えば、図１０に示されるように、付加情報ＡＩのデータ長Ｎと、それに続く、付加情報本体とで構成される。図８の付加情報生成処理回路ＡＩＧＰは、各フレーム毎に付加情報（例えばＡＩａ）を生成し、生成した付加情報の先頭にそのデータ長Ｎを付加した上で内部メモリＩＭＥＭ内の対応する面に格納する。図８の付加情報出力回路ＡＩＯは、リクエスト信号ＲＱに応じて（すなわち区別情報ＪＩが“０”（非重要領域ＮＡＲ）の際に）、当該付加情報（ＡＩａ）を先頭から順次出力する。その結果、図９のデータ合成回路ＤＣＭは、フレームが切り替わったのち、最初に非重要領域ＮＡＲが出現する期間で、データ長ＮをデータＤＡＴとして出力する。

図１０に示されるように、有効画素領域ＡＲｅの先頭が重要領域ＩＡＲでない場合、データ長Ｎは、当該有効画素領域ＡＲｅの先頭に格納されることになる。仮に、有効画素領域ＡＲｅの先頭が重要領域ＩＡＲである場合には、データ長Ｎは、当該重要領域ＩＡＲが途切れる箇所の水平座標に格納されることになる。また、付加情報ＡＩは、重要領域ＩＡＲをスキップする形で順次出力されることになる。

《実施の形態１の主要な効果》
以上のように、実施の形態１の方式を用いると、各フレーム毎に重要領域ＩＡＲを抽出して、イメージシグナルプロセッサＩＳＰ等の後段処理部へ送信することができる。また、重要領域ＩＡＲの抽出に伴い余った領域に付加情報ＡＩを埋め込んで後段処理部へ送信することができる。その結果、一つ目の効果として、有益な情報を劣化させずに情報量を削減することが可能になる。二つ目の効果として、後段処理部のリソースを低減することが可能になる。三つ目の効果として、従来と比較して、有益な情報の価値（または密度）をより高めることが可能になる。

具体的に説明すると、後段処理部において、画像処理の対象を重要領域ＩＡＲに限定することができるため、処理・蓄積すべきデータ量の低減に伴い、メモリＭＥＭや各種処理回路を縮小することができ、各種処理回路の処理負荷や通信負荷を低減することができる。この際に、有益な情報（すなわち重要領域ＩＡＲのＲＡＷデータ）に関しては、そのまま維持されるため、特許文献１，２の場合のような、情報量の削減に比例した品質劣化は生じない。

また、後段処理部のリソースが一定の場合、無益な情報（すなわち非重要領域ＮＡＲのＲＡＷデータ）を削除することで、空いたリソースで有益な情報の価値（または密度）を更に高めることができる。例えば、図１７（ａ）のような比較例では、ピクセルアレイＰＸＡＲＹを高画素化すると、その分、情報量が飛躍的に増大するため、高画素化が後段処理部のリソースに制約されてしまう。一方、実施の形態１の方式では、高画素化を行っても、有益な情報のみを抽出することから情報量の増大を抑制でき、後段処理部のリソースに余裕を持たせることができる。その結果、この空いたリソースで、有益な情報を更に高画素で取得するようなことが可能になる。

さらに、付加情報ＡＩを用いることでも、後段処理部のリソースの低減や、有益な情報の価値（または密度）を高めることが可能になる。例えば、後段処理部で本来行われる処理の一部を付加情報生成回路ＡＩＧに担わせ、その処理結果を付加情報ＡＩとすれば、後段処理部のリソースを低減できる。また、重要領域ＩＡＲに関連する各種情報（例えば、重要領域の画像解析結果、重要領域に対応するセンサデータ、当該センサデータの解析結果等）を付加情報ＡＩとすることで、単に重要領域ＩＡＲのＲＡＷデータを受け取る場合よりも情報の価値を高めることができる。

（実施の形態２）
《監視カメラシステムの適用例［１］》
図１１（ａ）および図１１（ｂ）は、本発明の実施の形態２による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。図１１（ａ）には、図３に示した監視カメラシステムＳＳＹＳ＿Ｂにおいて、センサＳＥＮを赤外線カメラ等の補助カメラとした場合の構成例が示される。監視カメラシステムＳＳＹＳ＿Ｂと補助カメラは、同じ領域を撮像するように配置される。この場合、監視カメラシステムＳＳＹＳ＿Ｂは、補助カメラの情報に基づいて重要領域ＩＡＲを抽出することができる。

図１１（ｂ）には、図３に示した監視カメラシステムＳＳＹＳ＿Ｂにおいて、センサＳＥＮを、人感センサや、マイク、ビーコン＆レシーバなどの各種センシング機器とした場合の構成例が示される。監視カメラシステムＳＳＹＳ＿Ｂは、例えば、広い領域を撮像した状態で、当該領域内で所定の間隔で配置された複数のセンサＳＥＮの一つから検知信号を受信した場合、当該センサＳＥＮの配置に基づく領域を重要領域ＩＡＲとして抽出する。その後、監視カメラシステムＳＳＹＳ＿Ｂは、例えば、当該重要領域ＩＡＲにズームして撮像を行うようなことも可能である。

図１２は、本発明の実施の形態２の監視カメラシステムにおいて、実際のアプリケーションへの他の適用例を示す概略図である。図１２には、図１または図３に示した監視カメラシステムＳＳＹＳを、通過検知や通過者認識を行うセキュリティゲートに適用した場合の構成例が示される。セキュリティゲートでは、物理カードによる運用に代わって、カードレス化が見込まれている。このような用途で、実施の形態の監視カメラシステムＳＳＹＳを用いると、以下のように各種有益な効果が得られる。

監視カメラシステムＳＳＹＳは、セキュリティゲートを撮像し、ＰＣ（Personal Computer）は、監視カメラシステムＳＳＹＳの出力データを用いて画像認証（顔認証など）を行うことで、ゲートの通過可否を判定する。通過を禁止する場合、ＰＣは、警告灯等を点灯させる。ここで、図１の監視カメラシステムＳＳＹＳ＿Ａを例とすると、ゲートに通過者が存在しない場合、イメージセンサＣＳＥＮ＿Ａは動作するが、画素値に変化が無いため、後段処理デバイスＳＳＰＤ（ひいてはＰＣ）で処理を要するデータは生じない。その結果、この後段処理部において、消費電力を低減することができる。

一方、ゲートに通過者が存在する場合、監視カメラシステムＳＳＹＳ＿Ａは、画素値の変化が大きい領域（すなわち通過者が存在する領域）を重要領域ＩＡＲとして抽出し、その画像データをＰＣへ送信する。ＰＣは、この重要領域ＩＡＲの画像データを対象に、画像認証や画像データの保存を行えばよいため、各種リソースの低減が可能となる。すなわち、１７（ａ）のような監視カメラシステムを用いる場合、ＰＣは、画像全体のデータを常時受信し、それに対して画像処理を行い、かつ、画像全体をＨＤＤ（Hard Disk Drive）等に保存する必要がある。監視カメラシステムＳＳＹＳ＿Ａを用いると、このような通信・演算・記録リソースの無駄を無くすことができる。また、ＰＣは、既に対象が限定された画像データを受信できるため、画像処理に要する時間も短縮でき、監視のリアルタイム性を高めることが可能になる。

（実施の形態３）
《監視カメラシステムの適用例［２］》
図１３は、本発明の実施の形態３による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。図１３には、例えば、図１の監視カメラシステムＳＳＹＳ＿Ａを、パン・チルト・ズーム（ＰＴＺ）型の監視カメラシステムＳＳＹＳ＿Ａ１に適用した場合の構成例が示される。監視カメラシステムＳＳＹＳ＿Ａ１は、イメージセンサＣＳＥＮ＿Ａと、イメージシグナルプロセッサＩＳＰと、ＰＴＺ制御部ＣＴとを備える。

イメージシグナルプロセッサＩＳＰは、ＣＰＵと、フレームメモリＦＭＥＭと、プログラムメモリＰＭＥＭと、付加情報用メモリＡＩＭＥＭと、画像パイプライン処理回路ＩＰＰとを備える。イメージシグナルプロセッサＩＳＰは、イメージセンサＣＳＥＮ＿ＡからのＲＡＷデータを、一旦、フレームメモリＦＭＥＭに格納する。フレームメモリＦＭＥＭは、重要領域ＩＡＲのＲＡＷデータと、付加情報ＡＩと、ブランキング期間情報ＺＩとを混在した形で保持する。

画像パイプライン処理回路ＩＰＰは、ＲＡＷデータに対する補正等の画像処理や、場合によって、ＪＰＥＧ等の画像フォーマットへの変換処理をハードウェアで実行する。ＣＰＵは、プログラムメモリＰＭＥＭのプログラムに基づいて、画像パイプライン処理回路ＩＰＰの制御や、イメージセンサＣＳＥＮ＿Ａの制御等を行う。この例では、ＣＰＵは、フレームメモリＦＭＥＭの所定のアドレス領域からブランキング期間情報ＺＩを読み取ることで、重要領域ＩＡＲのアドレス領域を認識し、この認識したアドレス領域を画像パイプライン処理回路ＩＰＰの所定のレジスタに設定する。これに応じて、画像パイプライン処理回路ＩＰＰは、フレームメモリＦＭＥＭから重要領域ＩＡＲのＲＡＷデータを読み出し、この重要領域ＩＡＲのＲＡＷデータを対象に画像処理を実行する。この際に、画像パイプライン処理回路ＩＰＰは、フレーム全体のＲＡＷデータに対して画像処理を行う必要がないため、処理負荷の低減が図れる。

また、ＣＰＵは、フレームメモリＦＭＥＭにおけるブランキング期間情報ＺＩのアドレス領域と重要領域ＩＡＲのアドレス領域とを除くアドレス領域から読み出したデータを付加情報ＡＩとして付加情報用メモリＡＩＭＥＭに格納する。この際に、ＣＰＵは、図１０に示したように、最初に付加情報ＡＩのデータ長Ｎを読み取り、除外するアドレス領域をスキップしながら、当該データ長Ｎ分のデータを付加情報ＡＩとして読み出す。ＣＰＵは、この例では、当該付加情報ＡＩに基づいてアラームを発行したり、ＰＴＺ制御部ＣＴに対して撮像方向（左右、上下、ズーム）の制御命令を発行する。

図１４は、図１３を変形した適用例を示す概略図である。図１４には、図１３の場合と同様に、例えば、図１の監視カメラシステムＳＳＹＳ＿Ａを、ＰＴＺ型の監視カメラシステムＳＳＹＳ＿Ａ２に適用した場合の構成例が示される。ただし、図１３とは、イメージシグナルプロセッサＩＳＰの構成が異なっている。図１４のイメージシグナルプロセッサＩＳＰは、画像・付加情報抽出回路ＩＡＥＸと、付加情報分析回路ＡＩＡと、ＣＰＵと、画像パイプライン処理回路ＩＰＰと、フレームメモリＦＭＥＭと、プログラムメモリＰＭＥＭと、付加情報用メモリＡＩＭＥＭとを備える。

画像・付加情報抽出回路ＩＡＥＸは、イメージセンサＣＳＥＮ＿ＡからのＲＡＷデータを受け、ブランキング期間のブランキング期間情報ＺＩに基づき重要領域ＩＡＲの座標情報を認識することで、重要領域ＩＡＲのＲＡＷデータと付加情報ＡＩとを区別して取得する。画像・付加情報抽出回路ＩＡＥＸは、取得した重要領域ＩＡＲのＲＡＷデータをフレームメモリＦＭＥＭに格納し、取得した付加情報ＡＩを付加情報用メモリＡＩＭＥＭに格納する。

ここで、画像・付加情報抽出回路ＩＡＥＸは、図６に示したように、重要領域ＩＡＲの座標情報を、重要領域ＩＡＲのＲＡＷデータを受信する前に取得することができ、図１０に示したように、付加情報ＡＩのデータ長Ｎを、受信の開始時に取得することができる。したがって、画像・付加情報抽出回路ＩＡＥＸは、イメージセンサＣＳＥＮ＿ＡからのＲＡＷデータを受信しながら、リアルタイムで重要領域ＩＡＲのＲＡＷデータと付加情報ＡＩとを区別して取得することができる。

付加情報分析回路ＡＩＡは、付加情報ＡＩ内に特定の情報が含まれていたら予め決められた処理を行うなど、脊髄反射的な処理を行う。例えば、付加情報ＡＩに基づいて画像パイプライン処理回路ＩＰＰの処理内容を変更したいような場合、付加情報分析部ＡＩＡは、画像パイプライン処理回路ＩＰＰに対して各種レジスタ設定を行う。このような処理は、ＣＰＵが担ってもよいが、ここでは、付加情報分析回路ＡＩＡが担うことで画像パイプライン処理回路ＩＰＰをより迅速に制御する。その他の回路等に関しては、図１３の場合と同様である。

図１３のイメージシグナルプロセッサＩＳＰは、汎用的な構成を想定したものである。このように、汎用的な構成を用いた場合であっても、実施の形態の方式を適用することが可能である。一方、図１４のイメージシグナルプロセッサＩＳＰは、画像・付加情報抽出回路ＩＡＥＸ（および付加情報分析回路ＡＩＡ）のように、専用のハードウェアを搭載した構成となっている。専用のハードウェアを搭載すると、例えば、フレームメモリＦＭＥＭに重要領域ＩＡＲのＲＡＷデータのみを保存できることから、フレームメモリＦＭＥＭのリソースを低減できる。また、ＣＰＵを介さずにある程度の処理を行えるため、各種高速化を図ることも可能である。

（実施の形態４）
《監視カメラシステム（応用例）の概略》
図１５は、本発明の実施の形態４による監視カメラシステムにおいて、主要部の構成例および動作例を示す概略図である。図１６は、図１５とは異なる主要部の構成例および動作例を示す概略図である。前述した実施の形態１の方式は、様々な実装形態に応用することが可能である。例えば、図１５の監視カメラシステムは、送信機ＴＸと受信機ＲＸとを備える。

送信機ＴＸは、図１７（ａ）と同様のイメージセンサＣＳＥＮと、画像処理デバイスＩＰＤと、センサＳＥＮとを備える。画像処理デバイスＩＰＤは、例えば、図３の監視カメラシステムＳＳＹＳ＿Ｂにおける前段処理デバイスＦＳＰＤおよび後段処理デバイスＳＳＰＤとほぼ同様の構成を備える。ただし、ここでは、図３の場合と異なり、データ合成回路ＤＣＭは、データを合成せずに、重要領域ＩＡＲのＲＡＷデータのみを出力し、付加情報生成回路ＡＩＧは、データ合成回路ＤＣＭを介さずに、付加情報ＡＩを独立に出力する。

画像処理デバイスＩＰＤは、重要領域ＩＡＲの画像データと、付加情報ＡＩとをそれぞれ個別に受信機ＲＸへ送信する。この際に、受信機ＲＸが受信するデータは、イメージシグナルプロセッサＩＳＰの処理後のデータであるため、図１８に示したようなフォーマットである必要はなく、例えば、一般的なシリアル通信等のフォーマットであってよい。そこで、画像処理デバイスＩＰＤは、例えば、画像データに対して、その開始および終了を表す識別子を付加して送信し、同様に、付加情報ＡＩに対しても、その開始および終了を表す別の識別子を付加して送信する。

受信器ＲＸは、画像・付加情報分離回路ＩＡＤＶと、画像表示回路ＤＰＣと、異常判定回路ＥＲＣと、フレームメモリＦＭＥＭと、付加情報用メモリＡＩＭＥＭとを備える。画像・付加情報分離回路ＩＡＤＶは、例えば、前述した識別子等に基づき、重要領域ＩＡＲの画像データと付加情報ＡＩとを分離し、画像データをフレームメモリＦＭＥＭに格納し、付加情報ＡＩを付加情報用メモリＡＩＭＥＭに格納する。

画像表示回路ＤＰＣは、フレームメモリＦＭＥＭに格納された重要領域ＩＡＲの画像データをディスプレイＤＰＹに表示する。または、画像表示回路ＤＰＣは、予め、背景の画像データを取得しておき、それをテンプレートとして、取得した重要領域ＩＡＲの画像データを順次重ね合わせるような処理を行ってもよい。異常判別回路ＥＲＣは、ここでは、付加情報用メモリＡＩＭＥＭに格納される付加情報ＡＩに基づき異常の有無を判定し、異常有りの場合には警告灯等を点灯させる。

送信機ＴＸから受信機ＲＸへ送信されるデータは、一般的には、画像全体のデータとなるが、図１５の方式を用いる場合、重要領域ＩＡＲの画像データとなる。その結果、送信機ＴＸと受信機ＲＸの間の通信に伴うリソースを低減することが可能になる。また、受信機ＲＸの処理対象も重要領域ＩＡＲの画像データに絞られるため、受信機ＲＸにおけるリソース（処理負荷やメモリ容量）を低減することが可能になる。

図１６の監視カメラシステムは、送信機ＴＸを備える。送信機ＴＸは、一般的なカメラシステムＣＳＹＳ’およびセンサＳＥＮに、各種回路を組み合わせたような構成となっている。各種回路の中には、重要領域抽出回路ＩＡＥＸと、付加情報生成回路ＡＩＧと、出力画像生成回路ＩＭＧと、通信回路ＣＣとが含まれる。重要領域抽出回路ＩＡＥＸは、図５や図７の場合と同様の機能を備える。

ただし、ここでは、重要領域抽出回路ＩＡＥＸの処理対象は、図５や図７の場合のＲＡＷデータと異なり、イメージシグナルプロセッサＩＳＰの処理後の画像データ（例えばＹＵＶ形式の画像データ）となっている。このため、図５や図７におけるブランキング期間情報生成回路ＺＩＧは不要であり、また、重要領域抽出回路ＩＡＥＸの入出力信号も異なる。このような違いはあるものの、重要領域抽出回路ＩＡＥＸの概略的な機能に関しては図５や図７と同様である。

具体的には、重要領域抽出回路ＩＡＥＸは、画像データから、図５や図７の場合と同様の方式を用いて重要領域ＩＡＲとなるブロックを区別する。出力画像生成回路ＩＭＧは、この重要領域抽出回路ＩＡＥＸからの区別情報に基づいて、重要領域ＩＡＲの画像データを抽出する。付加情報生成回路ＡＩＧは、出力画像生成回路ＩＭＧからの重要領域ＩＡＲの画像データや、センサＳＥＮからのセンサデータＳＤＡＴに基づき付加情報を生成する。例えば、付加情報生成回路ＡＩＧは、顔認識や物体認識等を行い、その結果を付加情報としてもよい。通信回路ＣＣは、出力画像生成回路ＩＭＧからの重要領域ＩＡＲの画像データと、付加情報生成回路ＡＩＧからの付加情報とを送信する。

一般的な監視カメラシステムでは、動画コーデックを使用して連続した動画（画像データ）を出力し続けるが、実施の形態の監視カメラシステムは、画像データを垂れ流す用途ではないため、イベント発生時に重要度の高い領域を検出および切り出して、静止画（例えばＪＰＥＧデータ)として出力すればよい。これにより、データ通信の総量を低減することができる。また、通信回路ＣＣは、図１５の場合と同様に、例えば、一般的なシリアル通信等のフォーマットで送信を行えばよい。このため、通信回路ＣＣは、例えば、静止画圧縮フォーマット（例えばＪＰＥＧ）のヘッダ情報内のユーザデータ領域に付加情報を埋め込むことも可能である。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

ＡＩ 付加情報
ＡＩＧ 付加情報生成回路
ＡＲｂｖ，ＡＲｂｈ ブランキング領域
ＡＲｅ 有効画素領域
ＡＸＣ ブロック座標算出回路
ＢＫ ブロック
ＣＳＥＮ イメージセンサ
ＤＣＭ データ合成回路
ＦＳＰＤ 前段処理デバイス
ＦＳＰＵ 前段処理ユニット（画像処理部）
ＨＳＹＮＣ 水平同期信号
ＩＡＥＸ 重要領域抽出回路
ＩＡＪＧ 重要領域区別回路
ＩＡＲ 重要領域
ＩＳＰ イメージシグナルプロセッサ
ＪＩ 区別情報
ＪＩＯ 区別情報出力回路
ＭＥＭ メモリ
ＮＡＲ 非重要領域
ＰＶ 画素値
ＰＸＡＲＹ ピクセルアレイ
ＳＤＡＴ センサデータ
ＳＥＮ センサ
ＳＳＰＤ 後段処理デバイス
ＳＳＹＳ 監視カメラシステム
ＴＢｈ 水平ブランキング期間
ＶＳＹＮＣ 垂直同期信号
ＺＩ ブランキング期間情報
ＺＩＧ ブランキング期間情報生成回路

Claims (20)

1. 複数の撮像素子によって構成されるピクセルアレイと、
   前記ピクセルアレイからの各画素値を含むＲＡＷデータに対して各種画像処理を行うイメージシグナルプロセッサと
   前記ピクセルアレイと前記イメージシグナルプロセッサとの間に配置される画像処理部と、
   を有する監視カメラシステムであって、
   前記画像処理部は、前記ピクセルアレイからのフレーム毎の前記ＲＡＷデータを受けて、前記フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、前記重要領域の前記ＲＡＷデータを前記イメージシグナルプロセッサへ送信する、
   監視カメラシステム。
2. 請求項１記載の監視カメラシステムにおいて、
   前記画像処理部は、さらに、所定の付加情報と、前記ピクセルアレイからの前記ＲＡＷデータとを合成して前記イメージシグナルプロセッサへ送信するデータ合成回路を有し、
   前記データ合成回路は、前記重要領域抽出回路からの区別情報に基づき、前記フレームの送信期間内の前記重要領域に該当する期間で、前記重要領域の前記ＲＡＷデータを前記イメージシグナルプロセッサへ送信し、前記非重要領域に該当する期間で、前記非重要領域の前記ＲＡＷデータの代わりに前記所定の付加情報を前記イメージシグナルプロセッサへ送信する、
   監視カメラシステム。
3. 請求項２記載の監視カメラシステムにおいて、
   前記画像処理部は、さらに、前記重要領域の座標情報を、前記フレームの送信期間内のブランキング期間の情報として生成するブランキング期間情報生成回路を有し、
   前記データ合成回路は、前記ブランキング期間情報生成回路からの前記重要領域の前記座標情報を、前記ブランキング期間で前記イメージシグナルプロセッサへ送信し、
   前記イメージシグナルプロセッサは、前記ブランキング期間で前記重要領域の前記座標情報を認識することで前記重要領域の前記ＲＡＷデータと前記所定の付加情報とを区別して取得する、
   監視カメラシステム。
4. 請求項３記載の監視カメラシステムにおいて、
   前記データ合成回路は、前記重要領域の前記座標情報を、前記重要領域が存在する水平座標の先頭に位置する水平ブランキング期間で前記イメージシグナルプロセッサへ送信する、
   監視カメラシステム。
5. 請求項２記載の監視カメラシステムにおいて、
   前記画像処理部は、さらに、前記所定の付加情報を生成する付加情報生成回路を有し、
   前記付加情報生成回路は、前記重要領域抽出回路からの前記区別情報に基づき、前記重要領域の前記ＲＡＷデータに対して所定の画像解析を行い、当該解析結果を前記所定の付加情報として生成する、
   監視カメラシステム。
6. 請求項２記載の監視カメラシステムにおいて、
   さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられ、前記ピクセルアレイからの前記フレーム毎の前記ＲＡＷデータと並行してセンサデータを出力する所定のセンサを備え、
   前記画像処理部は、さらに、前記センサデータを受けて、前記センサデータに基づく情報を前記所定の付加情報として生成する付加情報生成回路を有する、
   監視カメラシステム。
7. 請求項１記載の監視カメラシステムにおいて、
   前記重要領域抽出回路は、前回の前記フレームにおける前記ＲＡＷデータの前記各画素値と、今回の前記フレームにおける前記ＲＡＷデータの前記各画素値との比較に基づいて前記重要領域と前記非重要領域とを区別する、
   監視カメラシステム。
8. 請求項７記載の監視カメラシステムにおいて、
   前記重要領域抽出回路は、前記フレームの前記有効画素領域を複数のブロックに分割して管理し、前記複数のブロック毎に、内部に含まれる前記各画素値の積算値または平均値を前回と今回とで比較することで、前記ブロック単位で前記重要領域か前記非重要領域かを判別する、
   監視カメラシステム。
9. 請求項１記載の監視カメラシステムにおいて、
   さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられ、前記ピクセルアレイからの前記フレーム毎の前記ＲＡＷデータと並行してセンサデータを出力する所定のセンサを備え、
   前記重要領域抽出回路は、前記センサデータに基づいて前記重要領域と前記非重要領域とを区別する、
   監視カメラシステム。
10. 請求項２記載の監視カメラシステムにおいて、
    前記ピクセルアレイと前記画像処理部は、同一の半導体チップに搭載される、
    監視カメラシステム。
11. 複数の撮像素子によって構成されるピクセルアレイと、
    前記ピクセルアレイからの各画素値を含むＲＡＷデータに対して各種画像処理を行うイメージシグナルプロセッサと
    前記イメージシグナルプロセッサの後段に配置される画像処理部と、
    を有する監視カメラシステムであって、
    前記画像処理部は、前記イメージシグナルプロセッサからのフレーム毎の画像データを受けて、当該フレーム毎の画像領域を重要領域と非重要領域とに区別する重要領域抽出回路を有する、
    監視カメラシステム。
12. 複数の撮像素子によって構成されるピクセルアレイと、前記ピクセルアレイからの各画素値を含むＲＡＷデータに対して各種画像処理を行うイメージシグナルプロセッサとの間に配置される画像処理装置であって、
    前記ピクセルアレイからのフレーム毎の前記ＲＡＷデータを受けて、前記フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、前記重要領域の前記ＲＡＷデータを前記イメージシグナルプロセッサへ送信する、
    画像処理装置。
13. 請求項１２記載の画像処理装置において、
    さらに、所定の付加情報と、前記ピクセルアレイからの前記ＲＡＷデータとを合成して前記イメージシグナルプロセッサへ送信するデータ合成回路を有し、
    前記データ合成回路は、前記重要領域抽出回路からの区別情報に基づき、前記フレームの送信期間内の前記重要領域に該当する期間で、前記重要領域の前記ＲＡＷデータを前記イメージシグナルプロセッサへ送信し、前記非重要領域に該当する期間で、前記非重要領域の前記ＲＡＷデータの代わりに前記所定の付加情報を前記イメージシグナルプロセッサへ送信する、
    画像処理装置。
14. 請求項１３記載の画像処理装置において、
    さらに、前記重要領域の座標情報を、前記フレームの送信期間内のブランキング期間の情報として生成するブランキング期間情報生成回路を有し、
    前記データ合成回路は、前記ブランキング期間情報生成回路からの前記重要領域の前記座標情報を、前記ブランキング期間で前記イメージシグナルプロセッサへ送信する、
    画像処理装置。
15. 請求項１４記載の画像処理装置において、
    前記データ合成回路は、前記重要領域の前記座標情報を、前記重要領域が存在する水平座標の先頭に位置する水平ブランキング期間で前記イメージシグナルプロセッサへ送信する、
    画像処理装置。
16. 請求項１３記載の画像処理装置において、
    さらに、前記所定の付加情報を生成する付加情報生成回路を有し、
    前記付加情報生成回路は、前記重要領域抽出回路からの前記区別情報に基づき、前記重要領域の前記ＲＡＷデータを対象に所定の画像解析を行い、当該解析結果を前記所定の付加情報として生成する、
    画像処理装置。
17. 請求項１３記載の画像処理装置において、
    さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられた所定のセンサからのセンサデータを、前記ピクセルアレイからの前記フレーム毎の前記ＲＡＷデータと並行して受け、前記センサデータに基づく情報を前記所定の付加情報として生成する付加情報生成回路を有する、
    画像処理装置。
18. 請求項１２記載の画像処理装置において、
    前記重要領域抽出回路は、前回の前記フレームにおける前記ＲＡＷデータの前記各画素値と、今回の前記フレームにおける前記ＲＡＷデータの前記各画素値との比較に基づいて前記重要領域と前記非重要領域とを区別する、
    画像処理装置。
19. 請求項１８記載の画像処理装置において、
    前記重要領域抽出回路は、前記フレームの前記有効画素領域を複数のブロックに分割して管理し、前記複数のブロック毎に、内部に含まれる前記各画素値の積算値または平均値を前回と今回とで比較することで、前記ブロック単位で前記重要領域か前記非重要領域かを判別する、
    画像処理装置。
20. 請求項１２記載の画像処理装置において、
    前記重要領域抽出回路は、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられた所定のセンサからのセンサデータを、前記ピクセルアレイからの前記フレーム毎の前記ＲＡＷデータと並行して受け、前記センサデータに基づいて前記重要領域と前記非重要領域とを区別する、
    画像処理装置。