[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3576024B2 - Image communication device - Google Patents

Image communication device Download PDF

Info

Publication number
JP3576024B2
JP3576024B2 JP04863599A JP4863599A JP3576024B2 JP 3576024 B2 JP3576024 B2 JP 3576024B2 JP 04863599 A JP04863599 A JP 04863599A JP 4863599 A JP4863599 A JP 4863599A JP 3576024 B2 JP3576024 B2 JP 3576024B2
Authority
JP
Japan
Prior art keywords
image information
output
imaging
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04863599A
Other languages
Japanese (ja)
Other versions
JP2000253381A (en
Inventor
光本  直樹
卓也 笹谷
伸章 川原
肇 須藤
一成 大井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Denso Corp
Original Assignee
Toshiba Corp
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Denso Corp filed Critical Toshiba Corp
Priority to JP04863599A priority Critical patent/JP3576024B2/en
Publication of JP2000253381A publication Critical patent/JP2000253381A/en
Application granted granted Critical
Publication of JP3576024B2 publication Critical patent/JP3576024B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、CCDカメラ等の撮像装置にて得られた2次元画像データを外部装置に送信する撮像画像通信装置に関する。
【0002】
【従来の技術】
従来より、CCDカメラ等で撮像した2次元画像を外部装置に送信する際には、画像データを、MPEG2等の画像圧縮技術を用いて圧縮することにより、所定規格の映像信号に変換してから、外部装置に送信することが行われている(例えば、日経BP社発行,日経エレクトロニクス1998,3−9号,133頁〜154頁参照)。
【0003】
一方、近年では、例えば、配管等、人が入ることのできない小さな構造物内に進入させて、その内部を検査したり、内部の付着物を採取したりするための装置として、数cm程度の大きさのマイクロマシンが開発されている。そして、こうしたマイクロマシンには、CCDカメラ等の小型カメラが組み込まれ、マイクロマシンの操作者が、小型カメラが撮像した構造物内の画像を監視しながら、マイクロマシンを遠隔操作できるようにされている。
【0004】
【発明が解決しようとする課題】
ところで、こうしたマイクロマシンに通信機能を持たせ、マイクロマシンをコードレスで動作させようとすると、マイクロマシンに小型カメラで撮像した2次元画像を送信する通信装置を組み込む必要がある。
【0005】
そして、この通信装置を、上記従来の画像圧縮技術を利用して撮像画像を送信するように構成すると、回路の大型化,消費電力の増大を招き、マイクロマシンに組み込むことができないという問題があった。つまり、マイクロマシンに撮像画像の通信装置を組み込むに当たっては、回路の小型化,低消費電力化が要求されるが、従来の画像圧縮技術では、大規模メモリの搭載が不可欠であり(上記参考文献の140頁〜141頁参照)、また、画像圧縮のための動作クロックも極めて高速になるため、こうした要求に応えることができないのである。
【0006】
また、上記従来の画像圧縮技術を利用して画像データを送信するようにした場合、カメラによる撮像画像を一旦圧縮し、これを伸張させてディスプレイに表示することになるので、外部装置側で得られる画像の分解能が、カメラの分解能に比べて劣化してしまうという問題もある。
【0007】
本発明は、こうした問題に鑑みなされたものであり、CCDカメラ等の撮像装置にて撮像した2次元画像を送信する装置において、装置の小型化,低消費電力化,及び通信画像の高分解能化を図り、延いては、マイクロマシンへの組み込みを可能にすることを目的とする。
【0008】
【課題を解決するための手段及び発明の効果】
かかる目的を達成するためになされた請求項1記載の撮像画像通信装置においては、撮像制御手段が、外部からの撮像指令に従って、2次元配置された複数の撮像素子からなる撮像手段を駆動することにより、2次元画像を撮像させ、その後、撮像画像出力手段に対して、水平同期信号及び出力タイミング信号を出力することにより、撮像画像出力手段から画像情報を出力させる。また、撮像画像出力手段は、撮像制御手段から入力される水平同期信号に従い、撮像手段による撮像画像を一水平走査ライン毎に取り込み、その取り込んだ一水平走査ライン分の撮像画像を、出力タイミング信号に同期して、画素単位で順次nビットの画像情報に量子化して出力する。そして、この撮像画像出力手段から出力される画像情報は、書込読出制御手段による制御の下に、撮像画像記憶手段に順次格納される。
【0009】
また、書込読出制御手段は、通信手段から入力される読出タイミング信号に同期して、撮像画像記憶手段に格納した画像情報を順次読み出し、通信手段は、その読み出された画像情報を、一水平走査ライン分毎に、データ通信用のパケットデータに変換しながら、外部装置に送信すると共に、その外部装置から送信されてくる撮像指令を受信する。そして、この通信手段にて受信された撮像指令は、撮像指令転送手段により、撮像制御手段に転送され、撮像制御手段が撮像手段を駆動するのに使用される。
【0010】
従って、本発明の撮像画像通信装置においては、撮像手段にて撮像された2次元画像が、水平走査信号に同期して、一水平走査ライン分毎に順次撮像画像記憶手段に格納され、その格納された撮像画像が、一水平走査ライン分毎に通信手段側に読み出され、通信手段側でデータ通信用のパケットデータに変換されて、外部装置に送信されることになり、撮像画像記憶手段は、撮像画像を、送信前に一時的に記憶するだけの所謂バッファとして動作する。
【0011】
そして、特に、本発明では、このようにバッファとして動作する撮像画像記憶手段を、撮像画像出力手段から出力される一水平走査ライン分の画像情報を記憶可能な少なくとも2個の記憶素子にて構成し、書込読出制御手段が、撮像画像記憶手段において画像情報を書き込む記憶素子と画像情報を読み出す記憶素子とを順次変更しながら、画像情報の書込及び読出を夫々同時に行うようにしている。
【0012】
また、撮像画像出力手段が一水平走査ライン分の画像情報を出力するのに要する水平同期信号一周期当たりの時間が、通信手段が一水平走査ライン分の画像情報をパケットデータに変換して外部装置に送信するのに要する時間よりも短くなると、書込読出制御手段による撮像画像記憶手段からの画像情報の読出速度よりも、書込読出制御手段による撮像画像記憶手段への画像情報の書込速度の方が速くなって、撮像画像記憶手段がオーバフローすることになるので、本発明では、水平同期信号一周期当たりの時間が、通信手段が一水平走査ライン分の画像情報をパケットデータに変換して外部装置に送信するのに要する時間以上となるように、撮像制御手段が撮像画像出力手段に対して出力する水平同期信号及び出力タイミング信号の周期を設定している。
【0013】
この結果、本発明によれば、撮像手段による撮像画像を、圧縮することなく、リアルタイムで、外部装置に送信することが可能になり、外部装置側では、当該撮像画像通信装置からの送信データに基づき、撮像手段による撮像画像を、劣化させることなく(換言すれば、撮像手段の分解能と同じ分解能で)、再生することができるようになる。
【0014】
また、画像通信のために画像情報を記憶しておく撮像画像記憶手段は、撮像手段が撮像した画像の内、例えば、水平走査ライン2本分又は3本分を記憶するようにすれば、画像圧縮技術を用いて撮像画像を圧縮する場合に比べて、画像情報の記憶容量を極めて小さくすることができる。よって、本発明によれば、撮像画像記憶手段を構成する記憶素子及びその周辺回路を小さくし、延いては、撮像画像通信装置の小型化を図ることができる。また、このように回路規模を小さくできるため、消費電力を低減することもできる。
【0015】
そして、このように、本発明によれば、撮像画像通信装置の小型化,低消費電力化,及び通信画像の高分解能化を図ることができることから、前述のマイクロマシンにも容易に組み込むことができるようになる。
ここで、撮像画像記憶手段がオーバフローするのを防止するための出力タイミング信号の周期としては、請求項2に記載のように、通信手段が画像情報を送信する際の通信ビットレートをfc[Hz]としたとき、出力タイミング信号の速度が、fc/n[Hz]よりも小さくなるように設定するとよい。具体的には、撮像画像出力手段が画素単位で8ビットの画像情報を生成する際には、撮像画像出力手段による画像情報の出力速度を、fc/9[Hz]若しくはfc/10[Hz]として、画像情報の出力速度を低くし、撮像画像出力手段が水平走査ライン一本分の画像情報を出力するのに要する時間が、通信手段が水平走査ライン一本分の画像情報を通信ビットレートに従い読み込み、これにヘッダ等の通信用の各種情報を付与して送信するのに要する時間以上となるようにすればよい。
【0016】
また、撮像画像出力手段が水平走査ライン一本分の画像情報を出力するのに要する時間は、画像情報の出力速度だけでなく、撮像画像出力手段が画像情報を量子化しない、水平同期信号のブランキング期間によっても変化するため、撮像画像記憶手段がオーバフローするのを防止するためには、請求項3に記載のように、水平同期信号のブランキング期間を、通信手段が一水平走査ライン分の全画像情報をパケットデータに変換して外部装置に送信するのに要する時間と、撮像画像出力手段が一水平走査ライン分の全画像情報を出力するのに要する時間との偏差に基づき設定するようにしてもよい。
【0017】
一方、撮像画像記憶手段は、撮像手段が撮像した画像の内、少なくとも水平走査ライン2本分の画像情報を記憶できればよいが、撮像画像記憶手段を、水平走査ライン2本分の画像情報を記憶するように構成すると、書込読出制御手段が画像情報を書き込む記憶素子と画像情報を読み出す記憶素子とが重複しないように、撮像画像出力手段の動作タイミングと通信手段の動作タイミングとを調整しなければならず、回路設計が難しくなることが考えられる。
【0018】
そこで、より好ましくは、請求項3に記載のように、撮像画像記憶手段を、一水平走査ライン分の画像情報を記憶可能な3個の記憶素子から構成し、書込読出制御手段側では、これら3個の記憶素子を、夫々、一水平走査ライン分の画像情報の書込・保持・読出用として順次変更しながら、画像情報の書込及び読出を行うようにするとよい。
【0019】
つまり、このようにすれば、書込読出制御手段が画像情報の書込及び読出を行う記憶素子以外に、水平走査ライン1本分の画像情報を記憶しておく記憶素子が余ることになり、撮像画像出力手段の動作タイミングと通信手段の動作タイミングとがずれても、同じ記憶素子からの画像情報の書込及び読出を同時に行う心配がなく、回路設計がし易くなる。
【0020】
一方、本発明(請求項1)では、通信手段が、外部装置から送信されてきた撮像指令を受信し、撮像指令転送手段が、その受信された撮像指令を、撮像制御手段に転送することにより、撮像制御手段による撮像手段の駆動を外部装置側で制御できるようにしている。このため、本発明によれば、外部装置側で、撮像制御手段が撮像手段を駆動する際の撮像手段の露光時間等を制御できることになるが、撮像指令転送手段により撮像指令を転送させるには、撮像指令転送手段側での撮像指令の転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させる必要がある。
【0021】
そして、撮像指令転送手段を、通信手段が外部装置からの撮像指令を受信した直後に、撮像制御手段に対して、撮像指令をそのまま転送するように構成すると、その転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させるための同期信号が必要になり、装置構成が複雑になる。
【0022】
そこで、こうした同期信号を不要にするには、請求項5に記載のように、通信手段が外部装置から受信する撮像指令のデータ長を、撮像制御手段が撮像画像出力手段から一フレーム分の画像情報を出力させる垂直同期信号一周期当たりの水平同期信号の数より小さいビット数となるように予め設定しておき、撮像指令転送手段を、垂直同期信号に同期して撮像指令の転送を開始し、且つ、撮像指令の転送を、水平同期信号に同期して1ビット単位で行うように構成し、撮像制御手段側では、撮像指令転送手段から転送されてくる撮像指令一ビット分を水平同期信号に同期して取り込み、その取り込んだ撮像指令の全ビットデータに基づく撮像手段の駆動制御を、垂直同期信号に同期して行うように構成するとよい。
【0023】
そして、このようにすれば、撮像指令転送手段側での撮像指令の転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させるために、専用の同期信号を生成する必要がなく、装置構成を簡素化できる。
【0024】
【発明の実施の形態】
以下に、本発明の実施例を図面と共に説明する。
まず、図1は本発明が適用された実施例の撮像画像通信装置2及びその周辺装置を表す概略構成図である。
【0025】
本実施例の撮像画像通信装置は、図示しない静電アクチュエータ,圧電アクチュエータ等の各種アクチュエータ及びその駆動装置と共に、自走式のマイクロマシン2に組み込まれ、周囲の画像を撮像して、撮像画像をマイクロ波で外部装置(マイクロマシン用の制御装置)4に送信するものであり、周囲画像撮像用のCCDカメラ10と、制御装置4との間でマイクロ波通信を行うRF回路30と、CCDカメラ10による撮像画像を通信用のシリアルデータに変換して、RF回路30に出力すると共に、RF回路30にて受信されたカメラ制御用の指令信号(撮像指令)を受けて、CCDカメラ10に転送する画像通信制御LSI40とから構成されている。
【0026】
尚、RF回路30は、撮像画像通信装置と制御装置4との間の通信を行うだけでなく、マイクロマシン2に組み込まれた他の装置(各種アクチュエータの駆動装置等)と制御装置4との間の通信についても行う。また、制御装置4側には、マイクロマシン2側のRF回路30との間でマイクロ波を用いた無線通信を行うためのRF回路6が備えられ、このRF回路6は、通信制御部8により制御される。
【0027】
そして、通信制御部8は、RF回路6を介して、マイクロマシン2側からの送信データを受信すると、その受信データを図示しないホストコンピュータに出力して、マイクロマシン2の動作状態やCCDカメラ10による撮像画像等をディスプレイに表示させると共に、ホストコンピュータから入力されたマイクロマシン2に対する各種指令信号を、RF回路6からマイクロマシン2側に送信させる。
【0028】
この結果、本実施例の撮像画像通信装置がRF回路30を介して制御装置4側に送信した画像データは、制御装置4側のホストコンピュータに取り込まれてディスプレイに表示されることになり、マイクロマシン2の操作者は、その表示画像を見ながら、マイクロマシン2を駆動制御することが可能になる。
【0029】
次に図2は、本発明に係る主要部であるCCDカメラ10及び画像通信制御LSI40の構成を表すブロック図である。
図2に示す如く、CCDカメラ10は、撮像素子(本実施例ではCCD)を2次元配置したCCDセンサ12と、水平同期信号HPに従いCCDセンサ12から一水平走査ライン分の画像信号を取り込み、これを、出力タイミング信号としてのピクセルクロックPCKに従い一画素分ずつ順次シフトさせつつ出力する水平シフトレジスタ14と、水平シフトレジスタ14が出力してくる画像信号をnビット(本実施例では8ビット)の画像情報に量子化(換言すればA/D変換)するA/Dコンバータ16と、垂直同期信号VP及び水平同期信号HPに基づき、水平シフトレジスタ14が取り込む一水平走査ライン分の画像信号を列方向に順次シフトさせる垂直シフトレジスタ18と、外部から入力される基準クロックCKO(本実施例では、500kHz)に基づき、水平同期信号HP,垂直同期信号VP,及びピクセルクロックPCKを生成して、上記各部に出力すると共に、画像通信制御LSI側より転送されてくる制御装置4側からのカメラ制御用の指令信号(以下、コマンドという)CMDを取り込み、垂直同期信号VPに同期して、このコマンドCMDに基づきCCDセンサ12を駆動(露光)し、周囲画像を撮像させるCCD制御回路20とから構成されている。
【0030】
ここで、CCDセンサ12は、本発明の撮像手段に相当するものであり、本実施例では、図3に示すように、行方向の画素数が302、列方向の画素数が352で、総画素数が302×352の10万画素であり、272×347の信号画素、28×347の黒基準画素、及びその他のダミー用の画素から構成されている。また、本実施例のCCDセンサ12は、カラーイメージセンサであり、信号画素には、イエローYe,シアンCy,マゼンタMg,グリーンGrの各色フィルタが設けられている。
【0031】
また、CCD制御回路20は、本発明の撮像制御手段に相当するものであり、本実施例では、基準クロックCKOを分周して、250kHzのピクセルクロックPCKを生成することにより、A/Dコンバータ16からの画像情報の出力速度を250kHzに設定している。
【0032】
また、CCD制御回路20は、水平同期信号HP及び垂直同期信号VPも生成するが、図4(a)に示す如く、水平同期信号HPについては、50ピクセルクロック(50PCK)分の水平ブランキング期間と、302ピクセルクロック(302PCK)分の映像信号有効期間とから一水平走査期間(1H)を構成し、映像信号有効期間中に、A/Dコンバータ16から、2ピクセルクロック(2PCK)分のフロントポーチ期間と、272ピクセルクロック(272PCK)分の映像信号期間と、28ピクセルクロック(28PCK)分のバックポーチ期間とからなる映像信号を出力させる。
【0033】
また、図4(b)に示すように、垂直同期信号VPには、20水平走査期間(20H)分の垂直ブランキング期間が設定されている。そして、垂直同期信号VPは、196回目の水平ブランキング期間で立ち上がり、その後、175.5水平走査期間(175.5H)経過したときに立ち下がることにより、この立ち上がりから立ち下がりまでの期間を、奇数フィールド有効信号期間として規定し、1回目の水平信号有効期間に立ち上がり、その後、175.5水平走査期間(175.5H)経過後に立ち下がることにより、この立ち上がりから立ち下がりまで期間を、遇数フィールド有効信号期間として規定するようにされている。
【0034】
尚、偶数フィールド有効信号期間の立下がりエッジ、及び、奇数フィールド有効期間の立上がりエッジは、図4(b−1)に示すように、水平同期信号HPが水平ブランキング期間に入る立下がりエッジに対して、2ピクセルクロック(2PCK)分遅れたタイミングに制御される。
【0035】
また、本実施例では、垂直シフトレジスタ18は、奇数フィールド有効期間では、A/Dコンバータ16に対して、CCDセンサ12の1行目から順に、隣接する撮像素子2行分を一水平走査ラインとして、上下2つの撮像素子に蓄積された電荷を混合して量子化させ、偶数フィールド有効期間では、A/Dコンバータ16に対して、CCDセンサ12の2行目から順に、隣接する撮像素子2行分を一水平走査ラインとして、上下2つの撮像素子に蓄積された電荷を混合して量子化させる、周知のフィールド蓄積駆動方式で動作する。
【0036】
また、A/Dコンバータ16は、図4(a−1)に示す如く、CCD制御回路20が基準クロックCKOに基づき生成したピクセルクロックPCKの立上がりエッジで、画像信号の量子化を開始するように構成され、以下に説明する画像通信制御LSI40側では、A/Dコンバータ16から出力される一画素当たりの画像情報が確定しているタイミングで、画像情報を取り込むために、ピクセルクロックPCKの立下がりエッジと同タイミングで、A/Dコンバータ16から出力される画像情報を取り込むようにされている。
【0037】
そして、本実施例では、CCDカメラ10内の水平シフトレジスタ14,A/Dコンバータ16及び垂直シフトレジスタ18が、本発明の撮像画像出力手段として機能する。
次に、画像通信制御LSI40は、A/Dコンバータ16から出力される画像情報を記憶する、撮像画像記憶手段としてのラインメモリ42と、CCDカメラ10から垂直同期信号VP及び水平同期信号HPを受けて、ラインメモリ42への画像情報の書き込み、及び、ラインメモリ42からの画像情報の読み出しを制御する、書込読出制御手段としてのCCDインタフェース44と、CCDインタフェース44を介して、ラインメモリ42から一水平走査ライン分の画像情報を読み出し、これを所定の通信ビットレート(本実施例では2.5Mbps)でデータ通信用のパケットデータ(シリアルデータ)に変換して、RF回路30に出力するデータ送信部46と、RF回路30を介してカメラ制御用のコマンドCMDを受信し、これをCCDインタフェース44に出力することにより、CCDインタフェース44からCCDカメラ10側のCCD制御回路20に転送させるデータ受信部48とから構成されている。尚、データ送信部46及びデータ受信部48は、本発明の通信手段に相当する。
【0038】
ここで、ラインメモリ42は、A/Dコンバータ16から出力される画像情報の内、一水平走査ライン分の画像情報を夫々記憶可能な3個の記憶素子(第1メモリ51,第2メモリ52,第3メモリ53)から構成されている。
そして、CCDインタフェース44には、各メモリ51〜53への画像情報の書き込みを夫々許可するライトイネーブル信号WE1,WE2,WE3、及び、各メモリ51〜53からの画像情報の読み出しを夫々許可するリードイネーブル信号RE1,RE2,RE2を発生する、WE・RE発生回路61と、ライトイネーブル信号にて画像情報の書き込みが許可されたメモリに対する画像情報の書込アドレスDIADRを発生するDIADR発生回路62と、リードイネーブル信号にて画像情報の読み出しが許可されたメモリに対する画像情報の読出アドレスDOADRを発生するDOADR発生回路63と、データ受信部48から入力されたコマンドCMDを、CCD制御回路20に転送する、撮像指令転送手段としてのCMD出力回路64とが備えられている。
【0039】
また、CCDインタフェース44には、基準クロックCKOを分周して、CCD制御回路20が生成するピクセルクロックPCKと同じ250kHzの書込ストローブ信号DISTRBを生成する分周回路も内蔵されており、この生成した書込ストローブ信号DISTRBを、ラインメモリ42に出力することにより、画像情報の書き込みが許可されたメモリに対する画像情報の書込タイミングを制御する。また、書込ストローブ信号DISTRBは、DIADR発生回路62にも入力され、DIADR発生回路62は、書込ストローブ信号DISTRBに同期して、書込アドレスDIADRを更新する。
【0040】
一方、データ送信部46は、例えば、図5に示すように、一水平走査ライン分のパケットデータの送信時に、パケットデータの先頭に付与するヘッダやフラグ等の付与情報F1,F2,F3を生成し、ラインメモリ42からの画像情報の読み出しが必要になると、CCDインタフェース44に対して、ラインメモリ42からの一水平走査ライン分の画像情報の読み出しを許可するイネーブル信号ENBを出力し、更に、パケットデータの生成に同期して、読出タイミング信号としての読出ストローブ信号DOSTRBを出力する。尚、データ送信部46は、CCDインタフェース44を介して、ラインメモリ42から画像情報を読み出す際、ゼロインサーションの時間を確保するために、読出ストローブ信号DOSTRBの周期を一時的に長くする。ここで、ゼロインサーションとは、パケット化された送信データの実データ部と先頭/末端部とを識別するために、送信データにゼロを挿入する操作のことである。
【0041】
そして、データ送信部46からのイネーブル信号ENBは、WE・RE発生回路61に入力され、WE・RE発生回路61は、このイネーブル信号ENBを受けて、ラインメモリ42へのリードイネーブル信号の出力を開始する。また、読出ストローブ信号DOSTRBは、CCDインタフェース44を介して、ラインメモリ42に出力され、画像情報の読み出しが許可されたメモリに対する画像情報の書込タイミングを制御する。また、読出ストローブ信号DOSTRBは、DOADR発生回路63にも入力され、DOADR発生回路63は、この読出ストローブ信号DOSTRBに同期して、読出アドレスDOADRを更新する。
【0042】
次に、図6は、CCDインタフェース44から出力されるラインメモリ42アクセス用の各信号を表すタイムチャートである。
図6に示すように、DIADR発生回路62は、CCDカメラ10から出力される水平同期信号HPに同期して書込アドレスDIADRを繰り返し発生すると共に、この書込アドレスDIADRの値を、基準クロックCKOから生成した書込ストローブ信号DISTRBに同期して、各メモリ51〜53の最小アドレスから最大アドレスへと順に変更する。また、CCDカメラ10が垂直同期信号VPに同期して画像情報の出力を開始すると、WE・RE発生回路61が、第1メモリ51に対するライトイネーブル信号WE1を発生し、CCDカメラ10からの画像情報を第1メモリ51に書き込む。そして、その後、WE・RE発生回路61は、ラインメモリ42に出力するライトイネーブル信号を、水平同期信号HPに同期して、WE2→WE3→WE1…と順に切り換え、CCDカメラ10が出力する一水平走査ライン分の画像情報の書き込み先を、第2メモリ52→第3メモリ53→第1メモリ51…と、順に変更する。
【0043】
一方、DOADR発生回路63は、データ送信部46からイネーブル信号ENBが出力されると、水平同期信号HPに同期して、読出アドレスDOADRの出力を開始すると共に、この読出アドレスDOADRの値を、データ送信部46からの読出ストローブ信号DOSTRBに同期して、各メモリ51〜53の最小アドレスから最大アドレスへと順に変更する。そして、WE・RE発生回路61は、水平同期信号HPに同期して、前回の水平走査期間中にライトイネーブル信号を出力したメモリに対するリードイネーブル信号を出力する。このため、リードイネーブル信号は、RE1→RE2→RE3→RE1…というように、常に、前回の水平走査期間中に画像情報が書き込まれたメモリに対して出力されることになり、データ送信部46には、画像情報書込後のメモリから最新の画像情報が出力されることになる。
【0044】
そして、このように、本実施例では、データ送信部46が2.5Mbpsの通信ビットレートで一水平走査ライン分の画像データをパケットデータに変換して出力するように構成され、CCDカメラ10からは、250kHzのピクセルクロックPCKに同期した送信速度で8ビットの画像情報が出力され、しかも、水平同期信号HPのブランキング期間(水平ブランキング期間)が、50ピクセルクロック(50PCK)分の時間に設定されていることから、水平走査期間中にCCDカメラ10から出力されて、ラインメモリ42内の特定のメモリに書き込まれる画像情報の量が、データ送信部46が水平走査期間中にCCDインタフェース44を介して読み出す画像情報よりも多くなって、ラインメモリ42がオーバフローしてしまうようなことはない。
【0045】
つまり、本実施例では、データ送信部46が一水平走査ライン分の画像情報を送信用のパケットデータに変換して、RF回路30に送信するのに要する時間を、パケットデータの総データ量{総データ量=(CCD一水平走査ライン分のデータ量)+(ゼロインサーション最大値)+(送信用の付与データ量)}と、データ送信部46の通信ビットレート(2.5Mbps)とから求め、この時間に対して、CCDカメラ10が一水平走査ライン分の画像情報を出力する水平走査期間1Hが長くなるよう(好ましくは等しくなるよう)、CCDカメラ10からの画像情報の送信速度(250kHz)及び水平ブランキング期間(50PCK)を設定することにより、ラインメモリ42がオーバフローするのを防止しているのである。
【0046】
次に、CMD出力回路64は、データ受信部48から入力されたコマンドCMDをCCD制御回路20に転送するが、このコマンドCMDは、データ長が、垂直同期信号VP一周期当たりの水平同期信号HPの数よりも少ない128ビットに設定されている。そして、CCD制御回路20は、図7(a)に示す如く、垂直同期信号VPの立上がり後に入力される水平同期信号HPに同期して、この128ビットのコマンドCMDを、一ビット単位で、CCD制御回路20に転送する。
【0047】
また、CCD制御回路20は、CMD出力回路64から一ビット毎に転送されてきたコマンドCMDを水平同期信号HPに同期して取り込む。そして、垂直同期信号VPの次のブランキング期間で、それまでにCMD出力回路64から転送されてきたコマンドCMDの全ビットデータ(128ビット)に基づき、露光時間等を制御しつつ、CCDセンサ12を駆動して、周囲画像を撮像させる。
【0048】
尚、図7(b)に示す如く、CMD出力回路64は、水平同期信号HPの立ち上がりエッジ(タイミングt1)で、コマンドCMDの一ビット分のデータの出力を開始し、その後、水平同期信号HPの立ち上がりエッジ(タイミングt1)で、出力するデータ値を、コマンドCMDの次のデータに応じて変更する、といった手順で、垂直同期信号VP一周期内に、コマンドCMDの全ビットデータをCCD制御回路20に転送する。また、CCD制御回路20は、水平同期信号HPの立ち下がりエッジ(タイミングt2)で、CMD出力回路64から出力されるコマンドCMDのビットデータを取り込む。
【0049】
以上説明したように、本実施例の撮像画像通信装置においては、CCDカメラ10から順次出力される画像情報を、一水平走査ライン分毎に、ラインメモリ42内の第1メモリ51〜第3メモリ53に順に書き込み、データ送信部46側では、画像情報が書き込まれた第1メモリ51〜第3メモリ53から、一水平走査ライン分の画像情報を順に読み出し、同時にデータ通信用のパケットデータに変換しながら、RF回路30に出力するようにしている。また、CCDカメラ10が一水平走査ライン分の画像情報を出力する周期を決定する水平同期信号HPのブランキング期間(水平ブランキング期間)、及び、画像情報の送信速度を規定するピクセルクロックPCKの周期は、水平同期信号HPの一周期当たりの時間(水平走査期間)が、データ送信部46が一水平走査ライン分のパケットデータを送信するのに要する時間よりも短くなることのないように設定されている。
【0050】
このため本実施例によれば、ラインメモリ42を構成する3つのメモリ51〜53を用いて、CCDカメラ10による撮像画像を圧縮することなく、リアルタイムで、制御装置4に送信することが可能になり、制御装置4側では、その送信データに基づき、CCDカメラ10による撮像画像を劣化させることなく、ディスプレイに表示することができるようになる。
【0051】
また、本実施例では、画像通信のために画像情報を記憶しておくラインメモリ42を、一水平走査ライン分の画像情報を記憶する3個のメモリ51〜53にて構成しているので、画像圧縮技術を用いて撮像画像を圧縮する場合に比べて、画像情報の記憶容量を極めて小さくすることができ、装置の小型化,延いては、低消費電力化を図ることができる。よって、本実施例のように、撮像画像通信装置をマイクロマシン2に組み込んでも、マイクロマシン2の大型化を招くことはなく、鮮明な画像をリアルタイムで得ることのできるマイクロマシンを実現できる。
【0052】
また、制御装置4からマイクロマシン2には、各種指令信号が送信され、カメラ制御用のコマンドCMDは、RF回路30,画像通信制御LSI40を介して、CCDカメラ10に転送されるが、本実施例では、画像通信制御LSI40において、コマンドCMDをCCDカメラ10に転送するCMD出力回路64が、コマンドCMDを、水平同期信号HPに同期して、一ビット単位で、CCDカメラ10に転送するよう構成しているので、CMD出力回路64とCCDカメラ10側のCCD制御回路20と同期をとるためのコマンド転送専用の同期信号を生成する必要がなく、これによっても、装置構成を簡素化できることになる。
【0053】
以上、本発明の一実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、ラインメモリ42のオーバフローを防止するために、CCD制御回路20が発生する水平同期信号HPのブランキング期間と、ピクセルクロックPCKの周期との両方を調整するものとして説明したが、例えば、ピクセルクロックPCKの周期については、データ送信部46の通信ビットレートfcを、A/Dコンバータ16が量子化するビット数nで除算した速度(fc/n)に対応して設定し、水平同期信号HPのブランキング期間のみをより長くすることにより、ラインメモリ42のオーバフローを防止するようにしてもよく、逆に、水平同期信号HPのブランキング期間については、必要最小限の長さに定め、CCDカメラ10側でのピクセルクロック(換言すれば量子化した画像情報の送信速度)のみを調整することにより、ラインメモリ42のオーバフローを防止するようにしてもよい。
【0054】
また、上記実施例では、撮像用のカメラには、CCDセンサからなる撮像手段を用いるものとして説明したが、こうした撮像用のカメラに組み込むイメージセンサとしては、必ずしも撮像素子としてCCD(電荷結合素子)を用いたCCDセンサにする必要はなく、例えば、MOS型固体撮像素子を用いたMOSイメージセンサ等、他のイメージセンサを用いるようにしてもよい。
【0055】
また、上記実施例では、撮像画像通信装置を、マイクロマシンに組み込むものとして説明したが、本発明の撮像画像通信装置によれば、カメラによる撮像画像を、圧縮することなく、リアルタイムで送信でき、しかも、装置の小型化、低消費電力化を図ることができるので、例えば、携帯電話等に組み込み、撮像画像を通話相手に送信する、というように、低消費電力で小型のカメラが要求される分野で使用すれば、マイクロマシンに組み込む場合と同様の効果を得ることができる。
【図面の簡単な説明】
【図1】実施例の撮像画像通信装置及びその周辺装置を表す概略構成図である。
【図2】CCDカメラ及び画像通信制御LSIの構成を表すブロック図である。
【図3】CCDセンサの画素構成を表す説明図である。
【図4】CCDカメラの動作を表すタイムチャートである。
【図5】データ送信部の動作を表すタイムチャートである。
【図6】CCDインタフェースのラインメモリへのアクセス動作を表すタイムチャートである。
【図7】CMD出力回路64の動作を表すタイムチャートである。
【符号の説明】
2…マイクロマシン、4…制御装置、6…RF回路、8…通信制御部、10…CCDカメラ、12…CCDセンサ、14…水平シフトレジスタ、16…A/Dコンバータ、18…垂直シフトレジスタ、20…CCD制御回路、30…RF回路、40…画像通信制御LSI、42…ラインメモリ、44…CCDインタフェース、46…データ送信部、48…データ受信部、51…第1メモリ、52…第2メモリ、53…第3メモリ、61…WE・RE発生回路、62…DIADR発生回路、63…DOADR発生回路、64…CMD出力回路。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a captured image communication device that transmits two-dimensional image data obtained by an imaging device such as a CCD camera to an external device.
[0002]
[Prior art]
Conventionally, when transmitting a two-dimensional image captured by a CCD camera or the like to an external device, the image data is converted into a video signal of a predetermined standard by compressing the image data using an image compression technique such as MPEG2. (See, for example, Nikkei Electronics, 1998, No. 3-9, pp. 133-154).
[0003]
On the other hand, in recent years, for example, a device such as a pipe for entering a small structure in which no human can enter, inspecting the inside thereof, or collecting attached matter inside the device, has a size of about several cm. Micromachines of a size have been developed. A small camera such as a CCD camera is incorporated in such a micromachine, so that the operator of the micromachine can remotely control the micromachine while monitoring an image in a structure taken by the small camera.
[0004]
[Problems to be solved by the invention]
By the way, in order to provide such a micromachine with a communication function and to operate the micromachine cordlessly, it is necessary to incorporate a communication device for transmitting a two-dimensional image captured by a small camera into the micromachine.
[0005]
If this communication device is configured to transmit a captured image using the above-described conventional image compression technology, there is a problem that a circuit becomes large and power consumption increases, and it cannot be incorporated in a micromachine. . In other words, in order to incorporate a communication device for picked-up images into a micromachine, it is necessary to reduce the size and power consumption of the circuit. However, in the conventional image compression technology, it is essential to mount a large-scale memory (see the above-mentioned reference). (See pages 140 to 141) Also, the operation clock for image compression becomes extremely high, and thus such demands cannot be met.
[0006]
When image data is transmitted using the above-described conventional image compression technology, an image captured by a camera is once compressed, decompressed, and displayed on a display. There is also a problem that the resolution of the obtained image is deteriorated compared to the resolution of the camera.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of such a problem, and in a device for transmitting a two-dimensional image captured by an imaging device such as a CCD camera, the device is reduced in size, reduced in power consumption, and improved in resolution of a communication image. Therefore, it is intended to enable the incorporation into a micromachine.
[0008]
Means for Solving the Problems and Effects of the Invention
According to a first aspect of the present invention, there is provided a captured image communication apparatus, wherein the imaging control unit drives an imaging unit including a plurality of two-dimensionally arranged imaging elements in accordance with an external imaging command. Then, a horizontal synchronization signal and an output timing signal are output to the captured image output means, so that the captured image output means outputs image information. The captured image output means captures an image captured by the imaging means for each horizontal scanning line in accordance with a horizontal synchronization signal input from the imaging control means, and outputs the captured image of the captured horizontal scanning line to an output timing signal. In synchronization with the above, the image information is sequentially quantized into n-bit image information in pixel units and output. The image information output from the captured image output means is sequentially stored in the captured image storage means under the control of the write / read control means.
[0009]
The writing / reading control means sequentially reads out the image information stored in the captured image storage means in synchronization with a readout timing signal input from the communication means, and the communication means stores the read out image information into one. For each horizontal scanning line, the data is transmitted to an external device while being converted into packet data for data communication, and an imaging command transmitted from the external device is received. Then, the imaging command received by the communication unit is transferred to the imaging control unit by the imaging command transfer unit, and the imaging control unit is used to drive the imaging unit.
[0010]
Therefore, in the captured image communication apparatus of the present invention, the two-dimensional image captured by the image capturing means is sequentially stored in the captured image storage means for each horizontal scanning line in synchronization with the horizontal scanning signal, and The captured image thus read is read out by the communication means for each horizontal scanning line, converted into packet data for data communication by the communication means, and transmitted to an external device. Operates as a so-called buffer that only temporarily stores captured images before transmission.
[0011]
In particular, according to the present invention, the captured image storage means operating as a buffer in this way is configured by at least two storage elements capable of storing image information for one horizontal scanning line output from the captured image output means. The writing / reading control means simultaneously writes and reads the image information while sequentially changing the storage element for writing the image information and the storage element for reading the image information in the captured image storage means.
[0012]
Also, the time required for one period of the horizontal synchronizing signal required for the captured image output means to output the image information for one horizontal scanning line, the communication means converts the image information for one horizontal scanning line into packet data, If the time is shorter than the time required for transmission to the apparatus, the writing / reading control means writes the image information to the captured image storage means faster than the reading speed of the image information from the captured image storage means. In the present invention, since the speed is higher and the captured image storage means overflows, the time required for one cycle of the horizontal synchronizing signal is converted by the communication means into image data for one horizontal scanning line into packet data. The period of the horizontal synchronization signal and the output timing signal output from the imaging control unit to the captured image output unit is set so as to be equal to or longer than the time required for transmission to the external device. It is constant.
[0013]
As a result, according to the present invention, it is possible to transmit an image captured by the imaging unit to an external device in real time without compression, and the external device transmits the image data transmitted from the captured image communication device to the external device. Based on this, it is possible to reproduce the image picked up by the image pickup means without deteriorating (in other words, at the same resolution as that of the image pickup means).
[0014]
Further, the captured image storage means for storing image information for image communication may store, for example, two or three horizontal scanning lines out of the images captured by the imaging means. The storage capacity of image information can be extremely reduced as compared with a case where a captured image is compressed using a compression technique. Therefore, according to the present invention, it is possible to reduce the size of the storage element constituting the captured image storage means and its peripheral circuits, and to further reduce the size of the captured image communication device. Further, since the circuit scale can be reduced in this way, power consumption can be reduced.
[0015]
As described above, according to the present invention, it is possible to reduce the size, reduce the power consumption, and increase the resolution of a communication image of the captured image communication device, so that it can be easily incorporated into the above-described micromachine. Become like
Here, as the period of the output timing signal for preventing the captured image storage unit from overflowing, the communication bit rate when the communication unit transmits image information is set to fc [Hz]. ], The speed of the output timing signal may be set to be smaller than fc / n [Hz]. Specifically, when the captured image output unit generates 8-bit image information in pixel units, the output speed of the image information by the captured image output unit is set to fc / 9 [Hz] or fc / 10 [Hz]. The time required for the output speed of the image information to be reduced and the time required for the captured image output means to output the image information for one horizontal scanning line depends on the communication bit rate of the image information for one horizontal scanning line. , And the time required for transmission after adding various kinds of communication information such as a header may be set to be longer than the time required for transmission.
[0016]
The time required for the captured image output means to output image information for one horizontal scanning line is not only the output speed of the image information, but also the horizontal synchronization signal of the captured image output means which does not quantize the image information. In order to prevent overflow of the captured image storage means, the communication means sets the blanking period of the horizontal synchronizing signal for one horizontal scanning line to prevent overflow of the captured image storage means. Is set based on the deviation between the time required to convert all image information into packet data and transmitting it to the external device and the time required for the captured image output means to output all image information for one horizontal scanning line. You may do so.
[0017]
On the other hand, the captured image storage means only needs to be able to store image information for at least two horizontal scanning lines out of the images captured by the imaging means, but the captured image storage means stores the image information for two horizontal scanning lines. With this configuration, the operation timing of the captured image output unit and the operation timing of the communication unit must be adjusted so that the storage element for writing image information and the storage element for reading image information do not overlap with each other. It is conceivable that circuit design becomes difficult.
[0018]
Therefore, more preferably, the picked-up image storage means is constituted by three storage elements capable of storing image information for one horizontal scanning line. It is preferable that writing and reading of image information be performed while sequentially changing these three storage elements for writing, holding, and reading of image information for one horizontal scanning line.
[0019]
In other words, in this case, a storage element for storing image information for one horizontal scanning line is left in addition to a storage element for writing and reading of image information by the write / read control means. Even if the operation timing of the captured image output unit and the operation timing of the communication unit deviate from each other, there is no need to simultaneously write and read image information from the same storage element, which facilitates circuit design.
[0020]
On the other hand, according to the present invention (claim 1), the communication unit receives an imaging command transmitted from an external device, and the imaging command transfer unit transfers the received imaging command to the imaging control unit. The driving of the imaging unit by the imaging control unit can be controlled on the external device side. For this reason, according to the present invention, the external device can control the exposure time and the like of the imaging unit when the imaging control unit drives the imaging unit. It is necessary to synchronize the transfer timing of the imaging command on the imaging command transfer means side with the reception timing of the imaging command on the imaging control means side.
[0021]
Then, if the imaging command transfer means is configured to transfer the imaging command to the imaging control means as it is immediately after the communication means receives the imaging command from the external device, the transfer timing and the imaging control means side Therefore, a synchronization signal for synchronizing the reception timing of the imaging command is required, and the device configuration becomes complicated.
[0022]
Therefore, in order to eliminate the need for such a synchronization signal, as described in claim 5, the data length of the imaging command received by the communication means from the external device is determined by the imaging control means. The number of bits is set in advance so that the number of bits is smaller than the number of horizontal synchronization signals per cycle of the vertical synchronization signal for outputting information, and the imaging command transfer unit starts transferring the imaging command in synchronization with the vertical synchronization signal. In addition, the imaging command is transferred in units of 1 bit in synchronization with the horizontal synchronization signal, and the imaging control means side transfers one bit of the imaging command transferred from the imaging command transfer means to the horizontal synchronization signal. And the driving control of the imaging means based on all the bit data of the captured imaging command is performed in synchronization with the vertical synchronization signal.
[0023]
According to this configuration, it is not necessary to generate a dedicated synchronization signal in order to synchronize the transfer timing of the imaging command on the imaging command transfer unit side and the reception timing of the imaging command on the imaging control unit side. The device configuration can be simplified.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, FIG. 1 is a schematic configuration diagram illustrating a captured image communication device 2 and peripheral devices according to an embodiment to which the present invention is applied.
[0025]
The captured image communication device according to the present embodiment is incorporated in a self-propelled micromachine 2 together with various actuators such as an electrostatic actuator and a piezoelectric actuator (not shown) and a drive device thereof, and captures an image of the surroundings to convert the captured image into a micro image. The signal is transmitted to an external device (control device for a micromachine) 4 by a wave, and includes a CCD camera 10 for capturing an ambient image, an RF circuit 30 for performing microwave communication with the control device 4, and a CCD camera 10. The captured image is converted into serial data for communication and output to the RF circuit 30, and the image to be transferred to the CCD camera 10 upon receiving the camera control command signal (imaging command) received by the RF circuit 30. And a communication control LSI 40.
[0026]
The RF circuit 30 not only performs communication between the captured image communication device and the control device 4, but also performs communication between the control device 4 and another device (such as a driving device for various actuators) incorporated in the micromachine 2. The communication is also performed. Further, on the control device 4 side, an RF circuit 6 for performing wireless communication using microwaves with the RF circuit 30 on the side of the micromachine 2 is provided, and the RF circuit 6 is controlled by the communication control unit 8. Is done.
[0027]
When receiving the transmission data from the micromachine 2 via the RF circuit 6, the communication control unit 8 outputs the received data to a host computer (not shown) so that the operation state of the micromachine 2 and the imaging by the CCD camera 10 are performed. Images and the like are displayed on the display, and various command signals to the micromachine 2 input from the host computer are transmitted from the RF circuit 6 to the micromachine 2 side.
[0028]
As a result, the image data transmitted by the captured image communication device of the present embodiment to the control device 4 via the RF circuit 30 is captured by the host computer of the control device 4 and displayed on the display. The second operator can drive and control the micromachine 2 while viewing the display image.
[0029]
Next, FIG. 2 is a block diagram showing a configuration of the CCD camera 10 and the image communication control LSI 40 which are main parts according to the present invention.
As shown in FIG. 2, the CCD camera 10 captures an image signal for one horizontal scanning line from the CCD sensor 12 in accordance with a horizontal synchronization signal HP and a CCD sensor 12 in which an image sensor (CCD in this embodiment) is two-dimensionally arranged. The horizontal shift register 14 sequentially shifts this pixel by pixel in accordance with the pixel clock PCK as an output timing signal, and outputs the image signal output from the horizontal shift register 14 by n bits (8 bits in this embodiment). An A / D converter 16 that quantizes (in other words, A / D converts) the image information into the image information, and an image signal for one horizontal scanning line captured by the horizontal shift register 14 based on the vertical synchronization signal VP and the horizontal synchronization signal HP. A vertical shift register 18 for sequentially shifting in the column direction, and a reference clock CKO input from the outside (in this embodiment, A horizontal synchronizing signal HP, a vertical synchronizing signal VP, and a pixel clock PCK are generated on the basis of 500 kHz) and output to each of the above-described units, and also used for camera control from the control device 4 transferred from the image communication control LSI. And a CCD control circuit 20 for driving (exposure) the CCD sensor 12 based on the command CMD in synchronism with the vertical synchronizing signal VP to capture a surrounding image. ing.
[0030]
Here, the CCD sensor 12 corresponds to the imaging means of the present invention. In the present embodiment, as shown in FIG. 3, the number of pixels in the row direction is 302, and the number of pixels in the column direction is 352. The number of pixels is 100,000 pixels of 302 × 352, and is composed of 272 × 347 signal pixels, 28 × 347 black reference pixels, and other dummy pixels. Further, the CCD sensor 12 of the present embodiment is a color image sensor, and signal pixels are provided with respective color filters of yellow Ye, cyan Cy, magenta Mg, and green Gr.
[0031]
Further, the CCD control circuit 20 corresponds to an imaging control unit of the present invention. In the present embodiment, the A / D converter is generated by dividing the frequency of the reference clock CKO to generate a pixel clock PCK of 250 kHz. The output speed of the image information from 16 is set to 250 kHz.
[0032]
Further, the CCD control circuit 20 also generates a horizontal synchronizing signal HP and a vertical synchronizing signal VP. As shown in FIG. 4A, the horizontal synchronizing signal HP has a horizontal blanking period of 50 pixel clocks (50 PCK). And a video signal valid period for 302 pixel clocks (302 PCK), and constitutes one horizontal scanning period (1H). During the video signal valid period, the A / D converter 16 outputs a front signal for two pixel clocks (2 PCK). A video signal including a porch period, a video signal period of 272 pixel clocks (272 PCK), and a back porch period of 28 pixel clocks (28 PCK) is output.
[0033]
Also, as shown in FIG. 4B, a vertical blanking period for 20 horizontal scanning periods (20H) is set in the vertical synchronization signal VP. Then, the vertical synchronizing signal VP rises in the 196th horizontal blanking period, and then falls when the 175.5 horizontal scanning period (175.5H) has elapsed. The period is defined as an odd field valid signal period, rises during the first horizontal signal valid period, and then falls after the elapse of the 175.5 horizontal scanning period (175.5H). It is defined as a field valid signal period.
[0034]
Incidentally, the falling edge of the even field valid signal period and the rising edge of the odd field valid period are, as shown in FIG. 4 (b-1), the falling edge at which the horizontal synchronizing signal HP enters the horizontal blanking period. On the other hand, it is controlled at a timing delayed by two pixel clocks (2PCK).
[0035]
Further, in the present embodiment, the vertical shift register 18 instructs the A / D converter 16 to sequentially scan two rows of adjacent image pickup elements for one horizontal scanning line from the first row of the CCD sensor 12 during the odd field effective period. The electric charges accumulated in the upper and lower imaging elements are mixed and quantized, and during the even field effective period, the adjacent imaging elements 2 are sequentially supplied to the A / D converter 16 from the second row of the CCD sensor 12. The operation is performed by a well-known field accumulation driving method, in which electric charges accumulated in upper and lower two imaging elements are mixed and quantized by using one row as one horizontal scanning line.
[0036]
Further, the A / D converter 16 starts the quantization of the image signal at the rising edge of the pixel clock PCK generated by the CCD control circuit 20 based on the reference clock CKO, as shown in FIG. In the image communication control LSI 40 described below, the falling edge of the pixel clock PCK is used to capture the image information at the timing when the image information per pixel output from the A / D converter 16 is determined. At the same timing as the edge, image information output from the A / D converter 16 is fetched.
[0037]
In the present embodiment, the horizontal shift register 14, the A / D converter 16, and the vertical shift register 18 in the CCD camera 10 function as a captured image output unit of the present invention.
Next, the image communication control LSI 40 receives a vertical synchronizing signal VP and a horizontal synchronizing signal HP from the CCD camera 10 and a line memory 42 as a captured image storing means for storing image information output from the A / D converter 16. The CCD interface 44 as write / read control means for controlling writing of image information to the line memory 42 and reading of image information from the line memory 42, and from the line memory 42 via the CCD interface 44 The image information for one horizontal scanning line is read out, converted into packet data (serial data) for data communication at a predetermined communication bit rate (2.5 Mbps in this embodiment), and output to the RF circuit 30. A command CMD for camera control is received via the transmitting unit 46 and the RF circuit 30 and is transmitted to the C By outputting the D interface 44, and a data reception unit 48. which is transferred from the CCD interface 44 to the CCD control circuit 20 of the CCD camera 10 side. Note that the data transmitting unit 46 and the data receiving unit 48 correspond to the communication unit of the present invention.
[0038]
Here, the line memory 42 includes three storage elements (a first memory 51 and a second memory 52) each of which can store image information for one horizontal scanning line among image information output from the A / D converter 16. , Third memory 53).
The CCD interface 44 has write enable signals WE1, WE2, and WE3 that permit writing of image information to the memories 51 to 53, respectively, and reads that allow reading of image information from the memories 51 to 53, respectively. A WE / RE generating circuit 61 for generating enable signals RE1, RE2 and RE2, a DIADR generating circuit 62 for generating a write address DIADR of image information to a memory in which writing of image information is permitted by a write enable signal; A DOADR generating circuit 63 for generating a read address DOADR of image information for a memory to which reading of image information is permitted by a read enable signal, and a command CMD input from the data receiving unit 48 are transferred to the CCD control circuit 20. CMD output circuit as imaging command transfer means 4 and are provided.
[0039]
The CCD interface 44 also incorporates a frequency divider that divides the reference clock CKO and generates a write strobe signal DISTRB of 250 kHz, which is the same as the pixel clock PCK generated by the CCD control circuit 20. By outputting the written write strobe signal DISTRB to the line memory 42, the writing timing of the image information to the memory to which the writing of the image information is permitted is controlled. The write strobe signal DISTRB is also input to the DIADR generation circuit 62, and the DIADR generation circuit 62 updates the write address DIADR in synchronization with the write strobe signal DISTRB.
[0040]
On the other hand, for example, as shown in FIG. 5, when transmitting packet data for one horizontal scanning line, the data transmitting unit 46 generates additional information F1, F2, F3 such as a header and a flag to be added to the head of the packet data. Then, when it becomes necessary to read the image information from the line memory 42, an enable signal ENB for permitting the reading of the image information for one horizontal scanning line from the line memory 42 is output to the CCD interface 44. A read strobe signal DOSTRB is output as a read timing signal in synchronization with the generation of the packet data. When reading the image information from the line memory 42 via the CCD interface 44, the data transmitting section 46 temporarily lengthens the cycle of the read strobe signal DOSTRB in order to secure a zero insertion time. Here, the zero insertion is an operation of inserting zero into the transmission data in order to identify the actual data part and the head / end part of the packetized transmission data.
[0041]
The enable signal ENB from the data transmission unit 46 is input to the WE / RE generation circuit 61. The WE / RE generation circuit 61 receives the enable signal ENB and outputs a read enable signal to the line memory 42. Start. The read strobe signal DOSTRB is output to the line memory 42 via the CCD interface 44, and controls the timing of writing image information to a memory to which reading of image information is permitted. The read strobe signal DOSTRB is also input to the DOADR generation circuit 63, and the DOADR generation circuit 63 updates the read address DOADR in synchronization with the read strobe signal DOSTRB.
[0042]
Next, FIG. 6 is a time chart showing signals for accessing the line memory 42 output from the CCD interface 44.
As shown in FIG. 6, the DIADR generation circuit 62 repeatedly generates the write address DIADR in synchronization with the horizontal synchronization signal HP output from the CCD camera 10, and also outputs the value of the write address DIADR to the reference clock CKO. Are sequentially changed from the minimum address to the maximum address of each of the memories 51 to 53 in synchronization with the write strobe signal DISTRB generated from the above. When the CCD camera 10 starts outputting image information in synchronization with the vertical synchronizing signal VP, the WE / RE generation circuit 61 generates a write enable signal WE1 for the first memory 51, and outputs the image information from the CCD camera 10. Is written to the first memory 51. After that, the WE / RE generation circuit 61 switches the write enable signal output to the line memory 42 in the order of WE2 → WE3 → WE1... In synchronization with the horizontal synchronization signal HP, and outputs one horizontal signal output by the CCD camera 10. The writing destination of the image information for the scanning line is changed in the order of the second memory 52 → the third memory 53 → the first memory 51.
[0043]
On the other hand, when the enable signal ENB is output from the data transmission unit 46, the DOADR generation circuit 63 starts outputting the read address DOADR in synchronization with the horizontal synchronizing signal HP, and outputs the value of the read address DOADR to the data. In synchronization with the read strobe signal DOSTRB from the transmission unit 46, the addresses are sequentially changed from the minimum address of each of the memories 51 to 53 to the maximum address. Then, the WE / RE generation circuit 61 outputs a read enable signal for the memory that has output the write enable signal during the previous horizontal scanning period, in synchronization with the horizontal synchronization signal HP. Therefore, the read enable signal is always output to the memory in which the image information has been written during the previous horizontal scanning period, such as RE1, RE2, RE3, RE1,. , The latest image information is output from the memory after the image information is written.
[0044]
As described above, in the present embodiment, the data transmission unit 46 is configured to convert image data for one horizontal scanning line into packet data at a communication bit rate of 2.5 Mbps and output the packet data. Outputs 8-bit image information at a transmission speed synchronized with the pixel clock PCK of 250 kHz, and furthermore, the blanking period (horizontal blanking period) of the horizontal synchronizing signal HP is reduced to a time corresponding to 50 pixel clocks (50 PCK). Since it is set, the amount of image information output from the CCD camera 10 during the horizontal scanning period and written to a specific memory in the line memory 42 is determined by the data transmission unit 46 during the horizontal scanning period. And the line memory 42 overflows. It is not such.
[0045]
That is, in the present embodiment, the time required for the data transmitting unit 46 to convert image information for one horizontal scanning line into packet data for transmission and transmit the packet data to the RF circuit 30 is represented by the total data amount of the packet data. Total data amount = (data amount of one horizontal scanning line of CCD) + (maximum value of zero insertion) + (data amount for transmission)} and communication bit rate (2.5 Mbps) of data transmission unit 46 The transmission speed of the image information from the CCD camera 10 is determined so that the horizontal scanning period 1H during which the CCD camera 10 outputs image information for one horizontal scanning line is longer (preferably equal) with respect to this time. By setting 250 kHz) and the horizontal blanking period (50 PCK), the line memory 42 is prevented from overflowing.
[0046]
Next, the CMD output circuit 64 transfers the command CMD input from the data receiving unit 48 to the CCD control circuit 20. The command CMD has a data length equal to the horizontal synchronization signal HP per one cycle of the vertical synchronization signal VP. Is set to 128 bits, which is smaller than the number of. Then, as shown in FIG. 7A, the CCD control circuit 20 synchronizes the 128-bit command CMD with the CCD in units of 1 bit in synchronization with the horizontal synchronization signal HP input after the rise of the vertical synchronization signal VP. Transfer to the control circuit 20.
[0047]
Further, the CCD control circuit 20 fetches the command CMD transferred bit by bit from the CMD output circuit 64 in synchronization with the horizontal synchronization signal HP. In the next blanking period of the vertical synchronizing signal VP, the CCD sensor 12 controls the exposure time and the like based on all the bit data (128 bits) of the command CMD transferred from the CMD output circuit 64 so far. Is driven to capture a surrounding image.
[0048]
As shown in FIG. 7B, the CMD output circuit 64 starts outputting one-bit data of the command CMD at the rising edge (timing t1) of the horizontal synchronization signal HP, and thereafter, outputs the horizontal synchronization signal HP In the vertical control signal VP during one cycle of the vertical synchronizing signal VP, such that the output data value is changed at the rising edge (timing t1) of the command CMD in accordance with the next data of the command CMD. Transfer to 20. Further, the CCD control circuit 20 captures the bit data of the command CMD output from the CMD output circuit 64 at the falling edge (timing t2) of the horizontal synchronization signal HP.
[0049]
As described above, in the captured image communication apparatus of the present embodiment, the image information sequentially output from the CCD camera 10 is stored in the first memory 51 to the third memory in the line memory 42 every one horizontal scanning line. 53, and the data transmitting section 46 sequentially reads out image information for one horizontal scanning line from the first memory 51 to the third memory 53 in which the image information is written, and simultaneously converts the image information into packet data for data communication. While outputting to the RF circuit 30. Further, a blanking period (horizontal blanking period) of a horizontal synchronizing signal HP for determining a cycle at which the CCD camera 10 outputs image information for one horizontal scanning line, and a pixel clock PCK for defining a transmission speed of image information. The cycle is set so that the time per one cycle of the horizontal synchronizing signal HP (horizontal scanning period) is not shorter than the time required for the data transmitting unit 46 to transmit packet data for one horizontal scanning line. Have been.
[0050]
For this reason, according to the present embodiment, it is possible to transmit the image captured by the CCD camera 10 to the control device 4 in real time without compressing the image captured by the CCD camera 10 using the three memories 51 to 53 constituting the line memory 42. That is, the control device 4 can display the image captured by the CCD camera 10 on the display without deteriorating based on the transmission data.
[0051]
Further, in this embodiment, the line memory 42 for storing image information for image communication is constituted by three memories 51 to 53 for storing image information for one horizontal scanning line. Compared to a case where a captured image is compressed using an image compression technique, the storage capacity of image information can be extremely reduced, and the device can be reduced in size and power consumption can be reduced. Therefore, even if the captured image communication device is incorporated in the micromachine 2 as in the present embodiment, it is possible to realize a micromachine capable of obtaining a clear image in real time without increasing the size of the micromachine 2.
[0052]
Further, various command signals are transmitted from the control device 4 to the micromachine 2, and the command CMD for camera control is transferred to the CCD camera 10 via the RF circuit 30 and the image communication control LSI 40. In the image communication control LSI 40, the CMD output circuit 64 that transfers the command CMD to the CCD camera 10 is configured to transfer the command CMD to the CCD camera 10 in units of one bit in synchronization with the horizontal synchronization signal HP. Therefore, there is no need to generate a synchronization signal dedicated to command transfer for synchronizing the CMD output circuit 64 and the CCD control circuit 20 of the CCD camera 10, which can also simplify the device configuration.
[0053]
As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, You can take various aspects.
For example, in the above embodiment, in order to prevent the line memory 42 from overflowing, both the blanking period of the horizontal synchronization signal HP generated by the CCD control circuit 20 and the period of the pixel clock PCK are adjusted. However, for example, the cycle of the pixel clock PCK is set corresponding to the speed (fc / n) obtained by dividing the communication bit rate fc of the data transmission unit 46 by the number n of bits to be quantized by the A / D converter 16. Alternatively, by making only the blanking period of the horizontal synchronizing signal HP longer, the overflow of the line memory 42 may be prevented. Conversely, the blanking period of the horizontal synchronizing signal HP may be set to a minimum length. Only the pixel clock (in other words, the transmission speed of the quantized image information) on the CCD camera 10 side is determined. By integer, it may be prevented overflow line memory 42.
[0054]
Further, in the above-described embodiment, the description has been made assuming that the imaging camera uses an imaging unit including a CCD sensor. However, the image sensor incorporated in such an imaging camera is not necessarily a CCD (charge coupled device) as an imaging device. It is not necessary to use a CCD sensor using a CMOS image sensor. For example, another image sensor such as a MOS image sensor using a MOS solid-state imaging device may be used.
[0055]
Further, in the above embodiment, the captured image communication device is described as being incorporated in the micromachine. However, according to the captured image communication device of the present invention, the image captured by the camera can be transmitted in real time without compression, and Fields that require a small camera with low power consumption, such as, for example, incorporating a mobile phone or the like and transmitting a captured image to a communication partner because the device can be reduced in size and power consumption can be reduced. In this case, it is possible to obtain the same effect as in the case of incorporating into a micromachine.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating a captured image communication device and a peripheral device thereof according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of a CCD camera and an image communication control LSI.
FIG. 3 is an explanatory diagram illustrating a pixel configuration of a CCD sensor.
FIG. 4 is a time chart illustrating an operation of the CCD camera.
FIG. 5 is a time chart illustrating an operation of a data transmission unit.
FIG. 6 is a time chart showing an operation of accessing a line memory of the CCD interface.
FIG. 7 is a time chart illustrating an operation of the CMD output circuit 64;
[Explanation of symbols]
2 ... micro machine, 4 ... control device, 6 ... RF circuit, 8 ... communication control unit, 10 ... CCD camera, 12 ... CCD sensor, 14 ... horizontal shift register, 16 ... A / D converter, 18 ... vertical shift register, 20 ... CCD control circuit, 30 ... RF circuit, 40 ... Image communication control LSI, 42 ... Line memory, 44 ... CCD interface, 46 ... Data transmission unit, 48 ... Data reception unit, 51 ... First memory, 52 ... Second memory 53, a third memory, 61, a WE / RE generation circuit, 62, a DIADR generation circuit, 63, a DOADR generation circuit, 64, a CMD output circuit.

Claims (5)

2次元配置された複数の撮像素子からなる撮像手段と、
外部から入力される水平同期信号に従い、前記撮像手段による撮像画像を一水平走査ライン毎に取り込み、該取り込んだ一水平走査ライン分の撮像画像を、出力タイミング信号に同期して、画素単位で順次nビットの画像情報に量子化し、出力する撮像画像出力手段と、
外部からの撮像指令に従い前記撮像手段を駆動して2次元画像を撮像させると共に、該撮像後に、前記撮像画像出力手段に前記水平同期信号及び前記出力タイミング信号を出力して、前記撮像画像出力手段から画像情報を出力させる撮像制御手段と、
前記撮像画像出力手段から出力される画像情報を一時記憶しておくための撮像画像記憶手段と、
前記撮像制御手段により制御される前記撮像画像出力手段の動作に同期して、前記撮像画像出力手段から出力される画像情報を前記撮像画像記憶手段に順次格納すると共に、外部から入力される読出タイミング信号に同期して、前記撮像画像記憶手段に格納した画像情報を順次読み出す書込読出制御手段と、
前記読出タイミング信号を前記書込読出制御手段に出力することにより、該書込読出制御手段を介して、前記撮像画像記憶手段に記憶された画像情報を順次読み出し、該画像情報を、前記一水平走査ライン分毎に、データ通信用のパケットデータに変換しながら、外部装置に送信すると共に、該外部装置から送信されてくる撮像指令を受信する通信手段と、
該通信手段にて受信された前記外部装置からの撮像指令を前記撮像制御手段に転送する撮像指令転送手段と、
を備えた撮像画像通信装置であって、
前記撮像画像記憶手段を、前記撮像画像出力手段から出力される一水平走査ライン分の画像情報を記憶可能な少なくとも2個の記憶素子にて構成すると共に、
前記書込読出制御手段を、前記撮像画像記憶手段において画像情報を書き込む記憶素子と画像情報を読み出す記憶素子とを順次変更しながら、前記画像情報の書込及び読出を夫々同時に行うように構成し、
しかも、前記水平同期信号一周期当たりの時間が、前記通信手段が前記一水平走査ライン分の画像情報をパケットデータに変換して外部装置に送信するのに要する時間以上となるよう、前記水平同期信号の周期及び前記出力タイミング信号の周期を設定したことを特徴とする撮像画像通信装置。
Imaging means comprising a plurality of two-dimensionally arranged imaging elements;
In accordance with a horizontal synchronization signal input from the outside, an image captured by the imaging means is captured for each horizontal scanning line, and the captured images for the captured one horizontal scanning line are sequentially synchronized in pixel units in synchronization with an output timing signal. a captured image output unit that quantizes and outputs the n-bit image information,
The imaging means is driven in accordance with an external imaging instruction to capture a two-dimensional image, and after the imaging, the horizontal synchronization signal and the output timing signal are output to the captured image output means, and the captured image output means is output. Imaging control means for outputting image information from
A captured image storage unit for temporarily storing image information output from the captured image output unit,
In synchronization with the operation of the captured image output means controlled by the imaging control means, the image information output from the captured image output means is sequentially stored in the captured image storage means, and the readout timing externally input Writing and reading control means for sequentially reading image information stored in the captured image storage means in synchronization with a signal;
By outputting the read timing signal to the write / read control means, the image information stored in the captured image storage means is sequentially read out via the write / read control means, and the image information is read out by the horizontal Communication means for transmitting to an external device while converting the data into packet data for data communication for each scanning line, and receiving an imaging instruction transmitted from the external device;
Imaging command transfer means for transferring an imaging command from the external device received by the communication means to the imaging control means,
A captured image communication device comprising:
The captured image storage unit is configured with at least two storage elements capable of storing image information for one horizontal scanning line output from the captured image output unit,
The writing / reading control means is configured to simultaneously perform writing and reading of the image information while sequentially changing a storage element for writing image information and a storage element for reading image information in the captured image storage means. ,
In addition, the horizontal synchronization signal is controlled so that the time per one cycle is equal to or longer than the time required for the communication unit to convert the image information for one horizontal scanning line into packet data and transmit the packet data to an external device. A captured image communication device, wherein a period of a signal and a period of the output timing signal are set.
前記通信手段が前記画像情報を送信する際の通信ビットレートをfc[Hz]としたとき、前記出力タイミング信号の速度が、fc/n[Hz]よりも小さくなるよう、前記出力タイミング信号の周期を設定したことを特徴とする請求項1記載の撮像画像通信装置。When a communication bit rate at which the communication unit transmits the image information is fc [Hz], a cycle of the output timing signal is set such that a speed of the output timing signal is smaller than fc / n [Hz]. 2. The captured image communication device according to claim 1, wherein: 前記撮像画像出力手段が前記一水平走査ライン分の画像情報を出力してから次に画像情報の出力を開始するまでの時間を決定する、前記水平同期信号のブランキング期間を、前記通信手段が前記一水平走査ライン分の全画像情報をパケットデータに変換して外部装置に送信するのに要する時間と、前記撮像画像出力手段が前記一水平走査ライン分の全画像情報を出力するのに要する時間との偏差に基づき設定したことを特徴とする請求項1又は請求項2記載の撮像画像通信装置。The blanking period of the horizontal synchronization signal, which determines the time from when the captured image output unit outputs the image information for one horizontal scanning line to when the output of the image information starts next, is performed by the communication unit. The time required to convert all image information for one horizontal scan line into packet data and transmit it to an external device, and the time required for the captured image output means to output all image information for one horizontal scan line 3. The captured image communication device according to claim 1, wherein the setting is based on a deviation from time. 前記撮像画像記憶手段は、前記一水平走査ライン分の画像情報を記憶可能な記憶素子を3個備え、前記書込読出制御手段は、該3個の記憶素子を、夫々、前記一水平走査ライン分の画像情報の書込・保持・読出用として順次変更しながら、前記画像情報の書込及び読出を行うことを特徴とする請求項1〜請求項3いずれか記載の撮像画像通信装置。The captured image storage means includes three storage elements capable of storing image information for one horizontal scanning line, and the writing / reading control means stores the three storage elements in the one horizontal scanning line, respectively. 4. The captured image communication device according to claim 1, wherein the image information is written and read while sequentially changing the image information for writing, holding, and reading. 前記通信手段が受信する前記撮像指令のデータ長は、前記撮像制御手段が前記撮像画像出力手段から一フレーム分の画像情報を出力させる垂直同期信号一周期当たりの水平同期信号の数より小さいビット数に設定され、
前記撮像指令転送手段は、前記垂直同期信号に同期して前記撮像指令の転送を開始すると共に、該撮像指令の転送を、前記水平同期信号に同期して1ビット単位で行うように構成され、
前記撮像制御手段は、前記撮像指令転送手段から転送されてくる前記撮像指令一ビット分を前記水平同期信号に同期して取り込むと共に、該取り込んだ前記撮像指令の全ビットデータに基づく前記撮像手段の駆動制御を、前記垂直同期信号に同期して行うことを特徴とする請求項1〜請求項4いずれか記載の撮像画像通信装置。
The data length of the imaging command received by the communication unit is a bit number smaller than the number of horizontal synchronization signals per one cycle of a vertical synchronization signal that causes the imaging control unit to output one frame of image information from the captured image output unit. Is set to
The imaging command transfer unit is configured to start transfer of the imaging command in synchronization with the vertical synchronization signal, and to transfer the imaging command in units of 1 bit in synchronization with the horizontal synchronization signal,
The imaging control unit captures one bit of the imaging command transferred from the imaging command transfer unit in synchronization with the horizontal synchronization signal, and controls the imaging unit based on all the bit data of the captured imaging command. 5. The captured image communication device according to claim 1, wherein drive control is performed in synchronization with the vertical synchronization signal.
JP04863599A 1999-02-25 1999-02-25 Image communication device Expired - Fee Related JP3576024B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04863599A JP3576024B2 (en) 1999-02-25 1999-02-25 Image communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04863599A JP3576024B2 (en) 1999-02-25 1999-02-25 Image communication device

Publications (2)

Publication Number Publication Date
JP2000253381A JP2000253381A (en) 2000-09-14
JP3576024B2 true JP3576024B2 (en) 2004-10-13

Family

ID=12808844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04863599A Expired - Fee Related JP3576024B2 (en) 1999-02-25 1999-02-25 Image communication device

Country Status (1)

Country Link
JP (1) JP3576024B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009002A (en) * 2001-06-22 2003-01-10 Sanyo Electric Co Ltd Image pickup device
JP5582229B2 (en) * 2013-07-03 2014-09-03 セイコーエプソン株式会社 Camera, display device and image processing device

Also Published As

Publication number Publication date
JP2000253381A (en) 2000-09-14

Similar Documents

Publication Publication Date Title
JP3973408B2 (en) Digital movie camera and operation control method thereof
US6903770B1 (en) Digital camera which produces a single image based on two exposures
JP3839526B2 (en) Digital camera
JP2003324644A (en) Video signal processing apparatus, image display control method, storage medium and program
JP3649883B2 (en) Imaging apparatus and network system
JP2024099656A (en) Image pick-up device, imaging apparatus, method for operating image pick-up device, and program
TW200417939A (en) Image signal generator, digital camera and image signal generationg method
JP3576024B2 (en) Image communication device
JP2006080860A (en) Camera and camera image transfer system
JP5274169B2 (en) Imaging device
JP3917379B2 (en) Timing signal generation apparatus and generation method thereof
US7428013B2 (en) Electronic camera having solid-state image pickup device
JP2003153093A (en) Solid-state imaging device, electronic still camera, method for driving solid-state image pickup element and control program for driving the solid-state image pickup element
JP2008306616A (en) Imaging device
JP4525382B2 (en) Display device and imaging device
JP2002125145A (en) Image pickup device and drive method for solid-state image pickup element
JP4409696B2 (en) Digital camera
JP2002027332A (en) Image pickup device
JP3768987B2 (en) Imaging device
US6434281B1 (en) Signal processing apparatus
JP2005167531A (en) Image processor
JP3777723B2 (en) Electronic still camera
JP4279910B2 (en) Signal processing device for digital still camera
JP4322448B2 (en) Digital camera and digital camera control method
JP2005159992A (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees