[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3839881B2 - 撮像制御装置及びその制御方法 - Google Patents

撮像制御装置及びその制御方法 Download PDF

Info

Publication number
JP3839881B2
JP3839881B2 JP31989796A JP31989796A JP3839881B2 JP 3839881 B2 JP3839881 B2 JP 3839881B2 JP 31989796 A JP31989796 A JP 31989796A JP 31989796 A JP31989796 A JP 31989796A JP 3839881 B2 JP3839881 B2 JP 3839881B2
Authority
JP
Japan
Prior art keywords
control
camera
imaging
request
process proceeds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31989796A
Other languages
English (en)
Other versions
JPH1093855A (ja
Inventor
憲司 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31989796A priority Critical patent/JP3839881B2/ja
Priority to US08/895,266 priority patent/US6611285B1/en
Publication of JPH1093855A publication Critical patent/JPH1093855A/ja
Priority to US10/627,815 priority patent/US7535493B2/en
Application granted granted Critical
Publication of JP3839881B2 publication Critical patent/JP3839881B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、撮像装置による撮影条件を変更して撮像装置を遠隔制御する撮像制御装置及びその制御方法に関するものである。
【0002】
【従来の技術】
従来、CRTなどの表示画面上にカメラにより撮影した映像を表示し、その表示画面を見ながら、その撮影に使用しているカメラのパン、チルト等を遠隔制御する装置が知られている。図7は、そのような従来のカメラ制御装置における画面の表示例を示す図である。図7において、601はカメラにより撮影されている映像を表示するためのビューウインドウ、602はカメラにより撮影しようとしている被写体の映像を示している。603,604のそれぞれは、カメラの上下方向の移動(チルト)を指示するためのボタン、605,606のそれぞれはカメラの左右方向の移動(パン)を指示するためのボタンをそれぞれ示している。607は画面上に表示されたカーソルである。このような構成において、例えばマウス等によりカーソル607を用いてボタン603〜606のいずれかを指示してクリック等の操作を行うことにより、カメラによる撮影方向を所望の方向に変更して撮影することができる。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下のような欠点があった。
【0004】
カメラにより撮影可能な範囲(カメラの可動範囲)が示されていないため、カメラの可動範囲(撮影可能(視野)範囲)を認識することが難しい。またカメラを大きく回転させて撮影方向を大きく変更させたい場合には、これらボタン(603〜606)を何回も指示してクリックするなどの操作が必要になり、操作が煩雑である。
【0005】
またこのような指示は、カメラの撮影方向を相対的に制御するもので、絶対位置或は絶対角度による指定ができないため、例えば遠隔制御を行なっている場合等において、操作指示に対してカメラからの画像信号の到達が遅れるような場合には、カメラによる撮影方向が所望の角度を過ぎてしまい、適正な視野を得るのが難しいという問題があった。
【0009】
本発明は上記問題点に鑑みてなされたもので、連続して入力される制御要求の内、最新の制御要求を採用して動作を制御することにより、一々制御要求を処理する場合に比べて、その制御要求に対して撮像装置をより迅速に動作させることができる撮像制御装置及びその制御方法を提供することにある。
【0012】
【課題を解決するための手段】
上記目的を達成するために本発明の撮像制御装置は以下のような構成を備える。即ち、
撮像装置を制御する撮像制御装置であって、
ネットワークを介して接続された操作端末からパン及びチルトのうち少なくとも1つの種別の制御要求を受信する受信手段と、
前記受信手段により受信される連続する複数の制御要求で共通する種別がなければそれぞれの制御要求に応じて前記撮像装置を制御し、前記受信手段により受信される連続する複数の制御要求で種別が共通する制御要求があれば、当該共通する制御要求が連続しておらず、またその制御量が互いに異なるとしても、前記共通する制御要求の中で最新に受信された制御要求に応じて前記撮像装置を制御する制御手段と、
を有することを特徴とする。
【0014】
上記目的を達成するために本発明の撮像制御方法は以下のような工程を備える。即ち、
撮像装置を制御する撮像制御方法であって、
ネットワークを介して接続された操作端末からパン及びチルトのうち少なくとも1つの種別の制御要求を受信する受信工程と、
前記受信工程で受信される連続する複数の制御要求で共通する種別がなければそれぞれの制御要求に応じて前記撮像装置を制御し、前記受信工程で受信される連続する複数の制御要求で種別が共通する制御要求があれば当該共通する制御要求が連続しておらず、またその制御量が互いに異なるとしても、前記共通する制御要求の中で最新に受信された制御要求に応じて前記撮像装置を制御する制御工程と、
を有することを特徴とする。
【0015】
【実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0016】
図1は、本発明の実施の形態のカメラ制御装置における処理を示すフローチャートである。
【0017】
この処理を説明する前に図2のブロック図を参照して、本実施の形態のカメラ制御装置の構成を詳細に説明する。
【0018】
図2において、201はCRTや液晶等の表示装置を示し、中央処理装置202からのデータを受取って表示している。中央処理装置202は、例えばマイクロプロセッサなどのCPU210、CPU210により実行される制御プログラムを記憶するプログラムメモリ211、CPU210による処理時、ワークエリアとして使用され、各種データを一時的に保存するRAM212などを備えている。203はハードディスク、MOやCD等の外部記憶装置、204は中央処理202からの信号により、その撮影方向及びズーム等が遠隔制御されるカメラを示し、このカメラ204により撮影された映像信号は中央処理装置202に送られて表示装置201に表示される。205は、例えばマウス等のポインティングデバイスで、オペレータはこのポインティングデバイス205を使用して、表示装置201に表示されたマウスカーソルの移動、そのカーソルを用いたクリック、ドラッグ等の操作を行って後述するカメラ204の角度を調整することができる。
【0019】
図3及び図4は、本実施の形態のカメラ制御装置の表示装置201への表示例を示す図である。
【0020】
図3及び図4において、301はカメラ204により撮影された映像を表示するためのビューウインドウを示し、302は被写体の映像を示している。307及び308のそれぞれは、本実施の形態の特徴であるスクロールバーで、307は上下方向(チルト)を指示し、308は水平方向の撮影角度(パン)を指示するためのスクロールバーである。303,304のそれぞれはスクロールバー307の上下方向の移動を指示するためのボタン、305,306のそれぞれはスクロールバー308の左右方向の移動を指示するためのボタンである。309は画面上に表示されたマウスカーソルを示している。尚、これらスクロールバー307,308のそれぞれは、カーソル309によるつまみ307a或は308aのドラッグ操作により、そのつまみを所望の位置に移動することによって、カメラ204のパン、チルト操作の指示を行うことができる。
【0021】
次に、図1のフローチャートを参照して、本実施の形態のカメラ制御装置による動作を説明する。
【0022】
まずステップS101では、図3及び図4に示すように、カメラ204により撮影されている映像301と、スクロールバー307,308を用いた、カメラ204のチルト、パンの可動範囲と、現在の視野角度を表示する。次にオペレータが、ポインティングデバイス205を用いてカメラ204の姿勢変更を指示する場合を説明する。例えば、カメラ204の視野方向を右方向に移動させたい場合は、オペレータはマウスカーソル309を横スクロールバー308のつまみ308aに重ねてポインティングデバイス205のボタンを押し、そのままそのボタンを押した状態で右方向に移動させ(ドラッグ操作)、所望の位置でポインティングデバイス205のボタンを放す(ステップS102)ことにより行うことができる。
【0023】
このようなドラッグ操作で、つまみ308a(307a)を所望の位置に移動し、その位置にスクロールバー308(307)のつまみ308a(307a)を表示しておけば、それが新しいカメラ204のパン(チルト)方向の位置を示している事になる(ステップS103)。
【0024】
尚、このようなカメラ204の水平、上下方向の変更指示は、前述したスクロールバー307,308のボタン303,304,305,306によっても行うことができる。
【0025】
ポインティングデバイス205を使用して、このような操作が行われるとステップS104に進み、中央処理装置202は、これらステップS102,S103の指示に従って、カメラ204の姿勢を、その指示された状態になるように変更する。このステップS104の処理を終了すると、例えば図4に示すように、つまみ308aが図3の状態から右方向に移動されてカメラ205が右方向に回転される。その結果、ビューウインドウ301内で被写体302の映像が左方向に移動した(被写体が静止している場合)映像が表示される。上記の処理が終わると、またステップS102に戻り、次に入力される操作指示に従ったカメラ制御が行われる。
【0026】
[実施の形態2]
また実施の形態2としては、図5で示すように、スクロールバー307による水平方向の回動角度(可動範囲)を310で、スクロールバー308による垂直方向の回動角度(可動範囲)を311で示すように表示し、現在のカメラ204の上下(チルト)方向の角度を310aで、水平(パン)方向の角度を311aで示すようにしても良い。尚、この場合、水平方向の最大角度及び上下方向の最大角度の両方或は少なくともいずれかを新たに設定できるようにし、この設定指示に応じて310,311の表示角度、及びスクロールバーのつまみ307a,308aの所定量の移動に伴う、カメラ204の回転角度が決定されることになる。尚、図5における角度表示310,311は、通常は画面上に表示されておらず、オペレータによる表示指示操作により表示されるものとする。
【0027】
図6は、本発明の実施の形態2のカメラ制御装置における処理を示すフローチャートで、本実施の形態2のハードウェア構成は前述の実施の形態1と同様であるものとする。
【0028】
まずステップS110で、前述のステップS101と同様に、カメラ204により撮影されている映像301と、スクロールバー307,308を用いた、カメラ204のチルト、パンの可動範囲と、現在の視野角度が表示される。ここでもし、オペレータが、図5の表示310,311を希望する時は、例えばメニューコマンドにより指示することにより、図5の310,311で示すように、カメラ204の可動範囲と、現在の撮影方向とが表示される。次にステップS111で、オペレータが水平方向の最大可動範囲及び/或は上下方向の最大移動範囲を変更する様に指示するとステップS112に進み、その入力された水平方向及び/或は垂直方向の最大角度が記憶される。この時、もし図5の表示310,311が表示されていれば、その入力された最大角度に応じて、その表示角が変更されることはもちろんである。
【0029】
次にステップS113に進み、前述の図1のステップS102と同様に、カメラ204の姿勢変更指示が入力されたかどうかを判断し、入力された時はステップS114に進み、その入力指示に応じてスクロールバー307,308のつまみ(307a,308a)の位置を変更する。そしてステップS115で、ポインティングデバイス205による操作、例えばドラッグ操作が終了するとステップS116に進み、その指示されたつまみ307a,308aの位置と、ステップS112で指示された最大角度(最大角度の指定がないときはオフセット値)とに応じて、つまみの移動量に伴う、変更された角度を求める。そしてステップS117に進み、その変更された撮影角度に応じて、カメラ204の撮影方向を制御し、そのカメラ204で撮影された映像信号を取り込んで、ステップS118で表示する。
【0030】
このように本実施の形態2によれば、カメラ204による撮影可能範囲を変更して遠隔操作できるため、よりカメラのチルト、パン操作を、より手際良く行うことができる。
【0031】
[実施の形態3]
図8は、本発明の実施の形態3のカメラ制御システムの構成を示すブロック図である。この実施の形態では、サーバ510にカメラ204を収容し、このサーバ510と本実施の形態のカメラ制御装置501とを、例えば公衆回線や専用回線等のネットワーク505を介して接続した例で示している。尚、前述の図2と共通する部分は同じ番号で示し、その説明を省略している。このような場合、カメラ制御装置501における操作に対して、サーバ510から送られてくる画像の遅れが大きくなるため、前述の実施の形態1におけるような、スクロールバーを用いた絶対角度指定による操作性の向上が期待できる。
【0032】
サーバ510の構成を簡単に説明すると、506はサーバ510全体の動作を制御する中央処理装置で、例えばマイクロプロセッサなどのCPU520、CPU520により実行される制御プログラム、CPU520のワークエリアとして使用されるRAM522等を備えている。507はハードディスクやCD,MO等の外部記憶装置で、この記憶装置507には、カメラ204の制御権の獲得要求を発行し、その要求が直ちに受け付けられずに待ち状態となっているカメラ制御装置名等を記憶しているキューテーブル511が設けられている。このキューテーブル511に登録されている装置名はFIFO制御されるものとし、現在制御権を獲得しているカメラ制御装置の制御権が放棄されると、キューイングされている装置の中で最も最先にキューイングされた装置名に対応する装置に制御権が付与される。尚、図8の例では、サーバ510内にカメラ204が設けられているが、本発明はこれに限定されるものでなく、サーバ510の外側にカメラ204が接続されていても良い。また、実際の装置としては、カメラ制御装置501、サーバ510を1つのユニットとして構成し、相互に相手側のカメラを制御することも可能とする。
【0033】
更に、本実施の形態3では、ネットワーク505に複数のカメラ制御装置501.501a,501b(これらカメラ制御装置501a,501bはいずれも装置501と同じ構成である)等が接続されている場合に有効となる構成を説明する。
【0034】
図9及び図10は、例えばカメラ制御装置501の表示装置201に、サーバ510のカメラ204により撮影された映像が表示されている状態を示す図で、前述の図3及び図4と共通する部分は同じ番号で示している。
【0035】
図9において、701は、サーバ510のカメラ204の制御権を獲得或は放棄するように指示するボタンを示し、702は、当該表示装置201を有するカメラ制御装置が、カメラ204の制御権を有しているか否かを表示するためのボタンである。また704は、カメラ204のズーム/ワイドの度合を指示するためのスクロールバーで、つまみ704aの位置に応じて、そのズーム/ワイドが変更・指示される。703,705のそれぞれは、つまみ704aの移動を指示するためのボタンである。尚、このスクロールバー704におけるつまみ704aの移動指示は、前述のスクロールバー307,308の場合と同様であり、このカメラ204のズーム/ワイドの度合を指示するためのスクロールバー704は、前述の実施の形態1及び2でも使用されても良い。。
【0036】
図9は、カメラ制御装置501がカメラ204の動作制御権を有している場合を示しているため、ボタン701の表示は「権利放棄」に、ボタン702の表示は「制御権有り」となっている。この状態でマウスカーソル309によりボタン701を指示してクリックすることにより、現在取得しているカメラ204の操作制御権を放棄して、ネットワーク505に接続されている他のカメラ制御装置にカメラ204の操作制御権を移行することができる。
【0037】
逆に図10は、カメラ制御装置501がカメラ204の動作制御権を有していない場合を示しているため、ボタン701の表示は「権利獲得」に、ボタン702の表示は「制御権なし」となっている。この状態でマウスカーソル309によりボタン701を指示してクリック操作することにより、このカメラ制御装置501より、サーバ510に対してカメラ204の操作制御権の獲得要求を発行することができる。
【0038】
この場合の操作を図11のフローチャートを参照して説明する。
【0039】
図11のフローチャートは、図8の例えばカメラ制御装置501で実行される処理を示すフローチャートで、この処理を実行する制御プログラムは中央処理装置202のプログラムメモリ211に記憶されている。
【0040】
まずステップS120で、カメラ204の制御権を獲得しているか否かを判断し(この情報はRAM212に記憶されている)、獲得している時はステップS121に進み、前述の実施の形態1或は2の場合と同様に、マウスカーソル309を用いて、ポインティングデバイス205によりスクロールバー307,308等を指示することによりカメラ204の姿勢変更を指示する。こうして姿勢変更指示が入力されるとステップS122に進み、その入力された情報をもとに、カメラ204の姿勢制御情報をサーバ510に送信する。これによりサーバ510でカメラ204の操作(チルト、パン、ズーム等)が制御され、そして、その姿勢が変更されたカメラ204からの映像信号をサーバ510より受取って表示装置201に表示する(図9)。
【0041】
次にステップS123に進み、現在獲得している制御権を放棄する指示(ボタン701のクリック)が入力されたかどうかを調べ、入力されていなければステップS121に戻るが、制御権の放棄が指示されるとステップS124に進み、サーバ510に対してカメラ204の制御権の放棄を通知し、RAM212の内容を「制御権なし」に変更する。そしてステップS120に戻る。
【0042】
一方、制御権がないときはステップS125に進み、他のカメラ制御装置により制御されている姿勢情報をサーバ510から受信し、その受信した情報に従って、スクロールバー307及び308等のつまみ位置を決定し、カメラ204で撮影され、サーバ510からネットワーク505に送信されている映像情報を受信して表示装置201に表示する(ステップS126)(図10)。
【0043】
次にステップS127に進み、サーバ510におけるカメラ204の操作制御権を獲得するためにボタン701が指示されたかどうかを調べ、指示されなければステップS129に、ボタン701が指示されるとステップS128に進み、サーバ510に対して制御権の獲得要求を発行する。次にステップS129に進み、サーバ129からの応答を待ち、制御権が獲得できた時はステップS130に進み、RAM212の内容を「制御権有り」と設定してステップS120に進む。一方、ステップS129で、制御権が得られない時(キューに入る)はステップS125に進んで前述の処理を実行し、ステップS129で、サーバ510より「制御権」の獲得通知があるまで、前述の処理を実行する。
【0044】
図12は、本発明の実施の形態3のサーバ510における処理を示すフローチャートで、この処理を実行する制御プログラムは中央処理装置506のプログラムメモリ521に記憶されている。
【0045】
まずステップS141で、ネットワーク505に接続されている複数のカメラ制御装置のいずれかから、カメラ204の制御権の獲得要求が発行されたかをみる。獲得要求が発行された時はステップS142に進み、その制御装置に制御権を与えても良いか、即ち、現在いずれのカメラ制御装置によっても、サーバ510のカメラ204が遠隔制御されていないか、或はキューテーブル511に他の獲得要求がキューイングされていないかどうかを判断する。他の要求している制御装置がない時はステップS143に進み、その要求を発行した装置を制御権を有するクライアントとして登録し、その要求を発行した制御装置に制御権が獲得できた旨を通知する。
【0046】
一方、既にそのカメラ204が他のカメラ制御装置により制御されている時、或は他のキューイングされている制御装置がある時はステップS144に進み、その要求を発行した装置名を記憶装置507に設けられたキューテーブル511に登録する。
【0047】
こうしてステップS143或はS144のいずれかが実行されるとステップS145に進み、今度はカメラ制御装置から、既に獲得している制御権を放棄する要求が発行されたかをみる。そうであればステップS146に進み、その要求を発行した装置が現在制御権を獲得している装置であるかどうかを調べ、そうであればステップS147に進み、その装置名を制御権を保有しているクライアントの登録から削除する。次にステップS148に進み、キューテーブル511に制御権を要求しているクライアントがあるかどうかを調べ、あればその中の最も最初に登録された制御装置に、カメラ204の制御権を付与すべく、RAM522に登録するとともに、そのカメラ制御装置にカメラ204の制御権が獲得できた旨を通知する。
【0048】
こうしてステップS150に進み、その制御権を獲得しているカメラ制御装置よりの、カメラ204の制御コマンドが入力されるとステップS151に進み、その指示に従ってカメラ204の角度等を制御するとともに、その制御情報をネットワーク505に接続されている全てのカメラ制御装置に送信する。こうしてステップS152に進み、カメラ204からの映像信号を受信してネットワーク505を介して接続されている全てのカメラ制御装置に送信してステップS141に進む。
【0049】
図13は、本実施の形態3におけるサーバ510と、複数のカメラ制御装置(クライアント)500〜500cとがネットワーク505を介して接続されている状態を示す図で、この例ではカメラ制御装置500がサーバ510のカメラ204の制御権を獲得している場合を示している。
【0050】
図14は、本発明の実施の形態3のサーバ510における、カメラ204の制御権を獲得しているカメラ制御装置からのコマンドに基づく処理を示すフローチャートで、この処理を実行する制御プログラムはプログラムメモリ521に記憶されている。
【0051】
まずステップS161で、カメラ204の制御権を保有しているクライアント(例えばカメラ制御装置500)から送られてくる、例えばスクロールバー307,308を使用したカメラのチルト、パン等の操作に関する要求信号を受信する。次にステップS162に進み、その受信した要求信号の中で、例えば左方向のパン要求などのように、共通する動作要求に関する要求信号があるかどうかを調べ、ある時はステップS163からステップS164に進み、それら共通した要求信号同士をまとめ、その中で最も最近受信した要求信号以外を読み飛ばして、それら共通の要求信号の内、最後に受信した要求信号(つまみの位置)に応じた処理を実行する(ステップS165)。これにより、例えばスクロールバー307のつまみ307aの移動が、ボタン303,304の連続指示、或はつまみ307aのドラッグ操作により指示されている場合であっても、最終的につまみ307aが停止した位置の要求信号だけが処理されるので、途中の表示が省略され、迅速な表示及びより速い応答が得られる。これら他のスクロールバーの場合でも同様である。
【0052】
またステップS163で、共通する要求信号がないときはステップS165に進み、その指示された要求信号に従ってカメラ204の動作を制御する。こうしてカメラ204の姿勢が変更されるとステップS166で、その変更された姿勢情報を、他のクライアント(カメラ制御装置)に送信する。これにより、他のカメラ制御装置では、その姿勢情報に応じてスクロールバーのつまみ位置が変更されて表示される。
【0053】
このようにすることにより、例えば左方向のパンと上下のチルト動作が交互に連続して何回も要求された場合であっても、一々その途中経過に応じてカメラのパンやチルトが行なわれず、最終的につまみ307aと308aで指示された絶対位置にカメラ204がチルト及びパンされるため、カメラ204の操作が迅速かつスムーズに行われる。
【0054】
尚、この図14に示すフローチャートで実行される処理は、ネットワークに接続されたカメラ制御装置に限定されるものでなく、例えば前述の実施の形態1或は2で示すような、単体のカメラ制御装置の中央処理装置202で実行されても良い。
【0055】
[実施の形態4]
次に本実施の形態4について説明する。尚、この実施の形態4の装置構成は前述の図2と同様であり、また前述の実施の形態1〜実施の形態3で説明した機能のそれぞれ或は全てと組み合わされて実現されても良い。
【0056】
この実施の形態4では、前述の実施の形態1で説明した構成に加えて、パン、チルト指示に応じた移動角度を、その時のカメラのズーム倍率に応じて変更することを特徴とするものである。
【0057】
そこで、図9に示す表示例を参照して以下に説明する。
【0058】
前述したように704はズーム倍率を指示するためのスクロールバーで、703,705のそれぞれのボタンはズーム倍率の変更を指示するためのボタンである。尚、スクロールバー704は、つまみ704aのドラッグ操作により、そのつまみ704aを所望の位置に移動することによって、カメラ204のズーム、広角の指示を行うことができる。
【0059】
図15は、この実施の形態4における処理を示すフローチャートで、この処理を実行する制御プログラムは中央処理装置202のプログラムメモリ211に記憶されている。
【0060】
まずステップS171で、カメラ204の初期状態を表示し、ステップS172で、ズーム倍率の可動範囲と現在のズーム倍率を表示する。尚、この場合のズーム倍率は、横方向の視野角で管理されており、横方向の視野角を「X」とすると、ズーム倍率はA/X(Aは定数)で求められる。ここで「A」を最も広角の場合の視野角と等しくしておけば、最も広角の場合を基準とした、ズーム倍率が求められる。これは図9のスクロールバーの表示等で表される。次にステップS173に進み、横方向の視野角に応じてカメラ姿勢の1クリック当たりの移動量を求め、その移動量をRAM212に記憶しておく。ここで視野角を「X」とすると、ボタン305,306を一回指示(クリック)した場合の移動量を(B×X(Bは定数))で求める。カメラ204の縦方向の移動(チルト)に関しても、画面の縦横比から、縦方向の視野角を求め、同様に縦方向のカメラ204の1クリック当たりの姿勢移動量を求める。
【0061】
スクロールバー307,308の操作に関しては、前述の実施の形態と同様であるが、ボタン303,304,305,306、或はスクロールバー307,308内をクリックした場合、或はこれらボタンを指示し続けた場合にステップS175でカメラ204の姿勢が変更されたものとしてステップS176に進み、例えば前記「B」の値が“0.1”となっていれば、ボタン305を一回クリックすると、カメラ204が右方向に「X/10」度パンする。こうしてカメラ204の移動が終了した後に、カメラ204より映像が送られてくると被写体302が左方向に映像の横幅の「1/10」だけずれた位置に移動されて表示される。尚、ボタン305を指示し続けた場合は、タイマ等の計時に基づいて、前記処理が一定時間間隔で連続して行われることになる。尚、このような動作は、ボタン303,304或はスクロールバー307が指示されることによるチルト動作の場合も同様にして行われる。
【0062】
次にステップS178に進み、スクロールバー704が指示された場合にはステップS179に進み、パン或はチルト動作の場合と同様に、ステップS179で、カメラ204のズーム倍率が変更されて、映像が再表示され、次にステップS180で、その時にズーム倍率に応じて視野角「X」が決定され、それにより1クリック当たりのチルト或はパン方向の移動量(B×X)の更新が行われる。さらにステップS181に進み、カメラ204におけるズーム倍率の変更の指示が行われる。
【0063】
これにより、ズーム倍率に応じてパン或はチルト等のカメラ操作の調整ステップ量を制御することにより、被写体の表示画面上における表示を、広角の時と望遠の時とで同様にできるため、このようなパン、チルト操作して所望の画像を見たい場合に非常に有用となる。
【0064】
[実施の形態4の変形例1(図16)]
ここでは、ズーム倍率に応じたカメラの姿勢制御の移動量を予め記憶装置203などに記憶しておき、前述の図15のステップS179で、ズーム倍率が指示されると図16のステップS191に進み、その指示されたズーム倍率に対応する各ボタン303,304,305,306を1回クリックしたときの移動量を記憶装置203より読み出す。そしてステップS192に進み、その読み出した移動量に基づいて、カメラ204の各ボタン303,304,305,306を1回クリックしたときの移動量を更新してステップS181(図15)に進む。これにより、次にステップS175でカメラ姿勢の変更操作が行われると図15のステップS176において、ステップS192で更新された移動量に関する情報を用いてカメラ204の姿勢変更のための移動量が計算される。これによりクライアントが所望するズームに応じてカメラ204の姿勢を変更することができる。
【0065】
[実施の形態4の変形例2(図17)]
ここではカーソル309により指示された位置に応じて、そのカメラ204のズーム倍率に対応する姿勢変更のための移動量が変更される例を説明する。
【0066】
図17において、図15のステップS175でカメラ204の姿勢変更指示が入力されると図17のステップS193に進み、ポインティングデバイス205によりクリックされた時のカーソル309の位置情報を取得する。次にステップS194に進み、そのカーソル309がスクロールバー308,307内にあるかどうかを調べ、なければボタン上にあるものとしてステップS176に進んで前述の処理を実行する。一方、ステップS194でスクロールバー内にないときはステップS195に進み、そのスクロールバー内におけるカーソル309の位置に応じて移動量を計算してステップS177(図15)に進む。
【0067】
これにより、スクロールバー内で指示されたカーソル309の位置に応じて、その時のズーム倍率に対応するパンやチルトでの移動量が計算されるので、何度もボタン304,306等を指示する必要がなくなる。
【0068】
[実施の形態4の変形例3(図18)]
ここではつまみ307a,308aがスクロールバーの端近傍に位置している状態でボタン303,304,305,306のいずれかがクリックされた時に、そのつまみが端に到達するまでに相当する移動量が、1クリック当たりのパン、チルトの移動量以下であれば、そのつまみをスクロールバーの端部にまで移動するものである。
【0069】
図18のステップS201において、カメラ204の姿勢変更指示が入力されるとステップS202に進み、カーソル309がボタン上にあるか否かをみる。ボタン上にあればステップS203に進み、つまみがその指示されたボタンから1クリックに相当する移動距離以内であるかを調べ、そうでなければステップS176(図15)に進み、1クリックに相当する距離だけつまみを移動し、そのときの移動量を計算する。一方、つまみの位置が1クリックに相当する移動距離以内であればステップS204に進み、そのつまみをスクロールバーの端まで移動させ、そのつまみの移動量に応じて、カメラ204の移動量を求める。
【0070】
[実施の形態4の変形例4(図19)]
ここではつまみがドラッグ操作により移動された時、そのドラッグの開始点と終了点(ドロップ位置)との差分に基づいて、各ボタン303,304,305,306の1クリックに相当するカメラ204のズーム倍率に対応する姿勢の変更量を決定する。
【0071】
即ち、図19のフローチャートにおいて、まずステップS210で、カーソル309の位置情報を取得し、次にステップS211に進み、つまみがドラッグされたかを調べ、そうであればステップS212に進み、そのドラッグ操作の開始位置を記憶する。次にステップS213に進み、つまみのドラッグ操作が終了したかどうかを調べ、終了するとステップS214に進み、その終了地点の位置情報を記憶する。そしてステップS215に進み、その開始点と終了点との差分を求め、次にステップS216で、その差分に基づいてカメラ203の姿勢の変更量を決定する。次にステップS217に進み、その差分値をポインティングデバイス205による1クリックに相当するカメラの姿勢の移動量として設定する。こうしてステップS177に進む。
【0072】
一方ステップS211で、つまみドラッグ操作でない時はステップS218に進み、ボタンがクリックされたかどうかをみる。ボタンがクリックされた時はステップS219に進み、ステップS217で設定された単位移動量に基づいてカメラ203の姿勢変更量を計算し、次にステップS177に進んで、実際にカメラ203の姿勢を変更する。
【0073】
これによれば、1クリックに相当する姿勢変更量をユーザが自在に設定できるので、何回もボタンやスクロールバーを指示してつまみを移動させる必要がなくなり、カメラ姿勢制御操作を簡略化できるという効果がある。尚、以上の説明においては、説明の便宜上各実施の形態に分けて説明したが、第1、第2、第4の実施の形態は、同一の装置において実施されるものであり、第3の実施の形態はその様な装置をネットワークを介して複数接続した場合を示すものである。
【0074】
以上説明したように本実施の形態によれば、以下のような効果がある。
(1)撮影に使用しているカメラの可動範囲を容易に把握できるため、操作が容易になる。
(2)スクロールバーのつまみを移動するだけで、所望の方向にカメラを回転できるので操作がしやすい。
(3)カメラの絶対角度を指定できるので、カメラの遠隔制御を行なっている場合等で、カメラの姿勢変更とカメラからの映像との時間的なずれがある場合にも容易に所望の角度に設定できる。
(4)カメラの最大振れ角を設定して、その範囲内でカメラの姿勢を調整できるため、決まった位置での遠隔操作を容易にできる。
(5)ネットワークを介してカメラの位置を制御する際、その制御権を有するクライアントを1つに設定して制御できる。
(6)カメラの遠隔制御で実施される要求信号を纏めて最近の要求信号のみを実行することにより、要求信号を一々実行する場合に比べて、カメラの操作制御がより迅速になり、かつ簡単にできる。
【0078】
【発明の効果】
以上説明したように本発明によれば、連続して入力される複数の制御要求で種別が共通する制御要求があれば、それら共通する制御要求が、例えば交互に入力された場合であっても、その中で最新の制御要求を採用して動作を制御するため、一々制御要求を処理する場合に比べて、その制御要求に対して撮像装置をより迅速に動作させることができるという効果がある。
【0080】
【図面の簡単な説明】
【図1】本発明の実施の形態1のカメラ制御装置における処理を示すフローチャートである。
【図2】本発明の実施の形態1のカメラ制御装置の構成を示すブロック図である。
【図3】
【図4】本発明の実施の形態1における表示装置での表示例を示す図である。
【図5】本発明の実施の形態2の画面表示例を示す図である。
【図6】本発明の実施の形態2のカメラ制御装置における処理を示すフローチャートである。
【図7】従来のカメラ制御装置における画面の表示例を示す図である。
【図8】本発明の実施の形態3のカメラ制御装置とサーバの構成を示すブロック図である。
【図9】
【図10】本発明の実施の形態3,4における表示装置での表示例を示す図である。
【図11】本発明の実施の形態3のカメラ制御装置における処理を示すフローチャートである。
【図12】本発明の実施の形態3のサーバにおける処理を示すフローチャートである。
【図13】本発明の実施の形態3のネットワーク構成を示す図である。
【図14】本発明の実施の形態3のカメラ制御装置における処理を示すフローチャートである。
【図15】本発明の実施の形態4におけるカメラ制御装置における処理を示すフローチャートである。
【図16】本発明の実施の形態4の変形例1の処理を示すフローチャートである。
【図17】本発明の実施の形態4の変形例2の処理を示すフローチャートである。
【図18】本発明の実施の形態4の変形例3の処理を示すフローチャートである。
【図19】本発明の実施の形態4の変形例4の処理を示すフローチャートである。
【符号の説明】
201 表示装置
202 中央処理装置
203 記憶装置
204 カメラ
205 ポインティングデバイス
210 CPU
211 プログラムメモリ
212 RAM
307,308 スクロールバー
309 マウスカーソル
510 サーバ

Claims (4)

  1. 撮像装置を制御する撮像制御装置であって、
    ネットワークを介して接続された操作端末からパン及びチルトのうち少なくとも1つの種別の制御要求を受信する受信手段と、
    前記受信手段により受信される連続する複数の制御要求で共通する種別がなければそれぞれの制御要求に応じて前記撮像装置を制御し、前記受信手段により受信される連続する複数の制御要求で種別が共通する制御要求があれば、当該共通する制御要求が連続しておらず、またその制御量が互いに異なるとしても、前記共通する制御要求の中で最新に受信された制御要求に応じて前記撮像装置を制御する制御手段と、
    を有することを特徴とする撮像制御装置。
  2. 前記最新に指示された制御要求に応じた前記撮像装置の制御結果を、前記操作端末に対して送信する送信手段を更に有することを特徴とする請求項に記載の撮像制御装置。
  3. 撮像装置を制御する撮像制御方法であって、
    ネットワークを介して接続された操作端末からパン及びチルトのうち少なくとも1つの種別の制御要求を受信する受信工程と、
    前記受信工程で受信される連続する複数の制御要求で共通する種別がなければそれぞれの制御要求に応じて前記撮像装置を制御し、前記受信工程で受信される連続する複数の制御要求で種別が共通する制御要求があれば当該共通する制御要求が連続しておらず、またその制御量が互いに異なるとしても、前記共通する制御要求の中で最新に受信された制御要求に応じて前記撮像装置を制御する制御工程と、
    を有することを特徴とする撮像制御方法。
  4. 前記最新に指示された制御要求に応じた前記撮像装置の制御結果を、前記操作端末に対して送信する送信工程を更に有することを特徴とする請求項に記載の撮像制御方法。
JP31989796A 1996-07-22 1996-11-29 撮像制御装置及びその制御方法 Expired - Fee Related JP3839881B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP31989796A JP3839881B2 (ja) 1996-07-22 1996-11-29 撮像制御装置及びその制御方法
US08/895,266 US6611285B1 (en) 1996-07-22 1997-07-16 Method, apparatus, and system for controlling a camera, and a storage medium storing a program used with the method, apparatus and/or system
US10/627,815 US7535493B2 (en) 1996-07-22 2003-07-28 Method, apparatus, and system for controlling a camera, and a storage medium storing a program used with the method, apparatus and/or system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP19259496 1996-07-22
JP8-192594 1996-07-22
JP31989796A JP3839881B2 (ja) 1996-07-22 1996-11-29 撮像制御装置及びその制御方法

Publications (2)

Publication Number Publication Date
JPH1093855A JPH1093855A (ja) 1998-04-10
JP3839881B2 true JP3839881B2 (ja) 2006-11-01

Family

ID=26507418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31989796A Expired - Fee Related JP3839881B2 (ja) 1996-07-22 1996-11-29 撮像制御装置及びその制御方法

Country Status (2)

Country Link
US (2) US6611285B1 (ja)
JP (1) JP3839881B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190696B2 (en) 2019-08-30 2021-11-30 Canon Kabushiki Kaisha Electronic device capable of remotely controlling image capture apparatus and control method for same

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882354B1 (en) * 1997-09-17 2005-04-19 Sun Microsystems, Inc. Scroll bars with user feedback
US7190392B1 (en) * 1997-10-23 2007-03-13 Maguire Jr Francis J Telepresence system and active/passive mode display for use therein
JP4532610B2 (ja) * 1998-01-30 2010-08-25 キヤノン株式会社 カメラ制御システムおよびその方法およびその動作処理を実行するプログラムを記憶した記憶媒体
JP4272290B2 (ja) * 1999-02-26 2009-06-03 株式会社日立製作所 携帯型電子計算機
JP2001036810A (ja) * 1999-07-19 2001-02-09 Yokogawa Electric Corp パンチルト監視カメラシステム
JP4878083B2 (ja) * 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
JP4127982B2 (ja) * 2001-05-28 2008-07-30 富士フイルム株式会社 携帯型電子機器
JP4802397B2 (ja) * 2001-05-30 2011-10-26 コニカミノルタホールディングス株式会社 画像撮影システム、および操作装置
CN1554193A (zh) * 2001-07-25 2004-12-08 �����J��ʷ����ɭ 摄像机控制装置及方法
JP3878035B2 (ja) * 2002-03-04 2007-02-07 ニスカ株式会社 画像配信方法
JP4095325B2 (ja) * 2002-03-29 2008-06-04 キヤノン株式会社 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置
US20070005759A1 (en) * 2002-12-26 2007-01-04 Videogenix Passive watchdog method and apparatus
US7536594B2 (en) * 2005-03-25 2009-05-19 Videogenix Watchdog device that provides and interrupts power to a network device in response to a lockup error condition
JP3972907B2 (ja) * 2004-01-20 2007-09-05 ソニー株式会社 双方向通信システム、モニタ装置
US20050223340A1 (en) * 2004-03-30 2005-10-06 Mikko Repka Method of navigating in application views, electronic device, graphical user interface and computer program product
JP4593172B2 (ja) * 2004-05-25 2010-12-08 公立大学法人会津大学 カメラ制御装置
USD534542S1 (en) * 2004-07-16 2007-01-02 Xerox Corporation Activity indicator for a touch-based user interface for an image processing office machine
US7710452B1 (en) 2005-03-16 2010-05-04 Eric Lindberg Remote video monitoring of non-urban outdoor sites
JP4865286B2 (ja) * 2005-09-15 2012-02-01 株式会社日立国際電気 映像監視システム
US20070097245A1 (en) * 2005-10-31 2007-05-03 Battles Amy E Digital camera having a touch pad
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8665272B2 (en) * 2007-09-26 2014-03-04 Autodesk, Inc. Navigation system for a 3D virtual scene
JP5228858B2 (ja) * 2008-12-03 2013-07-03 ソニー株式会社 撮像装置
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
CN102103301B (zh) * 2009-12-17 2014-03-05 深圳富泰宏精密工业有限公司 拍照装置及方法
US20110150434A1 (en) * 2009-12-23 2011-06-23 Empire Technology Development Llc A Pan camera controlling method
JP5063749B2 (ja) * 2010-07-12 2012-10-31 キヤノン株式会社 撮影制御システム、撮像装置の制御装置及びその制御方法、並びにプログラム
JP5494337B2 (ja) * 2010-07-30 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
TW201215144A (en) * 2010-09-16 2012-04-01 Hon Hai Prec Ind Co Ltd Image correcting system for cameras and correcting method using same
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
JP5769527B2 (ja) * 2011-07-12 2015-08-26 キヤノン株式会社 情報処理装置、情報処理方法
US8854485B1 (en) * 2011-08-19 2014-10-07 Google Inc. Methods and systems for providing functionality of an interface to include an artificial horizon
US8838276B1 (en) 2011-08-19 2014-09-16 Google Inc. Methods and systems for providing functionality of an interface to control orientations of a camera on a device
JP5977498B2 (ja) * 2011-10-14 2016-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP5804596B2 (ja) * 2011-11-18 2015-11-04 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 表示装置、入力方法、およびプログラム
JP6001140B2 (ja) * 2015-06-23 2016-10-05 キヤノン株式会社 情報処理装置、情報処理方法
KR102575254B1 (ko) * 2016-06-29 2023-09-06 한화비전 주식회사 모니터링 장치 및 시스템
KR102640281B1 (ko) * 2016-10-13 2024-02-26 한화비전 주식회사 감시 카메라의 제어 방법 및 이 방법을 채용한 감시 시스템
US10283082B1 (en) 2016-10-29 2019-05-07 Dvir Gassner Differential opacity position indicator

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4516156A (en) * 1982-03-15 1985-05-07 Satellite Business Systems Teleconferencing method and system
US4992866A (en) 1989-06-29 1991-02-12 Morgan Jack B Camera selection and positioning system and method
JPH0378373A (ja) * 1989-08-22 1991-04-03 Fuji Photo Optical Co Ltd テレビカメラ操作装置
US5182641A (en) 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
JP3215154B2 (ja) 1992-03-18 2001-10-02 三菱電機株式会社 カメラ遠隔制御装置
US5821984A (en) * 1992-09-09 1998-10-13 Canon Kabushiki Kaisha Communication conference system with storage of conference information including proceedings data
JP3382276B2 (ja) 1993-01-07 2003-03-04 キヤノン株式会社 電子機器及びその制御方法
US5745161A (en) * 1993-08-30 1998-04-28 Canon Kabushiki Kaisha Video conference system
WO1995011566A1 (en) * 1993-10-20 1995-04-27 Videoconferencing Systems, Inc. Adaptive videoconferencing system
JPH07135594A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
JP3942652B2 (ja) 1994-12-05 2007-07-11 株式会社日立製作所 カメラシステム
JPH08181902A (ja) 1994-12-22 1996-07-12 Canon Inc カメラ制御システム
JP3315555B2 (ja) * 1995-04-07 2002-08-19 キヤノン株式会社 カメラ制御装置
US6122005A (en) * 1995-04-14 2000-09-19 Canon Kabushiki Kaisha Camera control system having list of camera names updated in accordance with frequency of use and other ease of use features
US6208379B1 (en) 1996-02-20 2001-03-27 Canon Kabushiki Kaisha Camera display control and monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190696B2 (en) 2019-08-30 2021-11-30 Canon Kabushiki Kaisha Electronic device capable of remotely controlling image capture apparatus and control method for same

Also Published As

Publication number Publication date
US6611285B1 (en) 2003-08-26
US20040027460A1 (en) 2004-02-12
JPH1093855A (ja) 1998-04-10
US7535493B2 (en) 2009-05-19

Similar Documents

Publication Publication Date Title
JP3839881B2 (ja) 撮像制御装置及びその制御方法
US11146726B2 (en) Control device, camera system and program
US6720987B2 (en) Controller for photographing apparatus and photographing system
US6697105B1 (en) Camera control system and method
JP4032404B2 (ja) 操作装置
KR20070032904A (ko) 감시 카메라 시스템, 원격 조작·감시 장치, 제어 방법 및그 제어 프로그램
JPH10341428A (ja) カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体
US6008837A (en) Camera control apparatus and method
EP1428377B1 (en) A control system for allowing an operator to proportionally control a work piece
WO2022004153A1 (ja) 画像情報生成装置、方法およびプログラム
JP4998522B2 (ja) 制御装置、カメラシステム、及びプログラム
JP6826481B2 (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
JP6320068B2 (ja) 情報処理装置、ネットワークカメラ及びシステム
JP6001140B2 (ja) 情報処理装置、情報処理方法
JP5769527B2 (ja) 情報処理装置、情報処理方法
JP4332580B2 (ja) 制御装置および制御方法、並びに監視システム
KR19980080383A (ko) 촬상 장치용 컨트롤러 및 촬상 시스템
JP3902805B2 (ja) カメラ制御装置及びカメラ制御装置の画像表示方法
JPH1153160A (ja) 情報表示方法
JP3419678B2 (ja) カメラ操作装置
JP3315554B2 (ja) カメラ制御装置
JP2019191509A (ja) 映像表示装置、映像表示方法、コンピュータプログラム、記憶媒体
JP2002077880A (ja) 遠隔監視システム
JP2002202994A (ja) 画像検索システム、サーバ、画像検索方法及び記録媒体
JP2004343311A (ja) カメラ制御装置、カメラ制御方法、ネットワークカメラ装置及び監視システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060522

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees