JP2009109508A - 人体検知センサ - Google Patents
人体検知センサ Download PDFInfo
- Publication number
- JP2009109508A JP2009109508A JP2008318484A JP2008318484A JP2009109508A JP 2009109508 A JP2009109508 A JP 2009109508A JP 2008318484 A JP2008318484 A JP 2008318484A JP 2008318484 A JP2008318484 A JP 2008318484A JP 2009109508 A JP2009109508 A JP 2009109508A
- Authority
- JP
- Japan
- Prior art keywords
- area
- distance image
- light
- charges
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Burglar Alarm Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】誤検出を防止して検知エリア内の人を確実に検出できるようにした人体検知センサを提供する。
【解決手段】人体検知センサ1は、対象空間に強度が周期的に変化する強度変調光を照射する発光源5、および、受光光量に応じた電気出力を発生する複数個の感光部が配列されて対象空間を撮像する光検出素子3を具備し、画素値が距離値である距離画像を生成する距離画像センサ部2と、距離画像センサ部2の距離画像をもとに検知エリアにおける人の存否を検出する信号処理回路10とを備える。信号処理回路10は、水平面内を距離画像センサ部2の設置位置を中心とする同心円状の境界で複数のエリアに分割し、各々のエリア毎に各エリアに対応する画素の画素値の上限値を、設置位置から遠いエリアほど上限値が大きくなるように段階的に設定することで、略一定の高さまでの範囲を検知エリアから外している。
【選択図】図1
【解決手段】人体検知センサ1は、対象空間に強度が周期的に変化する強度変調光を照射する発光源5、および、受光光量に応じた電気出力を発生する複数個の感光部が配列されて対象空間を撮像する光検出素子3を具備し、画素値が距離値である距離画像を生成する距離画像センサ部2と、距離画像センサ部2の距離画像をもとに検知エリアにおける人の存否を検出する信号処理回路10とを備える。信号処理回路10は、水平面内を距離画像センサ部2の設置位置を中心とする同心円状の境界で複数のエリアに分割し、各々のエリア毎に各エリアに対応する画素の画素値の上限値を、設置位置から遠いエリアほど上限値が大きくなるように段階的に設定することで、略一定の高さまでの範囲を検知エリアから外している。
【選択図】図1
Description
本発明は、人体検知センサに関するものである。
この種の人体検知センサとしては、例えば建物の無目壁面や天井などに設置されて自動ドアへの進入路において人の存否を検出するために用いられるものが従来より提供されている(例えば特許文献1参照)。
特許第3458738号公報
ところで、自動ドアの開閉用途に用いられる人体検知センサとしては、人やカートなどを検知する必要があるため赤外線反射方式のセンサを用いるものが主流であるが、使用環境によっては自動ドアの前方の通路を通過しているだけの人を検知して、自動ドアが誤動作してしまうという問題がった。また、焦電素子のような赤外線検出素子を用いる人体検知センサでは、静止している人物を検出できないため、自動ドアの開閉用途で用いる場合には挟まれ防止用のセンサを補助的に設置する必要があった。
また人体検知センサでは、検知エリア内を犬や猫などの小動物が移動したり、検知エリア内で急激な温度変化が発生すると、誤検出が発生する可能性があった。
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、誤検出を防止して検知エリア内の人を確実に検出できるようにした人体検知センサを提供することにある。
上記目的を達成するために、請求項1の発明は、対象空間を撮像して距離値を画素値とする距離画像を生成する距離画像センサ部と、距離画像センサ部の設置高さおよび距離画像の各画素毎の視線方向の情報を用いて略一定の高さまでの範囲を検知エリアから外すエリア設定手段と、距離画像センサ部から入力される距離画像をもとに、エリア設定手段により設定された検知エリア内で人の存否を検出する人体検出部とを備え、エリア設定手段は、水平面内を距離画像センサ部の設置位置を中心とする同心円状の境界で複数のエリアに分割し、各々のエリア毎に各エリアに対応する画素の画素値の上限値を、設置位置から遠いエリアほど上限値が大きくなるように段階的に設定することを特徴とする。
請求項1の発明によれば、エリア設定手段が、距離画像センサ部の設置高さおよび距離画像の各画素毎の視線方向の情報を用いて略一定の高さまでの範囲を検知エリアから外しているので、犬や猫などの小動物の背丈よりも高い略一定の高さまでの範囲を検知エリアから外すことによって、小動物を誤検出してしまうのを防止でき、且つ、人体検出部は、距離画像センサ部から入力される距離画像をもとに検知エリア内で人の存否を検出しているので、周囲の急激な温度変化による誤検出を防止できるという効果もある。さらに、エリア設定手段は、水平面内を距離画像センサ部の設置位置を中心とする同心円状の境界で分割した複数のエリア毎に、対応する画素の画素値の上限値を、センサの設置位置から遠いエリアほど上限値が大きくなるように段階的に設定しているので、略一定の高さまでの範囲を検知エリアから外すことができる。
以下に本発明の実施の形態を図面に基づいて説明する。
図1は人体検知センサの一実施形態のブロック図であり、この人体検知センサ1は距離画像センサ部2と、信号処理回路10とを主要な構成として備え、信号処理回路10から負荷12の動作を制御する負荷制御回路11に対して人体の検知信号が出力される。本実施形態の人体検知センサ1は、例えば建物の無目壁や天井や軒天井などに設置されて自動ドアへの進入路や窓などの開口部の周辺において人の存否を検出するためのものであり、図3は建物30の屋外側の無目壁面31に設置されて、下方にある窓32への不審者100の接近を検出する場合の施工例を示している。
先ず本実施形態で用いる距離画像センサ部2の構成を説明する。図1および図2に示すように、距離画像センサ部2は窓32の外側に設定した対象空間33に光を照射する発光源5を備えるとともに、対象空間33からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子3を備えており、対象空間33に存在する対象物(人体100など)までの距離は、発光源5から対象空間33に光が照射されてから対象物での反射光が光検出素子3に入射するまでの時間(「飛行時間」と呼ぶ)によって求められる。ただし、飛行時間は非常に短いから、対象空間33に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求めている。
すなわち、図11(a)に示すように、発光源5から空間に放射する光の強度が曲線イのように変化し、光検出素子3で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物までの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が0度、90度、180度、270度の位相で求めた曲線ロの受光光量がそれぞれA0、A1、A2、A3であるとする。ただし、各位相における受光光量A0、A1、A2、A3は、瞬時値ではなく所定の時間Twで積算した受光光量を用いる。いま、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、対象物までの距離が変化せず)、かつ対象物の反射率にも変化がないものとする。また、発光源5から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子3で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。ここに、Aは振幅、Bは外光成分、ωは角振動数、δは位相である。光検出素子3で受光する受光光量A0、A1、A2、A3を時間Twの積算値ではなく瞬時値とすれば、受光光量A0、A1、A2、A3は、次のように表すことができる。
A0=A・sin(δ)+B
A1=A・sin(π/2+δ)+B
A2=A・sin(π+δ)+B
A3=A・sin(3π/2+δ)+B
ここに、δ=−ψであるから、A0=−A・sin(ψ)+B、A1=A・cos(ψ)+B、A2=A・sin(ψ)+B、A3=−A・cos(ψ)+Bであり、結果的に、各受光光量A0、A1、A2、A3と位相差ψとの関係は、次式のようになる。
A1=A・sin(π/2+δ)+B
A2=A・sin(π+δ)+B
A3=A・sin(3π/2+δ)+B
ここに、δ=−ψであるから、A0=−A・sin(ψ)+B、A1=A・cos(ψ)+B、A2=A・sin(ψ)+B、A3=−A・cos(ψ)+Bであり、結果的に、各受光光量A0、A1、A2、A3と位相差ψとの関係は、次式のようになる。
ψ=tan−1{(A2−A0)/(A1−A3)} …(1)
なお、上記の式(1)では受光光量A0、A1、A2、A3の瞬時値を用いているが、受光光量A0、A1、A2、A3として時間Twにおける積算値を用いても、式(1)より位相差ψを求めることができる。
なお、上記の式(1)では受光光量A0、A1、A2、A3の瞬時値を用いているが、受光光量A0、A1、A2、A3として時間Twにおける積算値を用いても、式(1)より位相差ψを求めることができる。
ところで、対象空間33に照射する光の強度を変調するために、発光源5としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源5は、制御回路部7から出力される所定の変調周波数である変調信号によって駆動され、発光源5から放射される光は変調信号により強度が変調される。制御回路部7では、たとえば20MHzの正弦波で発光源5から放射する光の強度を変調する。なお、発光源5から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
光検出素子3は、規則的に配列された複数個の感光部3aを備える。また、感光部3aへの光の入射経路には受光光学系4が配置される。感光部3aは光検出素子3において対象空間33からの光が受光光学系4を通して入射する部位であって、感光部3aにおいて受光光量に応じた量の電荷を生成する。また、感光部3aは、平面格子の格子点上に配置され、たとえば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
受光光学系4は、光検出素子3から対象空間33を見るときの視線方向と各感光部3aとを対応付ける。すなわち、受光光学系4を通して各感光部3aに光が入射する範囲を、受光光学系4の中心を頂点とし各感光部3aごとに設定された頂角の小さい円錐状の視野内とみなすことができる。したがって、発光源5から放射され対象空間33に存在する対象物で反射された反射光が感光部3aに入射すれば、反射光を受光した感光部3aの位置によって、受光光学系4の光軸を基準方向として対象物の存在する方向を知ることができる。
受光光学系4は一般に感光部3aを配列した平面に光軸を直交させるように配置されるから、受光光学系4の中心を原点とし、感光部3aを配列した平面の垂直方向と水平方向と受光光学系4の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間33に存在する対象物の位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部3aに対応する。なお、受光光学系4は、感光部3aを配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。
本実施形態では、上述のように、対象物までの距離を求めるために、発光源5から対象空間33に照射される光の強度変化に同期する4点のタイミングで受光光量A0、A1、A2、A3を求めている。したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。また、発光源5から対象空間33に照射される光の強度変化の1周期において感光部3aで発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図2に示すように各感光部3aで発生した電荷をそれぞれ集積する複数個の電荷集積部3cを設けるとともに、各感光部3aにおいて利用できる電荷を生成する領域の面積を変化させることにより各感光部3aの感度をそれぞれ調節する複数個の感度制御部3bを設けている。
各感度制御部3bでは、感度制御部3bに対応する感光部3aの感度を上述した4点のうちのいずれかのタイミングで高め、感度が高められた感光部3aでは当該タイミングの受光光量A0、A1、A2、A3に対応する電荷を主として生成するから、当該受光光量A0、A1、A2、A3に対応する電荷を当該感光部3aに対応する電荷集積部3cに集積させることができる。
ところで、感度制御部3bは感光部3aにおいて利用できる電荷を生成する領域の面積(実質的な受光面積)を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部3cに集積された電荷は必ずしも受光光量A0、A1、A2、A3が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部3bにおいて、受光光量A0、A1、A2、A3に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部3aは受光光量に比例する電荷を生成するものとする。この条件では、受光光量A0に対応した電荷を集積する電荷集積部3cには、αA0+β(A1+A2+A3)+βAx(Axは受光光量A0、A1、A2、A3が得られる期間以外の受光光量)に比例する電荷が蓄積され、受光光量A2に対応した電荷を集積する電荷集積部3cには、αA2+β(A0+A1+A3)+βAxに比例する電荷が蓄積される。上述したように、位相差ψを求める際には(A2−A0)を求めており、A2−A0=(α−β)(A2−A0)になり、同様にしてA1−A3=(α−β)(A1−A3)になるから、(A2−A0)/(A1−A3)は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
なお感光部3aと感度制御部3bと電荷集積部3cとを備える光検出素子3は1つの半導体装置として構成され、光検出素子3には電荷集積部3cに集積された電荷を半導体装置の外部に取り出すために電荷取出部3dが設けられる。電荷取出部3dはCCDイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。
上述のように各感光部3aでは受光光量に応じた量の電荷を生成するから、各受光光量A0、A1、A2、A3は対象物の明るさを反映している。つまり、受光光量A0、A1、A2、A3の加算値あるいは平均値は濃淡画像における濃度値に相当する。換言すれば、各感光部3aでの受光光量A0、A1、A2、A3から対象物までの距離を求めるほか、対象物の濃度値も得ることが可能になる。しかも、同じ位置の感光部3aを用いて対象物の距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることができる。
このようにして電荷取出部3dから取り出された電荷はA/D変換部9によりデジタル量に変換された後、DSPよりなる画像生成部8に画像信号として与えられ、画像生成部8において対象空間33内の対象物までの距離が上述の数式を用いて受光光量A0、A1、A2、A3から算出される。すなわち、画像生成部8では各感光部3aに対応した各方向における対象物までの距離が算出され、対象空間33の三次元情報が算出される。この三次元情報を用いると、対象空間33の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。また、画像生成部8では各感光部3aで得られた濃度値に基づいて必要に応じて対象空間33の濃淡画像を生成する。なお本実施形態では制御回路部7と画像生成部8とを1チップのASIC6で構成している。
そして、距離画像センサ部2の画像生成部8で得られた対象空間33の距離画像は信号処理回路10に入力され、信号処理回路10によって対象空間33内で人の存否を検出する処理が行われる。
ここで、信号処理回路10では、各画素の画素値(距離値)の入力範囲を所定の上限値以下に制限することで、センサの検知エリアを所定の上限値以下に制限しており、例えば図3(b)に示すように人体検知センサ1の設置位置P0を中心とする半径Rの球を四角錐形状に切り出したような検知エリア34に制限されている。なお、人体検知センサ1の検知エリアを上記の領域に限定する趣旨のものではなく、各画素の視線方向に応じて画素値の上限値を変化させることで、センサの検知エリアを図3(a)に示すように設置位置P0を頂点とし、斜辺の長さがLとなるような四角錐形状のエリア33に設定しても良い。
さらに、信号処理回路10では、人体検知センサ1の設置高さや各画素毎の視線方向のデータなどを用いて、略一定の高さHまでの範囲(不感帯領域)を検知エリア34から外している(図4参照)。信号処理回路10は、例えば図5(a)に示すように水平面内を人体検知センサ1の設置位置を中心とする同心円状の境界C1、C2、C3で複数のエリアS1,S2,S3に分割し、各エリアS1,S2,S3毎に、各エリアS1,S2,S3に対応する画素の視線方向と人体検知センサ1の設置高さH0とをもとに、地面(床面)から高さHまでの範囲が検知エリアから外れるように各エリアS1,S2,S3に対応する画素の画素値を一定距離L1,L2,L3以下に制限している。この場合、鉛直平面内で各エリアS1,S2,S3を見ると、各々のエリアS1,S2,S3は、人体検知センサ1の設置位置P0を中心とする半径がL1,L2,L3の扇形の領域になるが、各エリアS1,S2,S3は図5(b)に示すように水平面内における幅が略一定値Wとなるように分割しても良いし、図5(c)に示すように鉛直平面内で見たときの中心角θ1,θ2,θ3が略等角度となるように分割しても良い。なお、不感帯領域の高さのばらつきを小さくするには、各エリアS1…を細かく区分することが望ましい。また、各エリアS1,S2,S3を分ける同心円状の境界C1…とは、人体検知センサ1の設置位置を中心とする円形の境界でも良いし、人体検知センサ1の設置位置を1つの定点とする楕円形状状の境界でも良い。
以上のようにして、高さHまでの不感帯領域を外した検知エリア34’が設定されるのであるが、信号処理回路10では検知エリア34’内の距離画像をもとに以下の判定処理を行う。先ず信号処理回路10は、図10(a)(b)に示すように電源投入時や警戒セット時において距離画像センサ部2から入力された距離画像をもとに、検知エリアを上記のエリア34’に制限した画像を作成し、背景画像として登録してあり、この背景画像と、距離画像センサ部2から入力される距離画像を上記の検知エリア34’に制限した画像との差分演算を行い、差分画像と予め登録してあるテンプレート画像とのテンプレートマッチングを行うことによって、検知エリアにおける人の存否を判断する。そして、信号処理回路10は検知エリアにおける人の存在を検知すると、負荷制御回路11に発報信号を送出し、負荷制御回路11により負荷12を制御させる。ここで、自動ドアの制御用に用いる場合には、負荷制御回路11が信号処理回路10からの発報信号に基づいてモータのような負荷12を駆動して、自動ドアを開閉させる。また窓32周辺の警戒用に用いる場合には、負荷制御回路11が信号処理回路10からの発報信号に基づいてスピーカやランプなどの負荷12を駆動することで、音や光で侵入者を検知したこと報知したり侵入者を威嚇するのである。
このように、信号処理回路10では、検知エリア34から略一定の高さHまでの範囲を外したエリア内で人の存否を判定しており、不感帯領域の高さHを犬や猫などの小動物110の背丈よりも高めに設定することで、小動物110の誤検出を防止することができ、また距離画像を用いて人の存否を判定しているので、PIRセンサを用いる場合のように周囲環境の急激な温度変化を誤検出することはなく、静止している人物も検出することが可能である。ここに、信号処理回路10は、略一定の高さまでの範囲を検知エリアから外すエリア設定手段、距離画像をもとに検知エリア内で人の存否を検出する人体検出部、および、距離画像センサ部2から入力された距離画像を背景画像として登録する背景画像登録手段として機能する。
なお、本実施形態では信号処理回路10が、検知エリア34から高さHまでの範囲を外すことで小動物110の誤検出を防止しているが、図6(a)(b)に示すように水平面内において人体検知センサ1の設置位置P0を中心とする半径R1の範囲S10内に検知エリア34を制限しても良く、この範囲S10の外側にいて窓32や自動ドアの近くに来ていない無関係の人まで検出してしまうのを防止できる。
また信号検出回路10は、距離画像センサ部2から入力される距離画像と背景画像との背景差分をとることで、検知エリア34内における人の存否を判定しているが、人の存在を検出した場合にはフレーム間差分を行うことによって検出した人の移動方向を求め、その移動方向が検知エリア内の特定地点(例えば自動ドアや窓などの開口部)に近付く向きであれば、人の検知情報を負荷制御回路11に出力するようにしても良い。一般的に人体検知センサ1は自動ドアあるいは窓などの開口部の上方に設置されているので、人の移動方向が人体検知センサ1の設置位置に近付く向きであれば、人の検知情報を負荷制御回路11に出力するようにしても良い。
ここで、図7は検知エリア内を移動する人物を示しており、信号処理回路10では、上述の判定処理を行うことによって検知エリア内の2人の人100a,100bを検出するとともに、距離画像のフレーム間差分を行うことによって2人の人100a,100bの移動方向D1,D2を検出しており、その移動方向D1,D2が検知エリア内の特定地点(例えば自動ドアや窓などの開口部、すなわち人体検知センサ1の直下の地点)に近付く向きであれば、人の検知情報を負荷制御回路11に出力する。例えば人100aの移動方向D1は、無目壁面31側に向かって無目壁面31と垂直な方向に対して角度αで交差する方向であり、人体検知センサ1の設置位置に向かって近付く方向となっているので、人100aの検知情報が信号処理回路10から負荷制御回路11に出力される。一方、人100bの移動方向D2は無地壁面31と略平行であり、人体検知センサ1の設置位置に近付く向きとはなっていないので、人100bの検知情報は信号処理回路10から負荷制御回路11へ出力されない。したがって、負荷制御回路11には、人の移動方向が検知エリア内の特定地点(例えば自動ドア或いは窓などの開口部)に近付く方向の場合のみ検知信号が入力されるから、自動ドア或いは窓などの開口部に向かってこない無関係な人を検知して自動ドアを開けたり、警報を発したりするのを防止できる。
また信号検出回路10が、上述の処理を行って検知エリア内の人の移動方向を検出した際に、その移動方向が検知エリア内の特定地点(例えば人体検知センサ1の設置位置)から離れる向きであれば、人の検知情報を負荷制御回路11に出力しないようにしても良い。例えば図8(a)(b)に示すように人体検知センサ1が自動ドア35の上側の無目壁面31に設置されて、自動ドア35への進入路における人の存否を検出する場合、人体検知センサ1が進入路内を自動ドア35に近付く向きに移動する人を検知すると、その検知信号に基づいて負荷制御回路11が自動ドア35を開けるのであるが、自動ドア35から外側に出ていった人が自動ドア35への進入路を人体検知センサ1から離れる向きに移動していると、信号検出回路10から負荷制御回路11へ人100の検知信号が出力されないので、自動ドア35から離れていく人を検知した信号によって自動ドア35が開けられるのを防止できる。
また更に信号検出回路10が、検知エリア34内で人の存在を検知した場合に、検知した人の高さ情報を負荷制御回路11に出力するようにしても良い。信号検出回路10では、検知エリア34の距離画像をもとに人の存否を判断しているので、図9に示すように人体検知センサ1の設置高さH0の情報と、人100a,100bに対応する画素の距離情報L10,L11およびその視線方向D4,D5の情報とを用いれば、検出した人100a,100bの高さ情報を求めることができる。この時、信号処理回路10は、人の身長を複数の閾値レベルh1〜h5(H<h1<h2<h3<h4<h5)で区分し、検出した人物100a,100bの身長がどの区分に含まれるかを示す高さ情報を検知信号と共に負荷制御回路11へ出力しており、例えば負荷制御回路11が自動ドア35の開閉を制御する場合は、検出された人物100a,100bの高さ情報に基づいて、高さ情報が低いほど自動ドアの開閉速度を遅くするように負荷12を制御しているので、身長の低い子供の場合には自動ドアの開閉速度を遅くすることができ、自動ドアの安全性が向上するという効果がある。
また本実施形態では、電源投入時や警戒セット時において信号処理回路10が、距離画像センサ部2から入力された距離画像をもとに背景画像を作成して、新たな背景画像を登録しているので、電源投入時や警戒セット時のタイミングで背景画像を更新することで、鉢植え36が置かれるなどして対象空間内の環境が変化した場合でもこの環境変化を誤検出してしまうのを防止できる。
次に本実施形態に用いる光検出素子3の具体的構造例を図12〜図15に基づいて説明する。図12に示す光検出素子3は、複数個(たとえば、100×100個)の感光部3aをマトリクス状に配列したものであって、たとえば1枚の半導体基板上に形成される。感光部3aのうち垂直方向の各列では一体に連続する半導体層21を共用するとともに半導体層21を垂直方向への電荷(本実施形態では、電子を用いる)の転送経路として用い、さらに各列の半導体層21の一端から電荷を受け取って水平方向に電荷を転送するCCDである水平転送部Thを半導体基板に設ける構成を採用することができる。
すなわち、図13に示すように、半導体層21が感光部3aと電荷の転送経路とに兼用された構造であって、フレーム・トランスファ(FT)方式のCCDイメージセンサと類似した構造になる。また、FT方式のCCDイメージセンサと同様に、感光部3aを配列した撮像領域Daに隣接して遮光された蓄積領域Dbを設けてあり、蓄積領域Dbに蓄積した電荷を水平転送部Thに転送する。撮像領域Daから蓄積領域Dbへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Thでは1水平期間に1水平ライン分の電荷を転送する。図2に示した電荷取出部3dは、半導体層21における垂直方向への電荷の転送経路としての機能とともに水平転送部Thを含む機能を表している。ただし、電荷集積部3cは蓄積領域Dbを意味するのではなく、撮像領域Daにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Dbは電荷取出部3dに含まれる。
半導体層21は不純物が添加してあり、半導体層21の主表面は酸化膜からなる絶縁膜22により覆われ、半導体層21に絶縁膜22を介して複数個の制御電極23を配置している。この光検出素子3はMIS素子として知られた構造であるが、1個の光検出素子3として機能する領域に複数個(図示例では5個)の制御電極23を備える点が通常のMIS素子とは異なる。絶縁膜22および制御電極23は発光源5から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜22を通して半導体層21に光が入射すると、半導体層21の内部に電荷が生成される。図示例の半導体層21の導電形はn形であり、光の照射により生成される電荷として電子eを利用する。図12は1個の感光部3aに対応する領域のみを示したものであり、半導体基板(図示せず)には上述したように図12の構造を持つ領域が複数個配列されるとともに電荷取出部3dとなる構造が設けられる。電荷取出部3dとして設ける垂直転送部は、図12の左右方向に電荷を転送することを想定しているが、図12の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極23の左右方向の幅寸法を1μm程度に設定するのが望ましい。
この構造の光検出素子3では、制御電極23に正の制御電圧+Vを印加すると、半導体層21には制御電極23に対応する部位に電子eを集積するポテンシャル井戸(空乏層)24が形成される。つまり、半導体層21にポテンシャル井戸24を形成するように制御電極23に制御電圧を印加した状態で光が半導体層21に照射されると、ポテンシャル井戸24の近傍で生成された電子eの一部はポテンシャル井戸24に捕獲されてポテンシャル井戸24に集積され、残りの電子eは半導体層21の深部での再結合により消滅する。また、ポテンシャル井戸24から離れた場所で生成された電子eも半導体層21の深部での再結合により消滅する。
ポテンシャル井戸24は制御電圧を印加した制御電極23に対応する部位に形成されるから、制御電圧を印加する制御電極23の個数を変化させることによって、半導体層21の主表面に沿ったポテンシャル井戸24の面積(言い換えると、受光面において利用できる電荷を生成する領域の面積)を変化させることができる。つまり、制御電圧を印加する制御電極23の個数を変化させることは感度制御部3bにおける感度の調節を意味する。たとえば、図12(a)のように3個の制御電極23に制御電圧+Vを印加する場合と、同図(b)のように1個の制御電極23に制御電圧+Vを印加する場合とでは、ポテンシャル井戸24が受光面に占める面積が変化するのであって、同図(a)の状態のほうがポテンシャル井戸24の面積が大きいから、同図(b)の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部3aの感度を高めたことになる。このように、感光部3aおよび感度制御部3bは半導体層21と絶縁膜22と制御電極23とにより構成されていると言える。ポテンシャル井戸24は光照射により生成された電荷を保持するから電荷集積部3cとして機能する。
ポテンシャル井戸24から電荷を取り出すには、FT方式のCCDと同様の技術を採用すればよく、ポテンシャル井戸24に電子eが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極23に印加することによってポテンシャル井戸24に集積された電子eを一方向(たとえば、図の右方向)に転送することができる。つまり、半導体層21をCCDの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図13に示した水平転送部Thを転送され、半導体基板に設けた図示しない電極から光検出素子3の外部に取り出される。要するに、制御電極23への制御電圧の印加パターンを制御することにより、各感光部3aごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。
本実施形態における感度制御部3bは、利用できる電荷を生成する面積を大小2段階に切り換えることにより感光部3aの感度を高低2段階に切り換えるのであって、受光光量A0、A1、A2、A3のいずれかに対応する電荷を感光部3aで生成しようとする期間にのみ高感度とし(電荷を生成する面積を大きくし)、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源5を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸24に電荷を集積した後に電荷取出部3dを通して光検出素子3の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の1周期内では感光部3aが利用可能な電荷を生成する期間が短く(たとえば、変調信号の周波数を20MHzとすれば50nsの4分の1以下)、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷(発光源5から照射された光に対応する電荷)と雑音電荷(外光成分および光検出素子3の内部で発生するショットノイズに対応する電荷)との比を大きくとることができ、大きなSN比が得られる。
ところで、位相差ψを求めるのに必要な4種類の受光光量A0、A1、A2、A3に対応する電荷を1個の感光部3aで生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量A0、A1、A2、A3に対応する電荷を4個の感光部3aでそれぞれ生成するとすれば、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差は小さくなるが、4種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、本実施形態では、2個の感光部3aを用いることにより、変調信号の1周期内で受光光量A0、A1、A2、A3に対応する電荷を2種類ずつ生成する構成を採用している。つまり、2個の感光部3aを組にして用い、組になる2個の感光部3aに同じ視線方向からの光が入射するようにしている。
上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物についても距離の検出精度を比較的高く保つことができる。なお、本実施形態の構成では、1個の感光部3aで4種類の受光光量A0、A1、A2、A3に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部3aの小型化や受光光学系4の設計によって向上させることが可能である。
この光検出素子3の動作を以下に具体的に説明する。図12に示した例では、1個の感光部3aについて5個の制御電極23を設けた例を示しているが、両側の2個の制御電極23は、感光部3aで電荷(電子e)を生成している間に隣接する感光部3aに電荷が流出するのを防止するための障壁を形成するものであって、2個の感光部3aを組にして用いる場合には隣接する感光部3aのポテンシャル井戸24の間には、いずれかの感光部3aで障壁が形成されるから、各感光部3aには3個ずつの制御電極23を設けるだけで足りることになる。この構成によって、感光部3aの1個当たりの占有面積が小さくなり、2個の感光部3aを組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
ここでは、図14に示すように、組にした2個の感光部3aにそれぞれ設けた3個ずつの制御電極23を区別するために各制御電極23に(1)〜(6)の数字を付す。(1)〜(6)の数字を付与した制御電極23を有する2個の感光部3aは、1つの視線方向に対応しておりイメージセンサにおける画素を構成する。なお、1画素ずつの感光部3aに対応付けて、それぞれオーバフロードレインを設けるのが望ましい。
図14(a)(b)はそれぞれ制御電極23に異なる印加パターンで制御電圧+Vを印加した状態(半導体基板に設けた図示しない基板電極と制御電極23との間に制御電圧+Vを印加した状態)を示しており、ポテンシャル井戸24の形状からわかるように、同図(a)では1画素となる2個の感光部3aのうち制御電極(1)〜(3)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)のうちの中央の制御電極(5)に正の制御電圧+Vを印加している。また、同(b)では制御電極(1)〜(3)のうちの中央の制御電極(2)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)に正の制御電圧+Vを印加している。つまり、1画素を構成する2個の感光部3aに印加する制御電圧+Vの印加パターンを交互に入れ換えている。2個の感光部3aに印加する制御電圧+Vの印加パターンを入れ換えるタイミングは、変調信号における逆位相の(位相が180度異なる)タイミングになる。なお、各感光部3aに設けた3個の制御電極23に同時に制御電圧+Vを印加している期間以外は、各感光部3aに設けた中央部の1個の制御電極23(つまり、制御電極(2)(5))にのみ制御電圧+Vを印加し、他の制御電極23は0Vに保つ状態とする。
たとえば、1画素を構成する2個の感光部3aにおいて受光光量A0、A2に対応する電荷を交互に生成する場合は、図11に示すように、一方の感光部3aで受光光量A0に対応する電荷を生成するために3個の制御電極(1)〜(3)に制御電圧+Vを印加している間に、他方の感光部3aでは受光光量A2に対応する電荷を保持するために1個の制御電極(5)にのみ制御電圧+Vを印加する。同様にして、一方の感光部3aで受光光量A2に対応する電荷を生成するために3個の制御電極(4)〜(6)に制御電圧+Vを印加している間には、他方の感光部3aでは受光光量A0に対応する電荷を保持するために1個の制御電極(2)にのみ制御電圧+Vを印加する。また、受光光量A0、A2に対応する電荷を生成する期間以外では制御電極(2)(5)にのみ制御電圧+Vを印加する。図3(b)(c)に受光光量A0、A2に対応する電荷を蓄積する際の各制御電極(1)〜(6)に制御電圧+Vの印加のタイミングを示す。図において斜線部が制御電圧+Vを印加している状態を示し、空白部が制御電極(1)〜(6)に電圧を印加していない状態を示している。
1画素を構成する2個の感光部3aにおいて受光光量A1、A3に対応する電荷を生成する場合も同様であって、受光光量A0、A2に対応する電荷を生成する場合とは制御電極23に制御電圧+Vを印加するタイミングが、変調信号の位相における90度異なる点が相違するだけである。また、受光光量A0、A1に対応する電荷を生成する期間と、受光光量A1、A3に対応する電荷を生成する期間との間で撮像領域から蓄積領域に電荷を転送する。つまり、受光光量A0に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A2に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A0、A2に対応する電荷を外部に取り出す。次に、受光光量A1に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A3に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A1、A3に対応する電荷を外部に取り出す。このような動作を繰り返すことによって、4区間の受光光量A0、A1、A2、A3に対応する電荷を2回の読出動作で光検出素子3の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。なお、たとえば30フレーム毎秒の画像を得るためには、受光光量A0、A1に対応する電荷を生成する期間と受光光量A1、A3に対応する電荷を生成する期間とは60分の1秒よりも短い期間とする。
上述の例では3個の制御電極23((1)〜(3)または(4)〜(6))に同時に印加する制御電圧と、1個の制御電極23((2)または(5))にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸24の面積は変化するもののポテンシャル井戸24の深さは等しくなっている。この場合、制御電圧を印加していない制御電極23((1)(3)または(4)(6))において生成された電荷は、同程度の確率でポテンシャル井戸24に流れ込む。つまり、感光部3aを構成する3個の制御電極23のうちの1個にのみ制御電圧+Vを印加することによって電荷集積部3cとして機能している領域と、3個の制御電極23のすべてに制御電圧+Vを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸24に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。
そこで、図15のように、組になる2個の感光部3aに設けた各3個の制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧が、1個の制御電極(2)または(5)にのみ印加する制御電圧よりも低くなるように設定し、小面積のポテンシャル井戸24の深さを大面積のポテンシャル井戸24の深さよりも小さく設定するのが望ましい。このように、主として電荷(電子e)を生成しているポテンシャル井戸24を、主として電荷の保持を行っているポテンシャル井戸24よりも深くすることにより、制御電圧を印加していない制御電極(1)(3)または(4)(6)に対応する部位で生じた電荷は、深いほうのポテンシャル井戸24に流れ込みやすくなる。つまり、制御電極23に一定の制御電圧+Vを印加する場合に比較すると、電荷を保持するポテンシャル井戸24に流れ込む雑音成分を低減することができる。
なお、上述した距離画像センサの構成例では、受光光量A0、A1、A2、A3に対応する4期間を変調信号の1周期内で位相の間隔が90度ずつになるように設定しているが、変調信号に対する位相が既知であれば4期間は90度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、4期間の受光光量に対応した電荷を取り出す周期は、対象物の反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の1周期内で4個の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源5から放射される光の波長のみを透過させる光学フィルタを感光部3aの前に配置するのが望ましい。図14、図15を用いて説明した構成例では、感光部3aごとに3個ずつの制御電極23を対応付けているが、制御電極23を4個以上設けるようにしてもよい。また、上述の例ではFT方式のCCDイメージセンサと同様の構成を採用しているが、インターライン・トランスファ(IT)方式、フレーム・インターライン・トランスファ(FIT)方式と同様の構成を採用することも可能である。
1 人体検知センサ
2 距離画像センサ部
3 光検出素子
5 発光源
10 信号処理回路
2 距離画像センサ部
3 光検出素子
5 発光源
10 信号処理回路
Claims (1)
- 対象空間を撮像して距離値を画素値とする距離画像を生成する距離画像センサ部と、前記距離画像センサ部の設置高さおよび前記距離画像の各画素毎の視線方向の情報を用いて略一定の高さまでの範囲を検知エリアから外すエリア設定手段と、前記距離画像センサ部から入力される距離画像をもとに、前記エリア設定手段により設定された検知エリア内で人の存否を検出する人体検出部とを備え、前記エリア設定手段は、水平面内を前記距離画像センサ部の設置位置を中心とする同心円状の境界で複数のエリアに分割し、各々のエリア毎に各エリアに対応する画素の画素値の上限値を、前記設置位置から遠いエリアほど上限値が大きくなるように段階的に設定することを特徴とする人体検知センサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008318484A JP4650565B2 (ja) | 2008-12-15 | 2008-12-15 | 人体検知センサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008318484A JP4650565B2 (ja) | 2008-12-15 | 2008-12-15 | 人体検知センサ |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004224484A Division JP4259419B2 (ja) | 2004-07-30 | 2004-07-30 | 人体検知センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009109508A true JP2009109508A (ja) | 2009-05-21 |
JP4650565B2 JP4650565B2 (ja) | 2011-03-16 |
Family
ID=40778102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008318484A Expired - Fee Related JP4650565B2 (ja) | 2008-12-15 | 2008-12-15 | 人体検知センサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4650565B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011016421A (ja) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法 |
JP2011048594A (ja) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | 侵入者検知装置 |
JP2011133271A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Electric Works Co Ltd | 物体検知装置 |
JP2012093104A (ja) * | 2010-10-25 | 2012-05-17 | Yaskawa Electric Corp | 形状計測装置、ロボットシステムおよび形状計測方法 |
JP2013072863A (ja) * | 2011-09-29 | 2013-04-22 | Optex Co Ltd | 能動型物体検出装置 |
WO2017201638A1 (en) * | 2016-05-23 | 2017-11-30 | Intel Corporation | Human detection in high density crowds |
JP2019045199A (ja) * | 2017-08-30 | 2019-03-22 | コニカミノルタ株式会社 | 物体検出システム及び物体検出プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0346590A (ja) * | 1989-07-15 | 1991-02-27 | Matsushita Electric Works Ltd | 人体検知器 |
JPH10105689A (ja) * | 1996-09-27 | 1998-04-24 | Oki Electric Ind Co Ltd | 移動体挙動検知装置 |
JP2001094969A (ja) * | 1999-09-21 | 2001-04-06 | Toshiba Corp | 映像処理装置 |
JP2001264163A (ja) * | 2000-03-14 | 2001-09-26 | Sanyo Electric Co Ltd | 赤外線検知センサ |
JP2002049973A (ja) * | 2000-08-03 | 2002-02-15 | Noritz Corp | 部屋監視装置 |
JP2002138755A (ja) * | 2000-11-06 | 2002-05-17 | Matsushita Electric Works Ltd | 自動引戸用センサユニットの構造 |
JP2002250607A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
JP2003219399A (ja) * | 2002-01-21 | 2003-07-31 | Toenec Corp | 監視対象物を識別する監視装置 |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
-
2008
- 2008-12-15 JP JP2008318484A patent/JP4650565B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0346590A (ja) * | 1989-07-15 | 1991-02-27 | Matsushita Electric Works Ltd | 人体検知器 |
JPH10105689A (ja) * | 1996-09-27 | 1998-04-24 | Oki Electric Ind Co Ltd | 移動体挙動検知装置 |
JP2001094969A (ja) * | 1999-09-21 | 2001-04-06 | Toshiba Corp | 映像処理装置 |
JP2001264163A (ja) * | 2000-03-14 | 2001-09-26 | Sanyo Electric Co Ltd | 赤外線検知センサ |
JP2002049973A (ja) * | 2000-08-03 | 2002-02-15 | Noritz Corp | 部屋監視装置 |
JP2002138755A (ja) * | 2000-11-06 | 2002-05-17 | Matsushita Electric Works Ltd | 自動引戸用センサユニットの構造 |
JP2002250607A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
JP2003219399A (ja) * | 2002-01-21 | 2003-07-31 | Toenec Corp | 監視対象物を識別する監視装置 |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011016421A (ja) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法 |
JP2011048594A (ja) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | 侵入者検知装置 |
JP2011133271A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Electric Works Co Ltd | 物体検知装置 |
JP2012093104A (ja) * | 2010-10-25 | 2012-05-17 | Yaskawa Electric Corp | 形状計測装置、ロボットシステムおよび形状計測方法 |
JP2013072863A (ja) * | 2011-09-29 | 2013-04-22 | Optex Co Ltd | 能動型物体検出装置 |
WO2017201638A1 (en) * | 2016-05-23 | 2017-11-30 | Intel Corporation | Human detection in high density crowds |
US10402633B2 (en) | 2016-05-23 | 2019-09-03 | Intel Corporation | Human detection in high density crowds |
JP2019045199A (ja) * | 2017-08-30 | 2019-03-22 | コニカミノルタ株式会社 | 物体検出システム及び物体検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4650565B2 (ja) | 2011-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4259419B2 (ja) | 人体検知センサ | |
JP4650565B2 (ja) | 人体検知センサ | |
JP4692159B2 (ja) | ジェスチャースイッチ | |
US10656275B1 (en) | Remote sensing for detection and ranging of objects | |
US11500076B2 (en) | Dynamically allocating detection elements to pixels in LIDAR systems | |
US10445896B1 (en) | Systems and methods for determining object range | |
US11422256B2 (en) | Distance measurement system and solid-state imaging sensor used therefor | |
KR102457029B1 (ko) | Lidar 시스템 및 방법 | |
JP5668207B2 (ja) | 物体検出装置、測距装置、ドア制御装置、及び自動ドア装置 | |
JP4466260B2 (ja) | 画像処理装置 | |
US7834305B2 (en) | Image processing device | |
JP4363296B2 (ja) | 距離画像センサ | |
CN104094594A (zh) | 3d缩放成像器 | |
JP2006172210A (ja) | 車両用距離画像センサおよびそれを用いる障害物監視装置 | |
JP4442357B2 (ja) | 侵入警戒センサ | |
JP4543904B2 (ja) | 距離画像センサ | |
JP4259418B2 (ja) | 画像処理装置 | |
JP4534670B2 (ja) | カメラ装置およびそれを用いたテレビインターホン用子機 | |
JP4961035B2 (ja) | ジェスチャースイッチ | |
JP4543830B2 (ja) | 異常検知装置 | |
JP2006048156A (ja) | 画像処理装置 | |
JP4353086B2 (ja) | 安全確認装置 | |
JP2004325202A (ja) | レーザレーダ装置 | |
JP2006053791A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101129 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |