JP4817628B2 - Electronic apparatus, video camera apparatus, and control method thereof - Google Patents
Electronic apparatus, video camera apparatus, and control method thereof Download PDFInfo
- Publication number
- JP4817628B2 JP4817628B2 JP2004265928A JP2004265928A JP4817628B2 JP 4817628 B2 JP4817628 B2 JP 4817628B2 JP 2004265928 A JP2004265928 A JP 2004265928A JP 2004265928 A JP2004265928 A JP 2004265928A JP 4817628 B2 JP4817628 B2 JP 4817628B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic data
- noise
- threshold
- weighting coefficient
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
- Control Of Amplification And Gain Control (AREA)
Description
本発明は、マイクロホン等の音波収集手段より得た音響データを処理する技術に関するものである。 The present invention relates to a technique for processing acoustic data obtained from sound wave collection means such as a microphone.
この種の装置としては、例えばカメラ一体型ビデオカメラが知られている。このような装置の場合、記録媒体として磁気テープを用い、その記録媒体への記録密度を上げるために回転ドラムを用いたヘリカルスキャン方式のメカニズムを用いている。 As this type of apparatus, for example, a camera-integrated video camera is known. In such an apparatus, a magnetic tape is used as a recording medium, and a helical scan mechanism using a rotating drum is used to increase the recording density on the recording medium.
しかしながら、このメカニズムでは、磁気テープと回転記録ヘッドが接触した時と離れた時とにヘッド叩きと呼ばれるノイズが発生する。また、回転ドラムを駆動するために磁気モータのコイルへの通電をスイッチングして行うため、その電磁音も発生する。 However, with this mechanism, noise called head hitting occurs when the magnetic tape and the rotary recording head come into contact with each other and away from each other. Further, since the energization to the coil of the magnetic motor is switched to drive the rotating drum, the electromagnetic noise is also generated.
これらのノイズが内蔵しているマイクロフォンに混入し、本来収録すべく音声と共に記録されてしまい、耳障りなものとなっていた。かかる点を解決するものとしては、あらがじめマイクロフォンに混入するノイズスペクトラムを調べ、その帯域の成分をノイズの大きさに合わせて引き算することによるノイズ低減技術が知られている(特許文献1)。 These noises were mixed in the built-in microphone and recorded with the sound to be originally recorded, which was annoying. As a solution to this problem, a noise reduction technique is known in which a noise spectrum mixed in a microphone is examined in advance, and a component in the band is subtracted according to the magnitude of the noise (Patent Document 1). ).
この提案によれば、ノイズスペクトラムの成分を抽出する手段を設けて、本来記録するべき音声を遮断した状態でノイズのレベルを測り、混入したノイズと同じ大きさになるような制御をすることによって、ノイズのスペクトラムのレベル分だけを低減し、音声が入った時にもその音声に影響を与えることが少なくすることが可能である。
しかしながら、かかる従来の方法では、あらかじめノイズになる成分を調べる必要があり、ノイズのスペクトラムの成分の数だけノイズを抽出する手段、例えば、バンドパスフィルタを準備する必要がある。回避策としては、スペクトラムが近い周波数同士をまとめて抽出することによって、バンドパスフィルタの数を減らすことが考えられる。例えば、ノイズスペクトラムが1kHzと2kHzの2つだった場合に、中心周波数を1.5kHzにし、帯域幅を1kHzとすると、ノイズ成分の1kHzと2kHzは抜き取ることが出来る。しかし、その場合に1kHzと2kHzのレベルが違っている場合は、2つの平均値をとるかどちらかに合わせることになり、ノイズ成分と同じ大きさにならず、除去効果が薄れてしまう。さらに、収録する音声信号に1.5kHz成分がある場合には、その成分も減衰してしまい、音質に影響を与えてしまう。また、経時変化によって、そのレベルの変化が合った場合は、キャンセルするためのレベルの再調整が必要になったり、ノイズのスペクトラムの変化が生じた場合は、その対応が困難になるといった欠点がある。
However, in this conventional method, it is necessary to examine in advance the component that becomes noise, and it is necessary to prepare means for extracting noise, for example, a band-pass filter, by the number of noise spectrum components. As a workaround, it is conceivable to reduce the number of band-pass filters by extracting frequencies having similar spectra together. For example, when there are two noise spectra, 1 kHz and 2 kHz, if the center frequency is 1.5 kHz and the bandwidth is 1 kHz, the
本発明は、予め判明している装置が発生する機械的ノイズを除去すると共に、その機械的ノイズの計時変化にも追従可能な技術を提供しようとするものである。 The present invention aims to provide a technique capable of removing mechanical noise generated by a previously known device and following a change in time of the mechanical noise.
この課題を解決するため、例えば本発明の電子機器は以下の構成を備える。すなわち、
既知の周期の騒音を含む音響データから前記騒音の影響を低減させる電子機器であって、
前記音響データの信号を順次取得する取得手段と、
前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値を設定する閾値設定手段と、
前記取得手段によって順次取得される前記音響データの信号と、前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値とを比較する比較手段と、
前記比較手段の比較結果において、前記音響データが前記閾値より大きい場合には重みK1、前記音響データが前記閾値以下の場合には前記重みK1よりも大きい重みK2を用いて、前記音響データを前記周期における各位相に対して前記周期毎に平均する平均手段と、
前記平均手段で得られた平均値を前記位相毎に前記音響データから減算する減算手段と、を有する。
In order to solve this problem, for example, an electronic apparatus of the present invention has the following configuration. That is,
An electronic device that reduces the influence of noise from acoustic data including noise of a known period,
Acquisition means for sequentially acquiring the signal before Symbol acoustic data,
Threshold setting means for setting a threshold corresponding to the volume of sound of the acoustic data when the sound is silent only;
A comparison means for comparing the signal of the acoustic data sequentially acquired by the acquisition means with a threshold value corresponding to the sound level of the acoustic data when the acoustic data is in a silent state of only the noise;
In the comparison result of the comparison means , when the acoustic data is larger than the threshold, the weight K1, and when the acoustic data is equal to or smaller than the threshold, the weight K2 is larger than the weight K1, An averaging means for averaging for each phase in the period for each period;
Subtracting means for subtracting the average value obtained by the averaging means from the acoustic data for each phase.
本発明によれば、装置の発生する周期的な騒音が、マイクに混入した場合であっても、騒音波形を抽出し、低減することが可能となると共に、経時変化に対しても追従することが可能になる。また、処理が開始されてから、その騒音波形を抽出するまでに要する時間を短くすることが可能になる。 According to the present invention, even when periodic noise generated by the apparatus is mixed in a microphone, it is possible to extract and reduce a noise waveform and to follow a change with time. Is possible. In addition, it is possible to shorten the time required from the start of processing until the noise waveform is extracted.
以下、添付図面に従って本発明に係る第1の実施形態を詳細に説明する。 Hereinafter, a first embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
図1は、実施形態が適用するデジタルビデオカメラ装置における音声記録再生部分(ヘリカルスキャン型の記録再生部分)の主要構成を示す図である。なお、ビデオカメラであるわけであるから、CCD撮像素子、フォーカシングレンズ、及びそのレンズの駆動を行う光学部(撮像部)も備えるが、この光学部における駆動制御は公知のものであるものとし、尚且つ、それらは本願発明には直接には関係しないので、その構成については省略する。 FIG. 1 is a diagram illustrating a main configuration of an audio recording / playback portion (helical scan type recording / playback portion) in a digital video camera apparatus to which the embodiment is applied. Since it is a video camera, it also includes a CCD imaging device, a focusing lens, and an optical unit (imaging unit) that drives the lens, and drive control in this optical unit is known. In addition, since they are not directly related to the present invention, the configuration thereof is omitted.
図中、1は記録媒体の磁気テープ(磁気テープカセットは不図示)、2は回転ドラム、3、4は回転ドラムに装着され音声や映像データを記録する磁気ヘッド、5はデータ計算処理部5a(詳細後述)を有する制御用マイコン、6、7はそれぞれL、Rチャネル用のマイクロフォン、8,9はマイクアンプ、10はAGC(自動レベルコンロール回路)である。11、12はA/Dコンバータであって、正負の符号つきの16ビットデータとして出力するものとする。
In the figure, 1 is a magnetic tape of a recording medium (a magnetic tape cassette is not shown), 2 is a rotating drum, 3 and 4 are magnetic heads mounted on the rotating drum to record audio and video data, and 5 is a data
この構成において、マイク6、7にて電気信号に変換された音声信号は、マイクアンプ8、9でそれぞれ増幅されて、自動レベルコントロール回路10で適切な大きさに増幅され、A/Dコンバーター11、12でデジタルデータに変換される。
In this configuration, the audio signals converted into electric signals by the microphones 6 and 7 are amplified by the
実施形態におけるデータ計算処理部5aは、図8で示すように、L、Rチャネルそれぞれに独立した回路構成5a−1と5a−2を有する。
As shown in FIG. 8, the data
図示において、13,14はメモリ、15,16、21、22は加算器、17,18、19,20は重み付け係数乗算器、23,24は比較器、25,26は閾値を格納するレジスタである。LチャネルとRチャネルの回路構成は同じであるので、ここではLチャネルの構成とその動作について簡単に説明する。 In the figure, 13, 14 are memories, 15, 16, 21, and 22 are adders, 17, 18, 19, and 20 are weighting coefficient multipliers, 23 and 24 are comparators, and 25 and 26 are registers that store thresholds. is there. Since the circuit configurations of the L channel and the R channel are the same, the configuration and operation of the L channel will be briefly described here.
実施形態におけるレジスタには、2つの閾値Th1、Th2(Th1<Th2)を記憶する。比較器23は音響データである入力信号(input)が、この閾値Th1とTh2の範囲内にあるか、この範囲を超えたかの判定結果を重み付け係数乗算器17、19に出力する。重み付け乗算器17は、入力信号がTh1〜Th2の範囲内にあると判定した場合には、入力信号にK0(K0<1)を乗算し、その結果を加算器21に出力する。また、入力信号がT1〜T2の範囲を超えている場合には、入力信号にK1(K1<K0<1)を乗算し、その結果を加算器21に出力する。
Two threshold values Th1 and Th2 (Th1 <Th2) are stored in the register in the embodiment. The
一方、重み付け係数乗算器19は、入力信号がTh1〜Th2の範囲内にある場合には、メモリ13からのデータaveに「1−K0」を乗算し、その結果を加算器21に出力する。また、入力信号がTh1〜Th2の範囲を超えている場合には、入力信号に「1−K1」を乗算し、その結果を加算器21に出力する。
On the other hand, when the input signal is within the range of Th1 to Th2, the
そしで、メモリ13は、加算器21で加算された結果を格納することで、自身の情報を更新することになる。
Then, the
図1の構成において、磁気テープ1には、マイコン5で回転制御した回転ドラム2に180度の位置関係で取り付けられた磁気ヘッド3、4を通して、ヘリカルスキャンされ、記録信号の記録並びに再生が行われる。また、回転ドラム2は回転の位相を示す基準信号、すなわちヘッドスイッチングパルスを制御マイコン5に出力し、磁気ヘッド3、4の磁気テープ1との接触状態を知らせて、記録信号を磁気ヘッド3、4に流すタイミングを制御する。この時、磁気ヘッド3、4が回転ドラム2に巻き付いている磁気テープ1と接触、或いは離脱する時にノイズ(機械的振動)が発生し、前述した音声信号に混じって、マイク6、7に入ってしまう。
In the configuration of FIG. 1, the
図2に前述した基準信号、磁気ヘッド3、4と磁気テープ1の接触タイミング、ノイズの発生の時間的関係を示す。
FIG. 2 shows the reference signal, the contact timing between the
同図において、ヘッドスイッチングパルスがHighレベルの時に磁気ヘッド3に記録信号が印加され、ヘッドスイッチングパルスがLowレベルの時に磁気ヘッド4に記録信号が印加される。このヘッドスイッチングパルスの一周期が回転ドラム2の一回転を表している。各々の磁気ヘッドは、記録信号が印加される以前に磁気テープ1に接触して安定状態になっている必要があるため、記録信号の切り替えより少し前に接触し、記録信号の印加が終わってからも微小期間接触するようになっている。これを示したのが、図中の磁気ヘッド3接触状態と磁気ヘッド4接触状態で、Highレベルが接触、Lowレベルが非接触を示している。その下方に、この時に発生するノイズ発生のタイミングを示す。
In the figure, a recording signal is applied to the
さらに、この現象をノイズの波形で示したのが、図3で、図中、最上部に示したヘッドスイッチングパルス一周期の時間Tに対して、連続した時間を、T1,T2,T3、…,Tnと一周期の時間毎に区切って、並べたものである。同図から分かるように一回転毎に発生するノイズは、ほぼ毎回同じであることが判明している。回転ヘッドと磁気テープの動作の関係は、ほとんど変化する要素が無いためである。最下部にその平均Aveを取った波形を示す。 Further, this phenomenon is shown as a noise waveform in FIG. 3, and the continuous time is represented by T1, T2, T3,... With respect to the time T of one cycle of the head switching pulse shown in the uppermost part of FIG. , Tn and divided for each period of time. As can be seen from the figure, it has been found that the noise generated every rotation is almost the same every time. This is because the relationship between the operation of the rotary head and the magnetic tape has almost no change. The waveform which took the average Ave at the bottom is shown.
ここでヘッドスイッチングパルス一周期T間でサンプリングしたデータをフレームと呼ぶ。すなわち、上記のT1、T2、T3…は、図5のフレームF1、F2、F3で表わされる。平均値Aveを得るには、図6に示すように各フレームのサンプリングデータを記憶するメモリを用意すれば良い。すなわち、150フレームの平均値を算出するのであれば、150個分のメモリを必要とする。 Here, data sampled during one period T of the head switching pulse is called a frame. That is, the above T1, T2, T3... Are represented by frames F1, F2, F3 in FIG. In order to obtain the average value Ave, a memory for storing the sampling data of each frame may be prepared as shown in FIG. That is, if the average value of 150 frames is calculated, 150 memories are required.
ここで、回転ドラム2の1回転に要する時間Tを1/150秒とし、マイクロホン6によるサンプリング周波数を48KHzとすると、1フレームは48000/150=320個のデータで構成されることになる。ここで、フレームFn中の各サンプリングデータをtm(m=0、1、…319)と表現すると、各フレームの同位相tmの平均値Ave(tm)は次のように算出すればよい。
Here, if the time T required for one rotation of the
Ave(tm)=ΣFn(tm)/150
以上のようにして、各位相位置におけるAve(0)乃至Ave(319)が算出することが可能になる。
Ave (tm) = ΣFn (tm) / 150
As described above, Ave (0) to Ave (319) at each phase position can be calculated.
さて、上記のようにして平均値を算出する場合、各サンプルデータが16ビットとすると、メモリ13は16×320×150/8=9600バイトの容量を有し、且つ、平均値を演算するのにも無視できない時間を必要とする。本実施形態では、図8に示すように重み付け係数乗算器17、19を設けることで、メモリ13は1フレーム分のメモリ容量(=320×16/8=640バイト)で平均値を算出するようにした。
Now, when calculating the average value as described above, if each sample data is 16 bits, the
ヘッドスイッチングパルス一周期の時間Tにおける、マイク6、7に入る音声信号の様子を示したのが図4である。すなわち、連続していた音声波形をフレームF1,F2、…、Fnと一周期の時間毎に区切って並べたものである。これらの一周期分の音声信号の変化は、ヘッドスイッチングパルスとは無関係であるので、それらが同期する確率は小さい。したがって、その平均を取る回数を増やすと、理論上は図示の信号aveに示すようにゼロに近づくことになる。 FIG. 4 shows the state of the audio signal entering the microphones 6 and 7 at the time T of one cycle of the head switching pulse. That is, continuous speech waveforms are arranged by being divided into frames F1, F2,. Since the change of the audio signal for one period is not related to the head switching pulse, the probability that they are synchronized is small. Therefore, when the number of times of averaging is increased, theoretically, it approaches zero as shown in the signal ave shown in the figure.
しかし、図3に示すように、ヘッドスイッチングパルスに同期してノイズが発生するわけであるから、ヘッドスイッチングパルス一周期の時間Tにおける同位相のデータを累積加算した場合に残るのは、結局のところ、図3で示したノイズ成分だけとなる。本実施形態では、これら図3、図4で示した特性の違いを利用するものである。 However, as shown in FIG. 3, noise is generated in synchronization with the head switching pulse. Therefore, what remains when the data of the same phase in the time T of one cycle of the head switching pulse is cumulatively added is the result. However, only the noise component shown in FIG. In this embodiment, the difference in characteristics shown in FIGS. 3 and 4 is used.
以下、実施形態の動作として、前述した平均値Aveの抽出動作を説明する。 Hereinafter, the operation of extracting the average value Ave will be described as an operation of the embodiment.
先に説明したように、A/D変換器11、12からの出力は、制御マイコン5のデータ計算処理部5a(図8参照)に入力される。
As described above, the outputs from the A /
L、Rチャンネルの構成は同じであるので、片方のLチャンネルのみの説明を行う。 Since the configurations of the L and R channels are the same, only one of the L channels will be described.
A/D変換器11よりのデータがサンプリングクロック(実施形態では48KHz)に同期して、比較器23に入力される。比較器23は、レジスタ25に記憶された2つの閾値と比較し、重み付け係数乗算器17、19に対して重み付け係数を選択する信号を生成する。
Data from the A /
重み付け係数乗算器17は2つの重み付け係数K1、K2を保持し、比較器23からの信号に従っていずれか一方を選択し、選択された重み付け係数K(=K1、K2のいずれかであり、1未満の値)で、入力したデータに乗算する。
The
一方、重み付け係数乗算器19も2つの重み付け係数1−K1、1−K2を保持し、比較器23からの信号に従っていずれか一方を選択し、選択された重み付け係数「1−K」(=「1−K1」、「1−K2」のいずれかであり、1未満の値)で、入力したデータに乗算する。
On the other hand, the
ここでは、説明を簡単なものとするため、
重み付け係数乗算器17での重み付け係数はK、
重み付け係数乗算器19の重み付け係数は「1−K」、
として説明する。
For the sake of simplicity,
The weighting coefficient in the
The weighting coefficient of the
Will be described.
重み付け係数乗算器17で計算された結果は、加算器21に出力される。
The result calculated by the
一方、重み付け係数乗算器19は、メモリ13(初期状態では0を格納している)からのデータに重み付け係数「1−K」を乗算し、加算器21に出力する。
On the other hand, the
加算器21はこれら2つの重み付け係数乗算器17、19からのデータを加算し、その結果でメモリ13内のデータを更新する。
The
例えば、K=0.01である場合、重み付け係数乗算器17は入力したデータinput×0.01を演算する。重み付け係数乗算器19はメモリ13からのデータave×0.99を演算することになる。この意味するところは、ヘッドスイッチングパルス1周期の同位相100個のデータの平均値を算出することと等価である。メモリ13は初期値として0が格納されている。従って、ある程度の時間が経過すると、メモリ13には図3の信号aveを記憶することになる。
For example, when K = 0.01, the
従って、加算器15にて、入力データinputからメモリ13からのデータを減算することで、ノイズが除去された音響データを出力することが可能になる。
Therefore, by subtracting the data from the
上記の処理をより分かりやすく説明すると次の通りである。 The above process will be described in a more easy-to-understand manner as follows.
m番目の入力フレームをFmIn、入力フレームFmIn内の或る位相位置tnのデータをFmIn(tn)、メモリ13からの同位相位置のデータをFm(tn)とすると、加算器21は、
FmIn(tn)×K+Fm(tn)×(1−K)
を演算することになる。そして、メモリ13内のtn番目のデータはこの演算結果で更新されることになる。
When the mth input frame is FmIn, the data of a certain phase position tn in the input frame FmIn is FmIn (tn), and the data of the same phase position from the
FmIn (tn) × K + Fm (tn) × (1-K)
Will be calculated. The tn-th data in the
一方、加算器15から出力されるデータをFmOut(tn)と表現すると、
FmOut(tn)=FmIn(tn)−Fm(tn)
で表わせる。ここで、ある程度の時間が経過すると、Fm(tn)は図3の信号ave(tn)と同じになるから、入力信号の任意の周期Fm(m:整数)の任意のスイッチングパルスからの時刻、平均値を引き算することになり、ドラムの回転によって発生する雑音を除去することに成功することになる。
On the other hand, when the data output from the
FmOut (tn) = FmIn (tn) −Fm (tn)
It can be expressed as Here, when a certain amount of time has elapsed, Fm (tn) becomes the same as the signal ave (tn) in FIG. 3, so the time from an arbitrary switching pulse of an arbitrary period Fm (m: integer) of the input signal, The average value is subtracted, and the noise generated by the rotation of the drum is successfully removed.
この時の騒音の減衰量は、回転ドラム2の回転精度と発生する騒音レベルの変化幅によって決まってくる。低減したい騒音の成分の最高周波数に対して、回転ムラがその周波数において位相を、例えば、5度の範囲で変化する精度とし、前述の平均値aveに対して、変動幅が2dBあると仮定する。図7は、位相とレベルが異なる2信号の引き算をした時の減衰量を示したもので、前述の条件からすると、図7から15dB以上減衰することになり、十分な効果が得られることになる。
The amount of noise attenuation at this time is determined by the rotational accuracy of the
ここで、騒音(noise)と、その騒音を除外した入力信号(input)と、メモリ13の値(ave)の変化の様子をシミュレーションした結果を図10に示す。図示は、フレーム中の同位相における推移を示し、騒音データは狭い範囲(図示では9〜11の範囲)で変動させた例を示している。また、入力信号がゼロの場合、つまり騒音のみがマイクロフォンに入る条件とした例である。
Here, FIG. 10 shows the result of simulating the change of noise (noise), the input signal (input) excluding the noise, and the value (ave) of the
横軸の数字はフレーム数を、縦軸はデータの値を示す。この例では、
K=0.1
としている。
The numbers on the horizontal axis indicate the number of frames, and the vertical axis indicates the data value. In this example,
K = 0.1
It is said.
図10からわかるように、スタートしてから騒音の抽出が開始され、40フレーム(約0.26秒)程度経過すると、メモリ13の値aveは、騒音noiseに等しくなることがわかる。すなわち、図示の場合、40フレーム経過した後は、正確なノイズ除去信号を生成することが可能になることを示している。
As can be seen from FIG. 10, when noise extraction is started after starting, about 40 frames (approximately 0.26 seconds) have passed, the value ave of the
図11は、K=0.01とした以外は図10と同じ条件でのシミュレーションの例を示している。 FIG. 11 shows an example of simulation under the same conditions as FIG. 10 except that K = 0.01.
この例では、入力信号inputに乗算する重み付け係数Kが小さいため、メモリ13からの信号aveが、騒音noiseに近づくのにより多くの時間が必要であることを示している。
In this example, since the weighting coefficient K by which the input signal input is multiplied is small, it indicates that the signal ave from the
上記条件は、入力信号inputがゼロの場合であったが、実際には、入力信号が入った状態での騒音の抽出が行われる。入力信号は、正負に振れる音声信号であり、音声信号は、ランダム信号とみなして差し支えない。よって、入力信号inputの値を、−100から100までのランダム信号として、シミュレーションした結果を図12に示す。この時の重み付け係数Kは0.1である。 The above condition is the case where the input signal input is zero, but in practice, noise is extracted in a state where the input signal is input. The input signal is an audio signal that swings positively and negatively, and the audio signal may be regarded as a random signal. Therefore, FIG. 12 shows the result of simulation with the value of the input signal input as a random signal from −100 to 100. The weighting coefficient K at this time is 0.1.
同図からわかるように、入力信号inputの影響を受けて、平均値aveが収束しない。 As can be seen from the figure, the average value ave does not converge due to the influence of the input signal input.
これを改善するために、Kの値をK=0.01とし、それ以外は図12と同じにしてシミュレーションを行った結果を図13に示す。 In order to improve this, FIG. 13 shows the result of the simulation performed with the value of K set to K = 0.01 and otherwise the same as in FIG.
同図から分かるように、
K=0.1
に比べれば平均値aveの乱れが少ないものの、まだ安定性に欠けている。
As you can see from the figure,
K = 0.1
Compared to, the average value ave is less disturbed but still lacks stability.
そこで、K=0.003と更に小さな値を設定した例を図14に示す。図からわかるように、安定性は改善されており、平均値もノイズnoiseの「10」の値に近づいているが、収束するのに時間がかかっており、ちょうどこの例では、300フレーム、つまり(1/150)×300=2秒
となり、良好な録音状態になるまでの待ち時間としては更に早くすることが望まれる。
Therefore, an example in which K = 0.003 and a smaller value are set is shown in FIG. As can be seen, the stability is improved and the average value is approaching the value of noise noise “10”, but it takes time to converge, in this example just 300 frames, ie (1/150) × 300 = 2 seconds, and it is desirable that the waiting time until a good recording state is reached is further increased.
先に説明したように、メモリ13に記憶保持される値がノイズデータに収束する時間を早くするためには、無音状態で、Kの値が0.1と比較的大きな値を設定することである。一方、非無音状態の場合には、Kの値を小さくしなければならないが、今度はメモリ13に記憶保持される値がノイズデータと実質的に同じになるのに長時間を要する。そこで、実施形態では、このKの値を動的に変動させるものとした。
As described above, in order to speed up the time for the value stored in the
今、騒音nosieの大きさが9から11までの値を取っているので、騒音noiseの変動幅近いものの、それより広い閾値を設定する。 Now, since the magnitude of the noise noise is a value from 9 to 11, a threshold value wider than that is set although it is close to the fluctuation range of the noise noise.
例えば、閾値を10±10(=0、20)を設定し、入力データinputがこの閾値範囲にある場合には、K=0.1とする。一方、入力データがこの閾値範囲外にある場合にはK=0.001と小さな値を設定する。 For example, if the threshold is set to 10 ± 10 (= 0, 20) and the input data input is within this threshold range, K = 0.1. On the other hand, if the input data is outside this threshold range, a small value K = 0.001 is set.
この条件でシミュレーションしたのが図15である。 FIG. 15 shows a simulation under this condition.
図示に示すように、信号aveが騒音noiseに、早い段階で収束することがわかる。 As shown in the figure, it can be seen that the signal ave converges to the noise noise at an early stage.
因に、実際には、入力データinputは、通常の会話を想像すると容易に理解できるように、無音期間が含まれることが多い。このような状況を反映させたシミュレーション結果が図16である。無音期間に入ると、信号aveが即座に騒音noiseに近づき、安定しているのがわかる。 Incidentally, in practice, the input data input often includes a silent period so that it can be easily understood when an ordinary conversation is imagined. A simulation result reflecting such a situation is shown in FIG. When the silence period starts, it can be seen that the signal ave immediately approaches the noise noise and is stable.
以上の理由により、実施形態でにおけるデータ計算処理部5a内におけるレジスタ25、26には、騒音noiseの変化する範囲よりも所定値だけ大きな範囲を定義する2つの閾値を設定する。そして、入力データinputが閾値範囲内にある場合には、重み付け係数乗算器17は重み付け係数K0を入力データinputに乗算し、重み付け係数乗算器19はメモリ13からの信号aveに重み付け係数「1−K0」を乗算するようにした。そして、入力データinputが閾値範囲内にある場合には、重み付け係数乗算器17は重み付け係数K1(K1<<K0)を入力データinputに乗算し、重み付け係数乗算器19はメモリ13からの信号aveに重み付け係数「1−K1」を乗算するようにした。
For the above reasons, two threshold values that define a range larger by a predetermined value than the range in which the noise noise changes are set in the
<第2の実施形態>
第2の実施形態を以下に説明する。なお、装置構成は第1の実施形態と同じとする。
<Second Embodiment>
A second embodiment will be described below. The apparatus configuration is the same as in the first embodiment.
本第2の実施形態の特徴とする点は、ゲインを調整した際に、レジスタ25、26の閾値を変更する例である。このため、本第2の実施形態における、データ計算処理部5aにおけるLチャネルに関する回路構成は図9に示すようになる。なお、Rチャネルについては同様である。
Point, which is a feature of the present second embodiment, when adjusting the gain, an example of changing the threshold value of the
マイクロホンの感度を変更することは周知である。実施形態ではビデオカメラを例にしているので、不図示の操作部より、この感度を調整可能としているものとする。 Changing the sensitivity of a microphone is well known. In the embodiment, a video camera is taken as an example, and it is assumed that this sensitivity can be adjusted from an operation unit (not shown).
騒音のレベルは、ゲインコントロール30のゲインの調整値で、その大きさが変化する。例えば、調整ゲインが“1”の場合、騒音のレベルが9〜11の間の値を取る。この時の2つの閾値は第1の実施形態で説明した値を採用する。
The noise level is a gain adjustment value of the
すなわち、閾値を10±10(=0、20)とし、この閾値範囲ではK=0.1とし、閾値範囲外ではK=0.001とし、入力データinputがゼロとした場合、シミュレーション結果は図17に示すようになる。 That is, when the threshold value is 10 ± 10 (= 0, 20), K = 0.1 in this threshold range, K = 0.001 outside the threshold range, and the input data input is zero, the simulation result is as shown in FIG. As shown in FIG.
ここで、閾値をそのままにし、ゲインコントロール30の調整値を“10”にした時には、騒音noiseは、10倍になって、90から110の間を取るようになる。この状態をシミュレーションしたものを図18に示す。
Here, when the threshold value is left as it is and the adjustment value of the
同図から分かるように、騒音noiseのレベルがゲインコントロール30の調整によって、どの時点でも閾値範囲を超えてしまっているために、信号aveが騒音noiseに収束するのは遅くなってしまう。
As can be seen from the figure, the level of the noise noise exceeds the threshold range at any point of time by the adjustment of the
そこで、本第2の実施形態では、ゲインコントロール30の調整結果に応じて、レジスタ25、26に設定する閾値を変更する。すなわち、ゲインコントロール30によって、“1”から“10”に変化させた場合には、閾値=(10±10)×10=0、200等と設定する。この場合のシミュレーションした結果が図19である。
Therefore, in the second embodiment, the threshold values set in the
図示に示すように、信号aveが早い時期に騒音noiseに近づくことが理解できよう。 As shown in the figure, it can be understood that the signal ave approaches the noise noise at an early stage.
この時の騒音の減衰量は、回転ドラム2の回転精度と発生する騒音レベルの変化幅によって決まってくる。低減したい騒音の成分の最高周波数に対して、回転ムラがその周波数において位相を、例えば、5度変化させてしまう精度だとし、前述の平均値に対して、変動幅が2dBあると仮定する。図7は、位相とレベルが異なる2信号の引き算をした時の減衰量を示したもので、前述の条件からすると、図7から15dB以上減衰することになり、十分な効果が得られることになる。
The amount of noise attenuation at this time is determined by the rotational accuracy of the
以上説明したように、本第1、第2の実施形態によれば、装置が発する周期性の機械的ノイズがマイクを介して得られた電気信号に重畳されていても、その機械的ノイズを相殺するデータをその大きさを観測し、しきい値との比較で、入力信号とすでに計算されメモリーに入っている平均値からの値にそれぞれ、重み付け係数を変更する処理を設けて計算することにより、メモリ13、14には、問題とするノイズデータが正確に、高速に格納されることになり、入力した音響データからノイズを除去したデータを得ることが可能となる。また、メモリ13、14に格納するデータは、装置が発する最新の周期性機械的ノイズに相当するデータが格納されることになるので、経時変化に追従してノイズを除去することも可能になる。
As described above, according to the first and second embodiments, even if the periodic mechanical noise generated by the device is superimposed on the electric signal obtained through the microphone, the mechanical noise is reduced. Observe the size of the data to be canceled and compare it with the threshold value to calculate the input signal and the value from the average value that has already been calculated and stored in the memory. Thus, the noise data in question is accurately and rapidly stored in the
なお、実施形態では機械的ノイズ発生源の雑音として、磁気テープに記録するドラムに搭載されたヘッドとテープの接触し非接触になる際に発生する雑音を例にして説明したが、これ以外にもキャプスタンの回転時の電磁雑音も存在するので、上記実施形態によって本発明が限定されるものではない。すなわち、周期性のある機械的ノイズが発生する場合、それら毎(周期がみな同じとは限らない)に、上記実施形態で説明した技術を採用すればよい。 In the embodiment, the noise generated when the tape and the head mounted on the drum for recording on the magnetic tape come into contact with each other as the noise of the mechanical noise generation source has been described as an example. However, the present invention is not limited by the above embodiment because there is electromagnetic noise during the rotation of the capstan. That is, when periodic mechanical noise occurs, the technique described in the above embodiment may be adopted for each of them (the periods are not necessarily the same).
以上説明したように本実施形態によれば、記録再生装置の有する例えば回転ドラムなどの周期性を持った動作をしているものから、その動作によって発生する騒音が、マイクに混入した場合に、騒音波形を抽出し、低減することが可能になる。 As described above, according to the present embodiment, when the recording / playback apparatus has a periodic operation such as a rotating drum, noise generated by the operation is mixed into the microphone. The noise waveform can be extracted and reduced.
また、記録再生装置の有する例えば回転ドラムやテープを送るためのキャプスタンモータの回転の様に周期性をもった動作部から発する騒音をそれぞれ独立した周期毎に騒音の波形を抽出することが可能となり、より騒音の低減効果が高い装置を提供することが出来る。 In addition, it is possible to extract the noise waveform for each independent period from the noise generated from the operation unit with periodicity, such as rotation of a capstan motor for feeding a rotating drum or tape, etc., which the recording / reproducing apparatus has Thus, it is possible to provide a device having a higher noise reduction effect.
さらに、マイクに混入した騒音を、しかもその混入した騒音が機器によって大きさや音色がばらつく場合にも、個々に調整をする必要がなく、また、経時変化した場合にも、同じ手段を備えることと同じ処理によって、その機器固有の騒音に対応することが可能である。 Furthermore, there is no need to make individual adjustments to the noise mixed in the microphone, and even if the mixed noise varies in size and tone depending on the equipment, and the same means should be provided even if it changes over time. By the same processing, it is possible to cope with noise specific to the device.
また、従来技術のようにフィルタによって本来収録する音声の成分までも除去してしまうことがなく、不要な騒音の波形のみを抜き取るため、音質劣化がなく低減することが実現できる。 In addition, the sound component originally recorded by the filter is not removed by the filter as in the prior art, and only the waveform of the unnecessary noise is extracted, so that it is possible to reduce without deterioration of sound quality.
また、実施形態では、データ計算処理部5aは常時動作するものとして説明したが、電源投入時の初期段階で行うようにし、その初期段階を経た後は、メモリ13、14を更新させないようにしても良い。通常、ビデオカメラの電源を長時間にONにするのは、あり得ないので、このようにしても計時変化に対して十分に追従できる。
In the embodiment, the data
Claims (14)
前記音響データの信号を順次取得する取得手段と、
前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値を設定する閾値設定手段と、
前記取得手段によって順次取得される前記音響データの信号と、前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値とを比較する比較手段と、
前記比較手段の比較結果において、前記音響データが前記閾値より大きい場合には重みK1、前記音響データが前記閾値以下の場合には前記重みK1よりも大きい重みK2を用いて、前記音響データを前記周期における各位相に対して前記周期毎に平均する平均手段と、
前記平均手段で得られた平均値を前記位相毎に前記音響データから減算する減算手段と、を有することを特徴とする電子機器。 An electronic device that reduces the influence of noise from acoustic data including noise of a known period,
Acquisition means for sequentially acquiring the signal before Symbol acoustic data,
Threshold setting means for setting a threshold corresponding to the volume of sound of the acoustic data when the sound is silent only;
A comparison means for comparing the signal of the acoustic data sequentially acquired by the acquisition means with a threshold value corresponding to the sound level of the acoustic data when the acoustic data is in a silent state of only the noise;
In the comparison result of the comparison means , when the acoustic data is larger than the threshold, the weight K1, and when the acoustic data is equal to or smaller than the threshold, the weight K2 is larger than the weight K1, An averaging means for averaging for each phase in the period for each period;
An electronic device comprising: subtracting means for subtracting the average value obtained by the averaging means from the acoustic data for each phase.
前記音響データの信号を順次取得する取得手段と、
前記騒音の周期の1周期分に対応する音響データを格納する記憶手段と、
前記音響データと第1の重み付け係数とを乗算し、前記記憶手段に格納された、前記音響データと前記周期における位相が同位相の音響データと第2の重み付け係数とを乗算し、前記2つの乗算の結果を加算して前記記憶手段に格納された音響データを更新する更新手段と、
前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値範囲を設定する閾値設定手段と、
前記取得手段によって順次取得される前記音響データの信号と前記閾値範囲を比較する比較手段と、
前記比較手段で比較に用いた前記音響データの信号に対して、前記比較手段による当該信号の比較結果に基づいた前記第1及び第2の重み付け係数を設定する重み付け係数設定手段と、
前記音響データを用いて前記更新手段で更新された前記記憶手段に格納された音響データを、前記音響データから減算し、減算の結果をノイズ除去された音響データとして出力する減算手段と、を有し、
前記重み付け係数設定手段は、前記比較手段で前記音響データが前記閾値範囲にないと判定された場合、第1の重み付け係数を前記音響データが前記閾値範囲にあると判定された場合に比べて小さい値に設定し、第2の重み付け係数を前記音響データが前記閾値範囲にあると判定された場合に比べて大きい値に設定することを特徴とする電子機器。 An electronic device that reduces the influence of noise from acoustic data including noise of a known period,
Acquisition means for sequentially acquiring signals of the acoustic data;
Storage means for storing acoustic data corresponding to one period of the noise;
Multiplying the acoustic data by a first weighting coefficient, multiplying the acoustic data stored in the storage means, acoustic data having the same phase in the period, and a second weighting coefficient, Updating means for adding the result of multiplication and updating the acoustic data stored in the storage means;
Threshold setting means for setting a threshold range corresponding to the volume of sound of the acoustic data when the acoustic data is in a silent state of only the noise;
A comparison means for comparing the threshold value range with a signal of the acoustic data sequentially obtained by the obtaining means;
Weighting coefficient setting means for setting the first and second weighting coefficients based on the comparison result of the signal by the comparison means for the signal of the acoustic data used for comparison by the comparison means;
Subtracting means for subtracting the acoustic data stored in the storage means updated by the updating means using the acoustic data from the acoustic data and outputting the result of the subtraction as acoustic data from which noise has been removed. And
The weighting coefficient setting means has a smaller first weighting coefficient when the comparing means determines that the acoustic data is not within the threshold range than when the acoustic data is determined to be within the threshold range The electronic device is set to a value, and the second weighting coefficient is set to a larger value than when the acoustic data is determined to be within the threshold range.
前記調整手段によるゲインの調整に比例して、前記閾値範囲を変更する閾値変更手段を更に備えることを特徴とする請求項2乃至4のいずれか1つに記載の電子機器。 The acquisition means includes an adjustment means for adjusting a gain applied to the acoustic data,
Wherein in proportion to the gain adjustment by the adjusting means, the electronic device according to any one of claims 2 to 4, further comprising a threshold value changing means for changing the threshold range.
撮像手段と、
前記撮像手段で得られた映像データ及び前記減算手段より出力されたノイズ除去された音響データを記録する記録媒体と、を有することを特徴とする撮像装置。 An electronic device according to any one of claims 1 to 6 ,
Imaging means;
An image pickup apparatus comprising: a recording medium that records video data obtained by the image pickup unit and acoustic data from which noise is output output from the subtraction unit.
前記音響データの信号を順次取得する取得工程と、
前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値を設定する閾値設定工程と、
前記取得工程によって順次取得される前記音響データの信号と前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値を比較する比較工程と、
前記比較工程の比較結果において、前記音響データが前記閾値より大きい場合には重みK1、前記音響データが前記閾値以下の場合には前記重みK1よりも大きい重みK2を用いて、前記音響データを前記周期における各位相に対して前記周期毎に平均する平均工程と、
前記平均工程で得られた平均値を前記位相毎に前記音響データから減算する減算工程と、を有することを特徴とする電子機器の制御方法。 An electronic device control method for reducing the influence of noise from acoustic data including noise of a known period,
An acquisition step of sequentially acquiring signals of the acoustic data;
A threshold setting step for setting a threshold corresponding to the volume of sound of the acoustic data when the acoustic data is in a silent state of only the noise;
A comparison step of comparing a threshold value corresponding to a sound level of the acoustic data when the acoustic data signal and the acoustic data are in a silent state of only the noise, sequentially acquired by the acquisition step;
In the comparison result of the comparison step , when the acoustic data is larger than the threshold, the weight K1 is used, and when the acoustic data is equal to or smaller than the threshold, the weight K2 is larger than the weight K1. An averaging step for averaging for each phase in the cycle for each cycle;
And a subtracting step of subtracting the average value obtained in the averaging step from the acoustic data for each phase.
前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値を設定する閾値設定工程と、
前記音響データの信号を順次取得する取得工程と、
前記取得工程で順次取得される音響データと第1の重み付け係数とを乗算し、前記記憶手段に格納された、前記取得工程で取得される音響データと前記周期における位相が同位相の音響データと第2の重み付け係数とを乗算し、前記2つの乗算の結果を加算して前記記憶手段に格納された音響データを更新する更新工程と、
前記取得工程によって順次取得される前記音響データの信号と前記音響データが前記騒音のみの無音状態であるときの、該音響データの音の大きさに対応した閾値範囲とを比較する比較工程と、
前記比較工程で比較に用いた前記音響データの信号に対して、前記比較工程における当該信号の比較結果に基づいた前記第1及び第2の重み付け係数を設定する重み付け係数設定工程と、
前記音響データを用いて前記更新工程で更新された前記記憶手段に格納された音響データを、前記音響データから減算し、減算の結果をノイズ除去された音響データとして出力する減算工程と、を有し、
前記重み付け係数設定工程では、前記比較工程で前記音響データが前記閾値範囲にないと判定された場合、第1の重み付け係数を前記音響データが前記閾値範囲にあると判定された場合に比べて小さい値に設定し、第2の重み付け係数を前記音響データが前記閾値範囲にあると判定された場合に比べて大きい値に設定することを特徴とする電子機器の制御方法。 A control method for an electronic device having storage means and reducing the influence of the noise from acoustic data including noise of a known period,
A threshold setting step for setting a threshold corresponding to the volume of sound of the acoustic data when the acoustic data is in a silent state of only the noise;
An acquisition step of sequentially acquiring signals of the acoustic data;
Multiplying the acoustic data sequentially acquired in the acquisition step and the first weighting coefficient, and stored in the storage means, the acoustic data acquired in the acquisition step and the acoustic data having the same phase in the period An update step of multiplying a second weighting factor and adding the results of the two multiplications to update the acoustic data stored in the storage means;
A comparison step of comparing a signal of the acoustic data sequentially acquired by the acquisition step and a threshold range corresponding to a sound level of the acoustic data when the acoustic data is in a silent state of only the noise;
A weighting factor setting step for setting the first and second weighting factors based on the comparison result of the signal in the comparison step with respect to the signal of the acoustic data used for comparison in the comparison step;
Subtracting the acoustic data stored in the storage means updated in the updating step using the acoustic data from the acoustic data and outputting the result of the subtraction as acoustic data from which noise has been removed. And
In the weighting coefficient setting step, when it is determined in the comparison step that the acoustic data is not within the threshold range, the first weighting coefficient is smaller than when the acoustic data is determined to be within the threshold range. And a second weighting coefficient is set to a larger value than when the acoustic data is determined to be within the threshold range.
前記調整工程におけるゲインの調整に比例して、前記所定の閾値範囲を変更する閾値変更工程を更に備えることを特徴とする請求項10乃至12のいずれか1つに記載の電子機器の制御方法。 The acquisition step includes an adjustment step of adjusting a gain applied to the acoustic data,
The method of controlling an electronic device according to any one of claims 10 to 12 , further comprising a threshold value changing step of changing the predetermined threshold range in proportion to gain adjustment in the adjusting step.
前記複数の騒音毎に前記記憶工程、前記更新工程、前記重み付け係数設定工程、及び前記減算工程を有することを特徴とする請求項10乃至13のいずれか1つに記載の電子機器の制御方法。 When the acoustic data includes a plurality of the noises having different periods,
The method for controlling an electronic device according to any one of claims 10 to 13 , further comprising the storage step, the update step, the weighting coefficient setting step, and the subtraction step for each of the plurality of noises.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004265928A JP4817628B2 (en) | 2004-09-13 | 2004-09-13 | Electronic apparatus, video camera apparatus, and control method thereof |
US10/992,696 US7433475B2 (en) | 2003-11-27 | 2004-11-22 | Electronic device, video camera apparatus, and control method therefor |
CN2004100961452A CN1622689B (en) | 2003-11-27 | 2004-11-26 | Electronic equipment, video camera apparatus and method for controlling them |
CN2011100204062A CN102158676B (en) | 2003-11-27 | 2004-11-26 | Electronic device, video camera apparatus, and control method therefor |
US12/197,611 US7769188B2 (en) | 2003-11-27 | 2008-08-25 | Electronic device, video camera apparatus, and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004265928A JP4817628B2 (en) | 2004-09-13 | 2004-09-13 | Electronic apparatus, video camera apparatus, and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006081120A JP2006081120A (en) | 2006-03-23 |
JP2006081120A5 JP2006081120A5 (en) | 2007-10-11 |
JP4817628B2 true JP4817628B2 (en) | 2011-11-16 |
Family
ID=36160169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004265928A Expired - Fee Related JP4817628B2 (en) | 2003-11-27 | 2004-09-13 | Electronic apparatus, video camera apparatus, and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4817628B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6160519B2 (en) * | 2014-03-07 | 2017-07-12 | 株式会社Jvcケンウッド | Noise reduction device |
-
2004
- 2004-09-13 JP JP2004265928A patent/JP4817628B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006081120A (en) | 2006-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101063032B1 (en) | Noise reduction method and device | |
US7769188B2 (en) | Electronic device, video camera apparatus, and control method therefor | |
JP5056157B2 (en) | Noise reduction circuit | |
US7711557B2 (en) | Audio signal noise reduction device and method | |
US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
JP4826402B2 (en) | Recording device, noise removal method, noise removal device | |
US7848530B2 (en) | Electronic device and its control method | |
JP2011077604A (en) | Noise elimination device, lens device, imaging apparatus, noise elimination method | |
JP5998483B2 (en) | Audio signal processing apparatus, audio signal processing method, program, and recording medium | |
JP4817628B2 (en) | Electronic apparatus, video camera apparatus, and control method thereof | |
JP3950843B2 (en) | Electronic device and video camera device | |
JP2006262241A (en) | Electronic camera, noise reduction device, and noise reduction control program | |
JP2000293806A (en) | Automatic mechanical noise reducing device | |
JP3870531B2 (en) | Noise reduction device for electronic equipment and noise reduction device for recording device | |
JP2010118975A (en) | Sound collector and method for suppressing noise | |
JP3882669B2 (en) | Noise reduction device and noise reduction method | |
JP2001320794A (en) | Recording and reproducing device | |
JP3277435B2 (en) | Audio signal processing device | |
JP2004095130A (en) | Device and method for reducing noise and imaging device | |
JP2011211547A (en) | Sound pickup apparatus and sound pickup system | |
JP2014232267A (en) | Signal processing device, imaging device and program | |
JP2022148507A (en) | Sound processing apparatus, control method, and program | |
JP2023077339A (en) | Imaging device, control method, and program | |
JP2006081120A5 (en) | ||
JP2003123408A (en) | Noise reduction device and noise reduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070829 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090918 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |