JP4383196B2 - Video service quality management method and apparatus for implementing the method - Google Patents
Video service quality management method and apparatus for implementing the method Download PDFInfo
- Publication number
- JP4383196B2 JP4383196B2 JP2004034001A JP2004034001A JP4383196B2 JP 4383196 B2 JP4383196 B2 JP 4383196B2 JP 2004034001 A JP2004034001 A JP 2004034001A JP 2004034001 A JP2004034001 A JP 2004034001A JP 4383196 B2 JP4383196 B2 JP 4383196B2
- Authority
- JP
- Japan
- Prior art keywords
- quality
- degradation
- evaluation value
- subjective
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
この発明は、映像サービス品質管理方法およびこの方法を実施する装置に関し、特に、映像サービスに対するユーザの主観品質評価値を維持、向上させる映像サービス品質管理方法およびこの方法を実施する装置に関する。 The present invention relates to a video service quality management method and an apparatus for implementing the method, and more particularly to a video service quality management method for maintaining and improving a user's subjective quality evaluation value for a video service and an apparatus for implementing the method.
映像通信サービスの品質管理を行うには、従来、品質劣化の発生閾値および/或いは頻度と、ネットワーク或いはサーバの品質パラメータとの間の関係から品質劣化の判定を行っていた(特許文献1 参照)。
映像通信サ一ビスの品質管理方法としては、従来、通信上で発生するネットワーク品質劣化、サーバ、符号化装置に起因する品質劣化について、映像の品質劣化現象が映像アプリケーションの品質制御、処理方法により異なることから、劣化度合いと主観評価値との関係をアプリケーション毎に主観評価実験により求めてきた。ネットワーク、サーバで品質管理する場合は、この劣化度合い、発生頻度とネットワーク、サーバの品質パラメータの関係を明らかにし、閾値を設けて管理してきたが、アプリケーションが代わるとアプリケーションの品質制御方法、ネットワーク品質の状況に応じて品質劣化状況が異なるところから、その都度、主観評価実験を実施する必要があった。また、サーバ、ネットワークの品質管理パラメータそのものを管理する場合は、例えば、一瞬の劣化は主観評価的に影響がない等、長時間の主観評価特性を加味することはできなかった。 As a quality control method for video communication services, there has been a conventional network quality degradation caused by communication, a quality degradation caused by a server and an encoding device, and the video quality degradation phenomenon depends on the quality control and processing method of the video application. Because of the difference, the relationship between the degree of deterioration and the subjective evaluation value has been obtained for each application through a subjective evaluation experiment. In the case of quality control by network and server, the relationship between the degree of deterioration and the frequency of occurrence and the quality parameters of the network and server have been clarified and managed with thresholds. Since the quality deterioration situation differs depending on the situation, it was necessary to conduct a subjective evaluation experiment each time. In addition, when managing the quality control parameters of the server and the network themselves, it has been impossible to take into account subjective evaluation characteristics over a long period of time, for example, instantaneous deterioration does not affect subjective evaluation.
この発明は、劣化パターンに対する主観評価実験を一度行っておけば、その後アプリケーションが異なっても新たに主観評価実験をすることなく、劣化パターン、量についてその変動状況から主観評価値を推定し、主観評価により近い劣化判定をリアルタィムで実行することができる映像サービス品質管理方法およびこの方法を実施する装置を提供する。 In the present invention, once a subjective evaluation experiment is performed on a degradation pattern, a subjective evaluation value is estimated from the fluctuation state of the degradation pattern and quantity without performing a new subjective evaluation experiment even if the application is different thereafter. Provided are a video service quality management method and an apparatus for implementing this method, which can execute a deterioration determination closer to the evaluation in real time.
請求項1:予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定する劣化パターン抽出操作を実行し、その劣化パターンの主観評価値特性を算出し、その結果に基づいてサービス品質劣化を判定する映像サービス品質管理方法において、劣化パターンの主観評価値特性を算出すると共に品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出し、測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定する映像サービス品質管理方法を構成した。 Claim 1: One of the three selected from the server, the network, and the terminal measured during the service with respect to the subjective quality evaluation characteristics of the occurrence pattern of quality deterioration obtained in advance, or these three A deterioration pattern extraction operation is performed to estimate a deterioration pattern from the situation of any two parties selected from the above, or from these three parties, a subjective evaluation value characteristic of the deterioration pattern is calculated, and a service is based on the result In the video service quality management method for determining quality degradation, the subjective evaluation value characteristics of the degradation pattern are calculated, the quality degradation pattern is measured, the relationship between the obtained quality degradation pattern and the subjective assessment value, and the subjective assessment value for a long time The long-term subjective evaluation value is calculated from the fluctuation characteristics, and the relationship between the long-term subjective evaluation value obtained based on the measured deterioration pattern and the target long-term subjective evaluation value And configure the video service quality management method for determining Luo quality degradation.
そして、請求項2:請求項1に記載される映像サービス品質管理方法において、更に、品質測定装置61で得られたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定して、運用サービス中の映像品質の主観評価値を推定する映像サービス品質管理方法を構成した。 Further, in the video service quality management method according to claim 2, any one selected from the server, network, and terminal obtained by the quality measurement device 61, or Any one selected from these three parties, or any one selected from the three servers, networks, and terminals obtained in advance based on the quality measurement results of these three parties. Or any two selected from these three parties, or a video deterioration pattern when the quality of these three parties is changed, and a unit obtained in advance for the corresponding video degradation pattern Calculate the subjective quality evaluation characteristic value over time, estimate the subjective quality evaluation value over a long period of time to measure quality from the fluctuation state of the subjective quality evaluation characteristic value per unit time, Comment You configure the video service quality management method for estimating the value.
また、請求項3:請求項1に記載される映像サービス品質管理方法において、更に、長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行い、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値によりを判定する映像サービス品質管理方法を構成した。 According to a third aspect of the present invention, in the video service quality management method according to the first aspect, a video quality degradation threshold value is further provided based on a subjective quality evaluation value over a long period of time, and the video quality degradation is determined. A video service quality management method has been constructed that determines whether or not the subjective evaluation quality is affected by the threshold when it occurs.
ここで、請求項4:予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定抽出し、その劣化パターンの主観評価値特性を算出する品質評価装置62を有し、品質評価装置62の出力結果からサービス品質劣化を判定する品質劣化判定装置63を有する映像サービス品質管理装置6において、品質評価装置62は、品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出するものであり、品質劣化判定装置63は、測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定するものである映像サービス品質管理装置を構成した。 In this case, according to the subjective quality evaluation characteristic of the quality deterioration occurrence pattern obtained in advance, any one selected from the server, the network, and the terminal measured during the service, or There is a quality evaluation device 62 that estimates and extracts a deterioration pattern from any two of these three parties, or the conditions of these three parties, and calculates a subjective evaluation value characteristic of the deterioration pattern. In the video service quality management device 6 having the quality deterioration determination device 63 for determining the service quality deterioration from the output result of the device 62, the quality evaluation device 62 measures the quality deterioration pattern, and the obtained quality deterioration pattern and the subjective evaluation value And the long-term subjective evaluation value from the long-term variation characteristic of the subjective evaluation value, and the quality degradation determination device 63 is based on the measured degradation pattern. Obtained are prolonged up the video service quality management device is intended to determine the quality deterioration on the relationship long subjective evaluation values and subjective evaluation values and the target.
そして、請求項5:請求項4に記載される映像サービス品質管理装置において、品質評価装置62は、品質測定装置61で得られたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定する構成を更に具備して、運用サービス中の映像品質の主観評価値を推定するものである映像サービス品質管理装置を構成した。 Further, in the video service quality management device according to claim 5, the quality evaluation device 62 is any one selected from the server, network, and terminal obtained by the quality measurement device 61. Based on one, or any two of these three parties, or based on the quality measurement results of these three parties, the server, network, and terminal are selected in advance. Estimate the video degradation pattern when the quality of any one party, or any two of these three parties, or the quality of these three parties is changed, and obtain the corresponding video degradation pattern in advance. Further comprising a configuration for calculating a subjective quality evaluation characteristic value in a unit time and estimating a subjective quality evaluation value in a long time in which quality measurement is performed from a fluctuation state of the subjective quality evaluation characteristic value in unit time. , And configure the video service quality management device is to estimate the subjective evaluation value of the image quality during use services.
また、請求項6:請求項4に記載される映像サービス品質管理装置において、品質劣化判定装置63は、品質評価装置62によって得られた長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行う構成を更に具備して、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値により判定するものである映像サービス品質管理装置を構成した。 Further, in the video service quality management device according to claim 6, the quality degradation determination device 63 determines whether the video quality degradation has occurred based on the subjective quality evaluation value obtained over a long time by the quality evaluation device 62. A video service quality management apparatus that further includes a configuration for determining deterioration by providing a threshold value, and that determines whether the subjective evaluation quality is affected by the threshold value when video quality degradation has occurred did.
映像通信サービス事業者がユーザの受聴している映像品質状態を、特に、アプリケーションレベルで把握するには、その都度、品質管理尺度とユーザ品質の関係を主観評価実験で求め、管理目標値を設定する必要があった。ところが、この発明の映像サービス品質管理方法およびこの方法を実施する装置に依れば、予め行った主観評価実験結果を用いて、劣化パターン、量についてその変動状況から主観評価値を推定し、主観評価により近い劣化判定をリアルタィムで実行することができる。
この発明は、更に、映像サービス品質管理において、異なるアプリケーションにおいても、その都度、主観評価実験を行うことなしに、劣化パターンの測定により品質管理することができる。
In order to grasp the video quality state that the video communication service provider is listening to, especially at the application level, the relationship between the quality control scale and the user quality is obtained through subjective evaluation experiments and a management target value is set each time. There was a need to do. However, according to the video service quality management method of the present invention and the apparatus for carrying out this method, the subjective evaluation value is estimated from the fluctuation state of the deterioration pattern and amount using the result of the subjective evaluation experiment performed in advance. Deterioration determination closer to the evaluation can be executed in real time.
In the video service quality management, the present invention can also perform quality control by measuring a degradation pattern without performing a subjective evaluation experiment each time even in different applications.
(1) 受信端末、映像サービス品質管理装置の間の接続関係。
図1はサーバ、受信端末、映像サービス品質管理装置の間の接続関係を示す図である。ここで、図中の参照符合について説明しておく。
1:映像および音声等のメディアをパケット化して配信する配信サーバ。
2:通信網。
3:パケットを受信して、映像、音声に変換する受信端末。
4:配信サーバと通信網を接続する接続回線。
5:配信サーバと受信端末間毎の、パケットの流れである配信ストリーム。
6:映像サービス品質管理装置。
7:接続回線に流れているストリームのパケット或いはサーバの品質性能を映像サービス品質管理装置がモニタするモニタ用回線。
(1) Connection relationship between receiving terminal and video service quality management device.
FIG. 1 is a diagram showing a connection relationship among a server, a receiving terminal, and a video service quality management apparatus. Here, reference numerals in the figure will be described.
1: A distribution server that packetizes and distributes media such as video and audio.
2: Communication network.
3: A receiving terminal that receives packets and converts them into video and audio.
4: A connection line connecting the distribution server and the communication network.
5: A distribution stream that is a packet flow between the distribution server and the receiving terminal.
6: Video service quality management device.
7: A monitoring line on which the video service quality management apparatus monitors the quality performance of the stream packet or server flowing in the connection line.
(2) 映像品質管理までの流れ。
発明を実施するための最良の形態を特に図2を参照して説明する。
図2は映像サービス品質管理装置を示す図であり、図3は管理イメージを示す図である。映像サービス品質管理装置6は以下の通りの構成を具備している。
(2) Flow to video quality control.
The best mode for carrying out the invention will be described with particular reference to FIG.
FIG. 2 is a diagram showing a video service quality management apparatus, and FIG. 3 is a diagram showing a management image. The video service quality management device 6 has the following configuration.
(2−1) 品質測定装置61
映像サービスの品質測定には、目的に応じて2つの方法がある。一つは、エンド・エンドでユーザが受聴する映像品質劣化を検出したい場合であり、映像状態の品質測定を行う。もう一つは、サービスを構成する構成要素の障害等を検出するために、そのときのサーバ或いはネットワークでの品質測定を行う場合である。
(2-1) Quality measuring device 61
There are two methods for measuring the quality of video services depending on the purpose. One is a case where it is desired to detect video quality degradation that the user listens to at the end and end, and the video quality is measured. The other is a case where quality measurement is performed on a server or network at that time in order to detect a failure of a component constituting a service.
(イ) 映像客観品質測定部611
映像客観品質評価装置を用い、測定対象の映像を入力して映像劣化検出を行い、或いはそのときの主観評価値を得る。劣化検出の場合は、劣化の種類、継続時間、発生回数等を出力し、主観評価値の場合はDMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)等の主観評価尺度で出力された主観評価値を得る。
(ロ) サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
(ハ) ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えば、パケット損失率、スループットを測定する。
(A) Video objective quality measurement unit 611
Using a video objective quality evaluation device, a video to be measured is input to detect video deterioration, or a subjective evaluation value at that time is obtained. In the case of deterioration detection, the type of deterioration, duration, number of occurrences, etc. are output, and in the case of subjective evaluation values, it is output on a subjective evaluation scale such as DMOS (Degradation Mean Opinion Score) or DSCQS (Double Stimulus Continuous Quality Measure). To obtain a subjective evaluation value.
(B) Server quality measurement unit 612
Measure server quality items that affect video quality, such as CPU utilization.
(C) Network quality measurement unit 613
Measure network quality items that affect video quality, such as packet loss rate and throughput.
(2−2) 品質評価装置62
(イ) ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部 621
ネットワーク、サーバにかかる負荷、パケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法、ネットワークの品質の状況によって劣化の特徴が異なる。ここでは、映像客観品質測定部611における品質測定部で測定するサーバ、ネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
(2-2) Quality evaluation device 62
(A) Deterioration pattern characteristic value calculation unit 621 using network and server quality measures as parameters
Video quality degradation occurs due to the load on the network and server, packet loss, delay, and the like. Video quality degradation varies depending on the quality control method of the application and the quality of the network. Here, the pattern and occurrence frequency of the video degradation when the quality items of the server and network measured by the quality measurement unit in the video objective quality measurement unit 611 are obtained in advance in an experimental environment.
(ロ) 単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観評価値には影響の少ないパラメータを抽出することもできる。図4は映像品質劣化パターン特性の把握方法を説明する図である。
(B) Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. As a result, it is possible to extract a parameter having little influence on the subjective evaluation value. FIG. 4 is a diagram for explaining a method of grasping the video quality deterioration pattern characteristics.
(ハ) 長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1:川ロ、林、岡本、高橋、“Qos制御下の映像配信サービスの主観品質推定モデル”、信総大SB-7-1、2003.3. 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
(C) Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). Methods for obtaining include a method of prescribing by the time rate at the measurement time when deterioration is determined every unit time, and a method of taking into account the forgetting effect of the degradation position in the entire measurement time [non-patent Document 1:. Kawaro, Hayashi, Okamoto, Takahashi, "Q o s subjective quality estimation model of video distribution services under the control", Shinsodai SB-7-1,2003.3 reference]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
この発明を以下の通りに実施することができる。
(2-3) Quality degradation determination device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
(2-4) Quality control device 64
Several degradation thresholds are provided to classify countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control, necessary control such as route control and quality control is performed.
This invention can be implemented as follows.
[実施例1]
エンド・エンドでユーザが受聴する映像品質劣化を検出する場合の品質管理法であり、映像の主観評価値そのものを映像客観品質評価装置によって測定し、その主観評価値に閾値を設けて品質管理する方法を示す。図5を参照する。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力してそのときの主観評価値を得る。主観評価値は、DMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)、許容率(許容できる・許容できないの2者択一で、許容できると応えた人の割合)の如き主観品質評価尺度で出力された主観評価値を得る。
[Example 1]
This is a quality management method for detecting video quality degradation that the user listens to at the end and end, and the subjective evaluation value of the video itself is measured by the video objective quality evaluation device, and the subjective evaluation value is set to a threshold value and quality control is performed. The method is shown. Please refer to FIG.
Video objective quality measurement unit 611
Using the video objective quality evaluation device, the video to be measured is input and the subjective evaluation value at that time is obtained. Subjective evaluation values are subjective quality such as DMOS (Degradation Mean Opinion Score), DSCQS (Double Stimulus Continuous Quality Measure), and tolerance rate (percentage of people who responded that it was acceptable in the choice of acceptable or unacceptable) The subjective evaluation value output on the evaluation scale is obtained.
長時間主観評価値算出部623
映像客観品質評価装置の出力結果は時系列データになっているため、長時間での主観評価値推定力が必要である。例えば、現状の映像客観品質評価装置のデータ収集間隔は最低33ms間隔になっている。33ms毎に出てくる測定された主観評価値を元に、サービスに応じてある程度の測定時間(T)での主観評価値に焼きなおす必要がある。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
Since the output result of the video objective quality evaluation apparatus is time-series data, a subjective evaluation value estimation ability for a long time is required. For example, the data collection interval of the current video objective quality evaluation device is at least 33 ms. Based on the measured subjective evaluation value that appears every 33 ms, it is necessary to reprint the subjective evaluation value in a certain measurement time (T) according to the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). As a method for obtaining, there are a method in which the rate is determined by the time rate at the measurement time when the deterioration determination is performed every unit time, and a method in which the forgetting effect of the deterioration position in the entire measurement time is taken into consideration [non-patent document 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば;品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け、アクションを分類する。例えば予兆閾値の場合にはアラーム(警報)を、品質制御力が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
Quality degradation judgment device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value; The method of providing is in accordance with the quality control method.
Quality control device 64
Set some degradation thresholds and classify actions. For example, in the case of a predictive threshold, an alarm (warning) is performed, and in the case of a threshold that requires quality control power, necessary control such as route control and quality control is performed.
[実施例2]
エンド・エンドでユーザが受聴する映像品質劣化を検出する場合の品質管理法であり、映像品質劣化の検出映像監視装置によって劣化種類、劣化継続時間、劣化発生回数などの劣化パターンを測定し、劣化パターンから単位時間毎の主観品質評価値を推定し、さらに測定時間での長時間主観品質評価値を推定し、この値を管理することによって実現する品質管理方法を示す。図6を参照する。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力し、映像劣化を測定する。劣化検出の場合は、劣化の種類、継続時間、発生回数などの出力値を得る。
[Example 2]
This is a quality control method for detecting video quality degradation that the user listens to at the end and end. Video quality degradation detection Video degradation equipment measures degradation patterns such as degradation type, degradation duration, and number of degradations. A quality management method realized by estimating a subjective quality evaluation value for each unit time from a pattern, further estimating a long-term subjective quality evaluation value at a measurement time, and managing this value is shown. Please refer to FIG.
Video objective quality measurement unit 611
Using a video objective quality evaluation device, input the video to be measured and measure the video degradation. In the case of deterioration detection, output values such as the type of deterioration, the duration, and the number of occurrences are obtained.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). As a method for obtaining, there are a method in which the rate is determined by the time rate at the measurement time when the deterioration determination is performed every unit time, and a method in which the forgetting effect of the deterioration position in the entire measurement time is taken into consideration [non-patent document] 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け、アクションを分類する。例えば、予兆閾値の場合にはアラーム(警報)を、品質制御力が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
Quality degradation judgment device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
Quality control device 64
Set some degradation thresholds and classify actions. For example, in the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control power, necessary control such as route control and quality control is performed.
[実施例3]
映像配信サーバのサービス品質管理を目的とする場合の品質管理法であり、サーバのリソースなど、映像品質劣化に影響のあるサーバ品質項目を測定し、品質管理を行う。図7を参照する。
(2−1) 品質測定装置61
品質測定には、目的に応じて2つの方法がある。一つは、エンド・エンドでユーザが受聴する映像品質劣化を検出したい場合、映像状態の品質測定を行う。もう一つは、サービスを構成する構成要素の障害等を検出するため、そのときのサーバ或いはネットワークでの品質測定を行う場合である。
[Example 3]
This is a quality management method for the purpose of service quality management of a video distribution server, and measures server quality items that affect video quality degradation, such as server resources, and performs quality management. Please refer to FIG.
(2-1) Quality measuring device 61
There are two methods for quality measurement, depending on the purpose. One is to measure the quality of the video state when it is desired to detect video quality degradation that the user listens to at the end and end. The other is a case where quality measurement is performed on a server or a network at that time in order to detect a failure of a component constituting a service.
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えば、CPU使用率メモリ残量を測定する。
品質評価装置62
サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
品質測定部で測定するサーバ品質項目、例えばCPU使用率メモリ残量を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
Server quality measurement unit 612
The server quality item that affects the video quality, for example, the CPU usage rate memory remaining amount is measured.
Quality evaluation device 62
Deterioration pattern characteristic value calculation unit 621 using the server quality scale as a parameter
A server quality item to be measured by the quality measuring unit, for example, a video deterioration pattern and occurrence frequency when the CPU usage rate memory remaining amount is changed is obtained in advance in an experimental environment.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。'図4に、映像品質劣化パターン特性の把握方法を示す。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality. 'Fig. 4 shows a method for grasping the characteristics of the video quality degradation pattern.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). Methods for obtaining include a method of prescribing by the time rate at the measurement time when deterioration is determined every unit time, and a method of taking into account the forgetting effect of the degradation position in the entire measurement time [non-patent Reference 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば、品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御力泌腰な闘直の場合には、経路制御や品質制御など必要な制御を行う。
(2-3) Quality degradation determination device 63
A determination threshold value for the subjective evaluation result in the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
(2-4) Quality control device 64
Several degradation thresholds are provided to classify countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a struggle for quality control, necessary control such as route control and quality control is performed.
[実施例4]
映像サービスを伝送するネットワークの品質管理を目的とする場合の品質管理法であり、IP網でのパケット損失や遅延などサービス品質に影響のある品質尺度を測定し、主観品質を推定することによって品質管理を行う。図8を参照する。
品質測定装置61
ネットワーク品質測定部613
映像品質に影響のあるネットウークの品質項目、例えばパケット損失率、スループットを測定する。
[Example 4]
A quality control method for the purpose of quality control of networks that transmit video services. Quality measures that affect service quality such as packet loss and delay in IP networks are measured, and subjective quality is estimated. Perform management. Please refer to FIG.
Quality measuring device 61
Network quality measurement unit 613
Measure network quality items that affect video quality, such as packet loss rate and throughput.
品質評価装置62
ネットワーク品質尺度をパラメータとする劣化パターン特性値算出部621
IPネットワークにおけるパケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によっで劣化の特徴が異なる。ここでは、品質測定部で測定するネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
Quality evaluation device 62
Deterioration pattern characteristic value calculation unit 621 using the network quality scale as a parameter
Video quality degradation occurs due to packet loss and delay in the IP network. Video quality degradation varies depending on the quality control method of the application and the quality of the network. Here, the image degradation pattern and the occurrence frequency when the quality item of the network measured by the quality measurement unit is changed are obtained in advance in an experimental environment.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さば通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality. FIG. 4 shows a method for grasping the video quality deterioration pattern characteristics.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求めや方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). There are two methods for obtaining, such as a method that specifies the time rate at the measurement time when deterioration is determined every unit time, and a method that calculates and considers the forgetting effect of the deterioration position during the entire measurement time. See Patent Document 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価直が目標となる闘直を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設けて対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
(2-3) Quality degradation determination device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation directly falls below the target battle, the quality is determined to be degraded. The method of providing is in accordance with the quality control method.
(2-4) Quality control device 64
Several countermeasures are provided to classify the countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control, necessary control such as route control and quality control is performed.
[実施例5]
映像サービスにおけるサーバとネットワークを同時に品質管理することを目的とした品質管理法であり、サーバ品質およびネットワーク品質について品質測定を行い、主観品質を推定することによって品質管理を行う。図9を参照する。
[Example 5]
It is a quality management method for the purpose of simultaneously managing the quality of the server and the network in the video service. The quality management is performed by measuring the quality of the server quality and the network quality and estimating the subjective quality. Please refer to FIG.
品質測定装置61
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
Quality measuring device 61
Server quality measurement unit 612
Measure server quality items that affect video quality, such as CPU utilization.
Network quality measurement unit 613
Measure network quality items that affect video quality, such as packet loss rate and throughput.
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワークやサーバにかかる負荷やパケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
Quality evaluation device 62
Deterioration pattern characteristic value calculation unit 621 using network and server quality measures as parameters
Video quality degradation occurs due to the load on the network and server, packet loss, delay, and the like. Video quality degradation varies depending on the quality control method of the application and the quality of the network. Here, the image degradation pattern and the occurrence frequency when the quality items of the server and network measured by the quality measurement unit are changed are obtained in advance in an experimental environment.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality. FIG. 4 shows a method for grasping the video quality deterioration pattern characteristics.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). Methods for obtaining include a method of prescribing by the time rate at the measurement time when deterioration is determined every unit time, and a method of taking into account the forgetting effect of the degradation position in the entire measurement time [non-patent Reference 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
品質劣化判定装置63
測定時間(T)における主観評価結果の判定闘値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
Quality degradation judgment device 63
A determination threshold value of the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
Quality control device 64
Several degradation thresholds are provided to classify countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control, necessary control such as route control and quality control is performed.
[実施例6]
映像品質、サーバ品質、ネットワーク品質管理の3つを管理対象とする実施例1および実施例5を組み合わせた総合品質管理方法である。図10を参照する。
品質測定装置61
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力しそのときの主観評価値を得る。主観評価値は、DMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)、許容率(許容できる、許容できないの2者択一で、許容できると応えた人の割合)などの主観品質評価尺度で出力された主観評価値を得る。
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
[Example 6]
This is a comprehensive quality management method that combines the first and fifth embodiments that are subject to management of video quality, server quality, and network quality management. Please refer to FIG.
Quality measuring device 61
Video objective quality measurement unit 611
Using a video objective quality evaluation apparatus, a video to be measured is input and a subjective evaluation value at that time is obtained. Subjective evaluation values are subjective quality such as DMOS (Degradation Mean Opinion Score), DSCQS (Double Stimulus Continuous Quality Measure), and tolerance rate (percentage of people who responded that it was acceptable in the choice of acceptable or unacceptable) The subjective evaluation value output on the evaluation scale is obtained.
Server quality measurement unit 612
Measure server quality items that affect video quality, such as CPU utilization.
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワーク、サーバにかかる負荷、パケットロス、遅延などの景響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
Network quality measurement unit 613
Measure network quality items that affect video quality, such as packet loss rate and throughput.
Quality evaluation device 62
Deterioration pattern characteristic value calculation unit 621 using network and server quality measures as parameters
Video quality degradation occurs due to the impact of network, server load, packet loss, delay, and the like. Video quality degradation varies depending on the quality control method of the application and the quality of the network. Here, the image degradation pattern and the occurrence frequency when the quality items of the server and network measured by the quality measurement unit are changed are obtained in advance in an experimental environment.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある、これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In subjective evaluation of television images, experimental methods are standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with voice degradation, etc. For the above, a subjective evaluation value D (p; Δt) when the above-described parameters are varied is obtained by a subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality. FIG. 4 shows a method for grasping the video quality deterioration pattern characteristics.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). Methods for obtaining include a method of prescribing by the time rate at the measurement time when deterioration is determined every unit time, and a method of taking into account the forgetting effect of the degradation position in the entire measurement time [non-patent Reference 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
Quality degradation judgment device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
Quality control device 64
Several degradation thresholds are provided to classify countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control, necessary control such as route control and quality control is performed.
[実施例7]
映像品質、サーバ品質、ネットワーク品質管理の3つを管理対象とする図6の実施例2および図9の実施例5を組み合わせた総合品質管理方法である。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力し、映像劣化を測定する。劣化検出の場合は、劣化の種類、継続時間、発生回数などの出力値を得る。
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
[Example 7]
This is a comprehensive quality management method that combines the second embodiment in FIG. 6 and the fifth embodiment in FIG. 9, in which video quality, server quality, and network quality management are managed.
Video objective quality measurement unit 611
Using a video objective quality evaluation device, input the video to be measured and measure the video degradation. In the case of deterioration detection, output values such as the type of deterioration, the duration, and the number of occurrences are obtained.
Server quality measurement unit 612
Measure server quality items that affect video quality, such as CPU utilization.
Network quality measurement unit 613
Measure network quality items that affect video quality, such as packet loss rate and throughput.
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワークやサーバにかかる負荷、パケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
Quality evaluation device 62
Deterioration pattern characteristic value calculation unit 621 using network and server quality measures as parameters
Video quality degradation occurs due to the load on the network and server, packet loss, delay, and the like. Video quality degradation varies depending on the quality control method of the application and the quality of the network. Here, the image degradation pattern and the occurrence frequency when the quality items of the server and network measured by the quality measurement unit are changed are obtained in advance in an experimental environment.
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
Deterioration pattern subjective quality evaluation value calculation unit 622 in unit time
In the subjective evaluation of television images, an experimental method is standardized in ITU-R recommendation BT500-11. In many cases, video evaluation in communication services is also performed in a similar manner. In this case, the length of the video presented to the subject is usually about 10 seconds. Here, a subjective quality evaluation value for a degradation pattern that occurs within a unit time length (Δt) of about 10 seconds is obtained in advance. Degradation pattern parameters that affect subjective evaluation include type (k), degradation area (w), degradation duration (l), number of degradation occurrences, combinations of multiple degradations, combinations with speech degradation, and the like. About these, the subjective evaluation value D (p; (DELTA) t) at the time of changing the parameter quoted above is calculated | required by subjective evaluation experiment. This makes it possible to extract parameters that have little influence on subjective quality. FIG. 4 shows a method for grasping the video quality deterioration pattern characteristics.
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時問毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
Long-term subjective evaluation value calculation unit 623
In order to perform quality measurement, a certain amount of measurement time (T) is required depending on the service. Therefore, the evaluation at a fixed measurement time is obtained according to the fluctuation state of the subjective evaluation value (D (p; Δt)) in the unit time (Δt). There are two methods for obtaining, such as a method that specifies the time rate at the measurement time when deterioration is determined for each unit time, and a method that takes into account the forgetting effect of the deterioration position during the entire measurement time. See Patent Document 1]. Using these methods, the subjective evaluation value D (T) at the measurement time (T) of the subjective quality evaluation value obtained every unit time is calculated.
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
以上の図示説明においては、サービス中に測定されたサーバおよび/或いはネットワークの状況から劣化パターンを推定する劣化パターン抽出操作を実行する説明がなされていたが、劣化パターン推定の根拠とする対象として更に端末を付加して、これをサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者、とすると好適である。
Quality degradation judgment device 63
A determination threshold value for the subjective evaluation result at the measurement time (T) is provided, and if the subjective evaluation value falls below the target threshold value, it is determined that the quality is deteriorated. The method of providing is in accordance with the quality control method.
Quality control device 64
Several degradation thresholds are provided to classify countermeasures. In the case of a predictive threshold, an alarm (alarm) is performed, and in the case of a threshold that requires quality control, necessary control such as route control and quality control is performed.
In the above description, the description has been made to execute the deterioration pattern extraction operation for estimating the deterioration pattern from the server and / or network conditions measured during the service. If a terminal is added and this is any one selected from the three of the server, network, and terminal, or any two selected from these three, or these three Is preferred.
1 配信サーバ 2 通信網
3 受信端末 4 接続回線
5 ストリーム 6 映像サービス品質管理装置
7 モニタ用回線 61 品質測定装置
611 映像客観品質測定部 612 サーバ品質測定部
613 ネットワーク品質測定部 62 品質評価装置
621 劣化パターン特性値算出部 622 劣化パターン主観品質評価値算出部 623 長時間主観評価値算出部 63 品質劣化判定装置
64 品質管理装置
DESCRIPTION OF SYMBOLS 1 Distribution server 2
7 Monitor line 61 Quality measurement device 611 Video objective quality measurement unit 612 Server quality measurement unit 613 Network quality measurement unit 62 Quality evaluation device 621 Deterioration pattern characteristic value calculation unit 622 Deterioration pattern subjective quality evaluation value calculation unit 623 Long-term subjective evaluation value Calculation unit 63 Quality degradation determination device 64 Quality management device
Claims (6)
予め劣化パターンについて主観品質評価値に影響のある劣化の種類、劣化面積、劣化継続時間、劣化発生回数のパラメータ別に主観品質評価値特性を算出し、予め劣化パターンについてサーバのCPU使用率、ネットワークのパケット損失率およびスループットの品質項目を変化させた場合の劣化の種類、劣化面積、劣化継続時間、劣化発生回数の劣化度特性を算出し、測定したサーバのCPU使用率、ネットワークのパケット損失率およびスループットから上記劣化度特性を用いて劣化パターンの劣化度を求め、求めた劣化度から上記主観品質評価値特性を用いて主観品質評価値を求め、求めた主観品質評価値の長時間変動特性から長時間主観品質評価値を算出し、
これにより測定された劣化パターンに基づいて得られた長時間主観品質評価値と目標とする長時間主観品質評価値の関係から品質劣化を判定する、
ことを特徴とする映像サービス品質管理方法。 Any one selected from the server, the network, and the terminal in which the quality items affecting the video quality are measured during the service with respect to the subjective quality evaluation value characteristic of the occurrence pattern of the quality deterioration obtained in advance. Or a deterioration pattern extraction operation for estimating a deterioration pattern from the situation of any one of these three parties, or these three parties, and calculating a subjective quality evaluation value characteristic of the deterioration pattern In the video service quality management method for determining service quality degradation based on the result,
Subjective quality evaluation value characteristics are calculated in advance for each parameter of deterioration type, deterioration area, deterioration duration, and number of occurrences of deterioration affecting the subjective quality evaluation value for the deterioration pattern . When the quality items of packet loss rate and throughput are changed , the degradation type, degradation area, degradation duration, degradation degree characteristics of the number of degradation occurrences are calculated, and the measured server CPU usage rate, network packet loss rate and From the throughput , the deterioration level of the deterioration pattern is obtained using the above-mentioned deterioration degree characteristic, the subjective quality evaluation value is obtained from the obtained deterioration degree using the subjective quality evaluation value characteristic, and the long-term variation characteristic of the obtained subjective quality evaluation value is obtained. Calculate long-term subjective quality assessment values,
The quality degradation is determined from the relationship between the long-term subjective quality evaluation value obtained based on the degradation pattern measured thereby and the target long-term subjective quality evaluation value.
A video service quality management method characterized by the above.
更に、サーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価値特性を算出し、単位時間での主観品質評価値特性の変動状況から品質測定を行う長時間での主観品質評価値を推定して、運用サービス中の映像品質の主観品質評価値を推定する、
ことを特徴とする映像サービス品質管理方法。 The video service quality management method according to claim 1,
Furthermore, the server, the network, any one who has been selected from among the three parties of the terminal, or any two parties selected from among these three, if one had the of changing the quality of these three parties Video degradation pattern is estimated, the subjective quality evaluation value characteristic per unit time is calculated for the corresponding video degradation pattern, and the quality measurement is performed from the fluctuation state of the subjective quality evaluation value characteristic per unit time to estimate the subjective quality assessment value of a long time, to estimate the subjective quality evaluation value of the image quality during operation services,
A video service quality management method characterized by the above.
更に、長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行い、映像品質劣化が発生している場合に主観品質評価値に影響があるか否かを閾値によりを判定する、
ことを特徴とする映像サービス品質管理方法。 The video service quality management method according to claim 1,
In addition, a threshold is set for video quality degradation based on the subjective quality evaluation value over a long period of time, and whether or not the subjective quality evaluation value is affected when video quality degradation occurs is determined by the threshold. Determine
A video service quality management method characterized by the above.
上記品質評価装置は、
予め劣化パターンについて主観品質評価値に影響のある劣化の種類、劣化面積、劣化継続時間、劣化発生回数のパラメータ別に主観品質評価値特性を算出する手段と、
予め劣化パターンについてサーバのCPU使用率、ネットワークのパケット損失率およびスループットの品質項目を変化させた場合の劣化の種類、劣化面積、劣化継続時間、劣化発生回数の劣化度特性を算出する手段と、
測定したサーバのCPU使用率、ネットワークのパケット損失率およびスループットの品質から上記劣化度特性を用いて劣化パターンの劣化度を求め、求めた劣化度から上記主観品質評価値特性を用いて主観品質評価値を求め、求めた主観品質評価値の長時間変動特性から長時間主観品質評価値を算出する手段とを具備し、
上記品質劣化判定装置は、測定された劣化パターンに基づいて得られた長時間主観品質評価値と目標とする長時間主観品質評価値の関係から品質劣化を判定する手段を具備することを特徴とする映像サービス品質管理装置。 Any one selected from the server, the network, and the terminal in which the quality items affecting the video quality are measured during the service with respect to the subjective quality evaluation value characteristic of the occurrence pattern of the quality deterioration obtained in advance. Or a quality evaluation device that estimates and extracts a degradation pattern from the situation of any one of these three parties, or these three parties, and calculates a subjective quality evaluation value characteristic of the degradation pattern In the video service quality management apparatus having the quality deterioration determination device for determining the service quality deterioration from the output result of the quality evaluation device,
The quality evaluation apparatus is
Means for calculating a subjective quality evaluation value characteristic for each parameter of deterioration type, deterioration area, deterioration duration, and the number of occurrences of deterioration affecting the subjective quality evaluation value in advance for the deterioration pattern;
Means for calculating the degradation characteristics of the degradation type, degradation area, degradation duration, degradation occurrence number when the CPU usage rate of the server , the packet loss rate of the network, and the quality items of the throughput are changed in advance for the degradation pattern;
The degree of degradation of the degradation pattern is obtained from the measured CPU usage rate of the server , the packet loss rate of the network, and the quality of the throughput using the above-mentioned degradation degree characteristic, and the subjective quality evaluation is performed from the obtained degree of degradation using the above subjective quality evaluation value characteristic. And a means for calculating a long-term subjective quality evaluation value from a long-time variation characteristic of the obtained subjective quality evaluation value,
The quality degradation determination device includes means for determining quality degradation from a relationship between a long-term subjective quality evaluation value obtained based on a measured degradation pattern and a target long-term subjective quality evaluation value. Video service quality management device.
上記品質評価装置は、品質測定装置で得られたサーバ、ネットワークの2者の内から選択された何れか1者、或いはこれらの2者の品質の測定結果に基づいて、予め得られているサーバ、ネットワークの2者の内から選択された何れか1者、或いはこれらの2者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価値特性を算出し、単位時間での主観品質評価値特性の変動状況から品質測定を行う長時間での主観品質評価値を推定する構成を更に具備して、運用サービス中の映像品質の主観品質評価を推定するものである、
ことを特徴とする映像サービス品質管理装置。 In the video service quality management device according to claim 4,
The quality evaluation device is a server obtained by the quality measurement device, one of the two selected from the network, or a server obtained in advance based on the quality measurement results of these two parties. , One of the two selected from the network, or a video degradation pattern when the quality of these two is changed, and a unit time obtained in advance for the corresponding video degradation pattern It calculates the subjective quality assessment value characteristics at from variation situation of the subjective quality assessment value characteristic of a unit time by further comprising a configuration of estimating the subjective quality assessment value in a long time to conduct a quality measurement, in operation services is intended to estimate the subjective quality evaluation of image quality,
A video service quality management apparatus characterized by the above.
上記映像サービス品質劣化判定装置は、品質評価装置によって得られた長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行う構成を更に具備して、映像品質劣化が発生している場合に主観品質評価値に影響があるか否かを閾値により判定するものである、
ことを特徴とする映像サービス品質管理装置。 In the video service quality management device according to claim 4,
The video service quality degradation determination device further includes a configuration for performing degradation determination by setting a threshold for video quality degradation based on a subjective quality evaluation value over a long period of time obtained by the quality assessment device. If it occurs, it is determined by the threshold value whether the subjective quality evaluation value is affected.
A video service quality management apparatus characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004034001A JP4383196B2 (en) | 2004-02-10 | 2004-02-10 | Video service quality management method and apparatus for implementing the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004034001A JP4383196B2 (en) | 2004-02-10 | 2004-02-10 | Video service quality management method and apparatus for implementing the method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005229214A JP2005229214A (en) | 2005-08-25 |
JP4383196B2 true JP4383196B2 (en) | 2009-12-16 |
Family
ID=35003603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004034001A Expired - Fee Related JP4383196B2 (en) | 2004-02-10 | 2004-02-10 | Video service quality management method and apparatus for implementing the method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4383196B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4490374B2 (en) * | 2006-01-19 | 2010-06-23 | 日本電信電話株式会社 | Video quality evaluation apparatus and method |
JP5168283B2 (en) | 2007-08-20 | 2013-03-21 | 富士通株式会社 | Video quality monitoring method, distribution server and client |
WO2011072414A1 (en) * | 2009-12-15 | 2011-06-23 | Thomson Licensing | Method and apparatus for subjective assessment of video quality |
CN102263985B (en) * | 2011-07-25 | 2013-06-05 | 深圳展景世纪科技有限公司 | Quality evaluation method, device and system of stereographic projection device |
WO2014018012A1 (en) | 2012-07-24 | 2014-01-30 | Siemens Enterprise Communications Gmbh & Co. Kg | Method, device, and system for testing video quality |
JP6162596B2 (en) * | 2013-12-24 | 2017-07-12 | 日本電信電話株式会社 | Quality estimation apparatus, method and program |
JP6228906B2 (en) * | 2014-10-31 | 2017-11-08 | 日本電信電話株式会社 | Video quality estimation apparatus, method and program |
JP7033097B2 (en) * | 2019-03-18 | 2022-03-09 | Kddi株式会社 | Network monitoring system and method |
EP4030742A4 (en) * | 2019-09-09 | 2023-09-20 | Ntt Docomo, Inc. | Service quality management system |
-
2004
- 2004-02-10 JP JP2004034001A patent/JP4383196B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005229214A (en) | 2005-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101450494B1 (en) | Service performance in communications network | |
US7965650B2 (en) | Method and system for quality monitoring of media over internet protocol (MOIP) | |
EP2761879B1 (en) | A method to measure quality of experience of a video service | |
EP2364540B1 (en) | Method for estimating the 'quality of experience' of a user in respect of audio and/or video contents distributed through telecommunications networks | |
JP4383196B2 (en) | Video service quality management method and apparatus for implementing the method | |
JP2013509016A (en) | Network management system and method for identifying and accessing quality of service results within a communication network | |
EP2741439B1 (en) | Network failure detecting method and monitoring center | |
CN113196718B (en) | Techniques for user plane quality of service analysis | |
JPWO2012014804A1 (en) | COMMUNICATION APPARATUS AND SIGNAL DEGRESSION MONITORING SYSTEM | |
JP7033097B2 (en) | Network monitoring system and method | |
JP4634339B2 (en) | User experience quality estimation apparatus, method, and program | |
JP4668851B2 (en) | Quality class determination apparatus, quality class determination method, and program | |
JP2005244609A (en) | Network quality control target value calculating method and apparatus thereof, network quality monitoring method, and apparatus thereof | |
US7366160B2 (en) | Method of determining service trends | |
JP2005110038A (en) | Congestion detecting device, and method for detecting congestion of tcp traffic, and program | |
Al-Sbou et al. | A novel quality of service assessment of multimedia traffic over wireless ad hoc networks | |
JP5126015B2 (en) | Packet distribution quality evaluation apparatus and method | |
JP4584870B2 (en) | Packet loss characteristic analysis apparatus, method, and program | |
JP2006211360A (en) | Communication line monitoring device | |
KR101465244B1 (en) | Method and apparatus for detecting abnormal call surging through call counts | |
Dillon et al. | PERIMETER: a quality of experience framework | |
US8144614B2 (en) | Method and apparatus for detecting vocal data flow in a packet data flow | |
KR101351660B1 (en) | Traffic perception apparatus and method using integral calculus | |
JP2006352528A (en) | User body-sensible quality estimating model generating apparatus, method and program thereof | |
JP2007329777A (en) | Content characteristic analysis apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060412 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090918 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |