JP4757761B2 - Chroma key detection range adjustment method and information processing apparatus - Google Patents
Chroma key detection range adjustment method and information processing apparatus Download PDFInfo
- Publication number
- JP4757761B2 JP4757761B2 JP2006268102A JP2006268102A JP4757761B2 JP 4757761 B2 JP4757761 B2 JP 4757761B2 JP 2006268102 A JP2006268102 A JP 2006268102A JP 2006268102 A JP2006268102 A JP 2006268102A JP 4757761 B2 JP4757761 B2 JP 4757761B2
- Authority
- JP
- Japan
- Prior art keywords
- chroma key
- threshold
- key level
- threshold value
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 title claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 10
- NBFASNUBTMTAFQ-UHFFFAOYSA-N N-[3-(5-chloro-2-methoxyphenyl)-1-methylpyrazol-4-yl]-1H-pyrazolo[4,3-c]pyridine-7-carboxamide Chemical compound ClC=1C=CC(=C(C=1)C1=NN(C=C1NC(=O)C=1C2=C(C=NC=1)C=NN2)C)OC NBFASNUBTMTAFQ-UHFFFAOYSA-N 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 102100039856 Histone H1.1 Human genes 0.000 description 1
- 101001035402 Homo sapiens Histone H1.1 Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、クロマキー合成の際に利用されるクロマキーを検出するためのクロマキー検出範囲を調整する方法及びそのための情報処理装置に関する。 The present invention relates to a method for adjusting a chroma key detection range for detecting a chroma key used in chroma key composition and an information processing apparatus therefor.
従来よりあるクロマキー合成においては、第1の画面において所定のレベル(例えば、赤=0、緑=0、青=255)である画面の一部を第2の画面に置き換えることにより、第1の画面と第2の画面との合成を行う。 In the conventional chroma key composition, the first screen is replaced with the second screen by replacing a part of the screen at a predetermined level (for example, red = 0, green = 0, blue = 255) with the first screen. The screen and the second screen are combined.
図1は、従来からあるクロマキー合成の機能を有するシステムの構成を示す。 FIG. 1 shows a configuration of a system having a conventional chroma key composition function.
図1を参照すると、CPU102からは、CPU102により生成された映像信号が出力される。この映像信号は、例えば、R(赤)G(緑)B(青)信号であり、一色につき8ビットが費やされている。
Referring to FIG. 1, a video signal generated by the
グラフィックスチップ103は、CPU102から入力した映像信号に対し所定の演算処理を施すことによりグラフィックスを表示するための映像信号を出力する。グラフィックスチップからの映像信号では、一色につき6ビットが費やされている。
The
6ビット/8ビット変換部104は、各色につき、下位2ビットを補完することにより、グラフィックスチップ103からの映像信号に対し6ビット/8ビット変換を施す。
The 6-bit / 8-
フレーム同期部107は、一旦、メモリ106に格納されたテレビ105からの映像信号を読み出すタイミングを調整することにより、6ビット/8ビット変換部104からの映像信号とテレビ105からの映像信号との間でフレーム同期を取る。
The
クロマキー合成は、比較器909と画面合成部108により行われる。比較器909は、6ビット/8ビット変換部104からの映像信号のレベルが所定のレベルであれば、画面合成部108に出力する制御信号のレベルをHIGHにする。画面合成部108は、制御信号がLOWであれば、6ビット/8ビット変換部104からの映像信号を選択し、制御信号がHIGHであれば、メモリ106からの映像信号を選択する。
上述した従来のシステムにおいては、比較器は、6ビット/8ビット変換部104からの映像信号を所定のクロマキーレベルと比較することにより、画面合成部108が第1の映像信号を選択するべきか、又は、第2の映像信号を選択するべきかを各画素毎に判断してクロマキー合成する。そして、このCPU102から比較器909に設定された所定のクロマキーレベルは、固定となっている。
In the above-described conventional system, the comparator compares the video signal from the 6-bit / 8-
従って、CPU102から出力される映像データのクロマキーレベルが不変であっても、グラフィックスチップ103の処理が変更され、あるいは異なるものに交換されると、もはやそれまで比較器909に設定されていた所定のクロマキーレベルは不正確なものとなり、クロマキー合成が正確に行えなくなってしまう。
Therefore, even if the chroma key level of the video data output from the
そこで、本発明は、上記の理由により通常であればクロマキー合成が正確に行えなくなった場合であっても、正しくクロマキー合成を行うことができることを可能とするクロマキー検出範囲調整方法及びクロマキー検出範囲調整装置を提供することを目的とする。 Therefore, the present invention provides a chroma key detection range adjustment method and chroma key detection range adjustment that enable correct chroma key composition even if chroma key composition cannot be performed correctly normally due to the above reasons. An object is to provide an apparatus.
本発明によれば、画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベルから前記クロマキーレベルを間に挟む上側クロマキーレベル及び下側クロマキーレベルが派生した場合において、前記上側クロマキーレベル及び前記下側クロマキーレベルを検出するための情報処理装置であって、前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定する手段と、前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定する手段と、前記第1の上側閾値を上限値とする第2の上側閾値を設定する手段と、前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定する手段と、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出手段と、前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出手段と、を備えることを特徴とする情報処理装置が提供される。 According to the present invention, when the image processing unit performs color conversion processing related to subtractive color and approximation processing, when the upper chroma key level and the lower chroma key level sandwiching the chroma key level are derived from the chroma key level, An information processing apparatus for detecting an upper chroma key level and a lower chroma key level, wherein a maximum estimated value of the upper chroma key level is set as a first upper threshold, and a minimum estimate of the lower chroma key level Means for setting a value as a first lower threshold, means for setting a second upper threshold with the first upper threshold as an upper limit, the first lower threshold as a lower limit, and , Means for setting a second lower threshold value that is less than or equal to the second upper threshold value, and the number of pixels in the frame that fall within a range between the first upper threshold value and the first lower threshold value. A first detector for detecting a ratio of the number of pixels in the frame that falls within a range between the second upper threshold and the second lower threshold; and a second that maintains the ratio of the number of pixels at a predetermined value or more. A minimum range of the upper limit threshold value and the second lower limit threshold value, and the second upper limit threshold value and the second lower limit threshold value corresponding to the minimum range are set to the upper chroma key level and the lower chroma key level, respectively. An information processing apparatus comprising: a second detection unit .
また、本発明によれば、画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベルから前記クロマキーレベルを間に挟む上側クロマキーレベル及び下側クロマキーレベルが派生した場合において、前記上側クロマキーレベル及び前記下側クロマキーレベルを検出するための情報処理方法であって、前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定するステップと、前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定するステップと、前記第1の上側閾値を上限値とする第2の上側閾値を設定するステップと、前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定するステップと、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出ステップと、前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出ステップと、を有することを特徴とする情報処理方法が提供される。 Further, according to the present invention, in the case where the image processing unit performs color conversion processing related to color reduction and approximation processing, and the upper chroma key level and the lower chroma key level sandwiching the chroma key level are derived from the chroma key level. An information processing method for detecting the upper chroma key level and the lower chroma key level, wherein a maximum estimated value of the upper chroma key level is set as a first upper threshold value; and Setting a minimum estimated value as a first lower threshold, setting a second upper threshold with the first upper threshold as an upper limit, and setting the first lower threshold as a lower limit And setting a second lower threshold value that is less than or equal to the second upper threshold value and a range that falls within a range between the first upper threshold value and the first lower threshold value. A first detection step of detecting a ratio of the number of pixels in a frame that falls within a range between a second upper threshold and a second lower threshold with respect to the number of pixels in a frame; and the ratio of the number of pixels is predetermined Detecting a minimum range of a second upper limit threshold and a second lower limit threshold that maintain a value equal to or greater than the value, and setting the second upper limit threshold and the second lower limit threshold corresponding to the minimum range to the upper chroma key, respectively. And a second detection step for setting the lower chroma key level. An information processing method is provided.
更に、本発明によれば、画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベルから前記クロマキーレベルを間に挟む上側クロマキーレベル及び下側クロマキーレベルが派生した場合において、前記上側クロマキーレベル及び前記下側クロマキーレベルを検出するための装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータを、前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定する手段と、前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定する手段と、前記第1の上側閾値を上限値とする第2の上側閾値を設定する手段と、前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定する手段と、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出手段と、前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出手段と、として機能させるためのプログラムが提供される。 Further, according to the present invention, when the image processing unit performs color conversion processing related to subtractive color and approximation processing, when the upper chroma key level and the lower chroma key level sandwiching the chroma key level are derived from the chroma key level. A program for causing a computer to function as a device for detecting the upper chroma key level and the lower chroma key level, wherein the computer sets the maximum estimated value of the upper chroma key level as a first upper threshold value. Means for setting a minimum estimated value of the lower chroma key level as a first lower threshold value, means for setting a second upper threshold value having the first upper threshold value as an upper limit value, Means for setting a first lower threshold value as a lower limit value and setting a second lower threshold value equal to or lower than the second upper threshold value; Detecting the ratio of the number of pixels in a frame falling within the range between the second upper threshold and the second lower threshold to the number of pixels in the frame falling between the value and the first lower threshold A first detection unit that detects a minimum range of a second upper limit threshold and a second lower limit threshold that maintain a ratio of the number of pixels equal to or greater than a predetermined value, and the second upper limit threshold corresponding to the minimum range; There is provided a program for causing the second lower limit threshold to function as second detection means for setting the upper chroma key level and the lower chroma key level, respectively.
本発明によれば、画面合成部の前段階においてディザリング処理やオフセット処理や丸め処理などが行われることによりクロマキーレベルが変更された場合であっても、クロマキー合成を行えるようにするためのクロマキーレベルを検出することが可能となる。 According to the present invention, a chroma key for enabling chroma key composition even when the chroma key level is changed by performing dithering processing, offset processing, rounding processing, or the like in the previous stage of the screen composition unit. The level can be detected.
以下、図面を参照して本発明の実施形態について説明をする。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
なお、以下の説明における色の分解能、色の階調、色の変動、あるいは、色の誤差に関する記述は(R,G,B)等の色の構成要素のうち、1構成色の場合について代表して説明する。 In the following description, the description relating to color resolution, color gradation, color variation, or color error is representative for the case of one component color among the color components such as (R, G, B). To explain.
グラフィックスチップ103は8ビットの分解能を有する(256の階調を有する)データを6ビットの分解能を有する(64の階調を有する)データに変換する。階調の分解能をこのように削減した場合であっても256の階調を有すると視覚的に認識できるようにするためグラフィックスチップ103は、ディザリング処理を行う。従って、ディザリング処理による±3階調の誤差が生ずる。また、ダイナミックレンジの減少による±3階調のオフセット誤差が生ずる。更に、±1階調の丸め誤差が生ずる。そうすると合わせて±7階調の誤差が生ずる。±7の間にあるレベルは15であるため(0レベルもカウントに含む)、グラフィックスチップに入力された各画素は、出力において15階調の不確定性を有することとなる。
The
次に、それぞれの誤差について説明する。 Next, each error will be described.
[ディザリング処理による誤差]
図2は、ディザリング処理を説明するための図である。図2(a)〜(d)に示す縦棒に付けられている目盛りは、8ビットの分解能におけるレベルを表す。8ビットの分解能におけるレベルを6ビットの分解能にディザリング処理をすると図2に示すようになる。
[Error due to dithering]
FIG. 2 is a diagram for explaining the dithering process. The scales attached to the vertical bars shown in FIGS. 2A to 2D represent levels at 8-bit resolution. When the level at 8 bits resolution is dithered to 6 bits, the result is as shown in FIG.
図2(a)は、8ビット分解能においてレベルがr1である画素がレベルがr1である4つの画素にディザリング処理により変換される様子を示している。図2(b)は、8ビット分解能においてレベルがr1+1である画素がレベルがr1である3つの画素及びレベルがr2である1つの画素にディザリング処理により変換される様子を示している。図2(c)は、8ビット分解能においてレベルがr1+2である画素がレベルがr1である2つの画素及びレベルがr2である2つの画素にディザリング処理により変換される様子を示している。図2(d)は、8ビット分解能においてレベルがr1+3である画素がレベルがr1である1つの画素及びレベルがr2である3つの画素にディザリング処理により変換される様子を示している。 FIG. 2A shows a state in which a pixel having a level r1 in an 8-bit resolution is converted into four pixels having a level r1 by a dithering process. FIG. 2B shows a state in which a pixel having a level of r1 + 1 in the 8-bit resolution is converted into three pixels having a level of r1 and one pixel having a level of r2 by a dithering process. FIG. 2C shows a state in which a pixel having a level of r1 + 2 is converted into two pixels having a level of r1 and two pixels having a level of r2 by dithering processing in 8-bit resolution. FIG. 2D shows a state in which a pixel having a level of r1 + 3 is converted into one pixel having a level of r1 and three pixels having a level of r2 by dithering processing in 8-bit resolution.
或る画素のレベルが図2(a)から図2(d)のどの場合に該当するかは不確定であるため、ディザリング処理による誤差は最大で±3階調となる。 Since it is uncertain in which case the level of a certain pixel corresponds to FIG. 2 (a) to FIG. 2 (d), the error due to the dithering process is a maximum of ± 3 gradations.
[オフセット誤差]
入力レベルのダイナミックレンジを0から252(6ビットの分解能にディザリング処理を行う場合:=63×4)にして、253〜255の範囲にある画素を強制的に252にしてしまうグラフィックスチップがある。また、入力レベルのダイナミックレンジを3から255(=63×4+3)にして、0〜2の範囲にある画素を強制的に3にしてしまうグラフィックスチップがある。従って、或る画素に着目した場合、±3階調のオフセット誤差が生ずる。
[Offset error]
There is a graphics chip that changes the dynamic range of the input level from 0 to 252 (when dithering to 6-bit resolution: = 63 × 4) and forcibly sets the pixels in the range of 253 to 255 to 252. is there. Further, there is a graphics chip that changes the dynamic range of the input level from 3 to 255 (= 63 × 4 + 3) and forcibly sets the pixels in the range of 0 to 2 to 3. Therefore, when attention is paid to a certain pixel, an offset error of ± 3 gradations occurs.
[丸め誤差]
グラフィックスチップ内では精度の異なるデータ変換における演算処理(8ビットの分解能と6ビットの分解能との間での変換処理)が行われ、この際近似処理が発生するため、これにより±1階調の丸め誤差が生ずる。
[Rounding error]
In the graphics chip, calculation processing (conversion processing between 8-bit resolution and 6-bit resolution) in data conversion with different precision is performed, and an approximation process occurs at this time, so that ± 1 gradation Rounding error occurs.
[本実施形態の目的]
上述したように、グラフィックスチップの出力においては、各画素は15階調の不確定性を有する。従って、クロマキーとして選択された色も15階調の不確定性を有する。そこで、15階調の不確定性を有する範囲(CPU出力の階調±7階調の範囲)にあるレベルを有する画素を全てクロマキーレベルとして設定してしまうと、実際にはクロマキー色でない色までもクロマキーレベルとして認識してしまうこととなる。そこで、本実施形態では、クロマキーレベルの不確定性の精度を最小範囲まで絞り込む。この最小範囲は条件によって異なり、あるときは5階調であり、またあるときは1階調である。
[Purpose of this embodiment]
As described above, each pixel has an uncertainty of 15 gradations in the output of the graphics chip. Therefore, the color selected as the chroma key also has an uncertainty of 15 gradations. Therefore, if all the pixels having a level in the range having the uncertainty of 15 gradations (the range of CPU output gradations ± 7 gradations) are all set as the chroma key level, even the color that is not actually the chroma key color is obtained. Will also be recognized as a chroma key level. Therefore, in this embodiment, the accuracy of the uncertainty of the chroma key level is narrowed down to the minimum range. This minimum range varies depending on conditions, and in some cases it is 5 gradations, and in other cases it is 1 gradation.
[構成]
図3は、本発明によるクロマキー合成の機能を有するシステムの構成を示す。
[Constitution]
FIG. 3 shows the configuration of a system having a chroma key composition function according to the present invention.
図3に示される構成要素のうち図1に示される構成要素と同一のものには、同一の記号を付し、その説明を省略する。 3 that are the same as those shown in FIG. 1 are marked with the same symbols and descriptions of them will be omitted.
図3に示される構成を、図1に示される構成を比較すると、比較器909が第1の比較器109及び第2の比較器110に置き換わり、コントロール部111が追加されていることがわかる。
Comparing the configuration shown in FIG. 3 with the configuration shown in FIG. 1, it can be seen that the
第1の比較器109、第2の比較器110及びコントロール部111は、ハードウェア、ソフトウェア又はそれらの組合せにより実現することができる。なお、ソフトウェアにより実現するとは、コンピュータがプログラムを読み込んで、そのプログラムを実行することにより実現することを意味する。
The
高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、第1の比較器109には、低精度な上側閾値と低精度な下側閾値とが設定される。そして、画面合成部108は、高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、6ビット/8ビット変換部104からの信号のレベルが、低精度な上側閾値と低精度な下側閾値との間にある場合に、メモリ106からの信号を選択し、そうでない場合に、6ビット/8ビット変換部104からの信号を選択することにより、簡易的なクロマキー合成を行う。
Until the high-accuracy upper threshold and the high-accuracy lower threshold are obtained, the
高精度な上側閾値と高精度な下側閾値とが求まったならば、第1の比較器109には、高精度な上側閾値と高精度な下側閾値とが設定される。その後、6ビット/8ビット変換部104からの信号のレベルが、高精度な上側閾値と高精度な下側閾値との間にある場合に、メモリ106からの信号を選択し、そうでない場合に、6ビット/8ビット変換部104からの信号を選択することにより、高精度なクロマキー合成を行う。
If the highly accurate upper threshold and the highly accurate lower threshold are found, the
制御部111は、第1の比較器109、第2の比較器110と連動して、高精度な上側閾値と高精度な下側閾値とを求める。
The control unit 111 obtains a highly accurate upper threshold and a highly accurate lower threshold in conjunction with the
[具体的な動作例]
図4は、クロマキーレベルKEY(8)が、図2(b)に示すようにディザリング処理され、KEY1(6)とKEY2(6)により表される場合に、高精度な上側閾値として、KEY1(6)のレベルを求め、高精度な下側閾値として、KEY2(6)を求める様子を示すタイミング図である。
[Specific operation example]
FIG. 4 shows a case where KEY1 is used as a high-precision upper threshold when the chroma key level KEY (8) is dithered as shown in FIG. 2B and expressed by KEY1 (6) and KEY2 (6). It is a timing diagram which shows a mode that the level of (6) is calculated | required and KEY2 (6) is calculated | required as a highly accurate lower side threshold value.
フレームF1において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF1において、第2の比較器110の可変上側閾値としてH1(=HTH(8))が設定され、第2の比較器110の可変下側閾値としてL1(=LTH(8))が設定される。HTH(8)は、図面の簡略化のために、CPU102から出力されるクロマキーレベルKEY(8)よりも4階調上のレベルであり、LTH(8)は、CPU102から出力されるクロマキーレベルKEY(8)よりも4階調下のレベルであるが、実際には、CPU102から出力されるクロマキーレベルKEY(8)よりも7階調上のレベルであり、LTH(8)は、CPU102から出力されるクロマキーレベルKEY(8)よりも7階調下のレベルである。
ところで、各フレームにおいて、第1の比較器109において第1の比較器109に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数N1を求める。同様に、第2の比較器110において第2の比較器110に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数N2を求める。そして、比率α=N2/N1を求める。
In frame F1, HTH (8) is set as the low precision upper threshold of the
By the way, in each frame, the
フレームF1においては、第1の比較器109に設定される上側閾値と第2の比較器110に設定される上側閾値とが等しく、第1の比較器109に設定される下側閾値と第2の比較器110に設定される下側閾値とが等しいため、N1=N2となり、従ってα=100%となる。
In the frame F1, the upper threshold value set in the
フレームF2において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF2において、第2の比較器110の可変上側閾値としてH2(=H1−1)が設定され、第2の比較器110の可変下側閾値としてL1(=LTH(8))が設定される。
In frame F2, HTH (8) is set as the low precision upper threshold value of the
フレームF2においては、レベルがH1からH2の間にある画素が若干あるため、αは例えば99%となる。 In the frame F2, since there are some pixels whose level is between H1 and H2, α is, for example, 99%.
フレームF3において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF3において、第2の比較器110の可変上側閾値としてH3(=H2−1)が設定され、第2の比較器110の可変下側閾値としてL1(=LTH(8))が設定される。
In the frame F3, HTH (8) is set as the low precision upper threshold of the
フレームF3においては、レベルがH1からH2の間にある画素が若干あり、その上、KEY1(6)のレベルとレベルH2が等しいため、αは例えば75%となる。従って、レベルH2がKEY(8)をディザリングにより表すための上側のレベルであると判断される。 In the frame F3, there are some pixels whose level is between H1 and H2, and furthermore, the level of KEY1 (6) is equal to the level H2, so α is 75%, for example. Therefore, it is determined that the level H2 is an upper level for expressing KEY (8) by dithering.
そこで、フレームF4においては、レベルH2を第2の比較器110の確定された上側閾値として設定する。
Therefore, in the frame F4, the level H2 is set as the determined upper threshold value of the
また、フレームF4において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。
In frame F4, HTH (8) is set as the low precision upper threshold value of the
また、フレームF4において第2の比較器110の可変下側閾値としてL2(=L1+1)が設定される。レベルがL1とL2の間にある画素が若干あるため、αは例えば98%となる。
Further, L2 (= L1 + 1) is set as the variable lower threshold value of the
フレームF5において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF5において、第2の比較器110の可変上側閾値としてH2(確定値)が設定され、第2の比較器110の可変下側閾値としてL3(=L2+1)が設定される。レベルがL2とL3の間にある画素が若干あるため、αは例えば97%となる。
In the frame F5, HTH (8) is set as the low precision upper threshold of the
フレームF6において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF6において、第2の比較器110の可変上側閾値としてH2(確定値)が設定され、第2の比較器110の可変下側閾値としてL4(=L3+1)が設定される。レベルがL3とL4の間にある画素が若干あるため、αは例えば96%となる。
In the frame F6, HTH (8) is set as the low precision upper threshold of the
フレームF7において、第1の比較器109の低精度上側閾値としてHTH(8)が設定され、第1の比較器109の低精度下側閾値としてLTH(8)が設定される。また、フレームF7において、第2の比較器110の可変上側閾値としてH2(確定値)が設定され、第2の比較器110の可変下側閾値としてL5(=L4+1)が設定される。
In the frame F7, HTH (8) is set as the low precision upper threshold of the
フレームF7においては、レベルがL4からL5の間にある画素が若干あり、その上、KEY2(6)のレベルとレベルL4が等しいため、αは例えば24%となる。従って、レベルL4がKEY(8)をディザリングにより表すための下側のレベルであると判断される。 In the frame F7, there are some pixels whose level is between L4 and L5, and furthermore, the level of KEY2 (6) is equal to the level L4, so α is 24%, for example. Therefore, it is determined that the level L4 is a lower level for expressing KEY (8) by dithering.
フレームF8以降においては、フレームF3で確定した上側のレベルH2とフレームF7で確定した下側のレベルL4が第1の比較器109に設定される。そして、第1の比較器109が出力する比較結果を基にして、画面合成部108は、クロマキー合成を行う。
After the frame F8, the upper level H2 determined in the frame F3 and the lower level L4 determined in the frame F7 are set in the
このようにして、高精度な閾値が求まるまでの間は、第1の比較器109には、低精度な閾値が設定され、低精度なクロマキー合成しか行うことができないが、高精度な閾値が求まってからは、第1の比較器109には、高精度な閾値が設定され、高精度なクロマキー合成を行うことが可能となる。
In this way, until the high-accuracy threshold is obtained, the
図5は、クロマキーレベルKEY(8)が図2(c)に示すようにディザリング処理され、KEY1(6)とKEY2(6)により表される場合に、高精度な上側閾値として、KEY1(6)(=H3)のレベルを求め、高精度な下側閾値として、KEY2(6)(=L3)を求める様子を示すタイミング図である。動作原理は、図4の場合と同様であるので、その説明を省略する。 FIG. 5 shows a case where KEY1 (6) is used as a highly accurate upper threshold when the chroma key level KEY (8) is dithered as shown in FIG. 2 (c) and is expressed by KEY1 (6) and KEY2 (6). 6) It is a timing chart showing how KEY2 (6) (= L3) is obtained as a highly accurate lower threshold value by obtaining the level (= H3). The operation principle is the same as in FIG.
図6は、クロマキーレベルKEY(8)が図2(d)に示すようにディザリング処理され、KEY1(6)とKEY2(6)により表される場合に、高精度な上側閾値として、KEY1(6)(=H4)のレベルを求め、高精度な下側閾値として、KEY2(6)(=L2)を求める様子を示すタイミング図である。動作原理は、図4の場合と同様であるので、その説明を省略する。 FIG. 6 shows a case where the key value KEY1 (6) is used as a highly accurate upper threshold when the chroma key level KEY (8) is dithered as shown in FIG. 2 (d) and expressed by KEY1 (6) and KEY2 (6). 6) It is a timing chart showing how KEY2 (6) (= L2) is obtained as a highly accurate lower threshold value by obtaining the level (= H4). The operation principle is the same as in FIG.
図7は、クロマキーレベルKEY(8)が図2(a)に示すようにディザリング処理され、KEY1(6)(=KEY2(6))により表される場合に、高精度な上側閾値として、KEY1(6)(=H5)のレベルを求め、高精度な下側閾値として、KEY2(6)(=H5)を求める様子を示すタイミング図である。動作原理は、図4の場合と同様であるので、その説明を省略する。図7の場合には、可変上側閾値をH6まで落としたときに、αの値が0%となるため、図2(a)のようなディザリングが行われていると判断し、高精度上側閾値も高精度下側閾値も共にH5とする。 FIG. 7 shows a high-precision upper threshold when the chroma key level KEY (8) is dithered as shown in FIG. 2A and expressed by KEY1 (6) (= KEY2 (6)). It is a timing chart which shows a mode that the level of KEY1 (6) (= H5) is calculated | required and KEY2 (6) (= H5) is calculated | required as a highly accurate lower side threshold value. The operation principle is the same as in FIG. In the case of FIG. 7, since the value of α becomes 0% when the variable upper threshold is lowered to H6, it is determined that the dithering as shown in FIG. Both the threshold value and the high precision lower threshold value are set to H5.
この他に、オフセット誤差や丸め誤差が生じた場合であっても同様なアルゴリズムにより高精度上側閾値及び高精度下側閾値を求めることが可能となる。 In addition to this, even when an offset error or a rounding error occurs, it is possible to obtain the high accuracy upper threshold and the high accuracy lower threshold by a similar algorithm.
101 パーソナルコンピュータ
102 CPU
103 グラフィックスチップ
104 6ビット/8ビット変換部
105 テレビ
106 メモリ
107 フレーム同期部
108 画面合成部
109 第1の比較器
110 第2の比較器
111 コントロール部
101
DESCRIPTION OF
Claims (12)
前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定する手段と、
前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定する手段と、
前記第1の上側閾値を上限値とする第2の上側閾値を設定する手段と、
前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定する手段と、
第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出手段と、
前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出手段と、
を備えることを特徴とする情報処理装置。 In the image processing unit, color conversion processing related to color reduction and approximation processing is performed, and when the upper chroma key level and the lower chroma key level sandwiching the chroma key level are derived from the chroma key level, the upper chroma key level and the lower chroma key level are derived. An information processing apparatus for detecting a side chroma key level,
Means for setting the maximum estimated value of the upper chroma key level as a first upper threshold;
Means for setting a minimum estimated value of the lower chroma key level as a first lower threshold;
Means for setting a second upper threshold value with the first upper threshold value as an upper limit;
Means for setting the first lower threshold to a lower limit and setting a second lower threshold equal to or lower than the second upper threshold;
The number of pixels in the frame that falls within the range between the second upper threshold and the second lower threshold with respect to the number of pixels in the frame that falls within the range between the first upper threshold and the first lower threshold. First detecting means for detecting a ratio;
Detecting a minimum range of a second upper limit threshold value and a second lower limit threshold value, wherein the ratio of the number of pixels maintains a predetermined value or more, and the second upper limit threshold value and the second lower limit threshold value corresponding to the minimum range; , Second detection means for setting the upper chroma key level and the lower chroma key level, respectively,
The information processing apparatus comprising: a.
前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せである情報処理装置。 The information processing apparatus according to claim 1,
The information processing apparatus, wherein the color conversion processing is dither processing, offset processing, rounding processing, or a combination thereof.
前記第2の検出手段では、第2の上側閾値を減じていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の上側閾値を前記上側クロマキーレベルとすることを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
In the second detection means, the second upper threshold value is subtracted, and the second upper threshold value and the second upper threshold value for the number of pixels in the frame falling within the range between the first upper threshold value and the first lower threshold value are set. When the amount of change in the ratio of the number of pixels in a frame that falls within a range between two lower thresholds is equal to or greater than a predetermined value, the immediately preceding second upper threshold is set as the upper chroma key level. Information processing device.
前記第2の検出手段では、第2の下側閾値を増やしていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の下側閾値を前記下側クロマキーレベルとすることを特徴とする情報処理装置。 The information processing apparatus according to any one of claims 1 to 3 ,
In the second detection means, a second lower threshold is increased, and a second upper threshold for the number of pixels in the frame falling within a range between the first upper threshold and the first lower threshold; When the amount of change in the ratio of the number of pixels in the frame that falls within the range between the second lower threshold value is equal to or greater than a predetermined value, the immediately preceding second lower threshold value is set as the lower chroma key level. A characteristic information processing apparatus.
前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定するステップと、
前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定するステップと、
前記第1の上側閾値を上限値とする第2の上側閾値を設定するステップと、
前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定するステップと、
第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出ステップと、
前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出ステップと、
を有することを特徴とする情報処理方法。 In the image processing unit, color conversion processing related to color reduction and approximation processing is performed, and when the upper chroma key level and the lower chroma key level sandwiching the chroma key level are derived from the chroma key level, the upper chroma key level and the lower chroma key level are derived. An information processing method for detecting a side chroma key level,
Setting a maximum estimated value of the upper chroma key level as a first upper threshold;
Setting a minimum estimated value of the lower chroma key level as a first lower threshold;
Setting a second upper threshold value having the first upper threshold value as an upper limit;
Setting the first lower threshold as a lower limit and setting a second lower threshold equal to or lower than the second upper threshold;
The number of pixels in the frame that falls within the range between the second upper threshold and the second lower threshold with respect to the number of pixels in the frame that falls within the range between the first upper threshold and the first lower threshold. A first detection step of detecting a ratio;
Detecting a minimum range of a second upper limit threshold value and a second lower limit threshold value, wherein the ratio of the number of pixels maintains a predetermined value or more, and the second upper limit threshold value and the second lower limit threshold value corresponding to the minimum range; A second detection step for setting the upper chroma key level and the lower chroma key level, respectively,
An information processing method characterized by comprising:
前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せである情報処理方法。 The information processing method, wherein the color conversion process is a dither process, an offset process, a rounding process, or a combination thereof.
前記第2の検出ステップでは、第2の上側閾値を減じていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の上側閾値を前記上側クロマキーレベルとすることを特徴とする情報処理方法。 In the second detection step, the second upper threshold is subtracted, and the second upper threshold and the second upper threshold for the number of pixels in the frame falling within the range between the first upper threshold and the first lower threshold are set. When the amount of change in the ratio of the number of pixels in a frame that falls within a range between two lower thresholds is equal to or greater than a predetermined value, the immediately preceding second upper threshold is set as the upper chroma key level. Information processing method.
前記第2の検出ステップでは、第2の下側閾値を増やしていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の下側閾値を前記下側クロマキーレベルとすることを特徴とする情報処理方法。 In the second detection step, the second lower threshold is increased, and the second upper threshold for the number of pixels in the frame that falls within the range between the first upper threshold and the first lower threshold; When the amount of change in the ratio of the number of pixels in the frame that falls within the range between the second lower threshold value is equal to or greater than a predetermined value, the immediately preceding second lower threshold value is set as the lower chroma key level. A characteristic information processing method.
前記コンピュータを、 The computer,
前記上側クロマキーレベルの最大見積値を、第1の上側閾値として設定する手段と、 Means for setting the maximum estimated value of the upper chroma key level as a first upper threshold;
前記下側クロマキーレベルの最小見積値を、第1の下側閾値として設定する手段と、 Means for setting a minimum estimated value of the lower chroma key level as a first lower threshold;
前記第1の上側閾値を上限値とする第2の上側閾値を設定する手段と、 Means for setting a second upper threshold value with the first upper threshold value as an upper limit;
前記第1の下側閾値を下限値とし、且つ、前記第2の上側閾値以下の第2の下側閾値を設定する手段と、 Means for setting the first lower threshold to a lower limit and setting a second lower threshold equal to or lower than the second upper threshold;
第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第1の検出手段と、 The number of pixels in the frame that falls within the range between the second upper threshold and the second lower threshold with respect to the number of pixels in the frame that falls within the range between the first upper threshold and the first lower threshold. First detecting means for detecting a ratio;
前記画素数の割合が所定値以上を維持する第2の上限閾値と第2の下限閾値の最小範囲を検出し、該最小範囲に対応する前記第2の上限閾値と前記第2の下限閾値とを、それぞれ、前記上側クロマキーレベル及び前記下側クロマキーレベルとする第2の検出手段と、 Detecting a minimum range of a second upper limit threshold value and a second lower limit threshold value, wherein the ratio of the number of pixels maintains a predetermined value or more, and the second upper limit threshold value and the second lower limit threshold value corresponding to the minimum range; , Second detection means for setting the upper chroma key level and the lower chroma key level, respectively,
として機能させるためのプログラム。 Program to function as.
前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せであるプログラム。 The color conversion process is a program that is a dither process, an offset process, a rounding process, or a combination thereof.
前記第2の検出手段では、第2の上側閾値を減じていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の上側閾値を前記上側クロマキーレベルとすることを特徴とするプログラム。 In the second detection means, the second upper threshold value is subtracted, and the second upper threshold value and the second upper threshold value for the number of pixels in the frame falling within the range between the first upper threshold value and the first lower threshold value are set. When the amount of change in the ratio of the number of pixels in a frame that falls within a range between two lower thresholds is equal to or greater than a predetermined value, the immediately preceding second upper threshold is set as the upper chroma key level. program.
前記第2の検出手段では、第2の下側閾値を増やしていき、第1の上側閾値と第1の下側閾値との間の範囲に収まるフレーム内の画素数に対する第2の上側閾値と第2の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第2の下側閾値を前記下側クロマキーレベルとすることを特徴とするプログラム。 In the second detection means, a second lower threshold is increased, and a second upper threshold for the number of pixels in the frame falling within a range between the first upper threshold and the first lower threshold; When the amount of change in the ratio of the number of pixels in the frame that falls within the range between the second lower threshold value is equal to or greater than a predetermined value, the immediately preceding second lower threshold value is set as the lower chroma key level. A featured program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006268102A JP4757761B2 (en) | 2006-09-29 | 2006-09-29 | Chroma key detection range adjustment method and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006268102A JP4757761B2 (en) | 2006-09-29 | 2006-09-29 | Chroma key detection range adjustment method and information processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008092085A JP2008092085A (en) | 2008-04-17 |
JP4757761B2 true JP4757761B2 (en) | 2011-08-24 |
Family
ID=39375793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006268102A Expired - Fee Related JP4757761B2 (en) | 2006-09-29 | 2006-09-29 | Chroma key detection range adjustment method and information processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4757761B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115615552B (en) * | 2022-12-16 | 2023-04-04 | 赫比(苏州)通讯科技有限公司 | Method and device for automatically detecting color of keycap on line |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04135384A (en) * | 1990-07-31 | 1992-05-08 | Ricoh Co Ltd | Picture synthesizer |
JPH06308938A (en) * | 1992-10-06 | 1994-11-04 | Seiko Epson Corp | Picture processing device |
JPH07240876A (en) * | 1994-02-28 | 1995-09-12 | Sony Corp | Signal converter |
JP2001320730A (en) * | 2000-05-08 | 2001-11-16 | Matsushita Electric Ind Co Ltd | Image composing device |
JP2002374540A (en) * | 2001-04-18 | 2002-12-26 | Quantel Ltd | Bluescreening system, method and apparatus |
JP2004012519A (en) * | 2002-06-03 | 2004-01-15 | Seiko Epson Corp | Image display, image displaying method and computer-readable recording medium with image display program recorded thereon |
JP2006259372A (en) * | 2005-03-17 | 2006-09-28 | Victor Co Of Japan Ltd | Color irregularity correction apparatus |
-
2006
- 2006-09-29 JP JP2006268102A patent/JP4757761B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04135384A (en) * | 1990-07-31 | 1992-05-08 | Ricoh Co Ltd | Picture synthesizer |
JPH06308938A (en) * | 1992-10-06 | 1994-11-04 | Seiko Epson Corp | Picture processing device |
JPH07240876A (en) * | 1994-02-28 | 1995-09-12 | Sony Corp | Signal converter |
JP2001320730A (en) * | 2000-05-08 | 2001-11-16 | Matsushita Electric Ind Co Ltd | Image composing device |
JP2002374540A (en) * | 2001-04-18 | 2002-12-26 | Quantel Ltd | Bluescreening system, method and apparatus |
JP2004012519A (en) * | 2002-06-03 | 2004-01-15 | Seiko Epson Corp | Image display, image displaying method and computer-readable recording medium with image display program recorded thereon |
JP2006259372A (en) * | 2005-03-17 | 2006-09-28 | Victor Co Of Japan Ltd | Color irregularity correction apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2008092085A (en) | 2008-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8189941B2 (en) | Image processing device, display device, image processing method, and program | |
EP1072153B1 (en) | False contour correcting apparatus and method | |
KR100968095B1 (en) | Video signal processing apparatus performing gamma correction by cubic interpolation computation, and method thereof | |
JP2009044500A (en) | Image display device, image processor, and image processing method | |
JP4230027B2 (en) | Signal processing method for analog image signal | |
JP2004173262A (en) | Sampling position adjustment device and method for digital display device | |
US6333762B1 (en) | Method for making look-up tables for video format converter using the look-up tables | |
US8270750B2 (en) | Image processor, display device, image processing method, and program | |
JP4682866B2 (en) | Signal processing apparatus and signal processing method | |
JP4086035B2 (en) | Automatic image correction circuit | |
US20150243249A1 (en) | Calibration apparatus and calibration method | |
JP2005221593A (en) | Image processing device and method, image display device, portable information equipment, control program, and readable recording medium | |
US7061281B2 (en) | Methods and devices for obtaining sampling clocks | |
JP4757761B2 (en) | Chroma key detection range adjustment method and information processing apparatus | |
JP5255219B2 (en) | Gray scale conversion apparatus and method | |
US8107008B2 (en) | Method and system of automatically correcting a sampling clock in a digital video system | |
JP2009267671A (en) | Image processing apparatus | |
JP2006154452A (en) | Video signal processor and gradation level difference detection method | |
CN108628715B (en) | Display effect correction method and device of display equipment | |
JP2001357394A (en) | System for generating color non-uniformity correction data and picture display device | |
US20140327695A1 (en) | Image processing apparatus and control method therefor | |
US11593924B2 (en) | Video signal processing device and video signal processing method | |
KR100531382B1 (en) | Method of fixing sampling phase in Analog-Digital Converter and Apparatus of the same | |
JP2009017446A (en) | Image processing device, image processing method, and program for image processing | |
JP4318573B2 (en) | Luminance data correction apparatus and luminance data correction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080612 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100910 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110523 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4757761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |