[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2006227714A - Pen input device - Google Patents

Pen input device Download PDF

Info

Publication number
JP2006227714A
JP2006227714A JP2005037779A JP2005037779A JP2006227714A JP 2006227714 A JP2006227714 A JP 2006227714A JP 2005037779 A JP2005037779 A JP 2005037779A JP 2005037779 A JP2005037779 A JP 2005037779A JP 2006227714 A JP2006227714 A JP 2006227714A
Authority
JP
Japan
Prior art keywords
pen
brush
input device
input
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005037779A
Other languages
Japanese (ja)
Other versions
JP4350661B2 (en
Inventor
Kenji Kuramoto
健次 倉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Aviation Electronics Industry Ltd
Original Assignee
Japan Aviation Electronics Industry Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Aviation Electronics Industry Ltd filed Critical Japan Aviation Electronics Industry Ltd
Priority to JP2005037779A priority Critical patent/JP4350661B2/en
Publication of JP2006227714A publication Critical patent/JP2006227714A/en
Application granted granted Critical
Publication of JP4350661B2 publication Critical patent/JP4350661B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 次に操作すべき入力位置等、所定の位置へのペン先の誘導を可能とするペン入力装置を提供する。
【解決手段】 画面入力装置の入力面に対する入力操作に用いるペン入力装置において、ペン先に設けられたブラシ部11と、そのブラシ部11を操作して入力面に接触するブラシ13の向きを変えるブラシ操作手段(モータ17)と、ブラシ部11をペン軸方向もしくはペン軸に垂直な面内の不特定方向に振動させる振動発生手段(圧電素子16)とを具備するものとし、入力面にペン先が当接されたペン入力装置には上記振動により入力面と接触しているブラシ13の向きに従う方向の力が作用する構造とする。
【選択図】 図1
PROBLEM TO BE SOLVED: To provide a pen input device capable of guiding a pen tip to a predetermined position such as an input position to be operated next.
In a pen input device used for an input operation on an input surface of a screen input device, a brush unit 11 provided at a pen tip and a brush 13 that touches the input surface by operating the brush unit 11 are changed in direction. Brush operating means (motor 17) and vibration generating means (piezoelectric element 16) for vibrating the brush part 11 in the pen axis direction or in an unspecified direction in a plane perpendicular to the pen axis are provided. The pen input device with which the tip is in contact has a structure in which a force in a direction according to the direction of the brush 13 in contact with the input surface is applied by the vibration.
[Selection] Figure 1

Description

この発明は液晶ディスプレイ(LCD)等の表示装置の表示画面上にタッチパネルが配置されてなる構成の画面入力装置において、その入力面に対する入力操作に使用するペン入力装置に関する。   The present invention relates to a pen input device used for an input operation on an input surface of a screen input device having a configuration in which a touch panel is arranged on a display screen of a display device such as a liquid crystal display (LCD).

この種のペン入力装置の従来例として、振動発生手段を内蔵したペン入力装置が特許文献1に記載されている。このペン入力装置はペン先がタッチパネルに触れることにより、振動発生手段によってペン入力装置が所定の振動をするもので、これにより操作者はキータッチを体感でき、操作の正常性を確認することができるものとなっている。また、例えば入力位置が適当でない時、通常と異なる大きな振動を発生することで、操作者に警告を与えることができるものとなっている。
一方、特許文献2には画面入力装置において、タッチパネルを表示画面に沿った面内の二方向(横方向及び縦方向)に変位(振動)させることができるようにした構成が記載されており、操作者がタッチパネルに触れている時にタッチパネルを種々のパターンで振動させることによって種々の情報を操作者の触覚を通じて伝達することができるものとなっている。さらに、タッチパネルを振動させることにより、タッチパネルに触れている操作者の指先を移動させ、所定の(適切な)入力位置まで誘導することができるものとなっている。
特開2002−259044号公報 特開2003− 58321号公報
As a conventional example of this type of pen input device, Patent Document 1 discloses a pen input device incorporating a vibration generating means. In this pen input device, when the pen tip touches the touch panel, the pen input device vibrates to a predetermined level by the vibration generating means, so that the operator can feel the key touch and check the normality of the operation. It is possible. For example, when the input position is not appropriate, a large vibration different from normal is generated, so that a warning can be given to the operator.
On the other hand, Patent Document 2 describes a configuration in which a touch panel can be displaced (vibrated) in two directions (horizontal direction and vertical direction) along a display screen in a screen input device, When the operator is touching the touch panel, various information can be transmitted through the operator's tactile sense by vibrating the touch panel in various patterns. Further, by vibrating the touch panel, the fingertip of the operator touching the touch panel can be moved and guided to a predetermined (appropriate) input position.
JP 2002-259044 A Japanese Patent Laid-Open No. 2003-58321

ところで、このような画面入力装置において、入力ミスの低減は入力効率を向上させる上で重要であり、入力ミスを防止できるような構成が望まれる。その点、上記特許文献2に記載されている画面入力装置では例えば次に操作すべき入力位置まで指先を誘導することができるため、入力ミスを低減できるものとなっており、また指先が所定の入力位置まで誘導されることから操作者は操作しやすく、その点でわかりやすく、使い勝手のよいユーザインタフェースとなっている。
しかしながら、この特許文献2に記載されている構成ではタッチパネル全体を駆動して振動させるものであるため、駆動機構の大型化は避けられず、その分、画面入力装置も大型となって小型化が阻害されるといった問題があり、また電力消費量も大きいといった問題がある。
By the way, in such a screen input device, reduction of input mistakes is important for improving input efficiency, and a configuration that can prevent input mistakes is desired. In that respect, in the screen input device described in Patent Document 2, for example, since the fingertip can be guided to the input position to be operated next, input mistakes can be reduced, and the fingertip is predetermined. Since the user is guided to the input position, it is easy for the operator to operate, and the user interface is easy to understand and easy to use.
However, in the configuration described in Patent Document 2, since the entire touch panel is driven and vibrated, an increase in the size of the drive mechanism is inevitable, and accordingly, the screen input device is also increased in size and reduced in size. There is a problem that it is obstructed, and there is also a problem that power consumption is large.

一方、特許文献1に記載されているペン入力装置では例えば入力位置が適切でない場合に振動により警告する機能をもつものの、適切な位置にまで誘導するといった機能はない。加えて、そのような振動による情報(警告)を全ての操作者が正しく認識できるとは限らない。
この発明の目的はこのような問題に鑑み、例えば次に操作すべき入力位置等、所定の位置へのペン先の誘導を可能としたペン入力装置を提供することにある。
On the other hand, the pen input device described in Patent Document 1 has a function of warning by vibration when the input position is not appropriate, but does not have a function of guiding to an appropriate position. In addition, not all operators can correctly recognize information (warning) due to such vibration.
In view of such problems, an object of the present invention is to provide a pen input device capable of guiding a pen tip to a predetermined position such as an input position to be operated next.

請求項1の発明によれば、画面入力装置の入力面に対する入力操作に用いるペン入力装置は、ペン先に設けられたブラシ部と、そのブラシ部を操作して上記入力面に接触するブラシの向きを変えるブラシ操作手段と、ブラシ部をペン軸方向もしくはペン軸に垂直な面内の不特定方向に振動させる振動発生手段とを具備し、上記入力面にペン先が当接されたペン入力装置には上記振動により上記入力面と接触しているブラシの向きに従う方向の力が作用する構造とされる。
請求項2の発明では請求項1の発明において、ブラシ部は上記入力面と対向される植設面にブラシが同一方向に傾斜して植設されているものとされ、ブラシ操作手段はブラシ部をペン軸回りに回転駆動するものとされる。
According to invention of Claim 1, the pen input device used for input operation with respect to the input surface of a screen input device is the brush part provided in the pen point, and the brush which operates the brush part and contacts the said input surface Pen input comprising brush operating means for changing the direction and vibration generating means for vibrating the brush portion in a pen axis direction or an unspecified direction in a plane perpendicular to the pen axis, and a pen tip abutting on the input surface The device has a structure in which a force in a direction according to the direction of the brush in contact with the input surface is applied by the vibration.
According to a second aspect of the present invention, in the first aspect of the present invention, the brush portion is planted so that the brush is inclined in the same direction on the planting surface opposed to the input surface, and the brush operating means is the brush portion. Is driven to rotate around the pen axis.

請求項3の発明では請求項1の発明において、ブラシ部は上記入力面と対向される植設面がペン軸回りの方位に応じて複数の領域に分割されて、その領域毎に互いに異なる方向に傾斜してブラシが植設されているものとされ、ブラシ操作手段はブラシ部をペン軸に対して傾斜駆動して上記複数の領域のうちの一つの領域のブラシを選択的に上記入力面に接触させるものとされる。
請求項4の発明では請求項1の発明において、ブラシ部はブラシの植設面がペン軸回りに回転対称な凸状をなす曲面とされると共に、ペン軸回りの方位に応じて複数の領域に分割され、ブラシ操作手段はブラシ部をペン軸回りに回転駆動して、上記複数の領域のうちの一つの領域のブラシを選択的に上記入力面に接触させるものとされ、上記入力面に接触するブラシの方向は上記領域毎に互いに異なる方向とされる。
According to a third aspect of the present invention, in the first aspect of the present invention, the brush portion is divided into a plurality of regions in accordance with the orientation around the pen axis and the planting surface facing the input surface is different in each region. The brush operating means is driven to incline the brush portion with respect to the pen axis, and the brush of one area among the plurality of areas is selectively input to the input surface. It shall be in contact with.
According to a fourth aspect of the present invention, in the first aspect of the present invention, the brush portion is a curved surface in which the brush planting surface has a rotationally symmetrical convex shape around the pen axis, and a plurality of regions according to the orientation around the pen axis. The brush operating means is configured to rotationally drive the brush portion around the pen axis to selectively contact the brush of one of the plurality of regions with the input surface. The directions of the brushes that come into contact with each other are different from each other.

請求項5の発明では請求項1乃至4のいずれかの発明において、上記入力操作により入力されるペン先の座標位置の情報からペン先の上記入力面上における移動を検出する移動検出手段と、ペン先に作用するペン軸に垂直な面内方向の外力を検出する応力センサと、それら移動検出手段及び応力センサの検出に基づいて、上記振動により作用するペン先を誘導する力の大きさの変化を判断し、その変化に応じて振動発生手段の駆動を制御する制御手段とを備える。   According to a fifth aspect of the present invention, in any one of the first to fourth aspects of the present invention, the movement detecting means for detecting movement of the pen tip on the input surface from information on the coordinate position of the pen tip inputted by the input operation, A stress sensor for detecting an external force in the in-plane direction perpendicular to the pen axis acting on the pen tip, and the magnitude of the force for guiding the pen tip acting on the vibration based on the detection of the movement detecting means and the stress sensor. Control means for determining a change and controlling the drive of the vibration generating means in accordance with the change.

この発明によれば、ペン入力装置はペン先にブラシ部を有し、そのブラシ部の振動によって入力面と接触しているブラシの向きに従う誘導力が誘起されるものとなっており、よって次に操作すべき入力位置等、所定の位置へペン先を誘導することが可能となり、その点で入力ミスを防止でき、入力効率の向上を図ることができる。   According to this invention, the pen input device has a brush portion at the pen tip, and the induction force according to the direction of the brush in contact with the input surface is induced by the vibration of the brush portion. It is possible to guide the pen tip to a predetermined position, such as an input position to be operated, and in this respect, it is possible to prevent input mistakes and improve input efficiency.

この発明の実施形態を図面を参照して実施例により説明する。
図1はこの発明によるペン入力装置の一実施例を示したものであり、この例ではペン入力装置10はペン先にブラシ部11を具備するものとなっている。ブラシ部11は小径の円板状をなす植設板12にブラシ13が植設されてなるもので、ブラシ13はこの例では同一方向に揃って植設され、かつ植設板12の植設面(先端面)に対して傾斜して、つまりペン軸14に対して傾斜して植設されている。
ペン本体15内にはこの例では振動発生手段として多層構造とされ、円柱形状をなす圧電素子16が内蔵され、さらにブラシ操作手段としてモータ17が内蔵されている。モータ17は圧電素子16のペン先側の端面に配置固定されており、モータ17の回転軸と直結された(回転軸そのものでもよい)軸18の先端にブラシ部11の植設板12が連結固定されている。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an embodiment of a pen input device according to the present invention. In this example, a pen input device 10 includes a brush portion 11 at a pen tip. The brush portion 11 is formed by planting a brush 13 on a planting plate 12 having a small-diameter disk shape. In this example, the brush 13 is planted in the same direction, and the planting plate 12 is planted. Inclined with respect to the surface (tip surface), that is, inclined with respect to the pen shaft 14.
In this example, the pen main body 15 has a multilayer structure as vibration generating means, a cylindrical piezoelectric element 16 is incorporated, and a motor 17 is incorporated as brush operation means. The motor 17 is arranged and fixed on the end surface of the piezoelectric element 16 on the pen tip side, and the planting plate 12 of the brush portion 11 is connected to the tip of the shaft 18 directly connected to the rotating shaft of the motor 17 (or the rotating shaft itself). It is fixed.

圧電素子16はペン軸方向に振動するものとされ、またモータ17はペン軸回りに回転するものとされ、よってペン先に設けられたブラシ部11は圧電素子16を駆動することによりペン軸方向に振動し、モータ17を駆動することによりペン軸回りに回転するものとなっている。図1中、19は電力供給線を示す。
上記のような構成を有するペン入力装置10ではブラシ13がペン軸14に対して傾斜して植設されているため、画面入力装置の入力面(タッチパネル面)に植設板12の植設面を対向させてブラシ13を入力面に当接させると、ブラシ13と入力面との間の摩擦係数は向き(ペン先を移動させる方向)によって異なるものとなる。従って、ブラシ13をペン軸方向に振動させると、向きによる摩擦係数の差により、ブラシ13が入力面に押し付けられる時と入力面から引き離される時とで入力面に対し互いに逆向きに作用する摩擦力が大きく異なることになり、これによりペン先はブラシ13の向きに従い、摩擦の小さい方向に向かう力を受けることになる。
The piezoelectric element 16 vibrates in the pen axis direction, and the motor 17 rotates around the pen axis. Therefore, the brush unit 11 provided on the pen tip drives the piezoelectric element 16 to drive the pen axis direction. When the motor 17 is driven, it rotates about the pen axis. In FIG. 1, 19 indicates a power supply line.
In the pen input device 10 having the above-described configuration, since the brush 13 is planted while being inclined with respect to the pen shaft 14, the planting surface of the planting plate 12 on the input surface (touch panel surface) of the screen input device. When the brush 13 is brought into contact with the input surface with the two facing each other, the friction coefficient between the brush 13 and the input surface varies depending on the direction (direction in which the pen tip is moved). Therefore, when the brush 13 is vibrated in the pen axis direction, the friction acting on the input surface in opposite directions is caused when the brush 13 is pressed against the input surface and when the brush 13 is pulled away from the input surface due to a difference in friction coefficient depending on the direction. The force will be greatly different, so that the pen tip will receive a force in the direction of less friction according to the direction of the brush 13.

図2A,Bはこの様子を示したものであり、図中、21はタッチパネルの入力面を示し、矢印Fはペン先が受ける力の方向(ペン先が誘導される方向)を示す。図2Aではブラシ13の傾斜は紙面上、先端が右向きとなっており、この場合ペン先は左方向に誘導される。一方、ブラシ部11を180°回転させて図2Bに示したようにブラシ13の傾斜を紙面上、先端が左向きとすると、ペン先は右方向に誘導される。
このように、この例ではブラシ13を振動させることにより、ブラシ13の向きに従ってペン先が誘導されるものとなっており、ブラシ部11をペン軸回りに回転させて入力面に対するブラシ13の向きを変えることにより、任意の方向にペン先を誘導することができるものとなっている。
2A and 2B show this state, in which 21 indicates the input surface of the touch panel, and arrow F indicates the direction of the force received by the pen tip (the direction in which the pen tip is guided). In FIG. 2A, the inclination of the brush 13 is on the paper, and the tip is directed rightward. In this case, the pen tip is guided leftward. On the other hand, when the brush portion 11 is rotated 180 ° and the inclination of the brush 13 is set on the paper surface and the tip is leftward as shown in FIG. 2B, the pen tip is guided to the right.
Thus, in this example, the pen tip is guided according to the orientation of the brush 13 by vibrating the brush 13, and the orientation of the brush 13 with respect to the input surface by rotating the brush portion 11 around the pen axis. By changing, the pen tip can be guided in an arbitrary direction.

図3は上記のようなペン入力装置10を使用して画面入力装置に対する入力操作が行われる場合において、入力すべき所定の位置へペン入力装置10のペン先が誘導される様子を示したものであり、図中、22は表示画面に表示された次に選択すべきボタン表示を示し、23は選択肢ではないボタン表示を示す。また、24は画面入力装置の表示駆動回路及びペン位置検出回路を示し、25はペン駆動回路を示す。
図3に実線で示したようにペン入力装置10のペン先が選択すべき位置ではない位置に位置されると、ペン駆動回路25は画面入力装置の表示駆動回路・ペン位置検出回路24からの表示情報及びペン先座標位置情報をもとにペン入力装置10を駆動し、つまりモータ17を回転駆動してブラシ13を所定の方向に向け、かつ圧電素子16を振動させ、これにより破線で示したようにペン入力装置10のペン先を次に操作すべき所定の位置に誘導する。従って、操作者は入力ミスすることなく、入力操作を容易に行えるものとなる。
FIG. 3 shows how the pen tip of the pen input device 10 is guided to a predetermined position to be input when an input operation is performed on the screen input device using the pen input device 10 as described above. In the figure, 22 indicates a button display to be selected next displayed on the display screen, and 23 indicates a button display that is not an option. Reference numeral 24 denotes a display drive circuit and a pen position detection circuit of the screen input device, and reference numeral 25 denotes a pen drive circuit.
As shown by the solid line in FIG. 3, when the pen tip of the pen input device 10 is located at a position that is not a position to be selected, the pen drive circuit 25 is supplied from the display drive circuit / pen position detection circuit 24 of the screen input device. The pen input device 10 is driven based on the display information and the nib coordinate position information, that is, the motor 17 is rotationally driven to direct the brush 13 in a predetermined direction, and the piezoelectric element 16 is vibrated. As described above, the pen tip of the pen input device 10 is guided to a predetermined position to be operated next. Therefore, the operator can easily perform the input operation without making an input mistake.

なお、上述したペン入力装置10ではブラシ部11をペン軸方向に振動させるものとなっているが、振動方向はこれに限らず、例えばペン軸14に垂直な面内の不特定方向にランダム振動させるようにしてもよく、この場合においてもブラシ13の向きに応じた摩擦力の差が発生してペン先がブラシ13の向きに従って誘導されるものとなる。このようなペン軸14に垂直な面内の不特定方向のランダム振動は例えばモータの回転軸に重りを非対称に(偏心させて)取り付けることにより、その重りの回転によって得ることができる。   In the pen input device 10 described above, the brush unit 11 is vibrated in the pen axis direction. However, the vibration direction is not limited to this, and for example, random vibration in an unspecified direction in a plane perpendicular to the pen axis 14 is performed. In this case as well, a frictional force difference corresponding to the direction of the brush 13 is generated, and the pen tip is guided according to the direction of the brush 13. Such random vibration in an unspecified direction in a plane perpendicular to the pen shaft 14 can be obtained by rotating the weight by attaching the weight asymmetrically (eccentrically) to the rotation shaft of the motor, for example.

次に、植設板12に植設されるブラシ13について説明する。
ブラシ部11がペン軸方向に振動される形態では、その振動によってブラシ13が入力面に押し付けられたり、引き離されるに伴って、ブラシ13が所要の変形をし、入力面に対するブラシ13の滑り運動が誘起されて、その滑りの往復での摩擦係数の相異により誘導力を得るものであり、よってブラシ13はそのような変形ができる程度の弾性を必要とする。このようなブラシ13は例えば適度の弾性を有する硬質プラスチック等で作製することができる。
Next, the brush 13 planted on the planting plate 12 will be described.
In the form in which the brush unit 11 is vibrated in the pen axis direction, the brush 13 is deformed as required by the vibration and the brush 13 is pressed against or pulled away from the input surface, and the sliding motion of the brush 13 with respect to the input surface. Is induced, and an induction force is obtained by the difference in the friction coefficient between the reciprocation of the slip, and therefore the brush 13 needs to be elastic enough to make such deformation. Such a brush 13 can be made of, for example, a hard plastic having an appropriate elasticity.

一方、ブラシ部11をペン軸に垂直な面内方向に振動させる形態では、ブラシ13が変形しなくても振動によりブラシ13は入力面に対して滑り運動をするので滑り方向による摩擦係数の十分な相異さえ担保されればブラシ13には特に弾性は必要とせず、またブラシ13は必ずしも柱状の毛で構成される必要もない。例えば根元が太く、先端が細いテーパ状の所定の向きに傾斜した硬い突起の集合によってブラシ13を構成することも可能となる。
以上、説明した実施例ではブラシ13が同一方向に揃って植設されているブラシ部11をペン軸回りに回転させることにより入力面と接触するブラシ13の向きを変え、これによりペン先が誘導される方向を変えるものとなっているが、これに替え、図4に示したような構成を採用することもできる。
On the other hand, in the form in which the brush unit 11 is vibrated in the in-plane direction perpendicular to the pen axis, the brush 13 slides with respect to the input surface by vibration even if the brush 13 is not deformed. As long as such a difference is ensured, the brush 13 does not need elasticity, and the brush 13 does not necessarily need to be composed of columnar hair. For example, the brush 13 can be constituted by a set of hard protrusions having a thick base and a tapered tip and a slanted direction.
As described above, in the embodiment described above, the brush portion 11 in which the brushes 13 are aligned in the same direction is rotated around the pen axis to change the direction of the brush 13 in contact with the input surface, thereby guiding the pen tip. However, instead of this, a configuration as shown in FIG. 4 can be adopted.

この例では図4A,Bに示したように植設板12の植設面がペン軸回りの方位に応じて8つの領域に分割され、その領域毎にその方位(放射方向)に向き、かつ植設面に対して傾斜してブラシ13が植設されているものとされ、互いに180°をなす位置に位置するブラシ13はそれぞれ図4Aに示したように互いに外側に向って植設されているものとされる。
上記のような構造とされたブラシ部31は領域により8つの方位に向いたブラシ13を有するものとなっているため、植設板12を入力面21に対して所定の方向に傾ければ、その傾斜方向に応じて入力面21と接触するブラシ13の向きが変わるものとなる。
In this example, as shown in FIGS. 4A and 4B, the planting surface of the planting plate 12 is divided into eight regions according to the orientation around the pen axis, and each region is oriented in that orientation (radial direction), and The brushes 13 are assumed to be inclined with respect to the planting surface, and the brushes 13 positioned at 180 ° to each other are implanted toward the outside as shown in FIG. 4A. It is supposed to be.
Since the brush portion 31 having the structure as described above has the brush 13 oriented in eight directions depending on the region, if the planting plate 12 is inclined in a predetermined direction with respect to the input surface 21, The direction of the brush 13 in contact with the input surface 21 changes according to the inclination direction.

ブラシ部31をペン軸14に対して傾斜操作する手段は軸18の先端に取り付けられてブラシ部31の植設板12と対向する固定板32と、ペン軸位置において植設板12と固定板32との間に介在された支点33と、植設板12の外周側において植設板12と固定板32との間に例えばペン軸回りに120°ピッチで配置された3つの圧電素子34とによって構成することができる。
3つの圧電素子34は電圧を印加することによりペン軸方向に伸縮するものとされ、よってこれら圧電素子34を駆動制御することにより、例えば図4Cに例示したようにブラシ部31は入力面21に対して傾斜し、特定の領域の、つまり所定の方向に向いたブラシ13が選択的に入力面21と接触するものとなる。そして、この状態でブラシ部31を圧電素子16によりペン軸方向に振動させれば、ペン先は矢印Fで示した方向に誘導されるものとなる。
Means for tilting the brush portion 31 with respect to the pen shaft 14 are attached to the tip of the shaft 18 and a fixing plate 32 facing the planting plate 12 of the brush portion 31. A fulcrum 33 interposed between them and the three piezoelectric elements 34 arranged at a pitch of 120 ° around the pen axis between the planting plate 12 and the fixed plate 32 on the outer peripheral side of the planting plate 12, for example. Can be configured.
The three piezoelectric elements 34 expand and contract in the pen axis direction by applying a voltage. Therefore, by driving and controlling these piezoelectric elements 34, for example, as illustrated in FIG. 4C, the brush unit 31 is applied to the input surface 21. The brush 13 that is inclined with respect to the specific region, that is, in a predetermined direction, selectively contacts the input surface 21. If the brush portion 31 is vibrated in the pen axis direction by the piezoelectric element 16 in this state, the pen tip is guided in the direction indicated by the arrow F.

このように図4に示した構成ではブラシ部31は全方位に向いたブラシ13を具備するため、ブラシ部31を傾斜操作することにより、所定の方向の誘導力が得られるものとなる。
なお、上述したブラシ部11及び31ではいずれもブラシ13が入力面と当接するものとなっているが、例えば入力面に対し、所要の強い押圧力を必要とする場合には、図5に示したように植設板12の植設面中央にチップ状の押圧部35を設け、ブラシ13と共に押圧部35が入力面に当接するようにするのが好ましい。
In this way, in the configuration shown in FIG. 4, the brush portion 31 includes the brush 13 that is oriented in all directions, so that an inductive force in a predetermined direction can be obtained by tilting the brush portion 31.
In the brush portions 11 and 31 described above, the brush 13 is in contact with the input surface. For example, when a required strong pressing force is required for the input surface, it is shown in FIG. As described above, it is preferable to provide a chip-like pressing portion 35 at the center of the planting surface of the planting plate 12 so that the pressing portion 35 contacts the input surface together with the brush 13.

ところで、ブラシ部11及び31はいずれも入力面と対向される植設板12の平坦な植設面にブラシ13が植設されているため、例えばペン入力装置が入力面に対して大きな角度で傾斜されてペン先が入力面に当接されると、ペン先のブラシ13が入力面に有効に接触せず、所望の誘導力が適正に得られなくなるといった状況が生じ、よってペン入力装置を比較的限られた傾斜角度の範囲でしか使用できないといった問題がある。
図6に示したブラシ部41はこの問題を解決するもので、この例ではブラシ13が植設される植設体42は略半球形状をなすものとされ、即ちブラシ13の植設面42aがペン軸回りに回転対称な凸状をなす曲面とされている。植設面42aはペン軸回りの方位(経度)に応じて8つの領域に分割され、各領域に分けてブラシ13がそれぞれ植設されている。
By the way, since both the brush parts 11 and 31 have the brush 13 planted on the flat planting surface of the planting plate 12 facing the input surface, for example, the pen input device is at a large angle with respect to the input surface. When the pen tip is brought into contact with the input surface by being inclined, a situation occurs in which the brush 13 of the pen tip does not effectively contact the input surface and a desired induction force cannot be obtained properly. There is a problem that it can be used only within a relatively limited range of inclination angles.
The brush part 41 shown in FIG. 6 solves this problem. In this example, the planted body 42 in which the brush 13 is planted has a substantially hemispherical shape, that is, the planted surface 42a of the brush 13 is formed. The curved surface has a convex shape that is rotationally symmetric about the pen axis. The planting surface 42a is divided into eight regions according to the azimuth (longitude) around the pen axis, and the brush 13 is implanted in each region.

ブラシ13は植設面42aを経線に沿って切って平面展開した時、同一方向に揃って植設されているものとされ、かつその平面展開した植設面42aに対して所定の角度、傾斜して植設されているものとされる。
このようにブラシ部41を構成すれば、ペン入力装置が入力面に対し、任意の角度で傾斜されて当接されても、ブラシ13は所定の大きさの傾斜で常に入力面に接触するものとなり、よってブラシ13が有効に接触しないといった状況は発生しない。入力面に接触するブラシ13の方向はブラシ部11と同様、ブラシ部41をペン軸回りに回転することにより変えることができる。
When the brush 13 is cut along the meridian along the meridian and developed in a plane, the brush 13 is assumed to be arranged in the same direction, and is inclined at a predetermined angle with respect to the planted surface 42a developed in the plane. It is said that it is planted.
If the brush portion 41 is configured in this way, the brush 13 is always in contact with the input surface at a predetermined inclination even when the pen input device is inclined and contacted with the input surface at an arbitrary angle. Therefore, the situation where the brush 13 does not contact effectively does not occur. The direction of the brush 13 in contact with the input surface can be changed by rotating the brush part 41 around the pen axis in the same manner as the brush part 11.

なお、この発明の作用であるブラシ部の振動によって誘起されるペン先の誘導力は、入力面にペン入力装置を当接する角度や、誘導しようとする方向と入力面に接触しているブラシの植設方向との関係あるいは例えばブラシ部をペン軸に垂直な面内方向に振動させる形態における振動振幅の方向による不均一さなどによって、必ずしも常に一定の大きさの力では作用しない。
そこで、これを補償するために実際にペン先に誘起されている誘導力を検出し、その大きさの変化をブラシ部の振動振幅にフィードバックするようにした構成について、図7を参照して説明する。
It should be noted that the induction force of the pen tip induced by the vibration of the brush portion, which is the action of the present invention, is the angle at which the pen input device is brought into contact with the input surface, Due to the relationship with the planting direction or, for example, nonuniformity due to the direction of vibration amplitude in a mode in which the brush portion vibrates in the in-plane direction perpendicular to the pen axis, a force of a constant magnitude does not always act.
In order to compensate for this, a configuration in which the induced force actually induced in the pen tip is detected and the change in the magnitude is fed back to the vibration amplitude of the brush portion will be described with reference to FIG. To do.

この例では図1に示したペン入力装置10に対し、ペン本体15内に応力センサ51が設けられたものとされる。応力センサ51はペン先に作用するペン軸14に垂直な面内方向の外力を検出するもので、モータ17により回転される軸18の延長上に位置してモータ17の固定部(ケース)に連結固定された軸52の傾斜を検出することによりペン先に作用する外力を検出するものとなっており、即ち図8A,Bに示したような軸52の傾斜を検出することができるものとなっている。
このような応力センサ51には例えば軸52がダイアフラムによって支持され、軸52の傾斜に伴うダイアフラムの変形(変位)を静電容量の変化によって検出する構造の静電容量型シリコンセンサを用いることができる。なお、応力センサ51の固定側は軸53を介して圧電素子16の端面に連結固定されている。
In this example, a stress sensor 51 is provided in the pen body 15 with respect to the pen input device 10 shown in FIG. The stress sensor 51 detects an external force in the in-plane direction perpendicular to the pen shaft 14 that acts on the pen tip. The stress sensor 51 is positioned on the extension of the shaft 18 rotated by the motor 17 and is fixed to the fixing portion (case) of the motor 17. The external force acting on the pen tip is detected by detecting the inclination of the connected and fixed shaft 52, that is, the inclination of the shaft 52 as shown in FIGS. 8A and 8B can be detected. It has become.
For such a stress sensor 51, for example, a capacitive silicon sensor having a structure in which the shaft 52 is supported by a diaphragm and the deformation (displacement) of the diaphragm accompanying the inclination of the shaft 52 is detected by a change in capacitance is used. it can. The fixed side of the stress sensor 51 is connected and fixed to the end face of the piezoelectric element 16 via the shaft 53.

移動検出回路54は画面入力装置の表示駆動回路・ペン位置検出回路24からのペン先座標位置情報からペン先の移動方向とその速度または加速度を検出し、演算するものである。駆動振幅制御回路55は移動検出回路54の出力と応力センサ51の検出出力に基づいて、ペン先に作用する誘導力の大きさの変化を判断し、その変化に応じて圧電素子16の駆動(振動振幅)を制御する。図7中、56はモータ17を駆動制御する回路を示す。
なお、駆動振幅制御回路55は移動検出回路54と応力センサ51からの入力を受け、これらを比較して図8Bに示す状態を判定したら、操作者がペン入力装置を移動させているものとして、その時の入力を無視し、これに対し、図8Aに示す状態を判定したら、その時の移動検出回路54の出力情報をブラシ部11振動誘起の誘導力の大きさを表すものとして採用する。
The movement detection circuit 54 detects and calculates the movement direction of the pen tip and its speed or acceleration from the pen tip coordinate position information from the display drive circuit / pen position detection circuit 24 of the screen input device. Based on the output of the movement detection circuit 54 and the detection output of the stress sensor 51, the drive amplitude control circuit 55 determines a change in the magnitude of the inductive force acting on the pen tip and drives the piezoelectric element 16 according to the change ( (Vibration amplitude) is controlled. In FIG. 7, reference numeral 56 denotes a circuit for driving and controlling the motor 17.
The drive amplitude control circuit 55 receives inputs from the movement detection circuit 54 and the stress sensor 51 and compares them to determine the state shown in FIG. 8B, assuming that the operator is moving the pen input device. If the input at that time is ignored and the state shown in FIG. 8A is determined, the output information of the movement detection circuit 54 at that time is adopted as the magnitude of the induction force induced by the vibration of the brush portion 11.

そして、採用した移動検出回路54の出力に基づいて圧電素子16の振動振幅を制御する。この際、例えば採用される移動検出回路54の出力としてのブラシ部11振動の誘導によるペン先移動の速度または加速度が常に所定の大きさの範囲に入るようにする制御とすることができる。また、他の方法として誘導する方向に依存する上記誘導によるペン先移動の速度または加速度の差異を判断して、その差異を定められた範囲に収めるように、モータ17の駆動と同期して誘導する方向によって圧電素子16の駆動振幅を変化・調整するように制御することもできる。   Then, the vibration amplitude of the piezoelectric element 16 is controlled based on the output of the adopted movement detection circuit 54. At this time, for example, it is possible to perform control so that the speed or acceleration of the pen tip movement by the induction of the vibration of the brush unit 11 as an output of the adopted movement detection circuit 54 is always within a predetermined size range. Further, as another method, the difference in the speed or acceleration of the pen tip movement due to the above-mentioned guidance depending on the direction of guidance is determined, and guidance is performed in synchronization with the driving of the motor 17 so that the difference falls within a predetermined range. The drive amplitude of the piezoelectric element 16 can be controlled to be changed / adjusted according to the direction in which it is performed.

なお、上述した例では応力センサ51に静電容量型シリコンセンサを用いるものとなっているが、これに替え、例えば歪みゲージを用いることもできる。この場合、軸52は誘導力によって撓みうるものとし、ペン軸14に垂直な直交2方向において軸52の周面に各一対の歪みゲージを対向させて取り付け、軸52に生じる曲げの方位と大きさを検出する。
以上説明したように、この発明ではペン先に設けたブラシ部を振動させることによってペン先に誘導力を誘起するものとなっているが、ブラシ部のペン軸方向もしくはペン軸に垂直な面内方向の振動は下記(1),(2)の理由により、数10Hzオーダの振動とするのが好ましい。
In the above-described example, a capacitive silicon sensor is used as the stress sensor 51. However, instead of this, for example, a strain gauge can be used. In this case, it is assumed that the shaft 52 can be bent by an inductive force, and a pair of strain gauges are attached to the peripheral surface of the shaft 52 so as to face each other in two directions perpendicular to the pen shaft 14. Detect.
As described above, according to the present invention, an induction force is induced in the pen tip by vibrating the brush portion provided in the pen tip. However, in the plane perpendicular to the pen axis direction or the pen axis of the brush portion. The vibration in the direction is preferably a vibration on the order of several tens of Hz for the following reasons (1) and (2).

(1)ペン入力装置には、(a)ペン先を入力面に当接して位置情報を得るタイプの他、(b)ペン入力装置が振動ペンとされて入力面を構成する振動伝達板の振動センサで入力位置情報を得るタイプのものが存在する。この発明によるペン入力装置はこれらいずれのタイプのペン入力装置にも適用できるが、特に(b)のタイプでは位置情報を得るための振動に一般に数10kHzオーダの振動を用いるので、これと相互に影響しない周波数とする。
(2)図7に示したペン入力装置では応力センサを具備するものとなっているが、この応力センサの時定数を、ブラシ部の振動周波数より十分大きく、振動を検出しないで外力だけを抽出できるように選定できるようにするためにブラシ部の振動は数10Hzオーダとする。なお、応力センサの応答速度は数Hz程度とすることができる。
(1) The pen input device includes (a) a type in which position information is obtained by abutting the pen tip against the input surface, and (b) a vibration transmission plate that constitutes the input surface by using the pen input device as a vibration pen. There is a type that obtains input position information with a vibration sensor. The pen input device according to the present invention can be applied to any of these types of pen input devices. In particular, in the type (b), a vibration of the order of several tens of kHz is used for the vibration for obtaining position information. The frequency is not affected.
(2) Although the pen input device shown in FIG. 7 has a stress sensor, the time constant of this stress sensor is sufficiently larger than the vibration frequency of the brush part, and only the external force is extracted without detecting vibration. In order to be able to select as much as possible, the vibration of the brush portion is on the order of several tens Hz. The response speed of the stress sensor can be about several Hz.

この発明によるペン入力装置の一実施例を示す一部切り欠いた斜視図。1 is a partially cutaway perspective view showing an embodiment of a pen input device according to the present invention. 図1に示したペン入力装置の動作を説明するための図。The figure for demonstrating operation | movement of the pen input device shown in FIG. 図1に示したペン入力装置が画面入力装置の入力面上で誘導される様子を示す図。The figure which shows a mode that the pen input device shown in FIG. 1 is guide | induced on the input surface of a screen input device. ブラシ部及びブラシ操作手段の他の構成例及び動作を説明するための図。The figure for demonstrating the other structural example and operation | movement of a brush part and a brush operation means. ブラシ部に入力面と当接する押圧部を設けた構成を説明するための図。The figure for demonstrating the structure which provided the press part which contact | abuts an input surface in a brush part. ブラシ部のブラシが植設される植設面を凸曲面とした構成を説明するための図。The figure for demonstrating the structure which used the planting surface in which the brush of a brush part is planted as the convex curved surface. 図1に示したペン入力装置に対し、応力センサを付加し、ペン先に誘起される誘導力を制御できるようにした構成を説明するための図。The figure for demonstrating the structure which added the stress sensor with respect to the pen input device shown in FIG. 1, and was able to control the induced force induced by a pen point. 図7に示したペン入力装置の動作を説明するための図。The figure for demonstrating operation | movement of the pen input device shown in FIG.

Claims (5)

画面入力装置の入力面に対する入力操作に用いるペン入力装置であって、
ペン先に設けられたブラシ部と、
そのブラシ部を操作して上記入力面に接触するブラシの向きを変えるブラシ操作手段と、
上記ブラシ部をペン軸方向もしくはペン軸に垂直な面内の不特定方向に振動させる振動発生手段とを具備し、
上記入力面にペン先が当接されたペン入力装置には、上記振動により上記入力面と接触している上記ブラシの向きに従う方向の力が作用する構造とされていることを特徴とするペン入力装置。
A pen input device used for an input operation on an input surface of a screen input device,
A brush part provided at the pen tip;
A brush operating means for operating the brush part to change the direction of the brush contacting the input surface;
Vibration generating means for vibrating the brush part in a pen axis direction or an unspecified direction in a plane perpendicular to the pen axis,
The pen input device having a pen tip abutted on the input surface is structured such that a force in a direction according to the direction of the brush that is in contact with the input surface is applied by the vibration. Input device.
請求項1記載のペン入力装置において、
上記ブラシ部は上記入力面と対向される植設面にブラシが同一方向に傾斜して植設されているものとされ、
上記ブラシ操作手段は上記ブラシ部をペン軸回りに回転駆動するものとされていることを特徴とするペン入力装置。
The pen input device according to claim 1,
The brush part is assumed to be planted with the brush inclined in the same direction on the planting surface opposed to the input surface,
The pen input device according to claim 1, wherein the brush operating means is configured to rotationally drive the brush portion around a pen axis.
請求項1記載のペン入力装置において、
上記ブラシ部は上記入力面と対向される植設面がペン軸回りの方位に応じて複数の領域に分割されて、その領域毎に互いに異なる方向に傾斜してブラシが植設されているものとされ、
上記ブラシ操作手段は上記ブラシ部をペン軸に対して傾斜駆動して、上記複数の領域のうちの一つの領域のブラシを選択的に上記入力面に接触させるものとされていることを特徴とするペン入力装置。
The pen input device according to claim 1,
In the brush portion, the planting surface opposed to the input surface is divided into a plurality of regions according to the azimuth around the pen axis, and the brushes are planted by inclining in different directions for each region. And
The brush operation means is configured to drive the brush portion to be inclined with respect to the pen shaft so as to selectively contact the brush in one of the plurality of regions with the input surface. Pen input device to do.
請求項1記載のペン入力装置において、
上記ブラシ部は上記ブラシの植設面がペン軸回りに回転対称な凸状をなす曲面とされると共に、ペン軸回りの方位に応じて複数の領域に分割され、
上記ブラシ操作手段は上記ブラシ部をペン軸回りに回転駆動して、上記複数の領域のうちの一つの領域のブラシを選択的に上記入力面に接触させるものとされ、
上記入力面に接触する上記ブラシの方向は上記領域毎に互いに異なる方向とされていることを特徴とするペン入力装置。
The pen input device according to claim 1,
The brush portion is a curved surface in which the brush planting surface has a rotationally symmetrical convex shape around the pen axis, and is divided into a plurality of regions according to the orientation around the pen axis,
The brush operating means is configured to rotationally drive the brush portion around a pen axis to selectively contact a brush in one of the plurality of regions with the input surface.
The pen input device according to claim 1, wherein directions of the brush contacting the input surface are different from each other in each region.
請求項1乃至4記載のいずれかのペン入力装置において、
上記入力操作により入力されるペン先の座標位置の情報からペン先の上記入力面上における移動を検出する移動検出手段と、
上記ペン先に作用するペン軸に垂直な面内方向の外力を検出する応力センサと、
それら移動検出手段及び応力センサの検出に基づいて、上記振動により作用する上記ペン先を誘導する力の大きさの変化を判断し、その変化に応じて上記振動発生手段の駆動を制御する制御手段とを備えることを特徴とするペン入力装置。
The pen input device according to any one of claims 1 to 4,
Movement detection means for detecting movement of the pen tip on the input surface from information on the coordinate position of the pen tip input by the input operation;
A stress sensor for detecting an external force in an in-plane direction perpendicular to the pen axis acting on the pen tip;
Control means for determining a change in the magnitude of the force for guiding the pen tip acting by the vibration based on the detection of the movement detecting means and the stress sensor, and controlling the driving of the vibration generating means in accordance with the change. And a pen input device.
JP2005037779A 2005-02-15 2005-02-15 Pen input device Expired - Fee Related JP4350661B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005037779A JP4350661B2 (en) 2005-02-15 2005-02-15 Pen input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005037779A JP4350661B2 (en) 2005-02-15 2005-02-15 Pen input device

Publications (2)

Publication Number Publication Date
JP2006227714A true JP2006227714A (en) 2006-08-31
JP4350661B2 JP4350661B2 (en) 2009-10-21

Family

ID=36989073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005037779A Expired - Fee Related JP4350661B2 (en) 2005-02-15 2005-02-15 Pen input device

Country Status (1)

Country Link
JP (1) JP4350661B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070983A (en) * 2006-09-12 2008-03-27 Toyota Motor Corp Input device
WO2012015221A3 (en) * 2010-07-27 2012-05-18 Jung Young Woo Touch input device
JP2014006751A (en) * 2012-06-26 2014-01-16 Casio Comput Co Ltd Input device, input operation analysis method and input operation analysis program
JP2016186696A (en) * 2015-03-27 2016-10-27 ユニバーシティ・オブ・タンペレUniversity of Tampere Haptic stylus
WO2018163626A1 (en) * 2017-03-08 2018-09-13 株式会社デンソー Input device
US12355260B2 (en) 2020-08-04 2025-07-08 Samsung Electronics Co., Ltd. Electronic device capable of wireless charging

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502434B (en) * 2013-08-02 2015-10-01 Wistron Corp Touch module and touch positioning method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070983A (en) * 2006-09-12 2008-03-27 Toyota Motor Corp Input device
WO2012015221A3 (en) * 2010-07-27 2012-05-18 Jung Young Woo Touch input device
JP2014006751A (en) * 2012-06-26 2014-01-16 Casio Comput Co Ltd Input device, input operation analysis method and input operation analysis program
JP2016186696A (en) * 2015-03-27 2016-10-27 ユニバーシティ・オブ・タンペレUniversity of Tampere Haptic stylus
WO2018163626A1 (en) * 2017-03-08 2018-09-13 株式会社デンソー Input device
US12355260B2 (en) 2020-08-04 2025-07-08 Samsung Electronics Co., Ltd. Electronic device capable of wireless charging

Also Published As

Publication number Publication date
JP4350661B2 (en) 2009-10-21

Similar Documents

Publication Publication Date Title
JP7087022B2 (en) Human computer interface system
US10564839B2 (en) Method for detecting and characterizing inputs on a touch sensor surface
KR101130150B1 (en) Input device, information processing device, remote control device, and input device control method
JP6078935B2 (en) Electronics
US7663604B2 (en) Input device and electronic device using the input device
EP1748350B1 (en) Touch device and method for providing tactile feedback
US20140340328A1 (en) Drawing apparatus and drawing system
JP6073451B1 (en) Electronics
JP2007034991A (en) Touch panel display device, electronic equipment with touch panel display device, and camera with touch panel display device
KR20080048837A (en) Apparatus and method for outputting tactile feedback
JPWO2012108204A1 (en) Electronics
US10866641B2 (en) Vibration system
JP2023052299A (en) Systems and methods for detecting and responding to touch input using haptic feedback
US8884884B2 (en) Haptic effect generation with an eccentric rotating mass actuator
KR20100107997A (en) Pen type tactile representive device and tactile interface system using thereof
JP4350661B2 (en) Pen input device
JP6528086B2 (en) Electronics
JP4604902B2 (en) INPUT / OUTPUT DEVICE AND ELECTRONIC DEVICE HAVING INPUT / OUTPUT DEVICE
US20240319794A1 (en) System and method for detecting and characterizing inputs on a touch sensor surface
JP7138024B2 (en) Electronics
JP2009294844A (en) Mouse and mouse pad
WO2018151039A1 (en) Tactile sensation presenting device
KR20100107996A (en) Pen type tactile representive device having touch face and tactile interface system using thereof
JP2021149879A (en) Load sensor and operation input device
KR101508134B1 (en) Touch pen for providing traveling vibrotactile feedback

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090722

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees