JP2008070236A - Mobile robot and remote operation system - Google Patents
Mobile robot and remote operation system Download PDFInfo
- Publication number
- JP2008070236A JP2008070236A JP2006249308A JP2006249308A JP2008070236A JP 2008070236 A JP2008070236 A JP 2008070236A JP 2006249308 A JP2006249308 A JP 2006249308A JP 2006249308 A JP2006249308 A JP 2006249308A JP 2008070236 A JP2008070236 A JP 2008070236A
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- vent
- detection unit
- sensor
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Gyroscopes (AREA)
Abstract
Description
本発明は、複数の区画に分割された床下空間内を移動する移動ロボット、この移動ロボットを用いた遠隔操作システムに関する。 The present invention relates to a mobile robot that moves in an underfloor space divided into a plurality of sections, and a remote operation system using the mobile robot.
近年、建造物などのリフォームや防災に関する関心が高まってきており、建造物の点検を行う機会が増加している。特に、建造物の床下(以下、単に「床下」という)については、人目に触れにくい一方で、建造物の基幹部分であるため、点検のニーズが高いと考えられる。 In recent years, interest in renovation of buildings and disaster prevention has increased, and the opportunity to inspect buildings has increased. In particular, under the floor of a building (hereinafter simply referred to as “under the floor”), it is difficult to touch the human eye, but since it is a basic part of the building, there is a high need for inspection.
しかし、床下は、一般的に、非常に狭い空間であり、衛生状態も悪いため、作業員による目視点検が困難である。このため、カメラを搭載し、撮像データを操作端末へ送信しつつ、床下を点検(撮像)するロボットの開発が進んでいる。 However, the floor is generally a very narrow space and poor hygiene, making it difficult for a worker to visually check. For this reason, development of a robot equipped with a camera and inspecting (imaging) the underfloor while transmitting imaging data to an operation terminal is progressing.
また、通常、床下内の地図(基礎伏図と呼ばれる設計図)は、移動ロボット及び遠隔操作システムには組み込まれていないので、ユーザは移動ロボットからの撮像データを地図と照らし合わせながら移動ロボットを遠隔操作することになる。 In addition, since the map under the floor (design drawing called the basic floor plan) is not incorporated in the mobile robot and the remote control system, the user checks the mobile robot while checking the image data from the mobile robot against the map. Remote control will be performed.
しかし、床下内の風景が単調であることから、移動ロボットの向いている方向を極めて見失い易い。移動ロボットを床下内で効率よく移動させるためには、移動ロボットの位置や向いている方向を検出する機能が重要である。 However, since the scenery under the floor is monotonous, it is very easy to lose sight of the direction the mobile robot is facing. In order to move the mobile robot efficiently under the floor, the function of detecting the position and the direction of the mobile robot is important.
ただし、床下では、GPS(Global Positioning System)衛星からの電波を受信困難であるために、GPSは不適である。更に、鉄筋による地磁気の乱れから、方位磁石も利用できないという、床下特有の問題がある。 However, GPS is not suitable under the floor because it is difficult to receive radio waves from a GPS (Global Positioning System) satellite. Furthermore, there is a problem peculiar to the underfloor in that a compass can not be used due to the disturbance of geomagnetism due to reinforcing bars.
このような事情から、検査対象空間内にペイント又はテープなどを設け、ライントレーサーによってこれらをセンシングすることで、ロボットを自律移動させる手法が提案されている(特許文献1参照)。 Under such circumstances, there has been proposed a technique for autonomously moving the robot by providing paint or tape in the inspection target space and sensing them with a line tracer (see Patent Document 1).
また、画像処理を行って自律移動のためのデータとしたり、レーザー光を2つのCCDカメラで捉えて三角測量によって対象物の位置計測をしたりするロボットが提案されている(特許文献2参照)。 In addition, a robot has been proposed that performs image processing to obtain data for autonomous movement, and measures the position of an object by triangulation by capturing laser light with two CCD cameras (see Patent Document 2). .
更に、方向検出用にエンコーダを設ける構成や、壁との距離を計測して壁面に沿って移動したり、家屋に塗布した発光塗料を補助的に検出したりするロボットが提案されている(特許文献3参照)。
上述した特許文献1においては、ロボットがトレースするためのペイント又はテープなどをあらかじめ設置する必要がある。また、ペイント又はテープなどを設置したとしても、床下では地表が露出していることが多く、ペイント又はテープなどを恒久的に維持することは困難である。
In
特許文献2においては、ロボットが自己の位置や進行方向を検出するための具体的な技術は開示していないので、移動ロボットの位置や向いている方向を高精度に検出できない可能性がある。
Since
特許文献3においては、エンコーダを使用するために、段差、砂利、コンクリ、炭などにより、クローラがスリップすることがあり、エンコーダ値に大幅な誤差が生じる。このため、高精度な位置検出及び方向検出が困難である。また、床下内には束と呼ばれる支柱が数多く立ち、ロボットの移動経路が限定されるので、壁との距離を計測して壁面に沿って移動することも困難である。更に、家屋に発光塗料を塗布することは、上述した特許文献1と同様の問題が生じる。
In Patent Document 3, since an encoder is used, the crawler may slip due to a step, gravel, concrete, charcoal, etc., and a large error occurs in the encoder value. For this reason, highly accurate position detection and direction detection are difficult. In addition, a lot of columns called bundles stand under the floor, and the movement path of the robot is limited. Therefore, it is difficult to measure the distance from the wall and move along the wall surface. Furthermore, applying the light-emitting paint to the house causes the same problem as in
このように、従来のロボットでは、移動ロボットの位置や向いている方向を検出する機能に問題があり、ロボットの向いている位置や方向を容易且つ高精度に検出することが困難であった。 As described above, the conventional robot has a problem in the function of detecting the position and direction of the mobile robot, and it is difficult to easily and accurately detect the position and direction of the robot.
一方で、ロボットの位置を検出するよりも、ロボットの向いている方向を検出できたる方が、下記の(1)〜(3)の理由から有効である。 On the other hand, rather than detecting the position of the robot, it is more effective for the following reasons (1) to (3) that the direction in which the robot is facing can be detected.
(1)床下は区画単位で分割されており、どの区画にロボットが存在するか程度であればユーザが判断できる。 (1) The underfloor is divided in units of sections, and the user can determine the extent to which the robot is present in which section.
(2)区画単位では、ロボットの視界を完全に遮る物はほとんどなく、移動目標の方向が分かれば有視界で到達できる。 (2) In the section unit, there is almost nothing that completely blocks the robot's field of view, and if the direction of the movement target is known, it can be reached in the field of view.
(3)主な移動目標は通気口であるが、どの通気口も形状が類似するために区別し難い。しかし、通気口は各区画に2〜3箇所程度であり、ロボットの向いている方向が分かれば判別可能である。 (3) Although the main movement target is a vent, since all the vents are similar in shape, they are difficult to distinguish. However, there are about two to three vent holes in each section, and can be determined if the direction the robot is facing is known.
上記問題点に鑑み、本発明は、移動ロボットの向いている方向を高精度に検出可能な移動ロボット及び遠隔操作システムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a mobile robot and a remote control system that can detect the direction in which the mobile robot is facing with high accuracy.
上記目的を達成するために、本発明の特徴は、複数の区画に分割された床下空間内にて床下地面上を移動する移動ロボットであって、移動ロボットの床下地面上での回動角を算出する積算型センサ(角速度センサ141、回動角算出部104)と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部(側部距離センサ142、通過検出部106、進入角度算出部107)と、上記回動角と上記通気口に関する情報とに基づき、床下空間内で移動ロボットの向いている方向を検出する方向検出部(方向検出部105)とを備え、方向検出部は、上記通気口に関する情報を用いて、積算型センサの累積誤差を補正する移動ロボットであることを要旨とする。
In order to achieve the above object, a feature of the present invention is a mobile robot that moves on a floor base surface in an underfloor space divided into a plurality of sections, wherein the rotation angle of the mobile robot on the floor base surface is set. An integration type sensor (
ここで、「回動角」とは、例えば、移動ロボットの前後軸と、床下空間に定義された基準軸とのなす角度を意味し、床下地面に対する移動ロボットの相対的な方向を意味する。「積算型センサ」には、例えばジャイロセンサやエンコーダ(ロータリエンコーダ)などが使用できる。また、「通気口」とは、例えば、隣接する区画間の基礎に設けられた開口部であり、空気又は作業員などの通り道を意味する。「通気口に関する情報」とは、通気口の位置、大きさ、範囲、形状などの情報を含む。これらの情報は、カメラや距離センサなどで得ることができる。位置の情報は、例えば、距離センサで得ることができるほか、移動ロボットが通気口をまたいだ(通過した)ことで検知したり、カメラ映像やフォーカス距離値から検知できる。通気口の大きさ、範囲、形状の情報は、例えば、移動ロボットが通気口を通過する際に、距離センサで測定するほか、カメラ映像からも得ることができる。 Here, the “rotation angle” means, for example, an angle formed by the longitudinal axis of the mobile robot and a reference axis defined in the underfloor space, and means a relative direction of the mobile robot with respect to the floor surface. For the “integrating sensor”, for example, a gyro sensor, an encoder (rotary encoder), or the like can be used. The “vent hole” is, for example, an opening provided on a foundation between adjacent sections, and means a passage for air or a worker. “Information on the vent” includes information such as the position, size, range, and shape of the vent. Such information can be obtained by a camera, a distance sensor, or the like. The position information can be obtained by, for example, a distance sensor, detected when the mobile robot crosses (passes through) the vent, or can be detected from a camera image or a focus distance value. The information on the size, range, and shape of the vent can be obtained from, for example, a camera image as well as being measured by a distance sensor when the mobile robot passes through the vent.
このような特徴によれば、移動ロボットの床下地面上での回動角と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報とを併用して、床下空間内で移動ロボットの向いている方向を検出する構成としている。回動角から移動ロボットの向いている方向を大まかに常時検出しつつ、通気口に関する情報から移動ロボットの向いている方向を高精度に検出するので、移動ロボットの向いている方向を高精度に検出可能となる。また、通気口に関する情報を用いて積算型センサの累積誤差を補正するので、床下という特殊な環境下であっても積算型センサの誤差を補正可能となる。 According to such a feature, the mobile robot moves in the underfloor space by using both the rotation angle on the floor base surface of the mobile robot and the information about the vents provided between the adjacent sections among the plurality of sections. It is configured to detect the direction in which the robot is facing. While detecting the direction the mobile robot is facing from the rotation angle at all times, the direction the mobile robot is facing is detected with high accuracy from the information on the air vents. It can be detected. In addition, since the accumulated error of the integrating sensor is corrected using the information related to the vents, the error of the integrating sensor can be corrected even in a special environment under the floor.
上記の特徴に係る移動ロボットにおいて、通気口検出部は、移動ロボットの側方又は上方に向けて距離計測を行う距離センサ(側部距離センサ142又は上部距離センサ145)と、距離計測の結果に基づき、移動ロボットが通気口を通過したことを検出する通過検出部(通過検出部106)と、距離計測の結果に基づき、通気口に対する移動ロボットの進入角度を算出する進入角度算出部(進入角度算出部107)とを備え、方向検出部は、移動ロボットが通気口を通過したタイミングにて、上記進入角度を用いて累積誤差を補正することが好ましい。
In the mobile robot according to the above feature, the vent detection unit includes a distance sensor (
本発明の他の特徴は、複数の区画に分割された床下空間内の床下地面上を移動する移動ロボットと、移動ロボットを遠隔操作する操作端末とを具備する遠隔操作システムであって、移動ロボットの床下地面上での回動角を算出する積算型センサ(角速度センサ141、回動角算出部104)と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部(側部距離センサ142、通過検出部106、進入角度算出部107)と、移動ロボット又は操作端末は、上記回動角と上記通気口に関する情報とに基づき、床下空間内で移動ロボットの向いている方向を検出する方向検出部(方向検出部105)とを備え、方向検出部は、上記通気口に関する情報を用いて、積算型センサの累積誤差を補正することを要旨とする。
Another feature of the present invention is a remote operation system including a mobile robot that moves on a floor base surface in an underfloor space divided into a plurality of sections, and an operation terminal that remotely controls the mobile robot. A sensor for calculating a rotation angle on the floor surface of the floor (
本発明によれば、移動ロボットの向いている方向を高精度に検出可能な移動ロボット及び遠隔操作システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the mobile robot and remote control system which can detect the direction which the mobile robot is facing with high precision can be provided.
次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 Next, an embodiment of the present invention will be described with reference to the drawings. In the description of the drawings in the following embodiments, the same or similar parts are denoted by the same or similar reference numerals.
(遠隔操作システムの全体構成例)
先ず、本実施形態に係る遠隔操作システムの全体構成例について説明する。図1は、本実施形態に係る遠隔操作システムの全体構成図である。
(Example of overall configuration of remote control system)
First, an example of the entire configuration of the remote control system according to the present embodiment will be described. FIG. 1 is an overall configuration diagram of a remote control system according to the present embodiment.
本実施形態に係る遠隔操作システムは、移動ロボット1と、無線通信によって移動ロボット1を遠隔操作する操作端末2とを有する。操作端末2としては、例えばノートPCが使用できる。
The remote operation system according to the present embodiment includes a
移動ロボット1は、操作端末2の制御下で、床下の床下地面上を移動して床下を撮像する。具体的には、移動ロボット1は、床下内を撮像し、撮像して得られた撮像データを操作端末2へ送信する。また、操作端末2は、移動ロボット1から受信した撮像データや、移動ロボット1の向いている方向(以下、単に「移動ロボット1の方向」という)をリアルタイムに表示する。
The
操作端末2は、ユーザ入力に応じて、移動ロボット1を操作する遠隔操作コマンドを移動ロボット1へ送信し、移動ロボット1を遠隔操作する。この遠隔操作コマンドには、移動に関するコマンドや、撮像に関するコマンドなどが存在する。
The
なお、図1においては、移動ロボット1及び操作端末2が建造物内に存在する場合を例示しているが、操作端末2は、建造物の外部から移動ロボット1を遠隔操作することも可能である。
Although FIG. 1 illustrates the case where the
(床下環境の一例)
次に、床下環境の一例について説明する。図2は、床下環境の一例を示す図である。
(Example of underfloor environment)
Next, an example of an underfloor environment will be described. FIG. 2 is a diagram illustrating an example of an underfloor environment.
床下は、高さ32cm〜37cm程度の空間であり、基礎により長方形の区画に区切られている。なお、移動ロボット1が床下点検時に確認すべき内容としては、小動物の死骸や、基礎のクラックなどがある。区画間には通気口と呼ばれる高さ30cm、幅60cm程度の開口部が存在(1区画当たり2箇所程度)する。
The floor is a space with a height of about 32 cm to 37 cm, and is divided into rectangular sections by a foundation. The contents to be confirmed by the
移動ロボット1は、床下点検時にはこの通気口を通過して隣の区画へと移動する。また、ケーブルやパイプなどが、床下天井からぶら下がっていたり、床下地面を這い回っていたりする。
The
更に、基礎近くには配管が存在し、束と呼ばれる細い柱があらゆる場所に存在する。束を固定するための束基礎と呼ばれる5cm程度の高さのコンクリ台が存在する。なお、床下地面がコンクリである場合には、床下地面に束が直接固定されており、束基礎が存在しない場合もある。 In addition, there are pipes near the foundation, and there are thin pillars called bundles everywhere. There is a concrete stand with a height of about 5 cm called a bundle foundation for fixing the bundle. In addition, when the floor base surface is concrete, the bundle is directly fixed to the floor base surface, and the bundle foundation may not exist.
移動ロボット1が床下地面上を移動する際には、地面の凹凸による走行振動や、鉄筋による地磁気の乱れの影響を受けるが、移動ロボット1は、これらの影響に関わらず、自己の向いている方向を検出可能なように構成されている。
When the
(移動ロボットの構成例)
次に、移動ロボット1の構成例について説明する。
(Configuration example of mobile robot)
Next, a configuration example of the
(1)移動ロボットの外観例
図3(a)は移動ロボット1の側面視を示す図であり、図3(b)は移動ロボット1の上面視を示す図であり、図3(c)は移動ロボット1の正面視を示す図である。
(1) Example of Appearance of Mobile Robot FIG. 3A is a diagram showing a side view of the
移動ロボット1は、床下内において、床下地面Sr上を移動する。具体的には、移動ロボット1は、前輪11aと、後輪11bと、クローラ12と、撮像ユニット13と、前側部距離センサ142aと、後側部距離センサ142bとを備える。
The
前輪11a又は後輪11bは、クローラ12を回転させる駆動輪である。また、左クローラ12lと右クローラ12rとは独立して駆動可能であり、左右輪独立駆動型の移動機構を構成している。したがって、移動ロボット1は、超信地旋回(その場旋回)により方向転換可能である。
The
クローラ12は、前輪11a及び後輪11bに掛け渡されており、床下地面Srの凹凸などを吸収する。
The
撮像ユニット13は、床下地面Srと平行及び垂直な面内で、回動可能に構成されており、床下内を撮像するカメラ131を有している。具体的には、撮像ユニット13は、カメラ131を左右方向(パン方向)に回動させるとともに、カメラ131を上下方向(チルト方向)に回動させる。
The
前側部距離センサ142a及び後側部距離センサ142bは、例えば光学距離センサ又は超音波距離センサなどであり、移動ロボット1の両側面に設けられ、移動ロボット1と移動ロボット1の側方に存在する物との間の距離を計測する。本実施形態では、床下内の通気口を検出するために、後側部距離センサ142bを使用する。
The front
(2)移動ロボットの機能構成例
図4は、移動ロボット1の構成例を示す機能ブロック図である。
(2) Functional Configuration Example of Mobile Robot FIG. 4 is a functional block diagram showing a configuration example of the
移動ロボット1は、撮像ユニット13と、移動機構120と、センサ14と、制御部100と、方向情報記憶部151と、無線通信部161とを備える。
The
撮像ユニット13は、床下内の被写体を撮像する。具体的には、撮像ユニット13は、カメラ131と、チルト機構132と、パン機構133と、ズーム機構134と、フォーカス機構135と、照明装置136とを備える。
The
カメラ131は例えばCCDカメラであり、カメラ131から得られた撮像データは、制御部100及び無線通信部161を介して操作端末2に送信される。チルト機構132は、カメラ131をチルト方向に回動させる。パン機構133は、カメラ131をパン方向に回動させる。ズーム機構134は、例えばカメラ131の光学ズーム率を変更する。フォーカス機構135は、カメラ131をオートフォーカス制御する。照明装置136は床下内を照明する。
The
移動機構120は、床下地面上を移動するためのものであり、クローラ12やモータ121などを備える。
The moving
無線通信部161は、例えば無線LAN又はブルートゥースなどの近距離無線通信方式に準拠した構成を有し、操作端末2と無線通信を行う。
The
センサ14は、角速度センサ141と、側部距離センサ142と、移動距離センサ143とを備える。
The
角速度センサ141は例えばジャイロセンサであり、移動ロボット1が床下地面上を回動する際の角速度を検出する。側部距離センサ142には、上述した前側部距離センサ142a及び後側部距離センサ142bが含まれる。移動距離センサ143としては、クローラ12l,12rを回転させる各車輪の回動角を検出するロータリエンコーダが使用できる。
The
制御部100は、撮像制御部101と、移動制御部102と、通信制御部103と、回動角算出部104と、方向検出部105と、通過検出部106と、進入角度算出部107とを備える。
The
撮像制御部101は、操作端末2から受信した撮像コマンドに応じて撮像ユニット13を制御する。移動制御部102は、操作端末2から受信した移動コマンドに応じて移動機構120を制御する。通信制御部103は、無線通信部161を用いて操作端末2と無線通信を実行する。
The
回動角算出部104は、角速度センサ141が検出した角速度を積分(単位時間毎に積算)することによって、移動ロボット1の回動角を算出する。このように、角速度センサ141及び回動角算出部104は、角速度の積算値によって、移動ロボット1の方向を検出するための積算型センサとして機能する。
The rotation
また、回動角算出部104が算出した回動角は、移動ロボット1の方向を示す方向情報γ’として方向情報記憶部151に記憶される。なお、一般的に、ジャイロセンサなどの角速度センサ141が検出する角速度には、ノイズや信号電圧の温度ドリフトなどに伴う誤差が含まれている。したがって、角速度の積算によって誤差が累積的に蓄積される。累積的に蓄積される誤差を「累積誤差」と称する。
The rotation angle calculated by the rotation
通過検出部106は、側部距離センサ142による距離計測結果に応じて、移動ロボット1が通気口を通過したことを検出する。進入角度算出部107は、側部距離センサ142による側方距離計測結果と、移動距離センサ143による移動距離計測結果とに基づき、通気口に対する移動ロボット1の進入角度を算出する。通過検出部106による通過検出処理、及び進入角度算出部107による進入角度算出処理の詳細については後述する。このように、側部距離センサ142、通過検出部106、及び進入角度算出部107は、通気口に関する情報を検出するための通気口検出部として機能する。
The
方向検出部105は、回動角算出部104が算出した回動角と、上記通気口検出部が検出した通気口に関する情報とに基づき、移動ロボット1の方向を検出する。具体的には、方向検出部105は、移動ロボット1が通気口を通過したタイミングにて、進入角度算出部107が算出した進入角度を用いて、方向情報記憶部151に記憶されている方向情報γ’を更新する。この結果、累積誤差が補正され、移動ロボット1の正確な方向情報γ’が得られる。
The
なお、移動ロボット1には、図示を省略するバッテリが搭載されている。このバッテリは、移動ロボット1の動作に用いる電力を蓄積可能なバッテリであって、移動ロボット1に電力を供給する。例えば、バッテリは、リチウム電池などの一次電池、リチウムイオン電池やニッケル水素電池などの二次電池である。
The
(方向検出動作)
次に、移動ロボット1による方向検出動作について説明する。移動ロボット1による方向検出動作の説明の前に、図5を参照して、移動ロボット1の方向について説明する。移動ロボット1の方向は、上述したように、移動ロボット1の回動角(ヨー角)を基に検出される。回動角は、移動ロボット1の前後軸と、床下空間に定義された基準軸とのなす角度であり、床下地面に対する移動ロボットの相対的な方向である。一方、移動ロボット1の方向は、床下内において、移動ロボット1の前方がどの方向を向いているかを表している。
(Direction detection operation)
Next, the direction detection operation by the
移動ロボット1の前方がどの方向を向いているかを検出するために、図6に示すように、床下空間に座標軸X,Yを定義する。また、図6(a)に示すように、移動ロボット1の前後軸が区画の一辺(座標軸X)と平行になるように設置して、移動ロボット1の移動を開始させる。
In order to detect which direction the front of the
図6(b)に示すように、移動開始直後では、移動ロボット1の実際の方向γと移動ロボット1の方向情報γ’とは略一致している。その後、図6(c)に示すように、時間経過とともに移動ロボット1の方向情報γ’にて累積誤差が増大し、移動ロボット1の実際の方向γと移動ロボット1の方向情報γ’との誤差が大きくなる。
As shown in FIG. 6B, immediately after the start of movement, the actual direction γ of the
図6(d)は、移動ロボット1が通気口1を通過した際の状態を示している。ここで、通気口1は、座標軸Y方向に通過可能に設けられており、移動ロボット1の方向は座標軸Y方向であるとみなすことができる。したがって、通気口1を通過時に、簡易的に、移動ロボット1が座標軸Y方向を向いていると判断できる。
FIG. 6 (d) shows a state when the
更に、移動ロボット1が、通気口1に対する進入角度αを算出することによって、更に高精度に移動ロボット1の方向を検出可能となる。図6(d)においては、“90°−α”の値が移動ロボット1の正確な方向である。
Furthermore, the
このように、本実施形態では、床下地面と平行な平面視において各区画が矩形であることに着目して、移動ロボット1の方向を容易且つ高精度に推定可能としている。
Thus, in the present embodiment, the direction of the
(通過検出動作及び進入角度算出動作)
次に、移動ロボット1による通過検出動作及び進入角算出動作について説明する。図7は、床下地面と平行な平面視において、移動ロボット1が通気口を通過する様子を示す図である。図8は、移動ロボット1が通気口を通過する際の、側部距離センサ142(左右の後側部距離センサ142b)の検出距離を示している。以下においては、移動ロボット1の左側に設けられる後側部距離センサを「左側部距離センサ」と呼び、移動ロボット1の右側に設けられる後側部距離センサを「右側部距離センサ」と呼ぶ。
(Passing detection operation and approach angle calculation operation)
Next, the passage detection operation and the approach angle calculation operation by the
ここでは、移動ロボット1が、通過検出動作時及び進入角度算出動作時に、通気口の左右側面の各点a,b,c,dのうち、移動ロボット1の進行方向上で奥側の点b,dを利用する一例を説明する。これは、床下地面と通気口の下面との間に段差がある場合に、通過動作の後半で検出した方が、地面凹凸の影響が少ない、すなわち、点a,cよりも点b,dを利用した方が検出精度が良いためである。
Here, of the points a, b, c, and d on the left and right side surfaces of the vent, the
したがって、通過検出動作時においては、右側部距離センサ及び左側部距離センサの検出距離L1及びL2が急激に長くなったかに応じて、移動ロボット1が通気口を通過したことが検出される。
Therefore, during the passage detection operation, it is detected that the
次に、進入角度αは、通気口の開口方向に対する移動ロボット1の進行方向のなす角であり、進入角度αの検出には、間接検出、直接検出の2つの方法が使用できる。
Next, the approach angle α is an angle formed by the moving direction of the
間接検出では、図7に示すように、次の式(1)により進入角度αが算出される。 In indirect detection, as shown in FIG. 7, the approach angle α is calculated by the following equation (1).
α=ATAN(L3/L4) ・・・(1)
ここで、“L3”は、図7において、移動ロボット1の前後軸上での点bと点dとの間の距離(長さ)を示し、“L4”は、移動ロボット1の左右軸上での点bと点dとの間の距離(長さ)を示している。
α = ATAN (L3 / L4) (1)
Here, “L3” indicates the distance (length) between the point b and the point d on the front-rear axis of the
また、“L4”は、左側部距離センサ及び左側部距離センサのそれぞれの検出距離と、移動ロボット1の幅とを足すことで得ることができる。ここでは、移動ロボット1の左右方向の中心位置と点bとの間の距離を“L1”とし、移動ロボット1の左右方向の中心位置と点dとの間の距離を“L2”とする。この結果、式(1)は、
α=ATAN(L3/L1+L2) ・・・(2)
と変換できる。“L3”は、クローラ12の回転量、又は移動ロボット1の移動速度と時間によって算出することができる。移動ロボット1の移動速度と時間により“L3”を算出する場合には、前側部距離センサと後側部距離センサとのタイミング差で測定しても良い。
Further, “L4” can be obtained by adding the respective detection distances of the left side distance sensor and the left side distance sensor and the width of the
α = ATAN (L3 / L1 + L2) (2)
Can be converted. “L3” can be calculated from the rotation amount of the
一方、直接検出では、図8(b)に示すように、進入角度αが角度βと等しいことを利用して進入角度αが算出される。 On the other hand, in the direct detection, as shown in FIG. 8B, the approach angle α is calculated using the fact that the approach angle α is equal to the angle β.
(方向検出処理の概略処理フロー例)
次に、移動ロボットにおける方向検出処理フローについて説明する。図9は、移動ロボットにおける方向検出処理フロー例を示すフローチャートである。
(Example of schematic processing flow of direction detection processing)
Next, the direction detection processing flow in the mobile robot will be described. FIG. 9 is a flowchart illustrating an example of a direction detection process flow in the mobile robot.
ステップS101において、移動ロボット1が、座標軸X(X軸)と平行になるようにして、床下に投入される。詳細には、移動ロボット1は、移動ロボット1の方向が、ある区画の壁面に対して平行であると目視で確認された方向に向けて設置される。
In step S101, the
ステップS102において、方向検出部105は、移動ロボット1の方向γ’を“0”に初期化する。
In step S102, the
ステップS103において、通過検出部106は、移動ロボット1が通気口を通過したかを判定する。移動ロボット1が通気口を通過した場合には、ステップS104の処理に進む。一方、移動ロボット1が通気口を通過していない場合には、ステップS105の処理に進む。
In step S103, the
ステップS104において、進入角度算出部107は、通気口に対する移動ロボット1の進入角度αを算出する。
In step S104, the approach angle calculation unit 107 calculates the approach angle α of the
ステップS105においては、方向検出部105は、角速度センサ141からの角速度情報を積分して、移動ロボット1の方向情報γ’を得る。
In step S <b> 105, the
(方向検出処理の詳細処理フロー例)
次に、移動ロボット1における方向検出処理フローについて説明する。図9は、移動ロボット1における方向検出処理フロー例を示すフローチャートである。
(Detailed processing flow example of direction detection processing)
Next, a direction detection process flow in the
ステップS201において、通過検出部106は、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったかを判定する。具体的には、検出距離L1又はL2の単位時間当たりの増加量が、あらかじめ設定された閾値を超えると、検出距離L1又はL2が急激に長くなったと判定される。検出距離L1又はL2が急激に長くなったと判定された場合には、ステップS202の処理に進む。
In step S201, the
ステップS202において、通過検出部106は、検出距離L1又はL2が急激に長くなったことで、移動ロボット1が通気口を通過する可能性ありと判断する。なお、ステップS202は、ステップS201にて検出距離L1又はL2が急激に長くなったと判定されるのとほぼ同時に実行される。
In step S202, the
ステップS203において、通過検出部106は、移動ロボット1が通気口を通過する可能性ありと判断されてから、移動ロボット1の移動距離が一定の距離以上になったかを判定する。移動ロボット1の移動距離が一定の距離以上になったと判定された場合には、ステップS201の処理に戻る。一方、移動ロボット1の移動距離が一定の距離未満であると判定された場合には、ステップS204の処理に進む。
In step S <b> 203, the
ステップS204において、通過検出部106は、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったかを判定する。この処理では、ステップS201にて、右側部距離センサの検出距離が急激に長くなったと判定されている場合には、左側部距離センサの検出距離が急激に長くなったか否かが判定される。また、ステップS201にて、左側部距離センサの検出距離が急激に長くなったと判定されている場合には、右側部距離センサの検出距離が急激に長くなったか否かが判定される。なお、検出距離L1又はL2が急激に長くなったかの判定は、ステップS201と同様にして行われる。右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったと判定された場合には、ステップS205の処理に進む。一方、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなっていないと判定された場合には、ステップS203の処理に戻る。
In step S204, the
ステップS205において、通過検出部106は、移動ロボット1が通気口を通過したと判断する。移動ロボット1が通気口を通過したと判断されると、ステップS206の処理に進む。
In step S205, the
ステップS206において、進入角度算出部107は、通気口に対する移動ロボット1の進入角度αを算出する。
In step S206, the approach angle calculation unit 107 calculates the approach angle α of the
ステップS207において、進入角度算出部107は、移動ロボット1が、軸Xに平行な通気口に進入したかを判定する。具体的には、方向情報記憶部に記憶されている方向情報γ’が、90°又は−90°付近である場合には、移動ロボット1が軸Xに平行な通気口に進入したと判定されて、ステップS208の処理に進む。一方、方向情報記憶部に記憶されている方向情報γ’が、90°又は−90°付近でない場合には、移動ロボット1が軸Yに平行な通気口に進入したと判定されて、ステップS209の処理に進む。
In step S207, the approach angle calculation unit 107 determines whether the
ステップS208においては、方向検出部105は、ステップS206で算出された進入角度αと、軸Xに平行な通気口の角度(つまり90°又は−90°)を用いて方向情報γ’を補正する。図6の例では、“90°−α”の値が、補正後の方向情報γ’として方向情報記憶部151に記憶される。
In step S208, the
ステップS209においては、方向検出部105は、ステップS206で算出された進入角度αと、軸Yに平行な通気口の角度(つまり0°又は−180°)を用いて方向情報γ’を補正する。補正後の方向情報γ’は、方向情報記憶部151に記憶される。
In step S209, the
(作用・効果)
以上詳細に説明したように、本実施形態によれば、移動ロボット1の回動角と通気口に関する情報とを用いて、床下空間内で移動ロボット1の方向を検出することで容易且つ高精度に移動ロボット1の方向を検出することができる。また、通気口に関する情報を用いて積算型センサの累積誤差を補正するので、床下という特殊な環境下であってもジャイロセンサなどの誤差を補正可能となる。
(Action / Effect)
As described above in detail, according to the present embodiment, the direction of the
(第1変形例)
上述した実施形態においては、側部距離センサにより通気口を検出する構成について説明した。本発明の実施形態の第1変形例では、図12に示すように、移動ロボット1の上部に設けられた上部距離センサ145l,145rにより、通気口を検出する。上部距離センサ145l,145rは、移動ロボット1の左右両端部の前側に実装されている。あるいは、側部距離センサと上部距離センサとを併用する構成としてもよい。
(First modification)
In the above-described embodiment, the configuration in which the vent is detected by the side distance sensor has been described. In the first modification of the embodiment of the present invention, the vent is detected by
(第2変形例)
上述した実施形態においては、移動ロボット1自身が、自己の方向を検出する構成について説明した。本発明の実施形態の第2変形例として、移動ロボット1ではなく、操作端末2側で、移動ロボット1の方向を検出する構成について説明する。
(Second modification)
In the above-described embodiment, the configuration in which the
本変形例に係る操作端末2は、図12に示すように、入力部21と、表示部22と、方向情報記憶部23と、制御部200と、無線通信部24とを備える。
As illustrated in FIG. 12, the
入力部21は、例えばキーボード又はマウス等により構成され、ユーザ入力を受け付ける。無線通信部24は、例えば無線LAN又はブルートゥース等の近距離無線通信方式に準拠した構成を有し、移動ロボット1側の無線通信部161と無線通信を実行する。表示部22は、撮像データやセンサ情報などを表示する。
The
制御部200は、通信制御部201と、コマンド制御部202と、表示制御部203と、方向検出部204と、通過検出部205と、進入角度算出部206とを備える。
The
通信制御部201は、無線通信部24を用いて移動ロボット1と通信を行う。コマンド制御部202は、入力部21が受け付けたユーザ入力に応じて、移動ロボット1に送信するコマンドを制御する。表示制御部203は、無線通信部24が移動ロボット1から受信したデータ、例えば撮像データ及びセンサ情報を表示部22上に表示させる。
The
通過検出部205は、移動ロボット1から受信した、左側部距離センサ及び右側部距離センサの検出距離に基づいて、移動ロボット1が通気口を通過したことを検出する。進入角度算出部206は、移動ロボット1から受信した、左側部距離センサ及び右側部距離センサの検出距離や、移動距離センサ143の検出距離などに基づいて、移動ロボット1が通気口を通過したことを検出する。方向検出部105は、移動ロボット1から受信した回動角の情報や、進入角度算出部206が算出した進入角度の情報に基づき、移動ロボット1の方向を検出して、方向情報を方向情報記憶部23に格納する。
The
(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
(Other embodiments)
As mentioned above, although this invention was described by embodiment, it should not be understood that the description and drawing which form a part of this indication limit this invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
上述した実施形態では、通気口に対する移動ロボット1の進入角度により方向情報を更新する一例を説明した。しかし、精度は劣るが、移動ロボット1が通気口を通過した場合に壁面と直角であるとみなして、方向情報を更新する構成であっても良い。
In the embodiment described above, an example in which the direction information is updated based on the approach angle of the
また、上述した実施形態では、積算型センサの一例としてジャイロセンサを挙げたが、これに限定されるものではない。例えば、積算型センサは、移動ロボット1に設けられた左右のクローラの回転数(又は、左右のクローラを駆動するモータの回転数)をデジタル値で検出するロータリエンコーダであってもよい。 Moreover, although the gyro sensor was mentioned as an example of the integration type sensor in the above-described embodiment, the present invention is not limited to this. For example, the integrating sensor may be a rotary encoder that detects the number of rotations of the left and right crawlers provided in the mobile robot 1 (or the number of rotations of the motor that drives the left and right crawlers) as a digital value.
さらに、上述した実施形態では、床下地面Srと平行な平面視において閉空間が長方形であるが、これに限定されるものではない。例えば、床下地面Srと平行な平面視において、各区画は正三角形などの形状であってもよい。 Furthermore, in the above-described embodiment, the closed space is rectangular in a plan view parallel to the floor base surface Sr, but is not limited thereto. For example, in a plan view parallel to the floor base surface Sr, each section may have a shape such as an equilateral triangle.
上述した実施形態では、移動ロボット1の方向検出に、後側部距離センサを使用する一例について説明したが、前側部距離センサを使用しても良い。
In the above-described embodiment, an example in which the rear side distance sensor is used for detecting the direction of the
前側部距離センサを使用した場合には、障害物センサとして併用することができ、障害物を早く発見できる。具体的には、移動ロボット1からの映像越しに遠隔操作が行われるが、車体側面は死角となっていることが多く、旋回時に障害物に衝突することがある。対策として障害物センサを設けることが公知であるが、通気口センサを障害物センサに兼用する場合、進行方向前部にあるほうが、障害物をより早く発見できる。
When the front side distance sensor is used, it can be used together as an obstacle sensor, and an obstacle can be found quickly. Specifically, the remote operation is performed through the video from the
ただし、前側部距離センサを使用した場合には、後側部距離センサの場合と比較して、通気口進入角度を検出する精度が悪化する。具体的には、通気口に段差があった場合、地面凹凸の影響で、通気口通過中に移動ロボット1の向きが変わる可能性がある。通気口への進入角度検出には、通過序盤で検出するより、通過終盤で検出したほうが、地面凹凸の影響を受けにくく、検出精度が向上する。
However, when the front side distance sensor is used, the accuracy of detecting the vent entrance angle is deteriorated as compared with the case of the rear side distance sensor. Specifically, when there is a step in the vent, there is a possibility that the direction of the
また、通気口に関する情報の一部が、基礎伏図などから既知の場合には、移動ロボット及び遠隔操作システムに設定しておくことで、検出精度を高めたり、計算やセンサを簡略化することができる。検出精度を高める方法としては、例えば、通気口の幅が既知の場合は、移動距離を使用せずに進入角度αを算出することができる。 In addition, if some of the information related to vents is already known from the basic plan, etc., it can be set in the mobile robot and remote control system to improve detection accuracy and simplify calculations and sensors. Can do. As a method for increasing the detection accuracy, for example, when the width of the vent is known, the approach angle α can be calculated without using the movement distance.
具体的には、通気口の幅(図7の例では点bと点dの間の距離)が既知である場合、通気口の幅をL5とすると、進入角度αは、
α=acos(L4/L5) ・・・(3)
によって算出可能である。つまり、L3が不要となり、L3を求めるための移動距離センサ143などを無くすことが可能となる。
Specifically, when the width of the vent hole (the distance between the points b and d in the example of FIG. 7) is known, if the width of the vent hole is L5, the entry angle α is
α = acos (L4 / L5) (3)
Can be calculated. That is, L3 becomes unnecessary, and it is possible to eliminate the
このように本発明は、ここでは記載していない様々な実施形態などを包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。 As described above, it should be understood that the present invention includes various embodiments that are not described herein. Therefore, the present invention is limited only by the invention specifying matters in the scope of claims reasonable from this disclosure.
1…移動ロボット、2…操作端末、11a…前輪、11b…後輪、12…クローラ、12l…左クローラ、12r…右クローラ、13…撮像ユニット、14…センサ、21…入力部、22…表示部、23…方向情報記憶部、24…無線通信部、100…制御部、101…撮像制御部、102…移動制御部、103…通信制御部、104…回動角算出部、105…方向検出部、106…通過検出部、107…進入角度算出部、120…移動機構、121…モータ、131…カメラ、132…チルト機構、133…パン機構、134…ズーム機構、135…フォーカス機構、136…照明装置、141…角速度センサ、142…側部距離センサ、142a…前側部距離センサ、142b…後側部距離センサ、143…移動距離センサ、145…上部距離センサ、151…方向情報記憶部、161…無線通信部、200…制御部、201…通信制御部、202…コマンド制御部、203…表示制御部、204…方向検出部、205…通過検出部、206…進入角度算出部
DESCRIPTION OF
Claims (3)
前記移動ロボットの前記床下地面上での回動角を算出する積算型センサと、
前記複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部と、
前記回動角と前記通気口に関する情報とに基づき、前記床下空間内で前記移動ロボットの向いている方向を検出する方向検出部と
を備え、前記方向検出部は、前記通気口に関する情報を用いて、前記積算型センサの累積誤差を補正することを特徴とする移動ロボット。 A mobile robot that moves on the floor surface in an underfloor space divided into a plurality of sections,
An integrating sensor for calculating a rotation angle of the mobile robot on the floor base surface;
A vent detection unit for detecting information related to vents provided between adjacent sections among the plurality of sections;
A direction detection unit that detects a direction in which the mobile robot is facing in the underfloor space based on the rotation angle and the information on the vent, and the direction detection unit uses the information on the vent A mobile robot characterized by correcting an accumulated error of the integrating sensor.
前記移動ロボットの側方又は上方に向けて距離計測を行う距離センサと、
前記距離計測の結果に基づき、前記移動ロボットが前記通気口を通過したことを検出する通過検出部と、
前記距離計測の結果に基づき、前記通気口に対する前記移動ロボットの進入角度を算出する進入角度算出部とを備え、
前記方向検出部は、前記前記移動ロボットが前記通気口を通過したタイミングにて、前記進入角度を用いて前記累積誤差を補正することを特徴とする請求項1に記載の移動ロボット。 The vent detection unit is
A distance sensor for measuring distance toward the side or above the mobile robot;
Based on the result of the distance measurement, a passage detection unit that detects that the mobile robot has passed through the vent;
An approach angle calculator that calculates an approach angle of the mobile robot with respect to the vent based on the result of the distance measurement;
The mobile robot according to claim 1, wherein the direction detection unit corrects the accumulated error using the approach angle at a timing when the mobile robot passes through the vent.
前記移動ロボットの前記床下地面上での回動角を算出する積算型センサと、
前記複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部と、
前記移動ロボット又は前記操作端末は、前記回動角と前記通気口に関する情報とに基づき、前記床下空間内で前記移動ロボットの向いている方向を検出する方向検出部と
を備え、前記方向検出部は、前記通気口に関する情報を用いて、前記積算型センサの累積誤差を補正することを特徴とする遠隔操作システム。 A remote operation system comprising a mobile robot that moves on a floor ground surface in an underfloor space divided into a plurality of sections, and an operation terminal that remotely operates the mobile robot,
An integrating sensor for calculating a rotation angle of the mobile robot on the floor base surface;
A vent detection unit for detecting information related to vents provided between adjacent sections among the plurality of sections;
The mobile robot or the operation terminal includes a direction detection unit that detects a direction in which the mobile robot is facing in the underfloor space based on the rotation angle and the information on the vent hole, and the direction detection unit. Is a remote control system that corrects a cumulative error of the integrating sensor using information on the vent.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006249308A JP2008070236A (en) | 2006-09-14 | 2006-09-14 | Mobile robot and remote operation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006249308A JP2008070236A (en) | 2006-09-14 | 2006-09-14 | Mobile robot and remote operation system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008070236A true JP2008070236A (en) | 2008-03-27 |
Family
ID=39291944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006249308A Withdrawn JP2008070236A (en) | 2006-09-14 | 2006-09-14 | Mobile robot and remote operation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008070236A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101064317B1 (en) * | 2009-05-21 | 2011-09-14 | 김진완 | Drive apparatus of line tracer |
WO2012172741A1 (en) | 2011-06-13 | 2012-12-20 | パナソニック株式会社 | Noise pattern acquisition device and position detection apparatus provided therewith |
KR101488421B1 (en) * | 2013-05-15 | 2015-01-30 | 전동훈 | Auto-driving type safety tripod |
US9047759B2 (en) | 2010-11-25 | 2015-06-02 | Panasonic Intellectual Property Corporation Of America | Communication device |
-
2006
- 2006-09-14 JP JP2006249308A patent/JP2008070236A/en not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101064317B1 (en) * | 2009-05-21 | 2011-09-14 | 김진완 | Drive apparatus of line tracer |
US9047759B2 (en) | 2010-11-25 | 2015-06-02 | Panasonic Intellectual Property Corporation Of America | Communication device |
US9142122B2 (en) | 2010-11-25 | 2015-09-22 | Panasonic Intellectual Property Corporation Of America | Communication device for performing wireless communication with an external server based on information received via near field communication |
US9262913B2 (en) | 2010-11-25 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Communication device |
WO2012172741A1 (en) | 2011-06-13 | 2012-12-20 | パナソニック株式会社 | Noise pattern acquisition device and position detection apparatus provided therewith |
US8996298B2 (en) | 2011-06-13 | 2015-03-31 | Panasonic Intellectual Property Corporation Of America | Noise pattern acquisition device and position detection apparatus provided therewith |
KR101488421B1 (en) * | 2013-05-15 | 2015-01-30 | 전동훈 | Auto-driving type safety tripod |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11865708B2 (en) | Domestic robotic system | |
US9372117B2 (en) | Optical ground tracking apparatus, systems, and methods | |
CN104380137B (en) | Come the method for indirect distance measuring and hand-held distance-measuring equipment by the angle-determining function that image assists | |
KR101703177B1 (en) | Apparatus and method for recognizing position of vehicle | |
JP4643436B2 (en) | Own vehicle position determination device | |
US20140313321A1 (en) | Optical ground tracking apparatus, systems, and methods | |
JP2009031884A (en) | Autonomous mobile body, map information creation method in autonomous mobile body and moving route specification method in autonomous mobile body | |
CN110597265A (en) | Recharging method and device for sweeping robot | |
KR101076803B1 (en) | Map constructing method of inhouse robot and start position determining method thereof | |
JP2018185767A (en) | Environment maintenance robot, and control program of the same | |
KR101475196B1 (en) | Apparatus for measuring position of robot | |
JP2007240380A (en) | Intra-tunnel position detector | |
JP2005062083A (en) | Survey system having function of position error correction | |
JP5122693B1 (en) | In-vehicle survey system | |
JP2008070236A (en) | Mobile robot and remote operation system | |
JP2019205066A (en) | Camera adjustment device | |
JP2004317237A (en) | Surveying apparatus | |
JP2008276731A (en) | Routing apparatus for autonomous mobile unit | |
JP2009032179A (en) | Mobile robot and remote operation system | |
JP5087360B2 (en) | Inspection system | |
JP2008077514A (en) | Mobile robot and remote operation system | |
hyeuk Lee et al. | Elbow detection for localization of a mobile robot inside pipeline using laser pointers | |
KR101255024B1 (en) | Relative localization system and method using ultrasonic sensor | |
JP2009294713A (en) | Checking system, controller, checking method, and control program | |
US20150330054A1 (en) | Optical Sensing a Distance from a Range Sensing Apparatus and Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Effective date: 20080118 Free format text: JAPANESE INTERMEDIATE CODE: A7423 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081113 |
|
A761 | Written withdrawal of application |
Effective date: 20090708 Free format text: JAPANESE INTERMEDIATE CODE: A761 |