JP2018092653A - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP2018092653A JP2018092653A JP2018026779A JP2018026779A JP2018092653A JP 2018092653 A JP2018092653 A JP 2018092653A JP 2018026779 A JP2018026779 A JP 2018026779A JP 2018026779 A JP2018026779 A JP 2018026779A JP 2018092653 A JP2018092653 A JP 2018092653A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- unit
- artificial
- animation
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program.
現在、二次元または三次元画像により表現された仮想のキャラクタやロボットなどの人工生物(仮想生物、人工生命ともいう)について、人工生物が動いている映像(以下、モーションアニメーションまたはモーションとも言う)を作成するためには、次のような課題がある。すなわち、
1.それぞれの人工生物の形態に応じて適切なモーションを専門家が作成する必要がある。たとえば人工生物が歩行するモーションを作成するには、各部位をどのタイミングでどのような速度でどの方向にどれくらい動かせばよいかを、一つ一つ手作業で設定したり専門家を対象としたソフトウェアを使用して設定したりする必要があるが、そのような作業は、専門知識を有していないユーザにとっては非常に難しい作業である。
2.単純に左右の脚を交互に揺動させることで一見歩行しているように見えるモーションを生成できるとしても、仮想のキャラクタなどの現実には存在しない人工生物については、物理的に自然なモーションを作成することが極めて困難である。
3.一つのモーションを生成するために各部位の動き方を一つ一つ手作業で設定するやり方では、走る、ジャンプするなどの目的に応じて異なるモーションを大量に生成することが困難である。
Currently, images of moving creatures (hereinafter also referred to as motion animations or motions) of artificial creatures such as virtual characters and robots (also called virtual creatures or artificial life) represented by two-dimensional or three-dimensional images. In order to create, there are the following problems. That is,
1. An expert needs to create an appropriate motion according to the form of each artificial creature. For example, in order to create a motion that an artificial creature walks, it is possible to manually set each part at what timing, at what speed, and in what direction, or for experts. Although it is necessary to set using software, such a task is very difficult for a user who does not have expertise.
2. Even if you can create a motion that looks like walking by simply swinging the left and right legs alternately, you can generate a physically natural motion for an artificial creature such as a virtual character that does not exist in reality. It is extremely difficult to create.
3. In order to generate a single motion, it is difficult to generate a large amount of different motions according to the purpose of running, jumping, etc., by manually setting the movement of each part one by one.
特許文献1には、ロボットや二脚動物画像の歩行制御に関し、各部位の動きをニュートン力学により計算することで、各部位があたかも重力の影響を受けているかのように動いて見える技術が開示されている。 Patent Document 1 discloses a technique relating to walking control of robots and biped animal images by calculating the movement of each part by Newtonian mechanics so that each part looks as if it is affected by gravity. Has been.
特許文献1記載の技術では、専門家でなくても物理的に自然なモーションを作成できるようになるものの、作成されるモーションは、人工生物の各部位が生来備える(変更不可能な)物理的パラメタから導き出される範囲から外れることがなく、ユーザにとって所望のモーション、たとえば人間では思いもつかないようなモーションを作成することは容易でない。 Although the technique described in Patent Document 1 enables a physically natural motion to be created even by a non-expert, the created motion is a physical (non-changeable) physical feature of each part of the artificial organism. It is not easy for the user to create a desired motion, for example, a motion that humans cannot imagine, without departing from the range derived from the parameters.
本発明の目的は、専門知識を有していないユーザであっても人工生物において所望のモーションを容易に作成することができる情報処理装置、情報処理方法およびプログラムを提供することにある。 An object of the present invention is to provide an information processing apparatus, an information processing method, and a program capable of easily creating a desired motion in an artificial organism even for a user who does not have specialized knowledge.
本発明の一態様に係る情報処理装置は、
人工生物の形態に関する情報を記憶する形態記憶部と、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習
する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す。
An information processing device according to one embodiment of the present invention includes:
A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input.
このような態様よれば、パラメタ設定部および目標設定部により、人工生物の1つ以上の部位の物理的なパラメタと行動の目標とが設定され、行動学習部により、設定されたパラメタと目標に基づいて人工生物の行動が自動的に学習されるため、人工生物のモーションを生成するために各部位の動き方を一つ一つ手作業で設定するという専門的で複雑な作業が不要であり、かつ、異なるモーションを大量に生成することが容易である。さらに、学習した行動に従って動いているアニメーションの表示中に、その動きがユーザの所望するものでなければ、ユーザはパラメタ設定部からパラメタについての新たな入力を行うだけで、人工生物の行動の学習を容易にやり直すことができる。これを装置側から見れば、本件装置は学習成果についてその場でユーザからフィードバックをもらうことができる。これにより、人工生物のパラメタがユーザと装置との間で対話的・双方向的に調整されるので、専門知識を有していないユーザであっても、人工生物において所望のモーションを容易に作成することができる。 According to such an aspect, the physical parameter and the action target of one or more parts of the artificial creature are set by the parameter setting unit and the target setting unit, and the set parameter and the target are set by the behavior learning unit. Because the behavior of artificial creatures is automatically learned based on this, there is no need for specialized and complicated work of manually setting the movement of each part one by one in order to generate the motion of artificial creatures In addition, it is easy to generate a large amount of different motions. Furthermore, during the display of an animation that is moving according to the learned behavior, if the movement is not what the user desires, the user can simply learn a new behavior about the parameter from the parameter setting unit and learn the behavior of the artificial creature. Can be easily redone. If this is viewed from the device side, the present device can receive feedback from the user on the spot regarding the learning result. As a result, the parameters of the artificial creature are interactively and interactively adjusted between the user and the device, so even a user who does not have specialized knowledge can easily create the desired motion in the artificial creature. can do.
本発明の一態様に係る情報処理装置において、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての複数の入力候補の数値を表示して選択を受け付けるユーザインターフェースを、前記表示部に表示し、選択された数値で前記パラメタを再設定してもよい。
In the information processing device according to one embodiment of the present invention,
The parameter setting unit displays, on the display unit, a user interface for displaying a numerical value of a plurality of input candidates for the parameter and accepting selection during display of the animation on the display unit. The parameters may be reset with
このような態様によれば、表示部でのアニメーションの表示中に、人工生物の動きがユーザの所望するものでなければ、ユーザは、表示部に表示されたユーザインターフェースにおいて入力候補の数値を選択するという直感的な操作を行うだけで、人工生物の行動の学習を容易にやり直すことができる。 According to such an aspect, during the display of the animation on the display unit, if the movement of the artificial creature is not desired by the user, the user selects the numerical value of the input candidate on the user interface displayed on the display unit. Learning the behavior of artificial creatures can be done easily just by performing an intuitive operation.
本発明の一態様に係る情報処理装置において、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、表示中のアニメーションの評価に対応する複数の選択肢を表示して選択を受け付けるユーザインターフェースを、前記表示部に表示し、選択結果に応じて前記パラメタを再設定してもよい。
In the information processing device according to one embodiment of the present invention,
The parameter setting unit displays, on the display unit, a user interface for receiving a selection by displaying a plurality of options corresponding to the evaluation of the animation being displayed while displaying the animation on the display unit, and selecting a result The parameter may be reset according to
このような態様によれば、表示部でのアニメーションの表示中に、人工生物の動きがユーザの所望するものでなければ、ユーザは、表示部に表示されたユーザインターフェースにおいてその動きの評価に対応する選択肢を選択するという直感的な操作を行うだけで、人工生物の行動の学習を容易にやり直すことができる。 According to such an aspect, during the display of animation on the display unit, if the movement of the artificial creature is not what the user desires, the user can respond to the evaluation of the movement in the user interface displayed on the display unit. The learning of the behavior of the artificial creature can be easily redone simply by performing an intuitive operation of selecting an option to be performed.
本発明の一態様に係る情報処理装置において、
前記目標設定部は、前記目標についての複数の入力候補を表示して選択を受け付けるユーザインターフェースを、前記表示部に表示してもよい。
In the information processing device according to one embodiment of the present invention,
The target setting unit may display on the display unit a user interface that displays a plurality of input candidates for the target and receives selection.
このような態様によれば、ユーザは、表示部に表示されたユーザインターフェースから直感的に操作するだけで、人工生物の行動の目標を容易に設定することができる。 According to such an aspect, the user can easily set the action target of the artificial organism simply by intuitively operating from the user interface displayed on the display unit.
本発明の一態様に係る情報処理装置において、
具体的には、たとえば、前記目標についての入力候補は、移動速度を最大化する、ジャンプの高さを最大化する、物体を叩きつける力を最大化する、片足でバランスをとる時間を最大化する、逆立ちでバランスをとる時間を最大化する、からなる群のうちいずれか1つまたは2つ以上の目標を含んでいてもよい。
In the information processing device according to one embodiment of the present invention,
Specifically, for example, the input candidate for the target maximizes the moving speed, maximizes the jump height, maximizes the force of hitting an object, or maximizes the time to balance on one foot. Maximize the time to balance on handstand, and may include any one or more goals from the group consisting of:
本発明の一態様に係る情報処理装置において、
具体的には、たとえば、前記パラメタは、当該部位を動かす力の最大値を含んでいてもよい。
In the information processing device according to one embodiment of the present invention,
Specifically, for example, the parameter may include a maximum value of a force that moves the part.
本発明の一態様に係る情報処理装置において、
具体的には、たとえば、前記パラメタは、当該部位に作用する重力加速度を含んでいてもよい。
In the information processing device according to one embodiment of the present invention,
Specifically, for example, the parameter may include a gravitational acceleration acting on the part.
本発明の一態様に係る情報処理装置は、
複数の人工生物の形態に関する情報を記憶するデータベースから一の人工生物の形態に関する情報を取得して前記形態記憶部に記憶させる人工生物情報取得部をさらに備えていてもよい。
An information processing device according to one embodiment of the present invention includes:
An artificial organism information acquisition unit that acquires information on the form of one artificial organism from a database that stores information on the forms of a plurality of artificial organisms and stores the information in the configuration storage unit may be further provided.
このような態様によれば、人工生物情報取得部が、データベースに予め記憶された複数の人工生物の中から一の人工生物の形態に関する情報を取得するため、モーション生成の対象とする人工生物を、ユーザの好みに応じて、別の人工生物と容易に交換することができる。 According to such an aspect, the artificial organism information acquisition unit acquires information on the form of one artificial organism from a plurality of artificial organisms stored in advance in the database. Depending on the user's preference, it can be easily exchanged with another artificial organism.
本発明の一態様に係る人工生物は、上記したいずれかの特徴を有する情報処理装置により生成された行動を行うように設定された人工生物である。 The artificial organism according to one embodiment of the present invention is an artificial organism set to perform an action generated by the information processing apparatus having any of the above-described characteristics.
本発明の一態様に係る人工生物のデータ構造は、上記したいずれかの特徴を有する情報処理装置に用いられる人工生物のデータ構造であって、前記パラメタ設定部により設定されるパラメタを含む人工生物のデータ構造である。 An artificial organism data structure according to an aspect of the present invention is an artificial organism data structure used in an information processing apparatus having any one of the above-described characteristics, and includes an artificial organism including a parameter set by the parameter setting unit This is the data structure.
本発明の一態様に係るモーション生成装置は、
人工生物の形態に関する情報を記憶する形態記憶部と、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す。
A motion generation device according to an aspect of the present invention includes:
A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input.
本発明の一態様に係る人工生物育成装置は、
人工生物の形態に関する情報を記憶する形態記憶部と、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定
部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す。
An artificial organism growing device according to one embodiment of the present invention is provided.
A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input.
本発明の一態様に係る情報処理方法は、
人工生物の形態に関する情報を形態記憶部に記憶するステップと、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するステップと、
前記記憶された人工生物の行動の目標を設定するステップと、
前記設定されたパラメタおよび目標に基づいて、前記形態記憶部に記憶された人工生物の行動を学習するステップと、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するステップと、
前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直すステップと、
を備える。
An information processing method according to an aspect of the present invention includes:
Storing information on the form of the artificial organism in the form storage unit;
Setting physical parameters of one or more sites of the stored artificial organism;
Setting a goal for the action of the stored artificial creature;
Learning the behavior of the artificial organism stored in the form storage unit based on the set parameter and target;
Generating and displaying an animation in which the stored artificial creature is moving according to the learned behavior;
When a new input for the parameter is received during the display of the animation on the display unit, the stored behavior of the artificial creature is learned based on the parameter reset according to the new input. Step to redo,
Is provided.
本発明の一態様に係るプログラムは、
コンピュータに、
人工生物の形態に関する情報を形態記憶部に記憶するステップと、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するステップと、
前記記憶された人工生物の行動の目標を設定するステップと、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習するステップと、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するステップと、
前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直すステップと、
を実行させるためのプログラムである。
A program according to one embodiment of the present invention is provided.
On the computer,
Storing information on the form of the artificial organism in the form storage unit;
Setting physical parameters of one or more sites of the stored artificial organism;
Setting a goal for the action of the stored artificial creature;
Learning the stored behavior of the artificial creature based on the set parameters and goals;
Generating and displaying an animation in which the stored artificial creature is moving according to the learned behavior;
When a new input for the parameter is received during the display of the animation on the display unit, the stored behavior of the artificial creature is learned based on the parameter reset according to the new input. Step to redo,
Is a program for executing
本発明によれば、専門知識を有していないユーザであっても人工生物において所望のモーションを容易に作成することができる。 According to the present invention, even a user who does not have specialized knowledge can easily create a desired motion in an artificial organism.
以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is implemented, and the present invention is not limited to the specific configuration described below. In carrying out the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
図1は、一実施の形態による情報処理装置10を含む情報処理システム1の構成を示す概略図である。 FIG. 1 is a schematic diagram illustrating a configuration of an information processing system 1 including an information processing apparatus 10 according to an embodiment.
図1に示すように、情報処理システム1は、情報処理装置(端末装置)10と、データベース(サーバ)3とを有している。情報処理装置10とデータベース3とは、インターネット等のネットワーク2を介して互いに通信可能に接続されている。ネットワーク2は、無線回線であってもよいし、有線回線であってもよい。なお、情報処理装置10およびデータベース3の少なくとも一部は、コンピュータにより実現される。 As illustrated in FIG. 1, the information processing system 1 includes an information processing device (terminal device) 10 and a database (server) 3. The information processing apparatus 10 and the database 3 are connected to be communicable with each other via a network 2 such as the Internet. The network 2 may be a wireless line or a wired line. Note that at least a part of the information processing apparatus 10 and the database 3 is realized by a computer.
データベース3は、複数の人工生物(以下、キャラクタという)の形態に関する情報D71を記憶しているサーバである。「形態に関する情報D71」とは、たとえば、キャラクタの脚の数、胴体に対する各脚の位置、各脚の部位の数(関節の数)、外見の色・質感、胴体の長さ・太さ・形状、各部位の長さ・太さ・形状、各関節の動く方向・可動域などである。 The database 3 is a server that stores information D71 relating to the forms of a plurality of artificial creatures (hereinafter referred to as characters). “Form information D71” includes, for example, the number of legs of the character, the position of each leg with respect to the torso, the number of parts of each leg (number of joints), the color / texture of the appearance, the length / thickness of the torso, The shape, the length / thickness / shape of each part, the moving direction / moving range of each joint, and the like.
情報処理装置10は、ユーザがキャラクタのモーションを生成するための端末装置(モーション生成装置)である。情報処理装置10としては、たとえば、スマートフォンやタブレット端末などのモバイル端末、ノートブックコンピュータ、またはデスクトップコンピュータなどが用いられる。 The information processing device 10 is a terminal device (motion generation device) for a user to generate a character motion. As the information processing apparatus 10, for example, a mobile terminal such as a smartphone or a tablet terminal, a notebook computer, or a desktop computer is used.
なお、本実施の形態による情報処理装置10は、後述するように、キャラクタのモーションに係るパラメタがユーザと装置との間で対話的・双方向的に調整されることに特徴がある。このユーザと装置との間での対話的・双方向的な調整に着目した場合、情報処理装置10は、ユーザがキャラクタを育成するための端末装置(人工生物育成装置)であるとも言える。 The information processing apparatus 10 according to the present embodiment is characterized in that parameters relating to the motion of the character are adjusted interactively and bidirectionally between the user and the apparatus, as will be described later. When attention is paid to interactive / bidirectional adjustment between the user and the apparatus, the information processing apparatus 10 can be said to be a terminal apparatus (artificial organism training apparatus) for the user to grow a character.
図1に示すように、情報処理装置10は、制御部10aと、記憶部10bと、表示部10cと、入力部10dと、通信部10eとを有している。 As illustrated in FIG. 1, the information processing apparatus 10 includes a control unit 10a, a storage unit 10b, a display unit 10c, an input unit 10d, and a communication unit 10e.
このうち制御部10aは、パラメタ設定部11と、目標設定部12と、行動学習部13と、アニメーション生成部14と、人工生物情報取得部15とを有している。これらの各部11〜15は、情報処理装置10内のプロセッサが所定のプログラムを実行することに
より実現されてもよい。これらの各部11〜15については後述する。
Among these, the control unit 10 a includes a parameter setting unit 11, a target setting unit 12, an action learning unit 13, an animation generation unit 14, and an artificial organism information acquisition unit 15. Each of these units 11 to 15 may be realized by a processor in the information processing apparatus 10 executing a predetermined program. These parts 11 to 15 will be described later.
記憶部10bは、たとえば内蔵メモリや外部メモリ(SDメモリーカード等)などのデータストレージである。記憶部10bには、制御部10aが取り扱う各種データが記憶される。記憶部10bは、少なくともキャラクタ(人工生物)の形態に関する情報D71を記憶する形態記憶部16を含んでいる。 The storage unit 10b is data storage such as an internal memory or an external memory (such as an SD memory card). Various data handled by the control unit 10a are stored in the storage unit 10b. The memory | storage part 10b contains the form memory | storage part 16 which memorize | stores the information D71 regarding the form of a character (artificial creature) at least.
本実施の形態では、記憶部10bは、たとえば、
・キャラクタの形態に関する情報D71(データベース3から取得される情報)と
・キャラクタの物理的なパラメタD72(パラメタ設定部11により設定されるパラメタ)と
・キャラクタの行動を規定するパラメタD73(行動学習部13により最適化されるパラメタ)とを含むキャラクタのデータ構造(図9参照)や
・学習回数N
などの値を記憶している。
In the present embodiment, the storage unit 10b is, for example,
Information relating to character form D71 (information acquired from database 3), physical parameter D72 of character (parameter set by parameter setting unit 11), parameter D73 defining behavior of character (behavior learning unit) 13) and the number of learning times N
Etc. are memorized.
表示部10cは、情報処理装置10からユーザに対して各種情報を表示するインターフェースである。表示部10cとしては、たとえば液晶ディスプレイや有機ELディスプレイなどが用いられる。図2、図3、図5および図6は、それぞれ、表示部10cに表示される表示画面の一例を示している。 The display unit 10c is an interface that displays various types of information from the information processing apparatus 10 to the user. As the display unit 10c, for example, a liquid crystal display or an organic EL display is used. 2, FIG. 3, FIG. 5 and FIG. 6 each show an example of a display screen displayed on the display unit 10c.
入力部10dは、ユーザが情報処理装置10に各種情報を入力するためのインターフェースであり、たとえばモバイル端末におけるタッチパネル、ノートブックコンピュータにおけるタッチパッド、キーボードまたはマウスなどである。 The input unit 10d is an interface for the user to input various information to the information processing apparatus 10, and is, for example, a touch panel in a mobile terminal, a touch pad in a notebook computer, a keyboard, or a mouse.
通信部10eは、情報処理装置10とネットワーク2との間の通信インターフェースである。通信部10eは、ネットワーク2を介して情報処理装置10とデータベース3との間で情報を送受信する。 The communication unit 10 e is a communication interface between the information processing apparatus 10 and the network 2. The communication unit 10 e transmits and receives information between the information processing apparatus 10 and the database 3 via the network 2.
次に、制御部10aの各部11〜15について説明する。 Next, each part 11-15 of the control part 10a is demonstrated.
人工生物情報取得部15は、複数のキャラクタの形態に関する情報を記憶するデータベース3から、一のキャラクタの形態に関する情報D71を取得して形態記憶部16に記憶させる。 The artificial organism information acquisition unit 15 acquires information D71 related to the form of one character from the database 3 that stores information related to the forms of a plurality of characters, and stores the information D71 in the form storage unit 16.
具体的には、たとえば、人工生物情報取得部15は、図2に示すような入力画面を表示部10cに表示させ、ユーザがデータベース3に記憶された複数のキャラクタの中から一のキャラクタ30を主観評価で選択することをアシストする。 Specifically, for example, the artificial organism information acquisition unit 15 displays an input screen as shown in FIG. 2 on the display unit 10 c, and the user selects one character 30 from among a plurality of characters stored in the database 3. Assists in selecting by subjective evaluation.
図2に示す例では、入力画面は、キャラクタ画像表示部31と、キャラクタ名称表示部34と、キャラクタ説明表示部35とを有している。 In the example illustrated in FIG. 2, the input screen includes a character image display unit 31, a character name display unit 34, and a character explanation display unit 35.
キャラクタ画像表示部31は、データベース3に記憶された一のキャラクタ30の画像を表示する。キャラクタ名称表示部34は、キャラクタ画像表示部31に表示されたキャラクタ30の名称を表示する。キャラクタ説明表示部35は、キャラクタ画像表示部31に表示されたキャラクタ30の説明を表示する。 The character image display unit 31 displays an image of one character 30 stored in the database 3. The character name display unit 34 displays the name of the character 30 displayed on the character image display unit 31. The character explanation display unit 35 displays the explanation of the character 30 displayed on the character image display unit 31.
キャラクタ画像表示部31上には、戻るボタン32a、進むボタン32bおよび決定ボタン33がそれぞれ配置されている。 On the character image display unit 31, a return button 32a, a forward button 32b, and an enter button 33 are arranged.
入力部10dからの入力により戻るボタン32aが押し下げられると、人工生物情報取得部15は、キャラクタ画像表示部31、キャラクタ名称表示部34およびキャラクタ説明表示部35が表示する情報を、それぞれ、データベース3に記憶された1つ前の別のキャラクタ30の対応する情報に切り替える。 When the return button 32a is pressed by an input from the input unit 10d, the artificial organism information acquisition unit 15 displays the information displayed by the character image display unit 31, the character name display unit 34, and the character description display unit 35, respectively, in the database 3. Is switched to the corresponding information of the previous character 30 stored in (1).
入力部10dからの入力により進むボタン32aが押し下げられると、人工生物情報取得部15は、キャラクタ画像表示部31、キャラクタ名称表示部34およびキャラクタ説明表示部35が表示する情報を、それぞれ、データベース3に記憶された1つ後の別のキャラクタ30の対応する情報に切り替える。 When the forward button 32a is pressed by an input from the input unit 10d, the artificial organism information acquisition unit 15 displays information displayed by the character image display unit 31, the character name display unit 34, and the character explanation display unit 35, respectively, in the database 3. Is switched to the corresponding information of the next character 30 stored in the next.
入力部10dからの入力により決定ボタン33が押し下げられると、人工生物情報取得部15は、キャラクタ画像表示部31、キャラクタ名称表示部34およびキャラクタ説明表示部35が表示しているキャラクタ30の形態に関する情報D71を、データベース3から取得して形態記憶部16に記憶する。その後、制御部10aは、図3に示すような入力画面を表示部10cに表示させる。 When the enter button 33 is pressed by an input from the input unit 10d, the artificial organism information acquisition unit 15 relates to the form of the character 30 displayed by the character image display unit 31, the character name display unit 34, and the character explanation display unit 35. Information D71 is acquired from the database 3 and stored in the form storage unit 16. Thereafter, the control unit 10a displays an input screen as shown in FIG. 3 on the display unit 10c.
パラメタ設定部11は、形態記憶部16に記憶されたキャラクタ(人工生物)の1つ以上の部位の物理的なパラメタD72を設定する。「物理的なパラメタD72」は、たとえば、各部位の重さ、各部位を動かす力(筋力)の最大値、各部位を動かす速度(スピード)の最大値、姿勢維持力、各部位の摩擦係数、密度、各部位に作用する重力加速度などである。パラメタ設定部11は、設定したパラメタの数値を記憶部10bに記憶する。 The parameter setting unit 11 sets a physical parameter D72 of one or more parts of the character (artificial organism) stored in the form storage unit 16. “Physical parameter D72” includes, for example, the weight of each part, the maximum value of the force (muscle strength) for moving each part, the maximum value of the speed (speed) for moving each part, the posture maintenance force, and the friction coefficient of each part. , Density, and acceleration of gravity acting on each part. The parameter setting unit 11 stores the numerical value of the set parameter in the storage unit 10b.
図3に示す例では、パラメタ設定部11は、物理的なパラメタD72についての複数の入力候補の数値を表示して選択を受け付けるユーザインターフェース(GUI)22を、表示部10cに表示し、選択された数値で物理的なパラメタD72を設定する。「ユーザインターフェース(GUI)22」は、ユーザが直感的に入力できるものであれば、種類や形態は特に問わない。たとえば、「ユーザインターフェース(GUI)22」は、離散的な数値を入力可能なボタンであってもよいし(図3参照)、連続的な数値を入力可能なスライドバーであってもよい(図4参照)。また、ユーザインターフェース(GUI)22が表示する「入力候補の数値」は、物理的なパラメタD72の数値そのものであってもよいし(図4参照)、物理的なパラメタD72の数値に対応するレベル値などの中間的な数値であってもよい(図3参照)。 In the example illustrated in FIG. 3, the parameter setting unit 11 displays a user interface (GUI) 22 that displays the numerical values of a plurality of input candidates for the physical parameter D72 and accepts selection on the display unit 10c and is selected. The physical parameter D72 is set with a numerical value. The “user interface (GUI) 22” is not particularly limited as long as it can be input intuitively by the user. For example, the “user interface (GUI) 22” may be a button capable of inputting discrete numerical values (see FIG. 3) or a slide bar capable of inputting continuous numerical values (FIG. 3). 4). The “input candidate numerical value” displayed by the user interface (GUI) 22 may be the numerical value itself of the physical parameter D72 (see FIG. 4), or a level corresponding to the numerical value of the physical parameter D72. An intermediate numerical value such as a value may be used (see FIG. 3).
なお、パラメタ設定部11は、ユーザが保有するポイント26に応じて、物理的なパラメタD72の入力候補を限定してもよい。たとえば、図2に示す例では、ユーザが保有するポイント26が300Pであり、パラメタ設定部11は、「筋力」パラメタについては、レベル1〜3のみ選択可能とし、レベル4以上は300Pより高いポイントを保有していないと選択できないように制限している。 The parameter setting unit 11 may limit the input candidates of the physical parameter D72 according to the point 26 held by the user. For example, in the example shown in FIG. 2, the point 26 held by the user is 300P, and the parameter setting unit 11 can select only the levels 1 to 3 for the “muscle strength” parameter, and the level 4 or higher is a point higher than 300P. It is restricted so that it cannot be selected if it does not have.
目標設定部12は、形態記憶部16に記憶されたキャラクタの行動の目標を設定する。目標設定部12は、設定した目標を記憶部10bに記憶する。 The target setting unit 12 sets a character action target stored in the form storage unit 16. The target setting unit 12 stores the set target in the storage unit 10b.
図3に示す例では、目標設定部12は、目標についての複数の入力候補を表示して選択を受け付けるユーザインターフェース(GUI)23を、表示部10cに表示し、選択された項目で目標を設定する。「ユーザインターフェース(GUI)23」は、ユーザが直感的に入力できるものであれば、種類や形態は特に問わない。図示された例では、「ユーザインターフェース(GUI)22」は、プルダウンリストである(図5参照)。 In the example illustrated in FIG. 3, the target setting unit 12 displays a user interface (GUI) 23 that displays a plurality of input candidates for a target and accepts selection on the display unit 10 c, and sets a target with the selected item. To do. The type and form of the “user interface (GUI) 23” are not particularly limited as long as the user can input intuitively. In the illustrated example, “user interface (GUI) 22” is a pull-down list (see FIG. 5).
「目標についての入力候補」は、たとえば、移動速度を最大化する、ジャンプの高さを最大化する、物体を叩きつける力を最大化する、片足でバランスをとる時間を最大化する
、逆立ちでバランスをとる時間を最大化するなどである。記憶部10bは、「目標についての入力候補」の各々に対して、キャラクタの行動の評価を出力する評価関数を対応付けて予め記憶している。たとえば、「移動速度の最大化」という目標に対応する評価関数は、キャラクタが所定の行動をとった時(当該行動を規定するパラメタが評価関数に入力された時)に当該キャラクタの重心の所定時間(たとえば1秒間)での水平移動距離を出力する関数であり、「ジャンプ高さの最大化」という目標に対応する評価関数は、キャラクタが所定の行動をとった時(当該行動を規定するパラメタが評価関数に入力された時)に当該キャラクタの重心の地面からの最大高さを出力する関数であり、「物体を叩き付け力の最大化」という目標に対応する評価関数は、キャラクタが所定の行動をとった時(当該行動を規定するパラメタが評価関数に入力された時)に当該キャラクタにより投げ飛ばされた物体の飛行距離を出力する関数である。評価関数の具体的な数学的表現としては、たとえば、Martin de Lasa, Igor Mordatch, Aaron Hertzmann, Feature-Based Locomotion
Controllers, ACM Transactions on Graphics, 2010, 29, 3, (Proc. SIGGRAPH)に記載
のものが利用され得る。
For example, `` candidate input for target '' is to maximize the speed of movement, maximize the height of jump, maximize the force of hitting an object, maximize the time to balance with one foot, balance with handstand To maximize the time it takes The storage unit 10b stores in advance an evaluation function that outputs an evaluation of a character's action in association with each of “input candidates for a target”. For example, the evaluation function corresponding to the goal of “maximizing moving speed” is a predetermined function of the center of gravity of the character when the character takes a predetermined action (when a parameter defining the action is input to the evaluation function). This is a function that outputs the horizontal movement distance in time (for example, 1 second), and the evaluation function corresponding to the goal of “maximizing jump height” is when the character takes a predetermined action (specifies the action) This function outputs the maximum height of the character's center of gravity from the ground when the parameter is input to the evaluation function. Is a function that outputs the flight distance of an object thrown away by the character when the action is taken (when a parameter defining the action is input to the evaluation function). Specific mathematical expressions of evaluation functions include, for example, Martin de Lasa, Igor Mordatch, Aaron Hertzmann, Feature-Based Locomotion
Controllers, ACM Transactions on Graphics, 2010, 29, 3, (Proc. SIGGRAPH) can be used.
なお、目標設定部12は、目標に係る「名詞」(移動速度、ジャンプの高さ等)と「動詞」(最大化する、最小化する等)とをそれぞれプルダウンリストから選択可能となるように構成され、選択された「名詞」と「動詞」の組み合わせにより目標を設定してもよい。 The target setting unit 12 can select “noun” (moving speed, jump height, etc.) and “verb” (maximize, minimize, etc.) related to the target from the pull-down list. The target may be set by a combination of the selected “noun” and “verb”.
行動学習部13は、パラメタ設定部11により設定されたパラメタD72および目標設定部12により設定された目標に基づいて、キャラクタ30の行動を学習する。 The behavior learning unit 13 learns the behavior of the character 30 based on the parameter D72 set by the parameter setting unit 11 and the target set by the target setting unit 12.
具体的には、たとえば、行動学習部13は、目標設定部12により設定された目標に対応する評価関数を記憶部10bから読み出し、キャラクタの行動を規定するパラメタD73が当該評価関数に入力された時に当該評価関数の出力値がより高くなるように、たとえば焼きなまし法(Simulated Annealing;SA)や遺伝的アルゴリズム(Genetic Algorithm;GA)、ディープラーニングなどの手法により、キャラクタの行動を規定するパラメタD73の最適化を行う。ここで、物理演算エンジンとしては、たとえばPhysXエンジンが用いられる。キャラクタ30がセンサ(感覚器など)を備えている場合には、行動学習部13は、当該センサの出力を加味して、行動を規定するパラメタD73の最適化を行ってもよい(図10参照)。 Specifically, for example, the behavior learning unit 13 reads an evaluation function corresponding to the target set by the target setting unit 12 from the storage unit 10b, and a parameter D73 that defines the character's behavior is input to the evaluation function. In some cases, the parameter D73 defining the character's action is defined by a technique such as simulated annealing (SA), genetic algorithm (GA), or deep learning so that the output value of the evaluation function is sometimes higher. Perform optimization. Here, for example, a PhysX engine is used as the physics calculation engine. When the character 30 includes a sensor (such as a sensory device), the behavior learning unit 13 may optimize the parameter D73 that defines the behavior in consideration of the output of the sensor (see FIG. 10). ).
なお、「行動を規定するパラメタD73」とは、たとえば、各関節の時々刻々の力の入れ具合を規定するパラメタであり、各時刻における各関節の角度などを規定している。 Note that the “parameter D73 that defines the action” is a parameter that defines, for example, the momentary force applied to each joint, and defines the angle of each joint at each time.
アニメーション生成部14は、形態記憶部16に記憶されたキャラクタが、行動学習部13が学習した行動(すなわち行動学習部13の学習結果である「行動を規定するパラメタD73」)に従って動いているアニメーション21を生成して、表示部10cに表示する(図6参照)。 The animation generation unit 14 is an animation in which the character stored in the form storage unit 16 is moving in accordance with the behavior learned by the behavior learning unit 13 (that is, “parameter D73 defining behavior” which is a learning result of the behavior learning unit 13). 21 is generated and displayed on the display unit 10c (see FIG. 6).
本実施の形態では、図6に示すように、パラメタ設定部11は、表示部10cでのアニメーション21の表示中に、物理的なパラメタD72についての新たな入力を受け付け可能である。 In the present embodiment, as shown in FIG. 6, the parameter setting unit 11 can accept a new input for the physical parameter D72 while the animation 21 is displayed on the display unit 10c.
図6に示す例では、パラメタ設定部11は、表示部10cでのアニメーション21の表示中に、物理的なパラメタD72についての複数の入力候補の数値を表示して選択を受け付けるユーザインターフェース(GUI)22を、表示部10cに表示し、選択された数値で物理的なパラメタD72を再設定する。「ユーザインターフェース(GUI)22」は、ユーザが直感的に入力できるものであれば、種類や形態は特に問わない。たとえば、
「ユーザインターフェース(GUI)22」は、離散的な数値を入力可能なボタンであってもよいし(図6参照)、連続的な数値を入力可能なスライドバーであってもよい(図4参照)。また、ユーザインターフェース(GUI)22が表示する「入力候補の数値」は、物理的なパラメタD72の数値そのものであってもよいし(図4参照)、物理的なパラメタD72の数値に対応するレベル値などの中間的な数値であってもよい(図6参照)。パラメタ設定部11は、再設定したパラメタの数値を記憶部10bに記憶する。
In the example shown in FIG. 6, the parameter setting unit 11 displays a numerical value of a plurality of input candidates for the physical parameter D72 and receives a selection while displaying the animation 21 on the display unit 10c. 22 is displayed on the display unit 10c, and the physical parameter D72 is reset with the selected numerical value. The “user interface (GUI) 22” is not particularly limited as long as it can be input intuitively by the user. For example,
The “user interface (GUI) 22” may be a button capable of inputting discrete numerical values (see FIG. 6) or a slide bar capable of inputting continuous numerical values (see FIG. 4). ). The “input candidate numerical value” displayed by the user interface (GUI) 22 may be the numerical value itself of the physical parameter D72 (see FIG. 4), or a level corresponding to the numerical value of the physical parameter D72. An intermediate numerical value such as a value may be used (see FIG. 6). The parameter setting unit 11 stores the reset parameter values in the storage unit 10b.
また、図6に示す例では、パラメタ設定部11は、表示部10cでのアニメーション21の表示中に、アニメーション21の評価に対応する複数(図示された例では2つ)の選択肢を表示して選択を受け付けるユーザインターフェース(GUI)24a、24bを、表示部10cに表示し、選択結果に応じて物理的なパラメタD72を再設定する。図示された例では、「ユーザインターフェース(GUI)」は、「良かった」という主観評価に対応する上向き矢印ボタン24aと、「悪かった」という主観評価に対応する下向き矢印ボタン24bとを有している。なお、「評価」は2択に限定されず、3択以上であってもよい。表示部10cでのアニメーション21の表示中に、パラメタ設定部11が、アニメーション21の評価に対応する複数の選択肢を表示して選択を受け付けるようになっていることで、ユーザはより直感的な入力を行うことが可能である。 In the example illustrated in FIG. 6, the parameter setting unit 11 displays a plurality of (two in the illustrated example) options corresponding to the evaluation of the animation 21 while the animation 21 is displayed on the display unit 10 c. User interfaces (GUI) 24a and 24b that accept selection are displayed on the display unit 10c, and the physical parameter D72 is reset according to the selection result. In the illustrated example, the “user interface (GUI)” includes an upward arrow button 24 a corresponding to the subjective evaluation “good” and a downward arrow button 24 b corresponding to the subjective evaluation “bad”. Yes. “Evaluation” is not limited to two choices, and may be three or more choices. While the animation 21 is displayed on the display unit 10c, the parameter setting unit 11 displays a plurality of options corresponding to the evaluation of the animation 21 and accepts the selection. Can be done.
行動学習部13は、表示部10cでのアニメーション21の表示中に、パラメタ設定部11が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタD72に基づいて、形態記憶部16に記憶されたキャラクタの行動の学習をやり直すようになっている。 When the parameter setting unit 11 receives a new input while the animation 21 is displayed on the display unit 10c, the behavior learning unit 13 receives a new input based on the parameter D72 reset according to the new input. The learning of the action of the character stored in 16 is redone.
次に、このような構成からなる情報処理装置10による情報処理方法について、図6を参照して説明する。図6は、情報処理装置10による情報処理方法の一例を示すフローチャートである。 Next, an information processing method by the information processing apparatus 10 having such a configuration will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of an information processing method performed by the information processing apparatus 10.
まず、図6に示すように、人工生物情報取得部15は、入力部10dからの入力に基づいて、複数のキャラクタの形態に関する情報を記憶するデータベース3から、一のキャラクタの形態に関する情報D71を選択して取得する(ステップS50)。 First, as shown in FIG. 6, the artificial organism information acquisition unit 15 obtains information D71 related to the form of one character from the database 3 that stores information related to the form of a plurality of characters based on the input from the input unit 10d. Select and acquire (step S50).
次いで、人工生物情報取得部15は、データベース3から取得した一のキャラクタの形態に関する情報D71を、記憶部10bの形態記憶部16に記憶する(ステップS51)。制御部10aは、記憶部10bに記憶された学習回数Nをゼロにリセットする。 Next, the artificial organism information acquisition unit 15 stores information D71 relating to the form of one character acquired from the database 3 in the form storage unit 16 of the storage unit 10b (step S51). The control unit 10a resets the learning count N stored in the storage unit 10b to zero.
次に、パラメタ設定部11は、入力部10dからの入力に基づいて、形態記憶部16に記憶されたキャラクタの物理的なパラメタD72を設定する(ステップS52)。パラメタ設定部11により設定された物理的なパラメタD72は、記憶部10bに記憶される。 Next, the parameter setting unit 11 sets the physical parameter D72 of the character stored in the form storage unit 16 based on the input from the input unit 10d (step S52). The physical parameter D72 set by the parameter setting unit 11 is stored in the storage unit 10b.
また、目標設定部12は、入力部10dからの入力に基づいて、形態記憶部16に記憶されたキャラクタの行動の目標を設定する(ステップS53)。目標設定部12により設定された行動の目標は、記憶部10bに記憶される。 The target setting unit 12 sets a character action target stored in the form storage unit 16 based on the input from the input unit 10d (step S53). The action target set by the target setting unit 12 is stored in the storage unit 10b.
次いで、制御部10aは、記憶部10bに記憶された学習回数Nが、予め定められた最大回数(たとえば10000回)に至ったか否かを判断する(ステップS54)。 Next, the control unit 10a determines whether or not the learning number N stored in the storage unit 10b has reached a predetermined maximum number (for example, 10,000 times) (step S54).
学習回数Nが予め定められた最大回数に至っていない場合(ステップS54:YES)、行動学習部13は、パラメタ設定部11により設定されたパラメタD72、および目標設定部12により設定された行動の目標に基づいて、形態記憶部16に記憶されたキャラクタの行動を学習する(ステップS55)。 When the learning number N has not reached the predetermined maximum number (step S54: YES), the behavior learning unit 13 sets the parameter D72 set by the parameter setting unit 11 and the action target set by the target setting unit 12. Based on the above, the behavior of the character stored in the form storage unit 16 is learned (step S55).
図8は、学習工程(ステップ55)の詳細を示すフローチャートである。図8に示すように、行動学習部13は、まず、記憶部10bに記憶された学習回数Nが、ゼロ(すなわち初回の学習)か否かを判断する(ステップS61)。 FIG. 8 is a flowchart showing details of the learning step (step 55). As shown in FIG. 8, the behavior learning unit 13 first determines whether or not the learning count N stored in the storage unit 10b is zero (that is, the first learning) (step S61).
学習回数Nがゼロ(初回の学習)である場合(ステップS61:NO)、行動学習部13は、キャラクタの「行動を規定するパラメタD73」をランダムに設定する(ステップS62)。 When the learning frequency N is zero (first learning) (step S61: NO), the behavior learning unit 13 randomly sets the “parameter D73 that defines the behavior” of the character (step S62).
一方、学習回数Nがゼロではない場合(ステップS61:YES)、行動学習部13は、キャラクタの「行動を規定するパラメタD73」の現在値を保持したまま、後述のステップS63に移行する。 On the other hand, when the number of learning times N is not zero (step S61: YES), the behavior learning unit 13 proceeds to step S63 described later while retaining the current value of the “parameter D73 that defines the behavior” of the character.
次に、行動学習部13は、目標設定部12により設定された目標に対応する評価関数を記憶部10bから読み出し、キャラクタの「行動を規定するパラメタD73」が当該評価関数に入力された時に当該評価関数の出力値がより高くなるように、「行動を規定するパラメタD73」を学習する(ステップS63)。学習手法としては、たとえば焼きなまし法(Simulated Annealing;SA)や遺伝的アルゴリズム(Genetic Algorithm;GA)などの最適化手法、強化学習や機械学習などが用いられる。 Next, the behavior learning unit 13 reads the evaluation function corresponding to the target set by the target setting unit 12 from the storage unit 10b, and when the character's “parameter D73 defining behavior” is input to the evaluation function, The “parameter D73 defining action” is learned so that the output value of the evaluation function becomes higher (step S63). As the learning method, for example, an optimization method such as simulated annealing (SA) or a genetic algorithm (GA), reinforcement learning, machine learning, or the like is used.
その後、行動学習部13は、記憶部10bに記憶された学習回数Nを、インクリメントする(ステップS64)。 Thereafter, the behavior learning unit 13 increments the learning count N stored in the storage unit 10b (step S64).
次に、行動学習部13は、記憶部10bに記憶された学習回数Nが所定値(たとえば100)の倍数であるか否かを判断する(ステップS65)。学習回数が所定値(たとえば100)の倍数ではない場合(ステップS65:NO)、行動学習部13は、ステップ63に戻って、「行動を規定するパラメタD73」の最適化(すなわち、学習)を繰り返す。 Next, the behavior learning unit 13 determines whether or not the learning count N stored in the storage unit 10b is a multiple of a predetermined value (for example, 100) (step S65). When the number of learning is not a multiple of a predetermined value (for example, 100) (step S65: NO), the behavior learning unit 13 returns to step 63 and optimizes (that is, learning) the “parameter D73 that defines the behavior”. repeat.
学習回数が所定値(たとえば100)の倍数である場合(ステップS65:YES)、ステップS55の学習工程を終了する。 When the number of learning is a multiple of a predetermined value (for example, 100) (step S65: YES), the learning process of step S55 is terminated.
ステップS55の学習工程が終了した後、図7に示すように、アニメーション生成部14は、形態記憶部16に記憶されたキャラクタが、行動学習部13が学習した行動(すなわち行動学習部13の学習結果である「行動を規定するパラメタD73」)に従って動いているアニメーション21を生成して、表示部10cに表示する(ステップS56)。 After the learning process in step S55 is completed, as shown in FIG. 7, the animation generation unit 14 causes the character stored in the form storage unit 16 to behave by the behavior learning unit 13 (that is, learning by the behavior learning unit 13). The moving animation 21 is generated according to the result “parameter D73 defining action”) and displayed on the display unit 10c (step S56).
パラメタ設定部11は、表示部10cでのアニメーション21の表示中に、物理的なパラメタD72についての新たな入力を受け付けるユーザインターフェース(GUI)22、24aおよび24bを、表示部10cに表示する。 The parameter setting unit 11 displays, on the display unit 10c, user interfaces (GUIs) 22, 24a, and 24b that receive new inputs for the physical parameter D72 while the animation 21 is displayed on the display unit 10c.
制御部10aは、表示部10cでのアニメーション21の表示中に、入力部10dからユーザインターフェース(GUI)22、24aおよび24bを介して新たな入力があるか否かを判断する(ステップS57)。物理的なパラメタD72についての新たな入力がない場合(ステップS57:NO)、制御部10aは、ステップS54に戻って行動の学習をやり直す。 While the animation 21 is displayed on the display unit 10c, the control unit 10a determines whether or not there is a new input from the input unit 10d via the user interfaces (GUI) 22, 24a, and 24b (step S57). When there is no new input regarding the physical parameter D72 (step S57: NO), the control unit 10a returns to step S54 and redoes the behavior learning.
物理的なパラメタD72についての新たな入力がある場合(ステップS57:YES)、パラメタ設定部11は、当該新たな入力に応じて、記憶部10bに記憶された物理的な
パラメタD72を再設定する(ステップS58)。その後、制御部10aは、ステップS54に戻って行動の学習をやり直す。
When there is a new input for the physical parameter D72 (step S57: YES), the parameter setting unit 11 resets the physical parameter D72 stored in the storage unit 10b according to the new input. (Step S58). Thereafter, the control unit 10a returns to step S54 and redoes the behavior learning.
ステップS54において、学習回数Nが予め定められた最大回数に至った場合(ステップS54:NO)、制御部10aは、一連の処理を終了する。 In step S54, when the learning number N reaches the predetermined maximum number (step S54: NO), the control unit 10a ends the series of processes.
以上のような本実施の形態によれば、パラメタ設定部11および目標設定部12により、キャラクタの1つ以上の部位の物理的なパラメタD72と行動の目標とが設定され、行動学習部13により、設定されたパラメタと目標に基づいてキャラクタの行動が自動的に学習されるため、キャラクタのモーションを生成するために各部位の動き方を一つ一つ手作業で設定したり専門家を対象としたソフトウェアを使用して設定したりといった専門的で複雑な作業が不要であり、かつ、異なるモーションを大量に生成することが容易である。 According to the present embodiment as described above, the parameter setting unit 11 and the target setting unit 12 set the physical parameter D72 and the action target of one or more parts of the character, and the action learning unit 13 Because the character's behavior is automatically learned based on the set parameters and goals, the movement of each part can be manually set one by one to generate the motion of the character It is not necessary to perform specialized and complicated work such as setting using software, and it is easy to generate a large amount of different motions.
また、本実施の形態によれば、学習した行動に従って動いているアニメーションの表示中に、その動きがユーザの所望するものでなければ、ユーザはパラメタ設定部11からパラメタについての新たな入力を行うだけで、キャラクタの行動の学習を容易にやり直すことができる。これを装置側から見れば、本件装置は学習成果についてその場でユーザからフィードバックをもらうことができる。これにより、キャラクタのパラメタがユーザと装置との間で対話的・双方向的に調整されるので、専門知識を有していないユーザであっても、キャラクタにおいて所望のモーションを容易に作成することができる。すなわち、専門家でなくても人工知能(AI)の力を借りてクリエイティブになることができる。 Further, according to the present embodiment, during the display of the animation moving according to the learned behavior, if the movement is not desired by the user, the user performs a new input regarding the parameter from the parameter setting unit 11. With this, it is possible to easily redo the learning of the character's behavior. If this is viewed from the device side, the present device can receive feedback from the user on the spot regarding the learning result. As a result, the parameters of the character are adjusted interactively and interactively between the user and the device, so that even a user who does not have expert knowledge can easily create a desired motion in the character. Can do. That is, even if you are not an expert, you can become creative with the help of artificial intelligence (AI).
また、本実施の形態によれば、パラメタ設定部11は、表示部10cでのアニメーションの表示中に、パラメタD72についての複数の入力候補の数値を表示して選択を受け付けるユーザインターフェース22を、表示部10cに表示し、選択された数値でパラメタD72を再設定するようになっているため、表示部10cでのアニメーションの表示中に、キャラクタの動きがユーザの所望するものでなければ、ユーザは、表示部10cに表示されたユーザインターフェース22において入力候補の数値を選択するという直感的な操作を行うだけで、キャラクタの行動の学習を容易にやり直すことができる。 Further, according to the present embodiment, the parameter setting unit 11 displays the user interface 22 that displays the numerical values of the plurality of input candidates for the parameter D72 and accepts the selection while displaying the animation on the display unit 10c. Since the parameter D72 is reset with the selected numerical value displayed on the unit 10c, the user can move the character when the movement of the character is not desired by the user during the display of the animation on the display unit 10c. By simply performing an intuitive operation of selecting a numerical value of an input candidate on the user interface 22 displayed on the display unit 10c, the character's behavior can be easily learned again.
また、本実施の形態によれば、パラメタ設定部11は、表示部10cでのアニメーションの表示中に、表示中のアニメーションの評価に対応する複数の選択肢を表示して選択を受け付けるユーザインターフェース24a、24bを、表示部に表示し、選択結果に応じてパラメタD72を再設定するようになっているため、表示部10cでのアニメーションの表示中に、キャラクタの動きがユーザの所望するものでなければ、ユーザは、表示部に表示されたユーザインターフェース24a、24bにおいてその動きの評価に対応する選択肢を選択するという直感的な操作を行うだけで、キャラクタの行動の学習を容易にやり直すことができる。 In addition, according to the present embodiment, the parameter setting unit 11 displays a plurality of options corresponding to the evaluation of the animation being displayed and displays a selection while displaying the animation on the display unit 10c. 24b is displayed on the display unit, and the parameter D72 is reset according to the selection result. Therefore, during the animation display on the display unit 10c, if the movement of the character is not what the user desires The user can easily re-learn the action of the character simply by performing an intuitive operation of selecting an option corresponding to the evaluation of the movement on the user interfaces 24a and 24b displayed on the display unit.
また、本実施の形態によれば、目標設定部12は、目標についての複数の入力候補を表示して選択を受け付けるユーザインターフェース23を、表示部10cに表示するようになっているため、ユーザは、表示部10cに表示されたユーザインターフェース23から直感的に操作するだけで、キャラクタの行動の目標を容易に設定することができる。 In addition, according to the present embodiment, the target setting unit 12 displays the user interface 23 that displays a plurality of input candidates for the target and accepts the selection on the display unit 10c. By simply operating intuitively from the user interface 23 displayed on the display unit 10c, it is possible to easily set a character action target.
また、本実施の形態によれば、人工生物情報取得部15が、データベース3に予め記憶された複数のキャラクタの中から一のキャラクタの形態に関する情報D71を取得するため、モーション生成の対象とするキャラクタを、ユーザの好みに応じて、別のキャラクタと容易に交換することができる。 In addition, according to the present embodiment, the artificial organism information acquisition unit 15 acquires information D71 related to the form of one character from a plurality of characters stored in advance in the database 3, so that it is a target for motion generation. The character can be easily exchanged with another character according to the user's preference.
なお、本実施の形態による情報処理装置10は、コンピュータシステムによって構成され得るが、コンピュータシステムに情報処理装置10を実現させるためのプログラム、および当該プログラムを記録した記録媒体も、本件の保護対象である。 Although the information processing apparatus 10 according to the present embodiment can be configured by a computer system, a program for causing the computer system to realize the information processing apparatus 10 and a recording medium on which the program is recorded are also subject to protection in this case. is there.
また、本実施の形態による情報処理装置10により生成された行動を行うように設定されたキャラクタ(すなわち行動学習部13により最適化された「行動を規定するパラメタD73」を設定されたキャラクタ)も、本件保護対象である。 In addition, a character set to perform the action generated by the information processing apparatus 10 according to the present embodiment (that is, a character set with the “parameter D73 defining action” optimized by the action learning unit 13). This is subject to protection.
また、本実施の形態による情報処理装置10に用いられるキャラクタのデータ構造であって、パラメタ設定部11により設定されるべき物理的なパラメタ(および行動学習部13により学習(最適化)されるべき「行動を規定するパラメタD73」)を備えたキャラクタのデータ構造(図9参照)も、本件発明の保護対象である。 Further, the data structure of the character used in the information processing apparatus 10 according to the present embodiment, which is a physical parameter to be set by the parameter setting unit 11 (and should be learned (optimized) by the behavior learning unit 13. The data structure (see FIG. 9) of the character provided with “parameter D73 defining action”) is also a protection target of the present invention.
1 情報処理システム
2 ネットワーク
3 データベース
10 情報処理装置
10a 制御部
10b 記憶部
10c 表示部
10d 入力部
10e 通信部
11 パラメタ設定部
12 目標設定部
13 行動学習部
14 アニメーション生成部
15 人工生物情報取得部
16 形状記憶部
21 アニメーション
22 パラメタ入力用ユーザインターフェース
23 目標入力用ユーザインターフェース
24a 評価入力用ユーザインターフェース
24b 評価入力用ユーザインターフェース
26 ポイント
30 キャラクタ(人工生物)
31 キャラクタ画像表示部
32a 戻るボタン
32b 進むボタン
33 決定ボタン
34 キャラクタ名称表示部
35 キャラクタ説明表示部
DESCRIPTION OF SYMBOLS 1 Information processing system 2 Network 3 Database 10 Information processing apparatus 10a Control part 10b Storage part 10c Display part 10d Input part 10e Communication part 11 Parameter setting part 12 Target setting part 13 Behavior learning part 14 Animation generation part 15 Artificial organism information acquisition part 16 Shape storage unit 21 Animation 22 Parameter input user interface 23 Target input user interface 24a Evaluation input user interface 24b Evaluation input user interface 26 Point 30 Character (artificial organism)
31 Character image display unit 32a Back button 32b Forward button 33 Enter button 34 Character name display unit 35 Character explanation display unit
Claims (14)
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す
ことを特徴とする情報処理装置。 A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input. Information processing apparatus.
ことを特徴とする請求項1に記載の情報処理装置。 The parameter setting unit displays, on the display unit, a user interface for displaying a numerical value of a plurality of input candidates for the parameter and accepting selection during display of the animation on the display unit. The information processing apparatus according to claim 1, wherein the parameter is reset.
ことを特徴とする請求項1に記載の情報処理装置。 The parameter setting unit displays, on the display unit, a user interface for receiving a selection by displaying a plurality of options corresponding to the evaluation of the animation being displayed while displaying the animation on the display unit, and selecting a result The information processing apparatus according to claim 1, wherein the parameter is reset according to the information.
ことを特徴とする請求項1〜3のいずれかに記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the target setting unit displays a user interface that displays a plurality of input candidates for the target and receives a selection on the display unit. .
ことを特徴とする請求項4に記載の情報処理装置。 Input candidates for the target are: maximum speed of movement, maximum height of jump, maximum force to hit an object, maximum time for balancing on one foot, time for balancing on handstand 5. The information processing apparatus according to claim 4, wherein the information processing apparatus includes at least one target in a group consisting of:
ことを特徴とする請求項1〜5のいずれかに記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the parameter includes a maximum value of a force that moves the part.
ことを特徴とする請求項1〜6のいずれかに記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the parameter includes a gravitational acceleration acting on the part.
をさらに備えたことを特徴とする請求項1〜7のいずれかに記載の情報処理装置。 The artificial organism information acquisition part which acquires the information about the form of one artificial creature from the database which memorizes the information about the form of a plurality of artificial creatures, and memorizes it in the form storage part, characterized by things. The information processing apparatus according to any one of 7.
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す
ことを特徴とするモーション生成装置。 A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input. Motion generator.
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するパラメタ設定部と、
前記記憶された人工生物の行動の目標を設定する目標設定部と、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習する行動学習部と、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するアニメーション生成部と、
を備え、
前記パラメタ設定部は、前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付け可能であり、
前記行動学習部は、前記パラメタ設定部が新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直す
ことを特徴とする人工生物育成装置。 A form storage unit for storing information on the form of the artificial organism;
A parameter setting unit for setting physical parameters of one or more parts of the stored artificial creature;
A goal setting unit for setting a goal for the action of the stored artificial creature;
An action learning unit that learns the action of the stored artificial creature based on the set parameter and target;
An animation generation unit that generates an animation of the stored artificial creature moving according to the learned behavior and displays the animation on a display unit;
With
The parameter setting unit can accept a new input for the parameter during the display of the animation on the display unit,
When the parameter setting unit receives a new input, the behavior learning unit re-learns the stored behavior of the artificial creature based on a parameter reset according to the new input. Artificial organism breeding device.
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するステップと、
前記記憶された人工生物の行動の目標を設定するステップと、
前記設定されたパラメタおよび目標に基づいて、前記形態記憶部に記憶された人工生物の行動を学習するステップと、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するステップと、
前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直すステップと、
を備えたことを特徴とする情報処理方法。 Storing information on the form of the artificial organism in the form storage unit;
Setting physical parameters of one or more sites of the stored artificial organism;
Setting a goal for the action of the stored artificial creature;
Learning the behavior of the artificial organism stored in the form storage unit based on the set parameter and target;
Generating and displaying an animation in which the stored artificial creature is moving according to the learned behavior;
When a new input for the parameter is received during the display of the animation on the display unit, the stored behavior of the artificial creature is learned based on the parameter reset according to the new input. Step to redo,
An information processing method characterized by comprising:
人工生物の形態に関する情報を形態記憶部に記憶するステップと、
前記記憶された人工生物の1つ以上の部位の物理的なパラメタを設定するステップと、
前記記憶された人工生物の行動の目標を設定するステップと、
前記設定されたパラメタおよび目標に基づいて、前記記憶された人工生物の行動を学習するステップと、
前記記憶された人工生物が学習した行動に従って動いているアニメーションを生成して表示部に表示するステップと、
前記表示部での前記アニメーションの表示中に、前記パラメタについての新たな入力を受け付けると、当該新たな入力に応じて再設定されるパラメタに基づいて、前記記憶された人工生物の行動の学習をやり直すステップと、
を実行させるためのプログラム。 On the computer,
Storing information on the form of the artificial organism in the form storage unit;
Setting physical parameters of one or more sites of the stored artificial organism;
Setting a goal for the action of the stored artificial creature;
Learning the stored behavior of the artificial creature based on the set parameters and goals;
Generating and displaying an animation in which the stored artificial creature is moving according to the learned behavior;
When a new input for the parameter is received during the display of the animation on the display unit, the stored behavior of the artificial creature is learned based on the parameter reset according to the new input. Step to redo,
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018026779A JP6735780B2 (en) | 2018-02-19 | 2018-02-19 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018026779A JP6735780B2 (en) | 2018-02-19 | 2018-02-19 | Information processing device, information processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016234817A Division JP6295313B1 (en) | 2016-12-02 | 2016-12-02 | Information processing apparatus, information processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018092653A true JP2018092653A (en) | 2018-06-14 |
JP2018092653A5 JP2018092653A5 (en) | 2019-07-25 |
JP6735780B2 JP6735780B2 (en) | 2020-08-05 |
Family
ID=62563726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018026779A Active JP6735780B2 (en) | 2018-02-19 | 2018-02-19 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6735780B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220140178A (en) * | 2021-04-09 | 2022-10-18 | 한양대학교 산학협력단 | Walking motion generating method based on reinforcement learning and service apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09251549A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device for controlling human body computer graphics and its method |
JP2007048143A (en) * | 2005-08-11 | 2007-02-22 | Tokyo Institute Of Technology | Method for creating motion of three-dimensional object model |
JP2015116308A (en) * | 2013-12-18 | 2015-06-25 | 三菱電機株式会社 | Gesture registration device |
-
2018
- 2018-02-19 JP JP2018026779A patent/JP6735780B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09251549A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device for controlling human body computer graphics and its method |
JP2007048143A (en) * | 2005-08-11 | 2007-02-22 | Tokyo Institute Of Technology | Method for creating motion of three-dimensional object model |
JP2015116308A (en) * | 2013-12-18 | 2015-06-25 | 三菱電機株式会社 | Gesture registration device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220140178A (en) * | 2021-04-09 | 2022-10-18 | 한양대학교 산학협력단 | Walking motion generating method based on reinforcement learning and service apparatus |
KR102611126B1 (en) | 2021-04-09 | 2023-12-06 | 한양대학교 산학협력단 | Walking motion generating method based on reinforcement learning and service apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6735780B2 (en) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3939010B1 (en) | Reinforcement learning to train a character using disparate target animation data | |
Hämäläinen et al. | Online control of simulated humanoids using particle belief propagation | |
Mordatch et al. | Discovery of complex behaviors through contact-invariant optimization | |
KR101106002B1 (en) | Apparatus and method for generating behaviour in an object | |
Fang et al. | Efficient synthesis of physically valid human motion | |
Won et al. | How to train your dragon: example-guided control of flapping flight | |
US20230334744A1 (en) | Method and apparatus for generating walk animation of virtual role, device and storage medium | |
KR20050025222A (en) | Proactive user interface with evolving agent | |
Felbrich et al. | Autonomous robotic additive manufacturing through distributed model‐free deep reinforcement learning in computational design environments | |
CN110447041A (en) | Noise neural net layer | |
JP6295313B1 (en) | Information processing apparatus, information processing method, and program | |
JP2020110894A (en) | Learned-model generation device, robot control device, and program | |
KR20210142200A (en) | Modification of animated characters | |
Kang et al. | Finite state machine-based motion-free learning of biped walking | |
JP6735780B2 (en) | Information processing device, information processing method, and program | |
JP2022025461A (en) | Animation creation system | |
JP2020113262A (en) | Learned-model generation device, robot control device, and program | |
Wu et al. | Adaptive stiffness control of passivity-based biped robot on compliant ground using double deep Q network | |
US10176544B2 (en) | System and method for presenting user progress on physical figures | |
Hettiarachchi et al. | An evolutionary computational approach to humanoid motion planning | |
KR20240055025A (en) | Inferred skeletal structures for practical 3D assets | |
Zhang et al. | Learning based gaits evolution for an AIBO dog | |
JP6876072B2 (en) | Video game processing program, video game processing device, video game processing method and learning program | |
CN103729491A (en) | System and method for animating a body | |
CN116617663B (en) | Action instruction generation method and device, storage medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190617 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6735780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |