JP6104288B2 - 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ - Google Patents
手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ Download PDFInfo
- Publication number
- JP6104288B2 JP6104288B2 JP2015000847A JP2015000847A JP6104288B2 JP 6104288 B2 JP6104288 B2 JP 6104288B2 JP 2015000847 A JP2015000847 A JP 2015000847A JP 2015000847 A JP2015000847 A JP 2015000847A JP 6104288 B2 JP6104288 B2 JP 6104288B2
- Authority
- JP
- Japan
- Prior art keywords
- simulated
- surgical
- organ
- image
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims description 87
- 238000000034 method Methods 0.000 title claims description 52
- 210000000056 organ Anatomy 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 239000012528 membrane Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000010276 construction Methods 0.000 claims description 15
- 230000000704 physical effect Effects 0.000 claims description 14
- 238000001356 surgical procedure Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 11
- 210000004379 membrane Anatomy 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
術前のシミュレーションを可能とするため、個々の患者の情報をもとにシミュレータが考えられる。
個々の患者の情報を取り入れるためには、CTやMRI等の医用画像データを用いるのが一般的であるが、このような画像には手術臓器周辺にある膜組織が映らないため認識できず、モデル化できない等の問題があり、それらを持たないモデルは術前シミュレーションとして不完全である。また、手術対象臓器の物理・力学的条件を線形に設定することが考えられるが、この場合は臓器の変形模擬が実際とは大きく異なることとなり、術前シミュレーションとして不満足なものであった。
図5において、501は医療用画像データ格納部、502はボリュームデータ構築部、503は画像生成装置、504は画像表示装置、505は手術シミュレーション用モデルデータ部、506は力覚装置、507は模擬運動演算装置、508は手術操作具、509は模擬内視鏡、510は模擬鉗子である。
医療用画像データ格納部501は例えば手術対象者の医療用画像の元データが格納されている。医療用画像の元データは、例えばCT,MRI等で撮像されている。医療用画像データは、ボリュームデータ構築部502において、画像生成装置503により画像生成される。これは、画像表示装置504に表示しながら、手術対象者の断面を細かくスライスし、臓器を含む生体の部位を撮影した医療用画像データの幾何学的な情報に基づき、生体の各部位(臓器)を2次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層し、3次元ボリュームデータを構成する(図1のP101)。3次元ボリュームデータは医療用画像データ格納部501の医療用画像の元データとは別の記憶領域に格納される。
ボリュームデータには、臓器毎にIDが割り振られており、元のボリュームデータを
ID=F(x,y,z)、処理後をID=G(x,r,z)とかける。この移動・姿勢変換を行列RIDで表すと、FとGの関係は、RIDF=Gとなるので、G=RID −1FとしてGを求めることができる。この移動位置データは、手術シミュレーション用モデルデータ部505に記録される。
次に目的の臓器の前記移動に合わせて目的の臓器に連結する他の臓器を生成する。この他の臓器モデルデータは、手術シミュレーション用モデルデータ部505に記録される。
次に、ボリュームデータに対し、幾何情報を入力情報とし、解剖学的性質を元に、プログラムにより、四面体にメッシングして有限要素モデルを生成する(図1のP102)。
次に、ボリュームデータに対し、幾何情報を入力情報とし、解剖学的性質を元に、厚さを決定し、指定した臓器の周りに膜モデルを生成させる(図1のP103)。膜は、医療用画像からは認識できるものではないが、所定の臓器の周りに複数層で形成する。この膜は、所定臓器と膜及び各膜間の間隔を一定の距離又は間隔が異なる部分を有するように適当に配置する(図1のP103a,P103b)。
図6に示すように、過程P102でメッシングされた所定臓器601の表面各節点602a,602b,602c…から例えば法線方向に仮想線603a,603b,603c…を延ばし、前記仮想線603a,603b,603c…と過程P103により形成した模擬膜604a,604b,604c…との交点による膜面用節点605a,605b,605c…を形成し、この各仮想線603a,603b,603c…について前記所定臓器601の表面各節点602a,602b,602c…と膜面用節点605a,605b,605c…及び膜面用節点間を接続する仮想膜間用バネ606a,606b,606c…を配置し、さらに、各膜604a,604b,604c…の各面について前記膜面用節点605a,605b,605c…の間をメッシュ形成するように面方向バネ607a,607b,607c…を配置する(図1のP104)。仮想膜間用バネ606a,606b,606c…、面方向バネ607a,607b,607c…はバネモデルにより形成する。
このとき、各節点間に接続配置した仮想膜間用バネ606a,606b,606c…のバネ定数kが異なるもの(k=k1,k2…)を有するようにし、また、面方向バネ607a,607b,607c…のバネ定数Kが異なるもの(K=K1,K2…)を有するようにしてもよい(図1のP104a,P104b)。
そして、各節点間に接続配置した仮想膜間用バネ606a,606b,606c…と面方向バネ607a,607b,607c…に所定の張力又は伸びにより切断する物理定数を備えさせることもできる(図1のP104c)。
これら手術シミュレーション用モデルデータは手術シミュレーション用モデルデータ部505に記録格納される。
図2において、過程P201,P202の内容は、図1における過程101,P102と同様である。
次に、過程P203において、四面体にメッシングした所定臓器の有限要素モデルについて、メッシングにより接続する各節点間を仮想バネ701a,701b,701c…により形成しこれを配置する(図7)。仮想バネ701a,701b,701c…は、バネモデルにより形成し、臓器内部の節点間についても、実施例1と同様にバネ定数が異なるものを含むように構成することができる。また、各節点間に接続配置した仮想バネ701a,701b,701c…に所定の張力又は伸びにより切断する物理定数を備えさせることもできる。このとき、各仮想バネ701a,701b,701c…の加える力と伸びに対する特性が直線でなく、一つのバネが例えば図8のように上に凸の非線形のものとし、所定の張力又は伸びにより切断するものとする。
これら手術シミュレーション用モデルデータは手術シミュレーション用モデルデータ部505に記録格納される。
手術対象である臓器にそれを覆う、医療用画像からは認識できない複数層の模擬膜組織を備え当該臓器及び模擬膜の生体組織の力学的性質を設定した手術シミュレーション用モデルデータを手術シミュレーション用モデルデータ部505から読み出し、画像生成装置503で当該臓器を含む画像を生成し、画像表示装置504で表示する。
手術者が手術操作具508の一つである模擬鉗子510を操作して、模擬生体である模擬膜に接触し、模擬鉗子510の狭持面で模擬膜を引っ張る。模擬鉗子510の位置と模擬膜との接触位置に応じた反力を力覚装置506により発生され、力覚装置506を介して模擬鉗子510にフィードバックされる。(P301)
模擬鉗子510に与えられる反力は、仮想膜間用バネ606a,606b,606c…、面方向バネ607a,607b,607c…のバネ定数と模擬鉗子510の移動位置とにより、模擬運動演算装置507が計算し、力覚装置506に引っ張り力を発生させて、模擬する。このとき、模擬膜をはさむ模擬鉗子510の狭持面の位置により模擬鉗子のグリップ力が異なり、このグリップ力は、模擬運動演算装置507により計算される。模擬鉗子510が膜を引っ張りときの模擬膜の伸び又は張力が所定以上に達すると仮想膜間用バネ606a,606b,606c…、面方向バネ607a,607b,607c…が切断し、模擬膜が剥がれることを模擬することができる。(P302)
手術シミュレーションの間、画像生成装置503は、模擬運動演算装置507が計算する模擬鉗子510と模擬膜との移動運動に基づく位置により、模擬内視鏡から撮像したように模擬膜を含む模擬生体と模擬鉗子を含む手術操作具508の運動模擬画像を生成する。(P303)
この模擬画像は、画像表示装置504に表示され、手術者はこの画像を見ながら、手術シミュレーションを行う。(P304)
手術対象である臓器にメッシングにより接続する各節点間を仮想バネで形成配置する手術シミュレーション用モデルデータを手術シミュレーション用モデルデータ部505から読み出し、画像生成装置503で当該臓器を含む画像を生成し、画像表示装置504で表示する。
手術者が手術操作具508の一つである模擬鉗子510を操作して、模擬生体である臓器に接触し、模擬鉗子510の狭持面で模擬臓器を押す又は引っ張る。模擬鉗子510の位置と模擬臓器との接触位置に応じた反力を力覚装置506により発生される。(P401)
模擬鉗子510に与えられる反力は、バネ定数が非線形に設定されている仮想バネ701a,701b,701c…のバネ定数と模擬鉗子の移動位置とにより、模擬運動演算装置507が計算し、力覚装置506に圧縮力又は引っ張り力を発生させて、模擬する。このとき、医療用画像からは認識できない模擬膜をはさむ模擬鉗子の狭持面の位置により模擬鉗子のグリップ力が異なり、このグリップ力は、模擬運動演算装置507により計算される。
高精度に生体の変形を模擬するために、主要臓器の変形モデルに、非線形FEM(有限要素法)を用いる。
非線形処理を、区分的に線形化することにより、実時間で、非線形処理を行う。従来の線形計算モデルは、変位が少ないことを前提として、変位ベクトルを<U>、質量マトリクスを<M>、粘性抵抗マトリクスを<C>、剛性マトリクスを<K>、外力を<f>としたとき以下の絶対表示で示される。(本明細書で、<a>はaのベクトル、マトリクスを表示し、太字とともに用いる。)
今、物体(臓器等)に鉗子等の模擬術具(手術操作具)により力を加えたとする。すると、物体が変形して応力を発生しこの表面力と、模擬術具による力が釣り合った状態で変形が止まり、平衡状態に達する。ここで、更に力を加えると、次の釣り合う表面力を発生するまで変形し、次の平衡状態で安定する。実時間の処理では、これを、高速に繰り返している。
このような動的な計算を想定した場合、1フレーム前の剛性マトリクス(応力発生の元となる情報)と現在の剛性マトリクスの差は少ないと考えられる(即ち、区分的には線形化される)。特に、手術シミュレータでは操作が比較的緩やかである。従って、1フレーム前の位置(<U>k−1)に対応する剛性マトリクス<K>i、とΔ<u>k iを用いて、
従って、処理は、
処理(1)から処理(7)全体を式(4)とする。
但し、添え字kは計算時刻、αiはi番目の要素の加速度、fiは同外力、viは同速度、uiは同変位、Kfiは剛性力である。図9に<Kf>,<K(<U>)>,<U>の関係を示す。また、<Uk>は、各要素に対応したui kを積み重ねて、
uk=(u1 k,u2 k,…uN k) (5)
としたものである。但し、Nは有限要素数である。
処理(6)におけるKi kをui kを用いて計算することは、以下の式を用いる。
KiはKeと表示して、
上記式(4)の処理により、形状に応じた剛性マトリクス<K>の再構成と、模擬運動演算装置507上での更新を、実時間で実施する。(P403)
手術シミュレーションの間、画像生成装置503は、模擬運動演算装置507が計算する模擬鉗子510と模擬臓器との移動運動に基づく位置により、模擬内視鏡から撮像したように模擬臓器を含む模擬生体と模擬鉗子を含む手術操作具508の運動模擬画像を生成する。(P403)
この模擬画像は、画像表示装置504に表示され、手術者はこの画像を見ながら、手術シミュレーションを行う。(P404)
503:画像生成装置、504:画像表示装置、
505:手術シミュレーション用モデルデータ部、506:力覚装置、
507:模擬運動演算装置、508:手術操作具、509:模擬内視鏡、
510:模擬鉗子、601:所定臓器、602a,602b,602c…:表面各節点、
603a,603b,603c…:仮想線、
604a,604b,604c…:模擬膜、
605a,605b,605c…:膜面用節点、
606a,606b,606c…:仮想膜間用バネ、
607a,607b,607c…:面方向バネ。
Claims (7)
- ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を2次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層し、必要な臓器の3次元ボリュームデータを構築する第1の過程と、
第1の過程の後、生成された3次元ボリュームデータの臓器をボリュームデータ構築部においてメッシングする第2の過程と、
ボリュームデータ構築部において、前記メッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜を形成する第3の過程と、
ボリュームデータ構築部において、前記メッシングされた臓器のメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネにより形成し配置する第4の過程とからなることを特徴とする手術シミュレーション用モデルの生成方法。 - 力覚装置が、手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚模擬過程と、
模擬運動演算装置が、手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を2次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して3次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚模擬過程に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算過程と、
画像生成装置が、模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成過程と、
画像表示装置が、前記画像生成過程により生成された画像を表示する画像表示過程とからなることを特徴とする手術シミュレーション方法。 - 模擬運動演算過程において、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とする請求項2記載の手術シミュレーション方法。
- 手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を2次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して3次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、格納する手術シミュレーション用モデルデータ部と、
手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚装置と、
前記手術シミュレーション用モデルデータ部から手術シミュレーション用モデルデータを得て前記力覚装置による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚装置に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算装置と、
前記模擬運動演算装置が計算し模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成装置と、
前記画像生成装置により生成された画像を表示する画像表示装置とからなることを特徴とする手術シミュレータ。 - 模擬運動演算装置が、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とする請求項5記載の手術シミュレータ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000847A JP6104288B2 (ja) | 2015-01-06 | 2015-01-06 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000847A JP6104288B2 (ja) | 2015-01-06 | 2015-01-06 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009136898A Division JP5761900B2 (ja) | 2009-06-08 | 2009-06-08 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015127965A JP2015127965A (ja) | 2015-07-09 |
JP6104288B2 true JP6104288B2 (ja) | 2017-03-29 |
Family
ID=53837903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015000847A Active JP6104288B2 (ja) | 2015-01-06 | 2015-01-06 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6104288B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875462B (zh) * | 2017-01-13 | 2020-07-07 | 北京航空航天大学 | 一种基于元球模型和混合驱动方法的实时数字器官切割方法 |
KR102014359B1 (ko) * | 2018-02-20 | 2019-08-26 | (주)휴톰 | 수술영상 기반 카메라 위치 제공 방법 및 장치 |
WO2019164271A1 (ko) * | 2018-02-20 | 2019-08-29 | (주)휴톰 | 가상신체모델 생성 방법 및 장치 |
CN108846022A (zh) * | 2018-05-24 | 2018-11-20 | 沈阳东软医疗系统有限公司 | 文件存储方法、文件转换方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10111958A (ja) * | 1996-10-04 | 1998-04-28 | Olympus Optical Co Ltd | コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法 |
JP5130529B2 (ja) * | 2005-08-01 | 2013-01-30 | 国立大学法人 奈良先端科学技術大学院大学 | 情報処理装置およびプログラム |
US20100010787A1 (en) * | 2006-09-15 | 2010-01-14 | Makoto Suematsu | Platelet thrombus formation simulator |
JP2008134373A (ja) * | 2006-11-28 | 2008-06-12 | Mitsubishi Precision Co Ltd | 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ |
WO2008072756A1 (ja) * | 2006-12-13 | 2008-06-19 | National Institute Of Advanced Industrial Science And Technology | 反力提示方法、および力覚提示システム |
-
2015
- 2015-01-06 JP JP2015000847A patent/JP6104288B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015127965A (ja) | 2015-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5761900B2 (ja) | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ | |
JP6104288B2 (ja) | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ | |
EP3285144B1 (de) | System und verfahren zur haptischen interaktion mit virtuellen objekten | |
US10695134B2 (en) | Motion execution of a robotic system | |
Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
Delingette et al. | A hybrid elastic model allowing real-time cutting, deformations and force-feedback for surgery training and simulation | |
Delorme et al. | NeuroTouch: a physics-based virtual simulator for cranial microneurosurgery training | |
JP6440135B1 (ja) | 医療情報仮想現実サーバ、医療情報仮想現実プログラム、および医療情報仮想現実用データの作製方法 | |
CN110325990A (zh) | 用于制造物理仿真设备的方法、仿真设备和仿真系统 | |
Guo et al. | Virtual reality simulators based on a novel robotic catheter operating system for training in minimally invasive surgery | |
Park et al. | A new tactile transfer cell using magnetorheological materials for robot-assisted minimally invasive surgery | |
JP2008134373A (ja) | 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ | |
JP6457785B2 (ja) | 生体質感モデル作製方法および生体質感モデル作製プログラム | |
JP2008292534A (ja) | 手術切断運動模擬方法とその装置及び模擬手術接触判定方法とその装置並びに手術切断運動模擬用のデータベース構造 | |
Colan et al. | A review on tactile displays for conventional laparoscopic surgery | |
Mack et al. | Interactive force-sensing feedback system for remote robotic laparoscopic surgery | |
Moreno et al. | Virtual open source environment for training and simulation of laparoscopic surgery | |
Ashkezari et al. | Real time simulation of grasping procedure of large internal organs during laparoscopic surgery | |
Hassan et al. | A pneumatically-actuated mouse for delivering multimodal haptic feedback | |
JP5977041B2 (ja) | 数値シミュレーション装置及びそのコンピュータプログラム | |
Sutherland et al. | Towards an augmented ultrasound guided spinal needle insertion system | |
Suthakorn et al. | Constructing a Heterogeneous Model for Soft Tissue Deformation Using Two Dimensional Wave Equations | |
Aloisio et al. | A training simulator for the angioplasty intervention with a web portal for the virtual environment searching | |
Yang et al. | Bayesian estimation of non-rigid mechanical parameters using temporal sequences of deformation samples | |
Liao et al. | A robust physics-based 3D soft tissue parameters estimation method for warping dynamics simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160309 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161125 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6104288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |