JP2008068133A - Ultrasonic diagnostic apparatus - Google Patents
Ultrasonic diagnostic apparatus Download PDFInfo
- Publication number
- JP2008068133A JP2008068133A JP2007312820A JP2007312820A JP2008068133A JP 2008068133 A JP2008068133 A JP 2008068133A JP 2007312820 A JP2007312820 A JP 2007312820A JP 2007312820 A JP2007312820 A JP 2007312820A JP 2008068133 A JP2008068133 A JP 2008068133A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- image
- information
- ultrasonic probe
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、 本発明は、例えば医療等に用いられる超音波診断装置に関する。 The present invention relates to an ultrasonic diagnostic apparatus used in, for example, medical treatment.
超音波画像診断装置は、超音波を使用した無侵襲検査法により組織の断層像を表示するものである。この超音波画像診断装置は、臨床の場においても実用性が高く、例えば、超音波プローブを体表から当てるだけの簡単な操作で心臓の拍動や胎児の動きの様子がリアルタイム表示で得られる。また、X線等を使用しないため、被曝の心配がなく繰り返して検査が行える。さらに、システムの規模がX線、CT、MRIなど他の診断機器に比べて小さく、ベッドサイドヘ移動して検査することも可能であり、さらに小型化された超音波診断装置も開発されている。 The ultrasonic diagnostic imaging apparatus displays a tomographic image of a tissue by a non-invasive examination method using ultrasonic waves. This ultrasonic diagnostic imaging apparatus is highly practical even in clinical settings. For example, heart beats and fetal movements can be displayed in real time with a simple operation by simply touching the ultrasound probe from the body surface. . In addition, since X-rays are not used, the inspection can be repeated without worrying about exposure. Furthermore, the scale of the system is small compared to other diagnostic equipment such as X-ray, CT, MRI, etc., it is possible to move to the bedside for examinations, and further miniaturized ultrasonic diagnostic equipment has been developed. .
ところで、一般に、医療機器の操作には、高度な技術と知識が必要である。従って、医療機器は、特定の専門医師や技師のみによって操作される場合が多い。しかし、近年の技術進歩により、医療機器は専門外又は経験の浅い医師や技師も操作可能なものとなりつつある。また、超音波診断装置の上述の特性から、将来的には、遠隔医療や在宅医療等において、患者が自分で超音波診断装置を操作することも考えられる。 By the way, in general, operation of a medical device requires advanced technology and knowledge. Therefore, medical devices are often operated only by specific specialist doctors and engineers. However, due to recent technological advances, medical devices are becoming operable by non-specialized or inexperienced doctors and engineers. In addition, due to the above-described characteristics of the ultrasonic diagnostic apparatus, it is conceivable that the patient will operate the ultrasonic diagnostic apparatus himself / herself in telemedicine or home medical care in the future.
しかしながら、従来の超音波装置により好適な診断画像を撮影するためには、超音波画像の読影能力、解剖学的把握力等が必要である。従って、専門外若しくは経験の浅い医師や技師、又は患者等にとっては操作が容易でなく、好適な診断画像を撮影することができない。 However, in order to capture a suitable diagnostic image with a conventional ultrasonic apparatus, it is necessary to have an ability to interpret an ultrasonic image, an anatomical grasping power, and the like. Therefore, it is not easy for non-specialized or inexperienced doctors, engineers, patients, and the like, and a suitable diagnostic image cannot be taken.
本発明は、上記事情を鑑みてなされたもので、専門外若しくは経験の浅い医師や技師等であっても、容易かつ適切に操作することができる超音波診断装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an ultrasonic diagnostic apparatus that can be easily and appropriately operated even by a doctor or engineer who is not specialized or has little experience. .
本発明は、上記目的を達成するため、次のような手段を講じている。 In order to achieve the above object, the present invention takes the following measures.
本発明の視点は、被検体に対し超音波を送信し、当該被検体からの反射波を受信する超音波プローブと、前記受信した反射波に基づいて、超音波画像を生成する画像生成手段と、X線CT装置、磁気共鳴診断装置、核医学診断装置、超音波診断装置の何れかによって過去に取得された診断画像である参照画像に関する情報を少なくとも含む第1の支援情報を記憶する記憶手段と、前記参照画像と前記生成された超音波画像とが略一致するものとして対応付けを行う位置合わせ手段と、前記対応付けされた前記参照画像と前記超音波画像とを表示する表示手段と、を具備することを特徴とする超音波診断装置である。 An aspect of the present invention provides an ultrasonic probe that transmits ultrasonic waves to a subject and receives reflected waves from the subject, and an image generation unit that generates an ultrasonic image based on the received reflected waves. Storage means for storing first support information including at least information related to a reference image, which is a diagnostic image acquired in the past by any of an X-ray CT apparatus, a magnetic resonance diagnostic apparatus, a nuclear medicine diagnostic apparatus, and an ultrasonic diagnostic apparatus Positioning means for associating the reference image and the generated ultrasonic image as substantially matching each other, display means for displaying the associated reference image and the ultrasonic image, An ultrasonic diagnostic apparatus comprising:
以上本発明によれば、専門外若しくは経験の浅い医師や技師等であっても、容易かつ適切に操作することができる超音波診断装置を実現することができる。 As described above, according to the present invention, it is possible to realize an ultrasonic diagnostic apparatus that can be operated easily and appropriately even by a non-specialized or inexperienced doctor or engineer.
以下、本発明の第1実施形態〜第3実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。 Hereinafter, first to third embodiments of the present invention will be described with reference to the drawings. In the following description, components having substantially the same function and configuration are denoted by the same reference numerals, and redundant description will be given only when necessary.
(第1実施形態)
図1は、本実施形態に係る超音波診断装置10の概略構成を示したブロック図である。同図に示すように、超音波診断装置10は、超音波プローブ12、位置センサ13、位置検出プロセッサ14、超音波送信ユニット21、超音波受信ユニット22、Bモード処理部23、ドプラ処理部24、DSC(デジタルスキャンコンバータ)25、画像合成部26、表示部28、音声出力部29、記憶媒体30、ネットワーク回路31、コントローラ32、ナビゲーションプロセッサ33、操作パネル40を具備している。
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of an ultrasonic
超音波プローブ12は、圧電セラミック等の音響/電気可逆的変換素子としての複数の圧電振動子を有する。これらの圧電振動子は並列され、超音波プローブ12の先端に装備される。本超音波プローブ12の構成については、後で詳しく説明する。
The
位置センサ13は、超音波プローブ12の内部に設けられ、又はアタッチメント等にて超音波プローブ12に固定されており、当該超音波プローブ12の位置及び姿勢(向き)を特定するための位置情報を検出する。この位置センサ13には、例えば磁場等によって位置を検出するセンサであり、超音波プローブ12の少なくとも二点の位置情報を取得するために、少なくとも二個以上設置される。位置センサ13によって検出された位置情報は、位置検出プロセッサ14へ随時送信される。
The
位置検出プロセッサ14は、位置センサ13が検出した位置情報に基づいて、超音波プローブ12の位置及び姿勢を特定する。具体的には、位置検出プロセッサ14は、例えば以下の様にして超音波プローブ12の位置及び姿勢を特定する。
The
図2は、位置センサ13及び位置検出プロセッサ14による超音波プローブ12の位置及び姿勢の特定手法を説明するための図である。同図に示す様に、超音波プローブ12の内部の二箇所に、位置センサ13aと位置センサ13bとが設けられている。各センサ13a、13bは、点P1と点P2との二点の位置を検出する。この点P1と点P2の位置情報は、位置検出プロセッサ14に随時送信される。位置検出プロセッサ14は、例えば点P1又は点P2の位置により超音波プローブ12の位置を検出し、点P1と点P2との関係により超音波プローブ12の姿勢(向き)を検出する。
FIG. 2 is a diagram for explaining a method for specifying the position and orientation of the
また、位置センサ13aの中心と位置センサ13bの中心は、超音波プローブ12の中心軸(超音波照射方向に沿った方向の軸)に沿っていない形態にて設置されている。位置検出プロセッサ14は、位置センサ13aの中心と位置センサ13bの中心とを結ぶ直線と超音波プローブ12の中心軸とのなす角度から、上記中心軸中心に当該超音波プローブ12がどれくらい回転しているかを特定する。
Further, the center of the position sensor 13a and the center of the position sensor 13b are installed in a form not along the central axis of the ultrasonic probe 12 (the axis in the direction along the ultrasonic irradiation direction). The
超音波送信ユニット21は、図示しないが、トリガ発生器、遅延回路およびパルサ回路からなり、パルス状の超音波を生成して超音波プローブ12の振動素子に送ることで収束超音波パルスを生成する。被検体内の組織で散乱したエコー信号は再び超音波プローブ12で受信される。
Although not shown, the
超音波プローブ12から素子毎に出力されるエコー信号は、超音波受信ユニット22に取り込まれる。ここでエコー信号は、図示しないが、チャンネル毎にプリアンプで増幅され、A/D変換後に受信遅延回路により受信指向性を決定するのに必要な遅延時間を与えられ、加算器で加算される。この加算により受信指向性に応じた方向からの反射成分が強調される。この送信指向性と受信指向性とにより、エコー信号強度データが形成される。
The echo signal output for each element from the
超音波受信ユニット22からの出力は、Bモード処理部23に送られる。ここでエコー信号対数増幅、包絡線検波処理などが施され、信号強度が輝度の明るさで表現されるデータとなる。ドプラ処理部24は、エコー信号から速度情報を周波数解析し、解析結果をDSC25に送る。
The output from the
DSC25では、超音波スキャンの走査線信号列から、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換される。
In the
画像合成部26は、DSC25から出力されるリアルタイム画像、種々の設定パラメータの文字情報や目盛、または後述する他のモダリティの画像等を含むナビゲーション画像を合成し、ビデオ信号として表示部28に出力する。
The
表示部28は、超音波画像、後述するナビゲーション画像を表示する他、種々の解析プログラムを実行する際のコンソールウィンドウとしても機能するCRT等である。
The
音声出力部29は、後述するナビゲーション実行時における各種ナビゲーション情報を音声にて操作者に提供する。
The
記憶媒体30は、予め定義された診断解析プログラム、本装置10又は他の装置にて収集された超音波画像、X線CT画像等の他のモダリティによる診断画像、及び超音波プローブ位置情報を患者毎に記憶する。また、後述するナビゲーションシステムに関する種々のソフトウェアプログラム、音声・画像などのライブラリが保管されている。この記憶媒体30には、例えばPROM(EPROM、EEPROM、Flash、EPROM)、DRAM、SRAM、SDRAM等のその他のICメモリ、光ディスク、磁気ディスク、光磁気ディスク、半導体記憶装置等が使用できる。また、記憶媒体30に格納されたデータは、ネットワーク回路31を経由して外部周辺装置ヘ有線あるいは無線ネットワーク転送することも可能となっている。
The
ネットワーク回路31は、病院内LAN、WAN、インターネット等のネットワークを介して、他の装置と各種データの送受信を行う。
The
コントローラ32は、情報処理装置(計算機)としての機能を持ち、本超音波診断装置本体の動作を制御する制御手段である。
The
ナビゲーションプロセッサ33は、所定のプログラムに従って、ナビゲーションのための画像表示又は音声出力等に関する処理を行う。
The
操作パネル40は、この装置10に接続されかつオペレータからの指示情報を入力するための装置であり、診断装置の制御や様々な画質条件設定を行うことが可能な、ボタン、キーボード、マウス、トラックボール、TCS(Touch Command Screen)等である。操作者は、この操作パネル40から、後述するナビゲーションシステムの開始・終了指示や、リファレンス画像の取り込み指示等を入力する。
The
(ナビゲーションシステム)
次に、本超音波診断装置10によって提供されるナビゲーションシステムについて説明する。ナビゲーションシステムとは、例えば経験の浅い技師等や患者自身であっても、当該超音波診断装置を容易に操作できるようなナビゲーション情報を、ユーザーフレンドリーな形態にて提供するものである。ナビゲーション情報は、例えば豊富な経験を持つ技師等の作業を参考に、予め取得される。以下、超音波プローブ12の位置制御に関するナビゲーションを行う場合を例に、豊富な経験を持つ技師等の超音波画像取得に関するナビゲーション情報の取得、当該ナビゲーション情報の提供について、図3乃至図5を参照しながら説明する。
(Navigation system)
Next, a navigation system provided by the ultrasonic
図3は、豊富な経験を持つ技師等が、ナビゲーション情報として使用されるリファレンス画像を取得する場合の処理の流れを示したフローチャートである。まず、技師等は、リアルタイムで表示部28に表示される超音波画像を見ながら、例えば心臓の長軸断層像を適切に取得するための超音波プローブ12の位置を決定する(ステップS1)。このとき、表示部28には、リアルタイムで取得される超音波画像と、現在の超音波プローブ12の位置情報とが表示される。
FIG. 3 is a flowchart showing a flow of processing when an engineer or the like with abundant experience acquires a reference image used as navigation information. First, an engineer or the like determines the position of the
図4は、現在取得している超音波画像と、現在の超音波プローブ12の位置とを表示した表示部28の表示画面を示した図である。技師等は、同図に示すような超音波画像及び位置情報を観察しながら、所望の画像を取得するための超音波プローブ12の位置合わせを行う。
FIG. 4 is a diagram showing a display screen of the
操作者は、例えば心臓検査の場合は長軸断層像が表示されるように超音波プローブ12の位置合わせを行い、超音波プローブ12の位置が決まった時に操作パネルのリファレンス保存ボタンを押す。ナビゲーションプロセッサ33は、リファレンス保存ボタンが押されると、この時得られた超音波画像をリファレンス画像として記憶媒体30に記憶する(ステップS2)。このとき、位置センサ13からの位置情報に基づいて位置検出プロセッサ14が検出した当該超音波プローブ12の位置情報及び収集した順番も、当該リファレンス画像に対応付けて記憶される。これにより、当該患者のリファレンス画像と超音波プローブ12との位置関係を記憶したことになる。 続いて、さらに他のリファレンス画像、例えば超音波プローブ12の位置を変更した他のリファレンス画像を必要とする場合には取得する場合には、ステップS1及びステップS2の処理が繰り返し実行され、他のリファレンス画像を必要としない場合には、リファレンス画像の取得を終了する。この時収集された複数のリファレンス画像は互いに関連付けられて1つのナビゲーション情報として記憶される。
For example, in the case of cardiac examination, the operator aligns the
次に、例えば経験の浅い技師等が診断する場合に、上記ナビゲーション情報に従って実行されるナビゲーションシステムについて説明する。なお、超音波診断においては、超音波プローブ12を適宜移動させ、複数の異なる断面画像を取得するのが一般的である。従って、上記ナビゲーション情報としてのリファレンス画像は複数存在するものとし、当該情報としてのリファレンス画像のそれぞれを参照しながら、複数の診断画像を取得する場合のナビゲーションについて以下説明を行う。
Next, a navigation system that is executed in accordance with the navigation information when, for example, an inexperienced engineer diagnoses will be described. In ultrasonic diagnosis, it is common to acquire a plurality of different cross-sectional images by appropriately moving the
図5は、本ナビゲーションシステムの動作を説明するためのフローチャートである。図5において、まず、操作パネル40からナビゲーションシステムの実行指示、使用するナビゲーション情報の選択指示等が入力されると、ナビゲーションプロセッサ33は、記憶媒体30から選択されたナビゲーション情報を読み出し、一枚目のリファレンス画像を表示部28に表示する(ステップS4)。
FIG. 5 is a flowchart for explaining the operation of the navigation system. In FIG. 5, when an instruction to execute a navigation system, an instruction to select navigation information to be used, and the like are input from the
図6は、表示部28におけるリファレンス画像の表示形態を示した図である。図6に示すように、リファレンス画像42は、リアルタイム表示されている超音波画像41及び現在の超音波プローブ12の位置情報44とともに表示される。先ず、表示部28は1つのナビゲーション情報として関連付けられている複数のリファレンス画像の内で収集順番が1のリファレンス画像を表示部28に表示する。
FIG. 6 is a diagram illustrating a display form of the reference image on the
操作者(この場合、経験の浅い技師等)は表示部28に表示された超音波画像とリファレンス画像を参照しながら、このリファレンス画像と同じ超音波画像が得られる位置に超音波プローブ12の位置を合わせる(ステップS5)。
The operator (in this case, an inexperienced engineer or the like) refers to the ultrasonic image and the reference image displayed on the
決定された超音波プローブ位置において、リファレンス画像参照ボタンを押すことで、表示されたリファレンス画像42と現在の超音波プローブ位置によって取得され表示されている診断画像とが、一致しているか否か判別される(ステップS6)。この判別は、ナビゲーションプロセッサ33において、例えば画像処理や画像認識等によって両画像の類似度を求め、類似度が所定の値より高い場合は一致と判定する。尚、このような判定は行わずに、リファレンス画像参照ボタンが押された時点で次ステップのリセット動作を行うようにしても良い。
By pressing the reference image reference button at the determined ultrasonic probe position, it is determined whether or not the displayed
診断画像とリファレンス画像とが一致すると判別された場合には、所定の操作に応じて又は自動的に、位置センサ13の検出値がリセットされる(ステップS7)。すなわち、診断画像とリファレンス画像とが一致すると判別された場合には、位置センサ13をリセットすることにより、図6に示した超音波超音波プローブ12の位置情報44は全て「0」になり、リファレンス画像と現在収集している超音波画像との基準位置合わせが行われたことになる。従って、当該リセット以後の位置情報44は、このリファレンス画像からのずれを示すこととなる。その結果、操作者は、この位置情報44によって望ましい超音波プローブ12の配置位置(すなわち、リファレンス画像についての超音波プローブ位置)から、自身が操作する超音波プローブ12の位置がどれだけずれているかを定量的に把握することができる。一方、診断画像とリファレンス画像とが一致しないと判別された場合には、一致するまで超音波プローブ12の位置決めを実行する。 超音波プローブ12の位置が決まると、所定の操作に応じて画像が取り込まれ、記憶媒体30に記憶される(ステップS8)。このとき、位置センサ13からの位置情報に基づいて位置検出プロセッサ14が検出した当該超音波プローブ12の位置情報も、当該リファレンス画像に対応付けて記憶される。
If it is determined that the diagnostic image matches the reference image, the detection value of the
続いて、次の診断画像の取得に移行する。このとき、ナビゲーションプロセッサ33は、ナビゲーション情報に基づいて、次の診断画像取得のためのリファレンス画像と、超音波プローブをどのように動かすべきかを表した操作支援情報を表示する(ステップS9)。
Subsequently, the process proceeds to acquisition of the next diagnostic image. At this time, the
図7は表示部28の表示例であり、操作支援情報として超音波プローブ移動情報46を表示している。超音波プローブ移動情報46は、現在の超音波プローブ12の位置と、リファレンス画像を収集するための超音波プローブ12の位置関係を表した図である。
FIG. 7 is a display example of the
図7に示す超音波プローブ移動情報46は、現在ある超音波プローブ12の位置を実線にて、移動すべき超音波プローブ12の位置を点線にて表している。この超音波プローブ移動情報により、経験の浅い技師等であっても、次に移動すべき超音波プローブ12の位置を容易に把握することができる。なお、移動すべき超音波プローブ12の位置は、音声出力部29から音声によって提供する構成であってもよい。音声による出力の場合は、リファレンス画像が得られる位置に超音波プローブ12を移動させるため、プローブを平行移動する方向、プローブを傾ける方向、プローブを捻る方向を音声で出力する。
The ultrasonic
続いて、操作者は、当該超音波プローブ移動情報に基づいて位置決めを行い(ステップS10)、参照するリファレンス画像42と現在の超音波プローブ位置によって取得され表示されている診断画像とが、一致しているか否かが判別される(ステップS11)。一致していないと判断された場合には、一致するまで超音波プローブ12の位置決めを実行し、一方、一致すると判断された場合には、所定の操作に応じて画像が取り込まれ、記憶媒体30に記憶される(ステップS12)。
Subsequently, the operator performs positioning based on the ultrasonic probe movement information (step S10), and the
続いて、他の診断画像を取得する場合には、ステップS9〜ステップS12までの処理が再び繰り返される。一方、準備されたリファレンス画像分の診断画像の撮影を終えると、当該ナビゲーションシステムの動作を終了する(ステップS13)。 Then, when acquiring another diagnostic image, the process from step S9 to step S12 is repeated again. On the other hand, when the imaging of the prepared diagnostic images for the reference image is finished, the operation of the navigation system is finished (step S13).
なお、当該ナビゲーションシステムにおいては、必ずしも準備された全てのリファレンス画像分の診断画像を撮影する必要はなく、また、捜査中に所定のリファレンス画像をスキップすることも可能である。 In the navigation system, it is not always necessary to take diagnostic images for all the prepared reference images, and it is also possible to skip predetermined reference images during the investigation.
以上述べた構成によれば、参照すべき超音波画像及び超音波プローブ12の配置位置が、ナビゲーション情報として提供される。操作者は、このナビゲーション情報を参照しながら、例えばナビゲーション情報としてのリファレンス画像と現在撮影している超音波画像との差等を把握しながら、診断画像を撮影することができる。従って、経験の浅い技師や患者自身が画像を撮影する場合であっても、診断部位に関する適切な診断画像を取得することができる。
According to the configuration described above, the ultrasonic image to be referred to and the arrangement position of the
また、本ナビゲーションシステムによれば、現在取得している超音波画像及び現在の超音波プローブ12の位置と、リファレンス画像等とを同時に表示する形態にて提供されるから、操作者は現在の画像、超音波プローブ位置とリファレンス画像等との対応を容易に把握することができる。また、次の診断画像を取得するために移動すべき超音波プローブ位置が指示されるから、経験の浅い技師や患者自身が画像を撮影する場合であっても、迅速に処理を進めることが出来る。
Further, according to the present navigation system, since the presently acquired ultrasonic image, the current position of the
さらに、ナビゲーション情報は、ネットワーク回路31によりネットワークを介して基幹病院等から受信することができる。従って、例えば遠隔地や患者自宅等においても、ナビゲーション情報に従って超音波画像を撮影することができる。当該患者は、ナビゲーション情報に従って適切に撮影された超音波画像を基幹病院等に転送することで、好適な診断画像にて質の高い診断を受けることができる。
Furthermore, the navigation information can be received from a basic hospital or the like by the
(第2実施形態)
第2の実施形態は、異なるモダリティ(X線CT装置、磁気共鳴診断装置、核医学診断装置等)にて取得された画像、例えば三次元的X線CT画像やMRI画像等をナビゲーション情報として使用する例である。
(Second Embodiment)
In the second embodiment, images acquired by different modalities (X-ray CT apparatus, magnetic resonance diagnosis apparatus, nuclear medicine diagnosis apparatus, etc.), for example, three-dimensional X-ray CT images and MRI images are used as navigation information. This is an example.
図8は、第2の実施形態に係るナビゲーションシステムの動作を説明するためのフローチャートであり、ナビゲーション情報の生成を行う場合の処理の流れを表している。図8において、まず、他のモダリティ、例えばX線CT装置によって診断画像が収集され、ボリュームデータが生成される(ステップS21)。 FIG. 8 is a flowchart for explaining the operation of the navigation system according to the second embodiment, and shows the flow of processing when generating navigation information. In FIG. 8, first, diagnostic images are collected by another modality, for example, an X-ray CT apparatus, and volume data is generated (step S21).
次に、このボリュームデータ中に基準断面を設定する(ステップS22)。例えば、MPR(multi plane reconstruction)等の手法により、ボリュームデータから断面画像を生成し表示する。操作者は、この断面画像の位置を移動させ、所望の位置に基準となる断面画像(以下、「基準断面」と称する)を設定する。なお、当該基準断面像は、超音波画像と同じ形状、例えば扇状の形状となるのが好ましい。この形状の対応は、所定の座標変換により実現することができる。 Next, a reference cross section is set in the volume data (step S22). For example, a cross-sectional image is generated from volume data and displayed by a technique such as MPR (multi plane reconstruction). The operator moves the position of the cross-sectional image and sets a reference cross-sectional image (hereinafter referred to as “reference cross-section”) to a desired position. The reference cross-sectional image preferably has the same shape as the ultrasonic image, for example, a fan shape. This shape correspondence can be realized by a predetermined coordinate transformation.
次に、上記基準断面と超音波画像との対応付け(位置合わせ)を行う(ステップS23)。具体的には、超音波プローブ12を動かし、上記基準断面と同じ位置に超音波画像が表示されるようにする。一致したと思われる位置において、リセット等の所定の操作により上記基準断面と超音波画像との対応付け(位置合わせ)を行う。当該対応付けの後は、超音波画像とMPR画像とは、超音波プローブ12の動きに連動して移動することになる。
Next, the reference cross section and the ultrasonic image are associated (positioned) (step S23). Specifically, the
なお、上記対応付けは、より精度の高い対応を取るため、画像認識や画像処理等によって両画像の類似度を求め、類似度が閾値以上である場合にのみ可能とする構成であってもよい。 Note that the above association may be configured only when the similarity between the two images is obtained by image recognition, image processing, or the like and the similarity is equal to or greater than a threshold in order to obtain a more accurate association. .
次に、超音波プローブ12の位置決めを行う(ステップS24)。すなわち、超音波プローブ12の位置に対応した超音波画像及びMPR画像が生成され、当該超音波プローブ12の動きに連動した超音波画像及びMPR画像が表示される。操作者は、連動する両画像を参照しながら、リファレンス画像を取得するための位置決めを行うことができる。
Next, the
次に、決定された超音波プローブ位置において操作パネルのリファレンス保存ボタンを押すことで、リファレンス画像としてのMPR画像を取得する(ステップS25)。ナビゲーションプロセッサ33は、リファレンス保存ボタンが押されると、この時得られたMPR像をリファレンス画像として記憶媒体30に記憶する。このとき、位置センサ13からの位置情報に基づいて位置検出プロセッサ14が検出した当該超音波プローブ12の位置情報、MPR画像の位置情報及び収集した順番を、当該リファレンス画像に対応付けて記憶される。これにより、当該患者のリファレンス画像と超音波プローブ12との位置関係を記憶したことになる。なお、このとき、同時に超音波画像もサブリファレンス画像として記憶する構成であってもよい。
Next, an MPR image as a reference image is acquired by pressing a reference save button on the operation panel at the determined ultrasonic probe position (step S25). When the reference save button is pressed, the
続いて、さらに他のリファレンス画像、例えば超音波プローブ12の位置を変更した他のリファレンス画像を必要とする場合には取得する場合には、ステップS24及びステップS25の処理が繰り返し実行され、他のリファレンス画像を必要としない場合には、リファレンス画像の取得を終了する。この時収集された複数のリファレンス画像は、互いに関連付けられて1つのナビゲーション情報として記憶される。
Subsequently, when obtaining another reference image, for example, another reference image in which the position of the
こうして得られたナビゲーション情報による診断画像は、第1の実施形態と同様の手順にて取得することができる(図5参照)。 A diagnostic image based on the navigation information obtained in this way can be acquired in the same procedure as in the first embodiment (see FIG. 5).
この様な構成によれば、他のモダリティにて取得された画像をナビゲーション情報として使用でき、第1の実施形態と同様の効果を得ることが出来る。また、本実施形態においては、CT画像と超音波が像とを同時に観察しながら超音波プローブの位置決めができるので、より質の高いリファレンス画像を取得することができる。さらに、CT画像のリファレンス画像、超音波画像のリファレンス画像を同時に取得することができるから、リファレンス画像生成における作業負担を軽減させることができる。 According to such a configuration, images acquired with other modalities can be used as navigation information, and the same effect as in the first embodiment can be obtained. In the present embodiment, since the ultrasonic probe can be positioned while simultaneously observing the CT image and the ultrasonic image, a higher-quality reference image can be acquired. Furthermore, since the reference image of the CT image and the reference image of the ultrasonic image can be acquired at the same time, the work load in generating the reference image can be reduced.
(第3実施形態)
第3の実施形態は、異なるモダリティ(X線CT装置、磁気共鳴診断装置、核医学診断装置等)にて取得された画像、例えば三次元的X線CT画像やMRI画像等をナビゲーション情報として使用する他の例である。
(Third embodiment)
In the third embodiment, images acquired by different modalities (X-ray CT apparatus, magnetic resonance diagnostic apparatus, nuclear medicine diagnostic apparatus, etc.), for example, three-dimensional X-ray CT images and MRI images are used as navigation information. This is another example.
すなわち、第2の実施形態では、超音波プローブと連動する超音波画像及びCT画像を参照して、リファレンス画像としてのCT画像を取得する構成であった。これに対し、本実施形態では、CT画像のみを参照しながらリファレンス画像としてのCT画像を取得する。 That is, in the second embodiment, a CT image as a reference image is acquired with reference to an ultrasonic image and a CT image that are linked with an ultrasonic probe. On the other hand, in this embodiment, a CT image as a reference image is acquired while referring to only the CT image.
図9は、第3の実施形態に係るナビゲーションシステムの動作を説明するためのフローチャートであり、ナビゲーション情報の生成を行う場合の処理の流れを表している。図9において、まず、他のモダリティ、例えばX線CT装置によって診断画像が収集され、ボリュームデータが生成される(ステップS31)
次に、生成したボリュームデータの位置情報に基づいて、操作者によってマニュアル設定された基準画像から、例えば所定のスライス幅や角度間隔にて設定されるリファレンス画像としての断面像(例えば、MPR像)を、三次元位置計算により自動的に設定する(ステップS32)。設定された断面像、及びその位置情報は、記憶媒体30に記憶される(ステップS33)。このリファレンス画像とその位置情報の取得は、必要な分だけ繰り返される(ステップS34)。なお、上記リファレンス画像としての断面像、及びその位置情報の取得は、操作者がマニュアル操作にて設定する構成であってもよい。
FIG. 9 is a flowchart for explaining the operation of the navigation system according to the third embodiment, and shows the flow of processing when generating navigation information. In FIG. 9, first, diagnostic images are collected by another modality, for example, an X-ray CT apparatus, and volume data is generated (step S31).
Next, based on the position information of the generated volume data, from a reference image manually set by the operator, for example, a cross-sectional image as a reference image set at a predetermined slice width or angular interval (for example, MPR image) Is automatically set by three-dimensional position calculation (step S32). The set cross-sectional image and its position information are stored in the storage medium 30 (step S33). Acquisition of this reference image and its position information is repeated as many times as necessary (step S34). In addition, the structure which an operator sets by manual operation may be sufficient as acquisition of the cross-sectional image as said reference image, and its positional information.
こうして得られたナビゲーション情報による診断画像は、第1の実施形態と同様の手順にて取得することができる(図5参照)。 A diagnostic image based on the navigation information obtained in this way can be acquired in the same procedure as in the first embodiment (see FIG. 5).
この様な構成によれば、他のモダリティにて取得された画像をナビゲーション情報として使用でき、第1の実施形態と同様の効果を得ることが出来る。 According to such a configuration, images acquired with other modalities can be used as navigation information, and the same effect as in the first embodiment can be obtained.
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。例えば以下に示す(1)、(2)のように、その要旨を変更しない範囲で種々変形可能である。 Although the present invention has been described based on the embodiments, those skilled in the art can come up with various changes and modifications within the scope of the idea of the present invention. It is understood that it belongs to the scope of the present invention. For example, as shown in the following (1) and (2), various modifications can be made without changing the gist thereof.
(1)上記各実施形態においては、実際の被検体から取得された診断画像をナビゲーション情報として使用した。しかし、これに限らず、例えば予め作成されたアニメーション画像をナビゲーション情報として使用する構成であってもよい。 (1) In each of the above embodiments, a diagnostic image acquired from an actual subject is used as navigation information. However, the present invention is not limited to this. For example, a configuration in which an animation image created in advance is used as navigation information may be used.
(2)上記各実施形態においては、画像表示又は音声にて適切な超音波プローブの配置位置を提供する構成であった。しかし、適切な超音波プローブの配置位置の提供形態は、これに限定する趣旨ではない。例えば、超音波プローブ12自体に液晶や発光ダイオード等の表示装置を設け、位置検出プロセッサ14からの情報に基づいて、当該表示装置に移動方向や移動量を表示する構成であってもよい。
(2) In each of the above-described embodiments, an appropriate ultrasonic probe placement position is provided by image display or sound. However, the provision form of the appropriate ultrasonic probe arrangement position is not limited to this. For example, the
以上本発明によれば、専門外若しくは経験の浅い医師や技師等であっても、容易かつ適切に操作することができる超音波診断装置を実現することができる。 As described above, according to the present invention, it is possible to realize an ultrasonic diagnostic apparatus that can be operated easily and appropriately even by a non-specialized or inexperienced doctor or engineer.
10…超音波診断装置、12…超音波プローブ、13…位置センサ、14…位置検出プロセッサ、21…超音波送信ユニット、22…超音波ユニット、22…超音波受信ユニット、23…Bモード処理部、25…DSC、26…画像合成部、28…表示部、29…音声出力部、30…記憶媒体、31…ネットワーク回路、32…コントローラ、33…ナビゲーションプロセッサ、40…操作パネル、41…超音波画像、42…リファレンス画像、44…位置情報、46…超音波プローブ移動情報、46…移動情報
DESCRIPTION OF
Claims (5)
前記受信した反射波に基づいて、超音波画像を生成する画像生成手段と、
X線CT装置、磁気共鳴診断装置、核医学診断装置、超音波診断装置の何れかによって過去に取得された診断画像である参照画像に関する情報を少なくとも含む第1の支援情報を記憶する記憶手段と、
前記参照画像と前記生成された超音波画像とが略一致するものとして対応付けを行う位置合わせ手段と、
前記対応付けされた前記参照画像と前記超音波画像とを表示する表示手段と、
を具備することを特徴とする超音波診断装置。 An ultrasonic probe that transmits ultrasonic waves to the subject and receives reflected waves from the subject;
Image generating means for generating an ultrasonic image based on the received reflected wave;
Storage means for storing first support information including at least information related to a reference image which is a diagnostic image acquired in the past by any of an X-ray CT apparatus, a magnetic resonance diagnostic apparatus, a nuclear medicine diagnostic apparatus, and an ultrasonic diagnostic apparatus; ,
An alignment unit that associates the reference image and the generated ultrasonic image as substantially matching each other;
Display means for displaying the associated reference image and the ultrasound image;
An ultrasonic diagnostic apparatus comprising:
前記位置合わせ手段は、前記超音波画像と前記参照画像が略一致すると判定された場合にのみ、前記対応付けを行うこと、
を特徴とする請求項1記載の超音波診断装置。 Determination means for determining a similarity between the ultrasonic image and the reference image, and determining whether the ultrasonic image and the reference image substantially match based on the similarity;
The alignment unit performs the association only when it is determined that the ultrasonic image and the reference image substantially match.
The ultrasonic diagnostic apparatus according to claim 1.
前記表示手段は、前記第1の位置情報と前記超音波プローブの現在の空間的位置に関する情報である第2の位置情報とを同時に表示すること、
を特徴とする請求項1又は2記載の超音波診断装置。 The first support information further includes first position information corresponding to a position of an ultrasonic probe recommended when acquiring an ultrasonic image corresponding to the reference image using the ultrasonic diagnostic apparatus,
The display means simultaneously displays the first position information and the second position information, which is information on the current spatial position of the ultrasonic probe;
The ultrasonic diagnostic apparatus according to claim 1 or 2.
前記表示手段は、前記第2の支援情報を表示すること、
を特徴とする請求項3記載の超音波診断装置。 Support information for generating second support information for supporting operation of the ultrasonic probe based on the association and second position information that is information on the current spatial position of the ultrasonic probe Further comprising generating means,
The display means displays the second support information;
The ultrasonic diagnostic apparatus according to claim 3.
前記表示手段は、前記超音波プローブの現在の空間的位置に関する情報である第2の位置情報と前記ボリュームデータとを用いて、前記超音波プローブの動きに連動する前記参照画像を生成し表示すること
を特徴とする請求項1乃至3のうちいずれか一項記載の超音波診断装置。 The first support information includes volume data capable of generating the reference image,
The display means generates and displays the reference image that is linked to the movement of the ultrasonic probe, using second position information that is information relating to the current spatial position of the ultrasonic probe and the volume data. The ultrasonic diagnostic apparatus according to any one of claims 1 to 3, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007312820A JP5134932B2 (en) | 2007-12-03 | 2007-12-03 | Ultrasonic diagnostic apparatus and control program for ultrasonic diagnostic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007312820A JP5134932B2 (en) | 2007-12-03 | 2007-12-03 | Ultrasonic diagnostic apparatus and control program for ultrasonic diagnostic apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002171367A Division JP4088104B2 (en) | 2002-06-12 | 2002-06-12 | Ultrasonic diagnostic equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008068133A true JP2008068133A (en) | 2008-03-27 |
JP5134932B2 JP5134932B2 (en) | 2013-01-30 |
Family
ID=39290205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007312820A Expired - Fee Related JP5134932B2 (en) | 2007-12-03 | 2007-12-03 | Ultrasonic diagnostic apparatus and control program for ultrasonic diagnostic apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5134932B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011072656A (en) * | 2009-09-30 | 2011-04-14 | Toshiba Corp | Ultrasonic diagnostic equipment, ultrasonic image processing apparatus, ultrasonic diagnostic equipment control program, and ultrasonic image processing program |
WO2012063420A1 (en) * | 2010-11-12 | 2012-05-18 | パナソニック株式会社 | Ultrasound diagnostic apparatus and ultrasound diagnostic system |
CN102499762A (en) * | 2011-11-23 | 2012-06-20 | 东南大学 | Three-dimensional spatial positioning system for medical ultrasonic probe relative to part to be checked and method |
JP2017153818A (en) * | 2016-03-03 | 2017-09-07 | 東芝メディカルシステムズ株式会社 | Ultrasound diagnostic apparatus, ultrasound diagnostic apparatus control program, medical image processing apparatus, and medical image processing program |
JP2019503748A (en) * | 2015-12-21 | 2019-02-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Ultrasonic imaging apparatus and ultrasonic imaging method for examining subject's volume |
WO2020075575A1 (en) * | 2018-10-12 | 2020-04-16 | 富士フイルム株式会社 | Ultrasonic diagnostic device and control method for ultrasonic diagnostic device |
JP2021531122A (en) * | 2018-07-24 | 2021-11-18 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Ultrasound Systems and Methods for Induced Shear Wave Elastography of Anisotropic Tissues |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300907A (en) * | 1992-04-24 | 1993-11-16 | Hitachi Medical Corp | Ultrasonic diagnostic system |
JPH07185023A (en) * | 1993-10-08 | 1995-07-25 | Nomos Corp | Method and equipment for pathobiology position inspection |
JPH0924035A (en) * | 1995-07-13 | 1997-01-28 | Toshiba Corp | Ultrasonic wave and nuclear magnetic resonance compound diagnosing device |
JPH10151131A (en) * | 1996-11-25 | 1998-06-09 | Hitachi Medical Corp | Ultrasonograph |
JPH11151246A (en) * | 1997-06-19 | 1999-06-08 | Medinol Ltd | Improved intravascular ultrasonic image and signal processing |
JP2000237205A (en) * | 1999-02-17 | 2000-09-05 | Toshiba Corp | Ultrasonic therapeutic apparatus |
JP2001029324A (en) * | 1999-07-19 | 2001-02-06 | Hitachi Medical Corp | Slice surface setting mechanism for tomographic image of testee body |
JP2001276061A (en) * | 2000-03-29 | 2001-10-09 | Toshiba Corp | Ultrasonic image diagnostic device and method for setting diagnostic protocol from remote to ultrasonic image diagnostic device |
JP2002263101A (en) * | 2001-03-06 | 2002-09-17 | Aloka Co Ltd | Ultrasonic diagnostic device |
-
2007
- 2007-12-03 JP JP2007312820A patent/JP5134932B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300907A (en) * | 1992-04-24 | 1993-11-16 | Hitachi Medical Corp | Ultrasonic diagnostic system |
JPH07185023A (en) * | 1993-10-08 | 1995-07-25 | Nomos Corp | Method and equipment for pathobiology position inspection |
JPH0924035A (en) * | 1995-07-13 | 1997-01-28 | Toshiba Corp | Ultrasonic wave and nuclear magnetic resonance compound diagnosing device |
JPH10151131A (en) * | 1996-11-25 | 1998-06-09 | Hitachi Medical Corp | Ultrasonograph |
JPH11151246A (en) * | 1997-06-19 | 1999-06-08 | Medinol Ltd | Improved intravascular ultrasonic image and signal processing |
JP2000237205A (en) * | 1999-02-17 | 2000-09-05 | Toshiba Corp | Ultrasonic therapeutic apparatus |
JP2001029324A (en) * | 1999-07-19 | 2001-02-06 | Hitachi Medical Corp | Slice surface setting mechanism for tomographic image of testee body |
JP2001276061A (en) * | 2000-03-29 | 2001-10-09 | Toshiba Corp | Ultrasonic image diagnostic device and method for setting diagnostic protocol from remote to ultrasonic image diagnostic device |
JP2002263101A (en) * | 2001-03-06 | 2002-09-17 | Aloka Co Ltd | Ultrasonic diagnostic device |
Non-Patent Citations (1)
Title |
---|
JPN6011009532; Jason W. Trobaugh et al: 'Frameless stereotactic ultrasonography: method and applications' Computerized medical imaging and graphics vol.18, no.4, 199407, pp.235-246 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011072656A (en) * | 2009-09-30 | 2011-04-14 | Toshiba Corp | Ultrasonic diagnostic equipment, ultrasonic image processing apparatus, ultrasonic diagnostic equipment control program, and ultrasonic image processing program |
WO2012063420A1 (en) * | 2010-11-12 | 2012-05-18 | パナソニック株式会社 | Ultrasound diagnostic apparatus and ultrasound diagnostic system |
JPWO2012063420A1 (en) * | 2010-11-12 | 2014-05-12 | パナソニック株式会社 | Ultrasonic diagnostic apparatus and ultrasonic diagnostic system |
JP5842810B2 (en) * | 2010-11-12 | 2016-01-13 | コニカミノルタ株式会社 | Ultrasonic diagnostic apparatus and ultrasonic diagnostic system |
US9498185B2 (en) | 2010-11-12 | 2016-11-22 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus and ultrasound diagnostic system |
CN102499762A (en) * | 2011-11-23 | 2012-06-20 | 东南大学 | Three-dimensional spatial positioning system for medical ultrasonic probe relative to part to be checked and method |
JP2019503748A (en) * | 2015-12-21 | 2019-02-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Ultrasonic imaging apparatus and ultrasonic imaging method for examining subject's volume |
JP2017153818A (en) * | 2016-03-03 | 2017-09-07 | 東芝メディカルシステムズ株式会社 | Ultrasound diagnostic apparatus, ultrasound diagnostic apparatus control program, medical image processing apparatus, and medical image processing program |
JP2021531122A (en) * | 2018-07-24 | 2021-11-18 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Ultrasound Systems and Methods for Induced Shear Wave Elastography of Anisotropic Tissues |
JP7309850B2 (en) | 2018-07-24 | 2023-07-18 | コーニンクレッカ フィリップス エヌ ヴェ | Ultrasound system and method for guided shear wave elastography of anisotropic tissue |
WO2020075575A1 (en) * | 2018-10-12 | 2020-04-16 | 富士フイルム株式会社 | Ultrasonic diagnostic device and control method for ultrasonic diagnostic device |
JPWO2020075575A1 (en) * | 2018-10-12 | 2021-09-02 | 富士フイルム株式会社 | Control method of ultrasonic diagnostic equipment and ultrasonic diagnostic equipment |
JP7027566B2 (en) | 2018-10-12 | 2022-03-01 | 富士フイルム株式会社 | Control method of ultrasonic diagnostic equipment and ultrasonic diagnostic equipment |
US11801039B2 (en) | 2018-10-12 | 2023-10-31 | Fujifilm Corporation | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5134932B2 (en) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4088104B2 (en) | Ultrasonic diagnostic equipment | |
JP5689662B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, ultrasonic image processing program, medical image diagnostic apparatus, medical image processing apparatus, and medical image processing program | |
JP6683677B2 (en) | Ultrasonic diagnostic device for self-diagnosis and remote diagnosis, and operating method of ultrasonic diagnostic device | |
JP6180539B2 (en) | Automatic placement on a standard surface for real-time fetal heart assessment | |
US11653897B2 (en) | Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus | |
JP5620666B2 (en) | Ultrasonic diagnostic equipment, ultrasonic image processing equipment | |
JP6238651B2 (en) | Ultrasonic diagnostic apparatus and image processing method | |
US9192356B2 (en) | Ultrasound diagnosis apparatus | |
JP6309282B2 (en) | Medical diagnostic imaging equipment | |
JP5134932B2 (en) | Ultrasonic diagnostic apparatus and control program for ultrasonic diagnostic apparatus | |
US20070299342A1 (en) | Ultrasound diagnosis apparatus and the controlling method thereof | |
JP5897674B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing program | |
JP6162493B2 (en) | Ultrasonic diagnostic equipment | |
JP5417048B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic diagnostic program | |
US20100286526A1 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method | |
JP2011078625A (en) | Ultrasonic diagnosis apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP6956483B2 (en) | Ultrasonic diagnostic equipment and scanning support program | |
JP2018198856A (en) | Ultrasonic diagnostic device and ultrasonic diagnosis support device | |
JP6720001B2 (en) | Ultrasonic diagnostic device and medical image processing device | |
JP2012075794A (en) | Ultrasonic diagnostic apparatus, medical image processor, and medical image processing program | |
JP2010259656A (en) | Medical image processor, ultrasonic diagnostic apparatus, and medical image diagnostic apparatus | |
JP5597497B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program | |
US20210251606A1 (en) | Ultrasonic diagnostic apparatus, operating method of ultrasonic diagnostic apparatus, and storage medium | |
JP2015012977A (en) | Medical image diagnostic system and medical image diagnostic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121112 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5134932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313113 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |