JP6590388B1 - 医療映像配信システム及び医療映像配信方法 - Google Patents
医療映像配信システム及び医療映像配信方法 Download PDFInfo
- Publication number
- JP6590388B1 JP6590388B1 JP2018235455A JP2018235455A JP6590388B1 JP 6590388 B1 JP6590388 B1 JP 6590388B1 JP 2018235455 A JP2018235455 A JP 2018235455A JP 2018235455 A JP2018235455 A JP 2018235455A JP 6590388 B1 JP6590388 B1 JP 6590388B1
- Authority
- JP
- Japan
- Prior art keywords
- video data
- output
- specified
- layout
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 238000002716 delivery method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
- H04N21/2143—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in a single building, e.g. hotel, hospital or museum
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
この種の医療映像配信に係る先行技術として、下記の特許文献1を例示する。
前記出力元指定処理において指定された出力元が複数である場合、前記サーバ装置は、前記編集処理において、当該出力元から出力された複数の映像データを合成して、前記出力元指定処理において指定された出力元が一つである場合にストリーミング配信される前記一の映像データと略同じデータ量である一の合成映像データを生成し、第一配信処理において、一の合成映像データを表示端末にストリーミング配信する医療映像配信システムが提供される。
図1は、本実施形態に係る医療映像配信システム(以下、医療映像配信システム100と称す)を示す図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外の情報やデータの授受については、必ずしも各矢印が示す内容と一致しなくてよい。
術野カメラ110は第1の手術室(以下、手術室1)に設置されるカメラであり、術野カメラ115は第2の手術室(以下、手術室2)に設置されるカメラであり、手術における術野を撮影することを目的として用いられ得る。
生体モニタ120は手術室1に設置される計測機器であり、生体モニタ125は手術室2に設置される計測機器であり、これらの計測機器は、いわゆるバイタルサインを計測し、その計測結果を映像として表示する。ここでバイタルサインには、血圧、脈拍、呼吸速度、体温等に関するステータスが含まれる。
内視鏡カメラ130は手術室1に設置される機器であり、内視鏡カメラ135は手術室2に設置される機器であり、これらの機器は、カメラや術具等を先端に内蔵しているチューブを被施術者の体内に挿入することによって、被施術者の体内を観察し所定の処置を行うことを目的として用いられ得る。
全景カメラ140は手術室1に設置されるカメラであり、全景カメラ145は手術2に設置されるカメラであり、これらのカメラによって撮影される映像は、各手術室の全景を撮影することを目的として用いられ得る。
なお、ここで挙げた医療機器は、本発明に係る複数の医療機器を構成するものを例示したに過ぎず、ここに例示しない医療機器が本発明に用いられてもよいし、ここに例示する医療機器が本発明に用いられなくてもよい。また、本発明に係る医療機器を構成するものは、必ずしも医療を目的とする用途にのみ使用される機器である必要はなく、他の用途で使用可能な機器であってもよい。
また、ここで挙げたカメラ(術野カメラ及び全景カメラ)は、術野及び手術室の全景を撮影するものとして説明したが、その撮影箇所については特に制限されず、またカメラの撮影方式(通常の撮影であるか広角撮影であるか等)についても特に制限されるものではない。
サーバ装置160は、医療機器が出力した映像データを受信する際にも、記憶している映像データをストリーミング配信する際にも、その相手側を特定する為にIPアドレス(Internet Protocol Address)を用いる。しかしながら、医療機器の中にはIPアドレスを有していないものが存在する為、そのような医療機器については、IP変換器を介して医療機器とサーバ装置160とを接続することによって通信を実現する。本実施形態の例に則して言えば、術野カメラ110及び115についてはIP変換器111を介して、生体モニタ120についてはIP変換器121を介して、生体モニタ125についてはIP変換器126を介して、内視鏡カメラ130についてはIP変換器131を介して、内視鏡カメラ135についてはIP変換器136を介して、サーバ装置160と通信可能に接続している。一方、全景カメラ140及び145及び表示端末151〜154については、各機器がそれぞれIPアドレスを有しているIPカメラを採用している為、IP変換器を介さずにサーバ装置160と通信可能に接続されている。
また、本実施形態においてストリーミング配信と称するものには、ライブストリーミング配信(映像データをサーバ装置160にダウンロードする処理と、サーバ装置160が表示端末151〜154にストリーミング配信する処理と、が並行して行われる配信方式)も含まれる。
また、本実施形態では全景カメラ140及び145をIPカメラとしたが、他のカメラ(例えば、術野カメラ110及び115等)をIPカメラとしてもよいし、IPカメラを本発明の実施において用いなくてもよい。
表示端末151〜154は、ストリーミング配信される映像データを再生する為のアプリケーションソフト(ビューア)がインストールされている。なお、表示端末151〜154にインストールされているビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフト(例えば、インターネットブラウザ)やこれを改良又は変更したソフトによって実現されてもよい。
続いて、表示端末151とサーバ装置160の間における処理手順について、図2〜図7を用いて説明する。
図2及び図5は、表示端末151とサーバ装置160の間における処理手順を図示するシーケンス図である。なお、これらのシーケンス図において図示される処理は、本発明の説明に必要なものを例示したに過ぎず、本発明の目的を達成する範囲内において図示しない処理が追加されてもよいし、図示した処理の一部が省かれてもよい。
図3及び図6は、レイアウト指定及び対応関係指定における表示端末151の操作方法と表示内容を示す図である。図4は、表示端末151にストリーミング配信される映像の表示内容を示す図である。図7は、表示端末151にストリーミング配信される映像の表示内容及び表示端末151の操作方法を示す図である。
表示端末151は、上記の複数の医療機器の中から映像データの出力元を一又は複数指定する出力元指定処理を実行し、指定した出力元をサーバ装置160に通知する(ステップS101)。ここで出力元指定処理を実現するには、例えば、医療機器から出力される映像データが単一である場合には当該医療機器自体を指定すればよく、医療機器が出力チャンネルを複数有する場合(医療機器から出力される映像データが複数である場合)には出力チャンネル毎に指定すればよい。
出力元指定処理において出力元となる医療機器を指定する為の手法は特に制限されないが、本実施形態では上述したように、その医療機器又は医療機器に接続されているIP交換器に割り当てられているIPアドレスを用いる。
また、本実施形態では、表示端末151は、出力元指定処理において指定された術野カメラ110に対して「手術室1術野」を、術野カメラ115に対して「手術室2術野」を、生体モニタ120に対して「手術室1バイタル」を、生体モニタ125に対して「手術室2バイタル」を、内視鏡カメラ130に対して「手術室1内視鏡」を、内視鏡カメラ135に対して「手術室2内視鏡」を、全景カメラ140に対して「手術室1全景」を、全景カメラ145に対して「手術室2全景」を、それぞれ識別情報として付するものとして説明を進める。
このとき、これらの識別情報は、ユーザの操作に応じて任意に定められてもよいし、表示端末151による自動処理(例えば、IPアドレスに対応する識別情報に変換する為のテーブルを参照する処理)によって定められてもよい。或いは、識別情報を定める処理については、必ずしも表示端末151が実行する必要はなく、例えば、サーバ装置160によって実行されてもよい。
なお、ステップS102の応答では、通知された全ての出力元に係る医療機器の映像データが記憶されている旨(ステップS101の通知に応答可能である旨)を、サーバ装置160は表示端末151に対して通知するものとする。
仮に、通知された出力元の一部又は全部について医療機器の映像データが記憶されていない場合、その旨(ステップS101の通知に応答できない旨)を、サーバ装置160は表示端末151に対して通知する。
次に、表示端末151は、レイアウト指定処理において指定したレイアウトに含まれる一又は複数の表示領域に対して、出力元指定処理において指定した出力元をいずれの表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する対応関係指定処理を実行する(ステップS105)。
この操作によって、表示領域を1つとするレイアウトが指定されて、表示端末151のメインウインドウW1には当該レイアウトが表示されるようになる。
この操作によって、レイアウトに含まれる表示領域と、出力元となる全景カメラ145と、が対応付けられることになる。
例えば、レイアウト指定処理において指定可能なレイアウトに含まれる表示領域の数が、出力元指定処理において指定した出力元の数より多くなり得る。このようなケースにおいては、対応関係指定処理において映像データを表示する表示領域を手術室ごとに分離させる等のレイアウトを実現することができる。
より具体的には、サーバ装置160は、当該出力元である全景カメラ145に対して定められる識別情報「手術室2全景」を示す表示を、当該レイアウトに含まれる表示領域に付す編集処理を施す。
ここで編集処理とは、指定のレイアウトに含まれる表示領域に対して、指定の対応関係に基づいて、指定の出力元から出力される映像データを割り当てる処理を行えば足り、識別情報を示す表示を対象の映像データに付す処理については必ずしも編集処理に含まれなくてもよい。
なお、上記の編集処理(ステップS106の処理)については、後述する合成映像データを生成するものではない為、図2では「編集(合成なし)」と表記している。
表示端末151は、ステップS107で配信された映像データをメインウインドウW1に表示し、更にその表示の上に現在の指定で良いか否か(「OK」か「CANCEL」か)の選択操作をユーザに促すポップアップ表示P1を表示する(図3(c)参照)。
ここで「OK」を選択するポインティング操作をユーザが行った場合、上記の指定で確定する旨がサーバ装置160に通知され(ステップS108)、メインウインドウW1に表示されていた内容の映像データが、サーバ装置160からストリーミング配信されて表示端末151の表示ウインドウW4に表示される(ステップS109、図4参照)。このとき、レイアウト選択ウインドウW2及び出力元選択ウインドウW3の表示領域が省かれる分、表示ウインドウW4がメインウインドウW1より拡大される。
なお、上記において「CANCEL」を選択するポインティング操作をユーザが行った場合、レイアウト指定及び対応関係指定に関する指定がなかったものとされて、ステップS103の処理からやり直しとなる。
表示端末151は、上記の複数の医療機器の中から映像データの出力元を一又は複数指定する出力元指定処理を実行し、指定した出力元をサーバ装置160に通知する(ステップS201)。
サーバ装置160は、ステップS201において表示端末151から通知された出力元に該当する医療機器の映像データが記憶されているか否かを確認し、その結果を表示端末151に応答する(ステップS202)。
なお、ステップS201及びステップS202の処理と、上述したステップS101及びステップS102の処理は実質的に同じものである為、詳細な説明は省略する。
次に、表示端末151は、レイアウト指定処理において指定したレイアウトに含まれる一又は複数の表示領域に対して、出力元指定処理において指定した出力元をいずれの表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する対応関係指定処理を実行する(ステップS205)。
この操作によって、4分割の表示領域を有するレイアウトが指定されて、表示端末151のメインウインドウW1には当該レイアウトが表示されるようになる。
この操作によって、レイアウトに含まれる左上の表示領域及び右上の表示領域と、出力元となる術野カメラ110及び生体モニタ120と、が対応付けられることになる。
より具体的には、サーバ装置160は、当該編集処理において、当該出力元から出力された複数の映像データを合成して、一の出力元から出力される映像データと略同じデータ量である一の合成映像データを生成する。更に、サーバ装置160は、術野カメラ110に対して定められる識別情報「手術室1術野」を示す表示及び生体モニタ120に対して定められる識別情報「手術室1バイタル」を示す表示を、当該再生要求において指定されているレイアウトに含まれる表示領域(左上の表示領域と右上の表示領域)のそれぞれに付す。
なお、当該編集処理は、合成映像データを生成するものである為、図6では「編集(合成あり)」と表記している。
表示端末151は、ステップS207で配信された映像データをメインウインドウW1に表示し、更にその表示の上に現在の指定で良いか否か(「OK」か「CANCEL」か)の選択操作をユーザに促すポップアップ表示P1を表示する(図6(c)参照)。
ここで「OK」を選択するポインティング操作をユーザが行った場合、上記の指定が確定し(ステップS208)、メインウインドウW1に表示されていた内容の映像データが、ストリーミング配信されて表示端末151の表示ウインドウW4に表示される(ステップS209、図7(a)参照)。このとき、レイアウト選択ウインドウW2及び出力元選択ウインドウW3の表示領域が省かれる分、表示ウインドウW4がメインウインドウW1より拡大される。
なお、上記において「CANCEL」を選択するポインティング操作をユーザが行った場合、レイアウト指定及び対応関係指定に関する指定がなかったものとされて、ステップS203の処理からやり直しとなる。
また、上述したように、ステップS209においてストリーミング配信される映像データ(一の合成映像データ)は、一の出力元から出力される映像データと略同じデータ量である。従って、一の出力元を指定してストリーミング配信する場合(即ち、ステップS109のストリーミング配信)のトラフィックと、ステップS209のストリーミング配信のトラフィックと、が略同じとなり、医療映像配信システム100全体のトラフィックについて安定化を図ることができる。
ここで「略同じデータ量」とは、比較対象となる映像データの双方が、映像データの全体のデータ量に対してオーダーが2桁以上小さい誤差範囲(±10%未満)に収まることをいう。
例えば、4分割のレイアウトのうち左上の表示領域を指定した場合(ステップS210)、サーバ装置160は、ユーザが任意に指定した当該表示領域に対応付けられている出力元から出力された映像データを読み出して表示端末151にストリーミング配信する(ステップS211)。なお、ステップS211のストリーミング配信は、本発明に係る第二配信処理に相当するものである。
上述したように、ステップS209においてストリーミング配信される映像データ(一の映像データ)は、一の出力元から出力される映像データと略同じデータ量である。そして、ステップS211のストリーミング配信は、一の出力元から出力される映像データをストリーミング配信するものである。従って、ステップS211(第二配信処理)におけるストリーミング配信のトラフィックが、ステップS209(第一配信処理)におけるストリーミング配信のトラフィックと略同じとなり、医療映像配信システム100全体のトラフィックについて安定化を図ることができる。
ここで「トラフィック」とは、医療映像配信システム100における通信回線上の情報量(通信量)をいう。
また、「トラフィックが略同じ」とは、比較対象となるストリーミング配信が安定状態であることを前提として、双方のトラフィックの誤差が、全体のオーダーに対して2桁以上小さい範囲(±10%未満)に収まることをいう。
また、図5に図示される処理手順は、ステップS210が本発明に係る第6ステップに相当し、ステップS211が本発明に係る第7ステップに相当するものと解し得る。
換言すれば、図5は、本発明の医療映像配信方法を示すものである。
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
例えば、本発明に係る医療映像配信システムには、4つの表示端末が含まれる旨を図示したが、これより少ない数の表示端末(表示端末が1つであることを含む)が含まれてもよいし、これより多い数の表示端末が含まれてもよい。
或いは、本発明に係る医療映像配信システムには、2つの手術室に設置された医療機器群が含まれる旨を図示したが、1つの手術室に設置された医療機器群が含まれるのみであってもよいし、これより多い数の手術室に設置された医療機器群が含まれてもよい。
(1)映像データを出力する複数の医療機器と、前記医療機器が出力した映像データを記憶するサーバ装置と、ストリーミング配信によって前記サーバ装置から映像データを受信して再生する一又は複数の表示端末と、を備え、前記表示端末は、複数の前記医療機器の中から映像データの出力元を一又は複数指定する出力元指定処理と、当該表示端末に表示する映像データのレイアウトを指定するレイアウト指定処理と、前記レイアウト指定処理において指定したレイアウトに含まれる一又は複数の表示領域に対して、前記出力元指定処理において指定した出力元をいずれの前記表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する対応関係指定処理と、を実行し、前記サーバ装置は、前記レイアウト指定処理において指定されたレイアウトに含まれる前記表示領域において、前記対応関係指定処理において指定された対応関係に基づいて、前記出力元指定処理において指定された出力元から出力される映像データを編集する編集処理と、前記編集処理において編集した映像データを、前記表示端末に対してストリーミング配信する第一配信処理と、を実行し、前記出力元指定処理において指定された出力元が複数である場合、前記サーバ装置は、前記編集処理において、当該出力元から出力された複数の映像データを合成して、一の出力元から出力される映像データと略同じデータ量である一の合成映像データを生成し、前記第一配信処理において、前記一の合成映像データを前記表示端末にストリーミング配信する医療映像配信システム。
(2)前記表示端末が再生している映像データのレイアウトに複数の前記表示領域が含まれる場合において当該レイアウトの中から一の前記表示領域をユーザが任意に指定した場合、前記サーバ装置は、ユーザが任意に指定した当該表示領域に対応付けられている出力元から出力された映像データを読み出して、当該表示端末にストリーミング配信する第二配信処理を実行し、前記第二配信処理におけるストリーミング配信のトラフィックが、前記第一配信処理におけるストリーミング配信のトラフィックと略同じであることを特徴とする(1)に記載の医療映像配信システム。
(3)前記サーバ装置は、前記編集処理において、前記出力元指定処理によって指定されている出力元のそれぞれに対して定められる識別情報を示す表示を、前記レイアウト指定処理によって指定されているレイアウトに含まれる前記表示領域のそれぞれに付す(1)又は(2)に記載の医療映像配信システム。
(4)前記レイアウト指定処理において指定可能なレイアウトに含まれる前記表示領域の数が、前記出力元指定処理において指定した前記医療機器の数に依存しないことを特徴とする(1)から(3)のいずれか一つに記載の医療映像配信システム。
(5)前記レイアウト指定処理において指定可能なレイアウトに含まれる前記表示領域の数が、前記出力元指定処理において指定した前記医療機器の数より多くなり得る(4)に記載の医療映像配信システム。
(6)映像データを出力する複数の医療機器と、前記医療機器が出力した映像データを記憶するサーバ装置と、ストリーミング配信によって前記サーバ装置から映像データを受信して再生する一又は複数の表示端末と、を用いる医療映像配信方法であって、複数の前記医療機器の中から映像データの出力元を一又は複数指定する第1ステップと、前記表示端末に表示する映像データのレイアウトを指定する第2ステップと、前記第2ステップにおいて指定したレイアウトに含まれる一又は複数の表示領域に対して、前記第1ステップにおいて指定した前記医療機器をいずれの前記表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する第3ステップと、前記第2ステップにおいて指定したレイアウトに含まれる前記表示領域において、前記第3ステップにおいて指定した対応関係に基づいて、前記第1ステップにおいて指定した出力元から出力される映像データを編集する第4ステップと、前記第4ステップにおいて編集した映像データを、前記表示端末に対してストリーミング配信する第5ステップと、を含み、前記第1ステップにおいて指定されている出力元が複数である場合、前記第4ステップにおいて、当該出力元から出力された複数の映像データを合成して、一の出力元から出力される映像データと略同じデータ量である一の合成映像データを生成し、前記第5ステップにおいて、前記一の合成映像データを前記表示端末にストリーミング配信する医療映像配信方法。
(7)前記表示端末が再生している映像データのレイアウトに複数の前記表示領域が含まれる場合において当該レイアウトの中から一の前記表示領域をユーザが任意に指定する第6ステップと、前記第6ステップにおいてユーザが任意に指定した当該表示領域に対応付けられている出力元から出力された映像データを読み出して、当該表示端末にストリーミング配信する第7ステップと、を含み、前記第7ステップにおけるストリーミング配信のトラフィックが、前記第5ステップにおけるストリーミング配信のトラフィックと略同じであることを特徴とする(6)に記載の医療映像配信方法。
110、115 カメラ
111、116、121、126、131、136 IP変換器
120、125 生体モニタ
130、135 内視鏡カメラ
140、145 全景カメラ
151、152、153、154 表示端末
160 サーバ装置
W1 メインウインドウ
W2 レイアウト選択ウインドウ
W3 出力元選択ウインドウ
W4 表示ウインドウ
W5 表示ウインドウ
Claims (7)
- 映像データを出力する複数の医療機器と、
前記医療機器が出力した映像データを記憶するサーバ装置と、
ストリーミング配信によって前記サーバ装置から映像データを受信して再生する一又は複数の表示端末と、を備え、
前記表示端末は、
複数の前記医療機器の中から映像データの出力元を一又は複数指定する出力元指定処理と、
当該表示端末に表示する映像データのレイアウトを指定するレイアウト指定処理と、
前記レイアウト指定処理において指定したレイアウトに含まれる一又は複数の表示領域に対して、前記出力元指定処理において指定した出力元をいずれの前記表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する対応関係指定処理と、
を実行し、
前記サーバ装置は、
前記レイアウト指定処理において指定されたレイアウトに含まれる前記表示領域において、前記対応関係指定処理において指定された対応関係に基づいて、前記出力元指定処理において指定された出力元から出力される映像データを編集する編集処理と、
前記編集処理において編集した映像データを、前記表示端末に対してストリーミング配信する第一配信処理と、
を実行し、
前記出力元指定処理において指定された出力元が一つである場合、前記サーバ装置は、前記編集処理において、指定のレイアウトに含まれる前記表示領域に対して指定の出力元から出力される一の映像データを割り当て、前記第一配信処理において、前記一の映像データを前記表示端末にストリーミング配信し、
前記出力元指定処理において指定された出力元が複数である場合、前記サーバ装置は、前記編集処理において、当該出力元から出力された複数の映像データを合成して、前記出力元指定処理において指定された出力元が一つである場合にストリーミング配信される前記一の映像データと略同じデータ量である一の合成映像データを生成し、前記第一配信処理において、前記一の合成映像データを前記表示端末にストリーミング配信する医療映像配信システム。 - 前記表示端末が再生している前記一の合成映像データのレイアウトの中から一の前記表示領域をユーザが任意に指定した場合、前記サーバ装置は、ユーザが任意に指定した当該表示領域に対応付けられている出力元から出力された映像データを読み出して、当該表示端末にストリーミング配信する第二配信処理を実行し、
前記第二配信処理におけるストリーミング配信のトラフィックが、前記第一配信処理におけるストリーミング配信のトラフィックと略同じであることを特徴とする請求項1に記載の医療映像配信システム。 - 前記サーバ装置は、前記編集処理において、前記出力元指定処理によって指定されている出力元のそれぞれに対して定められる識別情報を示す表示を、前記レイアウト指定処理によって指定されているレイアウトに含まれる前記表示領域のそれぞれに付す請求項1又は2に記載の医療映像配信システム。
- 前記レイアウト指定処理において指定可能なレイアウトに含まれる前記表示領域の数が、前記出力元指定処理において指定した前記医療機器の数に依存しないことを特徴とする請求項1から3のいずれか一項に記載の医療映像配信システム。
- 前記レイアウト指定処理において指定可能なレイアウトに含まれる前記表示領域の数が、前記出力元指定処理において指定した前記医療機器の数より多くなり得る請求項4に記載の医療映像配信システム。
- 映像データを出力する複数の医療機器と、
前記医療機器が出力した映像データを記憶するサーバ装置と、
ストリーミング配信によって前記サーバ装置から映像データを受信して再生する一又は複数の表示端末と、を用いる医療映像配信方法であって、
前記表示端末は、
複数の前記医療機器の中から映像データの出力元を一又は複数指定する第1ステップと、
前記表示端末に表示する映像データのレイアウトを指定する第2ステップと、
前記第2ステップにおいて指定したレイアウトに含まれる一又は複数の表示領域に対して、前記第1ステップにおいて指定した前記医療機器をいずれの前記表示領域に対応付けるかを、ユーザの操作に応じて任意に指定する第3ステップと、
を実行し、
前記サーバ装置は、
前記第2ステップにおいて指定したレイアウトに含まれる前記表示領域において、前記第3ステップにおいて指定した対応関係に基づいて、前記第1ステップにおいて指定した出力元から出力される映像データを編集する第4ステップと、
前記第4ステップにおいて編集した映像データを、前記表示端末に対してストリーミング配信する第5ステップと、
を実行し、
前記第1ステップにおいて指定されている出力元が一つである場合、前記サーバ装置は、前記第4ステップにおいて、指定のレイアウトに含まれる前記表示領域に対して指定の出力元から出力される一の映像データを割り当て、前記第5ステップにおいて、前記一の映像データを前記表示端末にストリーミング配信し、
前記第1ステップにおいて指定されている出力元が複数である場合、前記サーバ装置は、前記第4ステップにおいて、当該出力元から出力された複数の映像データを合成して、前記第1ステップにおいて指定された出力元が一つである場合にストリーミング配信される前記一の映像データと略同じデータ量である一の合成映像データを生成し、前記第5ステップにおいて、前記一の合成映像データを前記表示端末にストリーミング配信する医療映像配信方法。 - 前記表示端末が再生している前記一の合成映像データのレイアウトの中からユーザが任意に指定した一の前記表示領域を前記表示端末から前記サーバ装置に通知する第6ステップと、
前記第6ステップにおいてユーザが任意に指定した当該表示領域に対応付けられている出力元から出力された映像データを、前記サーバ装置が読み出して当該表示端末にストリーミング配信する第7ステップと、を含み、
前記第7ステップにおけるストリーミング配信のトラフィックが、前記第5ステップにおけるストリーミング配信のトラフィックと略同じであることを特徴とする請求項6に記載の医療映像配信方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235455A JP6590388B1 (ja) | 2018-12-17 | 2018-12-17 | 医療映像配信システム及び医療映像配信方法 |
US17/312,643 US20220046326A1 (en) | 2018-12-17 | 2019-12-02 | Medical video distribution system and medical video distribution method |
CN201980084250.9A CN113243113A (zh) | 2018-12-17 | 2019-12-02 | 医疗影像分发系统和医疗影像分发方法 |
PCT/JP2019/047060 WO2020129593A1 (ja) | 2018-12-17 | 2019-12-02 | 医療映像配信システム及び医療映像配信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235455A JP6590388B1 (ja) | 2018-12-17 | 2018-12-17 | 医療映像配信システム及び医療映像配信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6590388B1 true JP6590388B1 (ja) | 2019-10-16 |
JP2020098964A JP2020098964A (ja) | 2020-06-25 |
Family
ID=68235004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018235455A Active JP6590388B1 (ja) | 2018-12-17 | 2018-12-17 | 医療映像配信システム及び医療映像配信方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220046326A1 (ja) |
JP (1) | JP6590388B1 (ja) |
CN (1) | CN113243113A (ja) |
WO (1) | WO2020129593A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3483923B2 (ja) * | 1993-12-28 | 2004-01-06 | オリンパス株式会社 | 画像処理装置 |
US20150297949A1 (en) * | 2007-06-12 | 2015-10-22 | Intheplay, Inc. | Automatic sports broadcasting system |
US6525801B1 (en) * | 1999-11-12 | 2003-02-25 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for controlling moving picture synthesis |
JP2002058017A (ja) * | 2000-08-10 | 2002-02-22 | Nidek Co Ltd | 映像配信装置 |
US7978208B2 (en) * | 2007-04-16 | 2011-07-12 | General Electric Company | Systems and methods for multi-source video distribution and composite display |
JP5305616B2 (ja) * | 2007-06-07 | 2013-10-02 | 株式会社東芝 | 検査データ処理装置及び検査システム |
JP2011030108A (ja) * | 2009-07-28 | 2011-02-10 | Toshiba Corp | 医用画像読影システム |
JP2015195562A (ja) * | 2014-03-20 | 2015-11-05 | 村上 幹次 | 送信信号処理装置及び方法、受信信号処理装置 |
JP7016068B2 (ja) * | 2017-01-13 | 2022-02-04 | ディーブイエックス株式会社 | 映像統合システム |
CN108495141B (zh) * | 2018-03-05 | 2021-03-19 | 网宿科技股份有限公司 | 一种音视频的合成方法及系统 |
-
2018
- 2018-12-17 JP JP2018235455A patent/JP6590388B1/ja active Active
-
2019
- 2019-12-02 WO PCT/JP2019/047060 patent/WO2020129593A1/ja active Application Filing
- 2019-12-02 CN CN201980084250.9A patent/CN113243113A/zh active Pending
- 2019-12-02 US US17/312,643 patent/US20220046326A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2020129593A1 (ja) | 2020-06-25 |
CN113243113A (zh) | 2021-08-10 |
US20220046326A1 (en) | 2022-02-10 |
JP2020098964A (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7492388B2 (en) | System and method for automatic processing of endoscopic images | |
JP5347089B1 (ja) | 医療情報記録装置 | |
US20140267658A1 (en) | Surgical Imaging System And Method For Processing Surgical Images | |
JP7218728B2 (ja) | 制御装置および制御方法 | |
JP6369706B1 (ja) | 医療動画処理システム | |
US10561299B2 (en) | Medical information recording device | |
JP2005110878A (ja) | 手術支援システム | |
JP2008271547A (ja) | 複数のソースの映像を配信および合成表示するためのシステムおよび方法 | |
JPWO2015114901A1 (ja) | 医療用動画記録再生システム及び医療用動画記録再生装置 | |
JP6590388B1 (ja) | 医療映像配信システム及び医療映像配信方法 | |
US11496662B2 (en) | Image processing apparatus, image processing method, and image pickup system for displaying information associated with an image | |
WO2019193935A1 (ja) | 医療動画処理システム | |
JP2005044004A (ja) | 医療画像記録装置 | |
JP2020039432A (ja) | 医療映像スイッチャー | |
JP2006122375A (ja) | 手術記録装置及び脳機能検査装置 | |
JP6637291B2 (ja) | 医療支援システムおよび検査画像検索方法 | |
JP2001175784A (ja) | 電子カルテ装置および紹介状伝送装置 | |
CN114268766B (zh) | 数字化手术室的数据处理方法及系统 | |
JP7382735B2 (ja) | 医用情報処理システム | |
CN219018883U (zh) | 一种视频分段录制的系统 | |
JP5111924B2 (ja) | 医用画像診断装置 | |
JP3181625B2 (ja) | 画像ファイル装置 | |
CN115348403A (zh) | 手术影像资料的管理方法、手术视频的录制方法和服务器 | |
US20070287124A1 (en) | System to assist in explaining condition of periodontal disease | |
JP5642943B2 (ja) | 画像診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190111 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6590388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |