[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6858243B2 - 試料容器の容器キャップを識別するためのシステム、方法及び装置 - Google Patents

試料容器の容器キャップを識別するためのシステム、方法及び装置 Download PDF

Info

Publication number
JP6858243B2
JP6858243B2 JP2019504121A JP2019504121A JP6858243B2 JP 6858243 B2 JP6858243 B2 JP 6858243B2 JP 2019504121 A JP2019504121 A JP 2019504121A JP 2019504121 A JP2019504121 A JP 2019504121A JP 6858243 B2 JP6858243 B2 JP 6858243B2
Authority
JP
Japan
Prior art keywords
container
container cap
sample
different
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019504121A
Other languages
English (en)
Other versions
JP2019531463A (ja
Inventor
クルックナー,シュテファン
チャン,ヤオ−ジェン
チェン,テレンス
エス. ポラック,ベンジャミン
エス. ポラック,ベンジャミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2017/014773 external-priority patent/WO2017132167A1/en
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2019531463A publication Critical patent/JP2019531463A/ja
Application granted granted Critical
Publication of JP6858243B2 publication Critical patent/JP6858243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/54Labware with identification means
    • B01L3/545Labware with identification means for laboratory containers
    • B01L3/5453Labware with identification means for laboratory containers for test tubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • G01N2035/0401Sample carriers, cuvettes or reaction vessels
    • G01N2035/0406Individual bottles or tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本願は、2016年7月25日提出の米国仮特許出願62/366,350、名称「試料容器キャップを識別するためのシステム、方法及び装置」の優先権を主張し、この米国仮特許出願は、あらゆる目的でここに援用される。
また、本願は、2017年1月24日提出の国際出願PCT/US2017/014773、名称「複数の横方向の視界から試料容器を識別するように構成された方法及び装置」に関連すると共にその優先権を主張し、この国際出願は、あらゆる目的でここに援用される。
本発明は生体試料検査において使用される検査前処理方法及び装置に関し、より詳しくは、試料容器の容器キャップの構成を決定するための方法及び装置に関する。
尿、血清、血漿、組織液、脳脊髄液などの試料中の分析物又はその他の成分を識別するために、自動検査システムは、1つ以上の試薬を使用してアッセイ(測定)又は臨床分析を行うことが可能である。利便性及び安全性の理由から、これらの試料は、ほぼ例外なく、容器キャップで蓋をできる試料容器(例えば血液採取管など)内に収容される。アッセイ/検査反応は様々な変化を発生させる。その変化を読み取り、場合によっては処置することによって、試料内に含まれる分析物又はその他の成分の濃度を決定することが可能であり、その濃度により患者の病状を示す場合もある。
自動化検査技術における改良は、ラボラトリーオートメーションシステム(LAS)と呼ばれる自動化システムによる、仕分け、バッチ準備、試料成分分離のための試料容器の遠心分離、流体通路を容易とするための容器キャップの取り外し、試料容器運搬などの検査前試料準備及び取り扱い動作におけるそれぞれの進化を伴ってきた。LASは、試料容器に入った試料を1つ以上の検査前試料処理ステーションに自動的に搬送することによって、分析を実行する前にそれに対して様々な処置を実行することができる。
これらのLASは、バーコードがラベル付けされた標準的な試料管に収容された様々な試料を数多く取り扱う場合が多い。このバーコードラベルは、検査オーダー及びその他の必要な情報とともに受け入れ番号を含む場合があり、この受け入れ番号は、病院のラボラトリー情報システム(LIS)に入力され得る人口統計情報と相関可能である。操作者はラベル付けされた試料容器をLASシステムに設置し、LASシステムは、遠心分離、キャップ取り外し、及び一定分量準備などの検査前処置のために試料容器を自動的に仕分けしてルートを決定する。これらはすべて、LASの一部でもあり得る1つ以上の分析器による臨床分析を試料が実際に受ける前に実行され得る。
検査システムにおいて、分析を受けるために提示される試料容器は、様々な高さ及び様々な直径などの様々なサイズを有し、さらにゲルセパレーター、粉末ガラス凝固活性剤やトロンビン系活性剤などの凝固剤、エチレンジアミン四酢酸(EDTA)、ヘパリンナトリウムやリチウムなどの抗凝固剤、又は、クエン酸デキストロース(ACD)、フッ化ナトリウム及びシュウ酸カリウムなどの抗解糖添加剤などの様々な物質を収容することが可能である。容器キャップ色は、様々な添加剤を識別するために利用可能であり、試料に対して実行される検査タイプ又は単純に管のタイプを示し得る。例えば、赤色の容器キャップは血清採取管を指すために使用される場合があり、一般に凝固活性剤などの凝固剤を含む場合が多く、さらにゲルセパレーターを含む場合もある。オレンジ色の容器キャップは、トロンビン系の凝固活性剤を含む場合があり、凝固が迅速に必要とされるSTAT検査のためにも使用可能である。紫色などの抗凝固キャップ色はEDTAを含む場合があり、血液型の検査及び細胞数の計測のために使用される基本的な血液採取管を識別することも可能である。水色の容器キャップ色は凝固のためのクエン酸ナトリウムの添加及び血小板機能検査を識別することができる。緑色の容器キャップは、血漿検査のためのヘパリンリチウム/ナトリウムを含む管を識別することができる。黄色はポリアネトールスルホン酸ナトリウムを含む場合があり、細菌増殖及び微生物学的検査のために使用される場合がある。
ヒューマンエラーの傾向のために、検査室の技術者による視覚的な検査を使用することなく、自動化された方法によって容器キャップを含む試料容器のサイズ及びタイプを評価することが望ましい。さらに、試料容器は、試料容器に直接貼り付けられたバーコードラベルを含む場合がある。1つ以上のラベルは試料を部分的に遮蔽する場合があるため、試料の血清又は血漿部分を視覚的に観察する明確な機会がない場合がある。Millerの特許文献1に記載されるような他のシステムでは、ラベルによって邪魔されないビューウィンドウを見つけるために試料容器を回転させた後、光学撮像システムを使用して試料容器の相対的サイズ及び容器キャップタイプを計測することが説明されている。ただし、そのようなシステムは簡単には自動化できない傾向にある。
米国特許出願公開2012/0140230
試料容器及び容器キャップのサイズ又はタイプの決定に際しての上記の難点を理由として、前スクリーニング処理の一部としてサイズ及びタイプを容易に決定するように構成された方法及び装置を求める必要性は、未だ満たされていない。前スクリーニングを実行する方法及び装置は、分析検査結果が得られる速度に対して顕著に悪影響を及ぼすべきではなく、すなわち検査処理全体の速度を顕著に低下させるべきではない。さらに、そのような方法及び装置は、ラベル付けされた試料容器に対して使用できなくてはならず、その回転が不要でなければならない。
一態様によれば、管、容器キャップ、及びラベルを少なくとも含む試料容器の容器キャップを識別する方法が提供される。該方法は、試料容器を撮像位置へ供給し、複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さ(露光時間)を適用して容器キャップの背面照明画像を撮像し、公称波長のそれぞれにおいて異なる露光の長さで撮像された複数の画像から、公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して公称波長毎に最適露光の画像データセットを生成し、この生成した画像データセットの最適露光画素を、少なくとも管、容器キャップ、及びラベルのうちの1つであるとして分類し、この分類により容器キャップとして分類した最適露光画素と公称波長毎の画像データセットとに基づいて容器キャップの形状を識別することを含む。
他の態様によれば、管、容器キャップ、及びラベルを少なくとも含む試料容器の容器キャップを識別するように構成された品質チェックモジュールが提供される。この品質チェックモジュールは、試料容器を受け入れるように構成された撮像位置の周辺の複数の視点に配置された複数のカメラであって、複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さ(露光時間)を適用して容器キャップの少なくとも一部の複数の背面照明画像を前記複数の視点から撮像するように構成された、複数のカメラと、当該複数のカメラに接続されたコンピュータとを含み、そのコンピュータは、公称波長のそれぞれにおいて異なる露光の長さで撮像された複数の画像から、公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して公称波長毎に最適露光の画像データセットを生成し、この生成した画像データセットの最適露光画素を、少なくとも管、容器キャップ、及びラベルのうちの1つであるとして分類し、この分類により容器キャップとして分類した最適露光画素と公称波長毎の画像データセットとに基づいて容器キャップの形状を識別するように構成され動作可能である。
別の態様によれば、試料検査装置が提供される。この検査装置は、トラックと、該トラック上を移動可能な試料搬送機器であって、管、容器キャップ、及びラベルを少なくとも含む試料容器を搬送するように構成された試料搬送機器と、トラックに配置されて容器キャップを識別するように構成された品質チェックモジュールとを含み、品質チェックモジュールは、試料容器を受け入れるように構成された撮像位置の周辺の複数の視点に配置された複数のカメラであって、複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さ(露光時間)を適用して容器キャップの複数の背面照明画像を前記複数の視点から撮像するように構成されたカメラと、当該複数のカメラに接続されたコンピュータとを含み、そのコンピュータは、公称波長のそれぞれにおいて異なる露光の長さで撮像された複数の画像から、公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して公称波長毎に最適露光の画像データセットを生成し、この生成した画像データセットの最適露光画素を、少なくとも管、容器キャップ、及びラベルのうちの1つであるとして分類し、この分類により容器キャップとして分類した最適露光画素と公称波長毎の画像データセットとに基づいて容器キャップの形状を識別するように構成され動作可能である。
本発明の他の態様、特徴及び利点は、本発明を実施するにあたり熟慮されたベストモードを含む数多くの実施形態及び実施例を例示することによって、以下の説明から容易に明らかとなる。本発明の他の異なる実施形態も可能であり、そのいくつかの詳細は、本発明の範囲から逸脱することなく様々な点で修正可能である。したがって、図面及び明細書は本質的に例示目的とみなすべきものであり、限定的としてみなすべきではない。本発明は、特許請求の範囲に入るすべての修正、同等物、及び代替案に及ぶ。
以下に説明する図面は例示目的に過ぎず、正確な縮尺率ではない。図面は、いかなる場合においても本発明の範囲を限定することを意図したものではない。図面全体において、同様の番号は同様の要素を指すものとする。
図1は、1つ以上の実施形態による1つ以上の品質チェックモジュール及び1つ以上の分析器(臨床化学又はアッセイ器具)を含む試料検査装置の上面図を示す。 図2は、1つ以上の実施形態による、寸法定量化方法によって定量化可能な、分離された試料を含むラベル付けされた試料容器の側面図を示す。 図3は、1つ以上の実施形態による、寸法定量化方法によって定量化可能な、分離された試料を含むラベル付けされた試料容器の側面図を示す。 図4Aは、1つ以上の実施形態による、複数の画像を撮像及び分析するように構成された品質チェックモジュールの概略上面図を示す(図示を容易にするためハウジング上部は取り除いてある)。 図4Bは、1つ以上の実施形態による、図4Aの品質チェックモジュールの概略側面図を示す(図示を容易にするためハウジング側部は取り除いてある)。 図4Cは、1つ以上の実施形態による、複数の画像を撮像及び分析するように構成された代替の品質チェックモジュールの概略上面図を示す(図示を容易にするためハウジング上部は取り除いてある)。 図4Dは、1つ以上の実施形態による、図4Cの品質チェックモジュールの概略側面図を示す(図示を容易にするためハウジング側部は取り除いてある)。 図5は、1つ以上の実施形態による、試料容器を定量化するように適応された品質チェックモジュールの機能的構成要素のフローチャートを示す。 図6は、1つ以上の実施形態による、試料容器を定量化するように適応された上位の撮像方法のフローチャートを示す。 図7は、1つ以上の実施形態による、試料容器を定量化する方法のフローチャートを示す。 図8は、1つ以上の実施形態による、異なる露光の長さにおいて白色光を用いて撮像された第1の容器キャップ例を含む容器の一連の画像を示す。 図9は、1つ以上の実施形態による、異なる露光の長さにおいて赤色光を用いて撮像された第1の容器キャップ例を含む容器の一連の画像を示す。 図10は、1つ以上の実施形態による、異なる露光の長さにおいて緑色光を用いて撮像された第1の容器キャップ例を含む容器の一連の画像を示す。 図11は、1つ以上の実施形態による、異なる露光の長さにおいて青色光を用いて撮像された第1の容器キャップ例を含む容器の一連の画像を示す。 図12は、1つ以上の実施形態による、異なる露光の長さにおいて白色光を用いて撮像された第2の容器キャップ例を含む容器の一連の画像を示す。 図13は、1つ以上の実施形態による、異なる露光の長さにおいて赤色光を用いて撮像された第2の容器キャップ例を含む容器の一連の画像を示す。 図14は、1つ以上の実施形態による、異なる露光の長さにおいて緑色光を用いて撮像された第2の容器キャップ例を含む容器の一連の画像を示す。 図15は、1つ以上の実施形態による、異なる露光の長さにおいて青色光を用いて撮像された第2の容器キャップ例を含む容器の一連の画像を示す。
第1の広範な態様において、本発明の実施形態は、外部及び内部の両方から、試料容器の容器キャップの形状及び寸法など、容器キャップの物理的属性を判断するように構成され動作することが可能(動作可能)な撮像方法及び装置を提供する。1つ以上の実施形態において、本方法は、容器キャップの存否を判断し、容器キャップの内部構造及び外部構造の形状に基づいて容器キャップタイプ容器キャップ色のどちらか又は両方を識別することが可能である。1つ以上の実施形態において、さらに、試料容器の保持装置を識別することによって、特徴付けにおけるその影響を除去する、又は少なくとも最小限に抑えることができる。
臨床ラボ自動化手順における課題は、試料の容器(試料容器)の全体論的な特徴付けである。特に、試料容器タイプの強固な(ロバストな)判別、すなわち容器キャップタイプ及び試料容器タイプ自体の分類は、診断自動化及び強固な意思決定にとって最重要である。例えば、分析中の予測される液体構造に関する重要な情報を与える。通常、試料容器は様々な紙タグ(例えば、製造者紙タグやバーコードなどを有するタグ)が貼り付けられている。試料容器タイプに関連した特徴は遮蔽されているため不可視で正確な判断のためには使用できないことから、その現実世界での状況が分類を困難にしている。RGB形式の写真(例えば、白色光照明下での撮像)は、色と形状のどちらか又は両方の情報に基づいた分類を実行するために使用可能である。様々な特徴表現が判別のために利用可能であり、色ベース又は傾きベースの特徴は、高度に研究された機械学習技術(すなわち、SVM、決定木、ニューラルネットワークなど)を使用した分類の根拠を提供し得る。ただし、異なる試料容器タイプ及び容器キャップタイプの間での眼で見える偏差はわずかな場合があるため、強固に分類することは難しい。さらに、紙タグによる遮蔽など現実世界の状態が、従来の照明、例えば周辺照明又は前面照明を使用しての課題解決を困難にしている。
本発明の実施形態は、(1)可視の容器キャップを、事前に定義して訓練した容器キャップタイプのプールから抽出した一意のタイプに分類し、(2)試料容器タイプを、訓練した試料容器の一意のタイプに分類することによって、試料容器及び容器キャップを強固に特徴付ける、光学的且つ自動的で非接触の方法を提供する。容器キャップのプールは、容器キャップ色(単色又は二色モード)及び幾何学的形状などの様々な外見をした30以上の異なるタイプ(例えばキャップされた試料容器、TTSC(tube top sample cup:管上部試料カップ)又は通常の試料容器など)を含み得る。多くの場合、様々な容器キャップタイプの判別はかなり単純であるが、いくつかのタイプは、例えば通常の(前面)照明下では不可視の内部構造など、詳細を考慮してのみ判別可能である。試料容器タイプ自体は材料及び構造において様々に異なる。一般的には通常の試料容器が使用されるが、キャピラリー試料容器や二重底の試料容器がシステムに提示される場合がある。いくつかの実施形態において、試料容器が識別される前にすべての試料容器タイプが既知であるものと仮定する。
本発明の実施形態は、異なる露光の長さ(露光時間)において異なる公称波長(波長範囲)の高輝度照明(例えば白色光)を透過させる試料容器材料の物理的特性を使用する。光源は試料容器の背後に配置されるため、撮像画像の各容器キャップの画素は、所定の露光時間(すなわち長さ)及び波長で容器キャップ材料を透過した光量を符号化している。試料容器の内部構造は一意のサインを生成(紙タグなどの繊維質の材料を通してでも生成)するため、機械学習ベースの手続時には判別のために使用可能である。
典型的に、光(複数の波長からなる)が材料にぶつかると、光の成分はその材料によって吸収、散乱、透過し得る。光源が固定の場合、この効果の振る舞いは使用される材料に応じて変化する。光の透過を可能とする材料、すなわちTTSC(管上部試料カップ)又は容器キャップのない試料容器に使用されるガラスのような材料は透光性である。不透明な材料は、すなわち暗い色の固形キャップ又はある数の紙タグが重なったものなどは、いずれの光波周波数も透過できない。大部分の材料は特定の光周波数の吸収において選択的である材料からなり、すなわちスペクトルの一部を吸収する(すなわち、異なる容器キャップの主要グループ(例えば有色のプラスチック系材料)、変形の主要グループ、繊維質材料(例えば紙タグ)がある)。
詳細には後述するが、特定の露光の長さにおいて、内部試料容器構造は可視であり(例えば紙タグを通してでも可視)、そのため容器キャップタイプを含む異なる試料容器タイプ間における判別のために使用可能である。特に、本発明の実施形態は、紙タグが試料容器の大部分を遮蔽し得る二重底の試料容器を識別する点で大きな利点を有する。したがって、照明のための光エネルギーが特定の量に達すると、判別対象の内部構造の視覚化が可能となり、さらに異なる材料色における波長特定の反応に応じた特定のパターンを提示する。試料容器は、様々な露光時間及び波長における背面照明を透過させる。長い露光時間で撮像されたパッチは、紙タグを通してでも内部キャップ構造を視覚化する上で明確な助けとなる。白色光照明を使用可能であるが、異なる公称波長を用いた照明からの反応の合成も使用可能である。複数の色反応があれば、試料容器タイプの異なる色の判別が容易になる。いくつかの実施形態において、1つ以上のカメラセンサを用いて十分な光エネルギーを収集するために様々な露光時間が使用される。
試料容器の特徴付けは、容器キャップを含む試料容器の広範囲にわたる360度の視界を撮像するように構成されたシステムによって得られた画像を使用することによって実行される。このような仕組みは、個別であるがわずかに重なっている画像をシステムに供給する。個々の画像は、死角を避けるように異なる視点から容器キャップを含む試料容器の横方向のビューを示す。いくつかの実施形態において、照明はLCDパネルによって制御される。試料容器はカメラとLCDパネルとの間に配置される。さらに、本方法のいくつかの実施形態において、試料容器がとり得る位置又は方向に関して条件とされる前提はない。試料容器の360度の観察結果が利用可能となることによって、遮蔽に対する一貫した分類が可能となり、さらに複数のビューからの意思決定を改善するために冗長な試料容器の観察結果(すなわち重複した領域)を作成する。例えば、個々の分類は、3つの異なる視点と、その3つの観察結果を集約した結果とから実行可能である(例えば、Late Fusion)。いくつかの実施形態において、単一の分類処理の際に3つのビューを組み合わせて共に使用できる(例えばEarly Ffusion)。
試料容器タイプの分類のために、本発明の実施形態では、規定の露光の長さで撮像された多重スペクトル画像のスタックを使用できる。多重スペクトル画像は、赤色部、緑色部、青色部を示すそれぞれの色(吸収及び反射)に応じた様々な波長(及びかなり小帯域幅)において収集された画像からなっていてもよい。また、結果として従来のRGB画像となる(例えば3層の情報)白色光構成を用いて入力画像となり得る画像を収集してもよい。
いくつかの実施形態において、前処理工程から、容器キャップ部を残して試料の容器の試料容器部をマスクしたバイナリ画像が想定される。このマスクは、基準画像と試料を示した観察結果とを使用することによって生成することができる。基本的な差及び閾値の演算によって結果的にバイナリマスクが得られる。このバイナリマスクは、例えば容器キャップのみを示す矩形の二次元パッチの抽出を目的とする。可能な正規化画像パッチのサイズは、200×200画素でもよい。この画像パッチのサイズは、検査時の処理時間に影響する場合がある。例えば、画像毎に約100ms以下の範囲の応答時間が実現可能である。試料容器タイプの分類のため、関連領域の抽出を試みる代わりにバイナリマスク全体を使用可能である。
容器キャップタイプ及び試料容器タイプの両方の分類のため、教師あり機械学習方法を使用可能である。この方法は、訓練段階(訓練フェーズ)及び試験段階(試験フェーズ)を含む。分類における効率と確実な最新技術の結果を理由として、「深層学習」に基づく分類技術を適用可能である。この場合の「深層学習」において、第1の層は入力として正規化画像パッチをとり、出力層はクラスラベルを供給し、すなわち容器キャップタイプ又は試料容器タイプの一方に対する決定を実現する。いくつかの実施形態において、W×H×3のサイズの画像パッチが考えられる。この場合、3層の情報が白色光照明から直接生成されるか、もしくはR・G・B色を示す3つの異なる波長反応から構成される。
いくつかの実施形態において、畳み込みニューラルネットワーク(CNN)が使用される。例えば、試料容器関連の認識の文脈において、「LeNet」の拡張版を画像分類のために使用可能である。「深層学習」のその他の利点は、訓練処理中の大量のデータを取り扱う機能であり、それによってデータのサンプル化を回避する。
「深層学習」は、考慮された訓練データから判別可能な特徴表現を直接生成する優れた処理能力を示してきた。それによって、事前に特定の特徴記述子を設計する必要がない。特に、背面照明された試料容器を使用することによって視覚化される微細構造は弁別力を提供可能であるため、「深層学習」は試料容器分類の課題解決に対して有効である。
訓練段階において、分類器はターゲットのグランドトゥルースラベルを使用する。これらのラベルは試料容器のレベルで生成可能であり、これは試料毎にシステムが容器キャップのタイプを説明するのに対応する単一の一意のラベルを前提とすることを意味する。訓練処理の間、ネットワークパラメータ(すなわち重み付け)の勾配降下最適化を用いることによって損失関数が最小限に抑えられ、例えば、グランドトゥルース訓練ラベルを考慮した場合にネットワークによってなされるエラーを最小限に抑える。検査/分類段階においては、各画像パッチは、ネットワークを介して解析され、それぞれの特定の容器キャップクラス又は試料容器タイプクラスに対する信頼値が最終的に割り当てられる。最終的なオブジェクトクラスは、信頼値のセットの最大点集合化を行うことによって抽出可能である。試料容器観察結果に対する最終決定を生成するために、複数のビューにおける集約が考慮されてもよい。
本発明の実施形態は、多数の異なる容器キャップタイプ(例えばタイプの数は30種以上)を判別するための画像ベース及び非接触の分類、複雑な試料容器タイプを判別するための画像ベース及び非接触の分類、様々な波長による背面照射を用いた容器キャップタイプの自動ソフトウェアベースの分類、様々な波長による背面照射を用いた試料容器タイプの自動ソフトウェアベースの分類、高エネルギー照明に起因して視覚化された内部構造を用いての容器キャップタイプの自動ソフトウェアベースの分類、高エネルギー照明に起因して視覚化された内部構造を用いての試料容器タイプの自動ソフトウェアベースの分類、試料容器材料の物理的特性に基づいた判別、試料容器及び容器キャップタイプの効率的な分類のためにデータ特定の特徴表現の学習を実現する。
試料容器の幅(W)が既知であれば試料の様々な部分の定量化(例えば、量又は深さ)に使用でき、例えば血清もしくは血漿部、沈殿血液部、又はその両方の定量化などに使用できる。正しい試料容器がオーダーされた検査に対して使用されたかを検証するため、又は、オーダーされた検査が試料容器内に存在する添加剤によって悪影響を受けないことを確認するため、あるいはこれら両方のために、容器キャップタイプ容器キャップ色のどちらか又は両方をLISからの検査要求と相関させてもよい。試料容器の高さ(HT)をロボットシステムが使用することによって、吸引システムのピペットの基準高さを設定し、試料容器とピペットとの衝突を最小限にすることもできる。さらに、HTを使用することによって、ロボットの把持部が試料容器を適切に把持可能となる。
本明細書で説明するような試料は、血液採取管などの試料容器に採取される場合があり、分画(例えば遠心分離による分離)後の血清及び血漿部及び沈殿血液部を含む場合がある。沈殿血液部は白色血液細胞(白血球)、赤色血液細胞(赤血球)及び血小板などの血液細胞からなり、通常遠心分離にかけられて血清又は血漿部から凝集して分離される。沈殿血液部は、試料容器の下部で一般に見られる。血清又は血漿部は、沈殿血液部の一部ではない、血液の液体構成要素である。一般に沈殿血液部の上に見られる。
血漿及び血清は、主にフィブリノーゲンである凝集成分の含有量が異なる。血漿は凝固しない液体である一方、血清は内因性の酵素又は外因性の成分などの凝固剤の影響を受けて凝固が可能であった血漿を指す。血清又は血漿部は、凝固剤に露出されたかに応じて血清又は血漿からなる。場合によって、血液試料は抗凝固剤に露出される場合がある。いくつかの試料容器においては、少量のゲルセパレーターが使用される場合があり、そのようなゲルセパレーターは遠心分離時の沈殿血液部と血清又は血漿部との間に一般に位置する。2つの部分間の分離バリアの役割を果たす。
1つ以上の実施形態によれば、この方法は、検査前検査方法として、すなわち臨床分析器又はアッセイ器具での分析を実行する前の前スクリーニング方法として実行することもできる。1つ以上の実施形態において、この方法は、試料がアーチファクト(例えば、塊、気泡、又は泡)の存否と干渉成分(例えば、溶血、黄疸、又は脂肪血症(HIL))の存否のどちらか又は両方を調べるために定量化及び特徴付けされる前又はそれと同時に実行可能である。これによって、1つ以上の実施形態において、本発明は、さらなる検査前検査のため、又は品質チェックモジュールにおける物理的寸法の事前検査後の分析検査のために、容器キャップを含む試料容器の寸法の有効な特徴付けを実現する。
1つ以上の実施形態において、本方法は、試料容器の容器キャップの物理的構造を決定する際の支援となるようにハイダイナミックレンジ(HDR)画像処理を使用する。当然ながら、いくつかの実施形態において、HDR画像処理を使用して、血清又は血漿部と他の血液成分のどちらか又は両方の様々な物理的境界の場所の識別を行ってもよい。
いくつかの実施形態において、寸法特徴付け方法を実行するように構成された品質チェックモジュールが提供される。品質チェックモジュールは、ロボット又は搬送機構が上記のような試料容器に収容された試料を品質チェックモジュールへ搬送する場所に設けることができる。いくつかの実施形態において、品質チェックモジュールは搬送トラック上に設けられてもよい。この場合、搬送トラックは、分析(例えば分析検査又はアッセイ)のために試料を遠隔位置に搬送する。化学分析又はアッセイは適切な分析器で行われてもよい。本明細書で使用されるような「分析器」という用語は、臨床化学分析器やアッセイ器具などを意味する。いくつかの実施形態において、品質チェックモジュールがトラック上に設けられることによって、試料容器は、入力レーン又はトラック上の他の場所など、トラック上に存在していながら寸法の特徴付けがなされてもよい。
1つ以上の実施形態において、処理後のHDRデータを寸法特徴付けのために使用してもよいが、量定量化、アーチファクト検出、HIL検出のいずれか1つ以上のためにも使用され得る。本明細書における寸法定量化方法で使用されるすべての撮像画像は、複数の画素を含む画素化された画像である。本明細書で使用されるような画素は、単一画素又はスーパーピクセルなどの画素のグループを意味する。11個の個別画素×11個の個別画素のサイズを有するスーパーピクセルは、スキャニングや処理などに有効に働くことがわかっている。その他の適切なサイズのスーパーピクセルが使用されてもよい。
本発明の1つ以上の実施形態のある側面において、血清又は血漿部の深度又は量、さらに場合によっては沈殿血液部の深度又は量を決定するために、セグメンテーションから得られた境界情報とともに、寸法特徴付けから得られた試料容器の幅(W)に関するデータを使用可能である。
HDR処理を含む特徴付け方法は、異なる公称波長を有する複数の異なる光によって照明され、さらには複数の視点からの複数の露光(例えば露光の長さ)における、品質チェックモジュールでの複数の画像の撮像を含んでもよい。いくつかの実施形態において、画像は品質チェックモジュール内に配置された複数のカメラで撮像してもよい。本明細書で使用されるような「カメラ」は、分析のための画像(例えばデジタル画像)を撮像可能なあらゆる装置を意味する。
複数のカメラによって撮像された画像は、その後、容器キャップの形状及び寸法を決定するためにコンピュータによって処理され、試料の深度と量のどちらか又は両方を定量化するために使用可能である。セグメンテーション処理の間、画像のそれぞれにおける各画素に対して、使用される波長毎に最適な画像輝度(すなわち最適な露光)を示す画素が選択され、その他の画素位置からの他の最適な画素と合成されて強化画像データセットを生成する。その結果として、画素のすべてが最適に露光されている(例えば、色(例えば、R、G及びB)毎に1つの画像データセット)、複数の正規化強化画像データセット(例えば赤(R)、緑(G)、青(B))が得られる。
正規化された強化色データセットからのデータは、画素毎の統計データ(例えば、平均及び共分散行列)を決定する統計的分析にかけることができる。「共分散」は、輝度などの画素属性のうちの2つ以上の属性がどのくらい相関しているかの大きさである。その後、この1つ以上のデータ行列の形態をした統計データはマルチクラス分類器によって演算可能である。これから、容器キャップの形状が分類可能である。特に、容器キャップの外部形状及び構造が識別可能である。さらに、容器キャップの内部形状及び構造、容器キャップのタイプ、容器キャップの色も判断可能である。
マルチクラス分類器を使用して上記のセグメンテーションのタスクを実行してもよい。この分類器は、複数の訓練セットから訓練された、例えばサポートベクターマシン(SVM)又はランダム決定木でもよい。ただし、その他のタイプの分類器を使用してもよい。
容器キャップを含む試料容器の寸法は、セグメンテーション処理からの出力に基づいて決定可能である。液体部分(すなわち血清又は血漿部)は分類器によっても定義可能であり、寸法特徴付け方法によって取得された幅(W)とともに境界データを使用することによって、液体部分(例えば血清又は血漿部)の量を決定することができる。
本発明の寸法特徴付け方法、品質チェックモジュール、品質チェックモジュールを含む試料検査システムのさらなる詳細を図1〜図15を参照して説明する。
図1は、1つ以上の分析器(例えば試料検査装置100に関して配置された第1、第2、及び第3の分析器106,108,110)による分析の前に積載領域105に設けられた1つ以上のラック104に収容され得る試料容器102のうちの複数の試料容器を自動的に処理する能力をもち動作可能な試料検査装置100を示す。なお、使用可能な分析器の数は上記よりも多くても少なくてもよいことは明らかである。分析器は、1つ以上の臨床化学分析器、1つ以上のアッセイ器具、これらと同様のもの、又はその組み合わせでもよい。試料容器102は、血液採取管など、一般に透明又は半透明の容器であり得る(図2参照)。
典型的に、自動処理対象の試料212(図2)は、容器キャップ214(図2、ストッパとも呼ばれる)をする場合もある試料容器102に入って試料検査装置100に供給される。容器キャップ214は、様々な形状、外部構造、内部構造及び色(例えば、赤、ロイヤルブルー、水色、緑色、灰色、黄褐色、黄色又はその他の色)を有する。色は、実行される検査、又は場合によっては試料容器102に入れて供給される添加剤に関する有用な情報を提供する。試料容器102のそれぞれは、バーコード、アルファベット、数字、文字数字式表示又はその組み合わせなど、試料検査装置100に関して様々な位置で機械判読可能な識別情報215を提示可能な管212Tを含んでもよい。識別情報215は、患者の個体情報識を示し、場合によっては例えば試料212に対して実行される検査を示す。識別情報215は、オーダーされた検査などに関する追加情報を提供するためにラボラトリー情報システム(LIS)147と連係する。このような識別情報215は、一般に、試料容器102に貼り付けられるか、その側部に設けることが可能なラベル218で提供される。ラベル218は、一般に、試料容器102の全周、全長を覆って設けられることはない。したがって、ラベル218は試料212の一部を遮蔽する場合があるが、試料212の一部は可視として残される。いくつかの実施形態において、複数のわずかに重なったラベル218が存在する場合がある。いくつかの実施形態において、ラック104は、追跡のために使用可能な追加の識別情報をその表面上に有する。
分画後、試料212は管212T内に収容された状態で血清又は血漿部212SP及び沈殿血液部212SBを含み得る。空気212Aが血清及び血漿部212SPの上に供給されており、空気212Aと血清又は血漿部212SPとの間の境界線は、ここでは液体−空気界面(LA)として定義される。血清又は血漿部212SPと沈殿血液部212SBとの間の境界線は、ここでは血清−血液界面(SB)として定義される。空気212Aと容器キャップ214との間の界面は、ここでは管−キャップ界面(TC)と呼ばれる。管の高さ(HT)は、管212Tの物理的最下部から容器キャップ214の下縁までの高さとして定義される。血清又は血漿部212SPの高さ(HSP)は、沈殿血液部212SBの上端から血清又は血漿部212SPの上端まで、すなわちSBからLAまでの高さとして定義される。沈殿血液部212SBの高さ(HSB)は、沈殿血液部212SBの下端から沈殿血液部212SBの上端までの高さとして定義される。図3などのゲルセパレーター313が使用される実施形態において、血清又は血漿部212SPとゲルセパレーター313との間の界面(SG)が存在する。同様に、沈殿血液部212SBとゲルセパレーター313との間の界面(BG)が存在する。この場合、HTOTはHSBにHSPを加算したものである。Wは管212Tの幅である。
詳細には、試料検査装置100は、トラック121が取り付けられる、又はそれが支持される基部120(例えばフレーム又はその他の構造)を含んでいる。トラック121は、レール状トラック(例えばモノレールトラック又は複数レールトラック)、ベルトコンベアの集合、チェーン、可動プラットフォーム、又はその他の適切な搬送機構である。トラック121は円形、蛇行形、又はその他の形状を有し、いくつかの実施形態において閉トラック(すなわち循環トラック)でもよい。トラック121は、搬送機器122に載せてトラック121上を運搬可能な試料容器102を個々に搬送し、又はいくつかの実施形態において試料容器102を複数搬送する。試料容器102は、トラック121を移動可能な搬送機器122の置き場で受け入れられるように構成可能である。
1つ以上の実施形態において、搬送機器122は単一の試料容器102を運ぶように構成された吸盤でもよい。いくつかの実施形態において、搬送機器122は、プログラミングされた命令に従って停止及び発進しながらトラック121に関して試料容器102を移動するように構成されたリニアモータなどの搭載型(オンボード)ドライブモータを含んでもよい。搬送機器122は、それぞれ、規定の直立姿勢で試料容器102を保持及び固定するように構成された保持具122Hを含んでもよい。保持具122Hは、3つ以上の薄いリーフスプリング又はフィンガを含む。
いくつかの実施形態において、搬送機器122は、1つ以上のラック104を有する積載領域105から出発する。積載領域105は、処理後に搬送機器122から試料容器102を降ろすことができる二重機能を提供し得る。ロボット124が積載領域105に設けられ、1つ以上のラック104から試料容器102を把持し、例えばトラック121の入力(投入)レーン上などの搬送機器122に試料容器102を移動させて積載するように構成される。入力レーンは、トラック121の主要部の一部又はトラック121からの分岐部でもよい。ロボット124は、さらに、検査完了に際して搬送機器122から試料容器102を取り出すように構成可能である。ロボット124は、X及びZ、Y及びZ、X、Y、及びZ、又はγ及びθ運動が可能なロボットアーム又は部品を1つ以上(例えば少なくとも2つ)含み、この場合、ロボット124は試料容器102を持ち上げて配置するように構成されたロボットクランプフィンガを備え得る。ただし、あらゆる適切な種類のロボット124を使用可能である。
ロボット124によってトラック121に搬入されると、搬送機器122によって搬送される試料容器102は、遠心分離機125(例えば、試料212の分画を実行するように構成された自動遠心分離機)に進み、いくつかの実施形態においては、流入レーン126によって遠心分離機125へ分岐する。遠心分離後、試料容器102は流出レーン128から出てトラック121に進む。いくつかの実施形態において、搬送機器122は品質チェックモジュール130に移動する。これについて図4A〜4Dを参照してさらに説明する。場合によっては、遠心分離は事前に済んでおり、試料容器102に収容された試料212は入力レーンの一部などの積載領域105に配置された品質チェックモジュール130に直接搬入される。
品質チェックモジュール130は、試料検査装置100による処理対象の試料212を収容する試料容器102(容器キャップ214を含む)の物理的属性を自動的に決定/特徴付けるように構成される。特徴付けは、管のサイズ、容器キャップタイプ容器キャップ色のいずれか1つ以上の特徴付けを含む。特徴付けが行われると、試料212は試料212の深度と量のどちらか又は両方を決定するために特徴付けされ、HILと1つ以上のアーチファクトの存在のどちらか又は両方によって選別され得る。HILとアーチファクトのどちらか又は両方が全く含まれないと判断された場合、試料212はトラック121に進んだ後、1つ以上の分析器(例えば、第1、第2、第3の分析器106,108,110)で分析されて、該各試料容器102は、積載領域105に戻って降ろされる。
いくつかの実施形態において、容器キャップ214を含む試料容器102の物理的属性の定量化は、品質チェックモジュール130で行われる(すなわち、HT、容器キャップ色容器キャップタイプ、TC、管タイプ、Wのいずれか1つ以上の決定が行われる)。いくつかの実施形態において、試料212の定量化は品質チェックモジュール130で行われ、HSB、HSP、HTOTの決定を含み、SB、LA、SG、BGのいずれか1つ以上の垂直位置の決定も含む。後述するように、保持具122も識別可能であるが、様々な画像を後で処理する際には無視可能である。
さらに、遠隔ステーション132が試料検査装置100のトラック121に直接連結されていない場合でも、自動化試料検査装置100によるサービスの提供を受けることができる。例えば、独立ロボット133(破線で示す)が、遠隔ステーション132まで試料容器102を運び、検査/処理後にそれらを返す。場合によっては、試料容器102は手作業で取り出し、返却することも可能である。遠隔ステーション132は溶血レベルなどの特定の成分を検査するために使用可能であり、追加の処理を加えて脂肪血症レベルを低下させる、又は例えば塊、気泡、泡などの試料212において発見されたアーチファクトを取り除くなどのさらなる処理のために使用可能である。その他の検査又は処理を遠隔ステーション132において実現可能である。
試料検査装置100は、トラック121周辺の1つ以上の場所に複数のセンサ116を含む。センサ116は、試料容器102に配置された識別情報215(図2)又はバーコードなどの各搬送機器122に設けられた同様の情報(不図示)を読み取ることによって、トラック121に沿って試料容器102の位置を検出するために使用される。搬送機器122の位置を追跡するために他の手段を使用してもよい。センサ116のすべてはコンピュータ143とインタフェース接続しているため、試料容器102及び試料212の位置は常に既知である。コンピュータ143は既知の方法でLIS147とインタフェース接続及び通信可能である。
遠心分離機125及び分析器106,108,110のそれぞれは、一般に、トラック121から搬送機器122を取り出すように構成されたロボット機構と流入レーン(例えば流入レーン126,134,138,144)のどちらか又は両方と、さらには搬送機器122をトラック121に再進入させるように構成されたロボット機構と流出レーン(例えば、流出レーン128,136,141,146)のどちらか又は両方とを備えている。
試料検査装置100は、マイクロプロセッサベースの中央演算処理部CPUを含むコンピュータ143によって制御され、適切なメモリ、ソフトウェア、及び様々なシステム構成要素を動作させるための適切な調節電気機器及びドライバを有する。コンピュータ143は、試料検査装置100の基部120の一部に収納されるか、又は分離されている。コンピュータ143は、積載領域105への搬送機器122の移動及びそこからの移動、トラック121に関する動作、遠心分離機125への移動及びそこからの移動、遠心分離機125の動作、品質チェックモジュール130の動作とともに品質チェックモジュール130への移動及びそこからの移動、及び各分析器106,108,110への移動及びそこからの移動、さらには場合によっては様々なタイプの検査(例えばアッセイ、臨床化学などの1つ以上)を実行する各分析器106,108,110の動作を制御するように動作する。
品質チェックモジュール130以外のすべてに対して、コンピュータ143は、ニューヨーク,TarrytownのSiemens Healthcare Diagnostics Inc.によって販売されているDimension(登録商標)臨床化学分析器で使用されているようなソフトウェア、ファームウェア、ハードウェアコマンド又は回路のいずれか1つ以上に従って試料検査装置100を制御することが可能であり、当該制御はコンピュータベースの電気機械的な制御プログラミングの当業者にとっては一般的であり、ここでは詳述しない。ただし、試料検査装置100を制御するためのその他の適切なシステムも使用可能である。試料容器及び容器キャップの特徴付けを行うための品質チェックモジュール130の制御はコンピュータ143によって実現可能であるが、本モデルベースの方法によるものであり、本明細書で詳述する。場合によっては、コンピュータ143に接続された個別のコンピュータによっても実現可能である。
本発明の実施形態は、ユーザが様々な制御及び状態表示画面に容易かつ迅速にアクセス可能なコンピュータインタフェースモジュール(CIM)145を使用して実現可能である。これらの制御及び状態画面は、試料212の準備及び分析のために使用される複数の相互関係のある自動化装置の一部又はすべての態様を説明してもよい。CIM145は、複数の相互関係のある自動化装置の動作状態に関する情報とともに、試料212の位置と試料212に実行される、もしくは実行されているスクリーニング又は検査の状態を説明する情報を供給するように使用される。CIM145は、操作者と試料検査装置100との間の相互作用を容易とするように構成可能である。CIM145は、操作者が試料検査装置100とインタフェース接続可能なアイコン、スクロールバー、ボックス、及びボタンを含むメニューを表示するように構成された表示画面を含む。このメニューは、試料検査装置100の機能面を表示するようにプログラミングされた複数の機能ボタンを含んでいる。
図4A〜図4Bを参照して、品質チェックモジュール130の第1の実施形態を図示及び説明する。品質チェックモジュール130は、容器キャップ214を含む試料容器102の物理的構造(例えばサイズ)を自動的に特徴付けるように構成される。寸法及び構造特徴付け方法は、分析器106,108,110のうちの1つ以上によって自動的に処理される前に品質チェックモジュール130によって実行され得る。これにより、試料容器のサイズ及び容器キャップの形状及び構造は、以降の処理に対して既知となる。品質チェックモジュール130は、試料容器102を定量化するため、すなわちTCの位置、HT、試料容器102のW及びWiのどちらか又は両方、そして、容器キャップ214の色、内部構造、外部構造、タイプのいずれか1つ以上など、試料容器102の所定の物理的寸法特徴の定量化のために使用可能である。保持具122Hを後で画像を処理する際に無視し得るように、品質チェックモジュール130は保持具122Hを定量化するためにも使用される。
試料容器及び容器キャップ定量化方法に加えて、品質チェックモジュール130で、試料容器102に収容された試料212に対して他の検出方法も実行し得る。例えば、品質チェックモジュール130は、試料212を定量化する、すなわち試料212の所定の物理的寸法特徴(例えば、LA、SB、SG、BGの1つ以上の物理的位置、HSP、HSB、HTOTの1つ以上の判断、血清又は血漿部(VSP)の量と沈殿血液部(VSB)の量のどちらか又は両方)を決定するためにも使用し得る。
図1、図4A、図4Bを参照すると、品質チェックモジュール130は、複数(例えば2台以上、3台以上、4台以上)のカメラを含む。カメラは、従来のデジタルカメラ(例えば、カラー又はモノクロカメラ)、電荷結合素子(CCD)、光検出器のアレイ、2つ以上のCMOSセンサなどである。例えば、3台のカメラ440A,440B,440Cが図4Aに図示され、3つの異なる視点から、撮像位置の画像を撮像するように構成されている。その他の数のカメラを使用してもよい。各カメラ440A,440B,440Cは、撮像位置のデジタル画像(すなわち画素化された画像)を撮像可能な装置でよい。各画像の画像解像度は例えば0.5MP〜3MPなどである。その他の画素解像度を使用してもよい。各カメラ440A,440B,440Cは、撮像位置にある試料容器102及び容器キャップ214の少なくともセグメント又は横方向の一部、及び少なくとも試料212の一部の横方向の画像を撮像し、場合によってはラベル218の一部を撮像するように構成され、動作可能である。画像はわずかに重なっていてもよい。最終的に、複数の画像から、容器キャップ214と試料容器102に入っている試料212の合成画像が現像可能である。いくつかの実施形態において、最終的な合成画像は、複数のカメラ440A,440B,440Cからの画像に基づいた、撮像位置における試料容器102と、容器キャップ214と、収容された試料212との三次元画像である。
図示した実施形態において、複数のカメラ440A,440B,440Cは、撮像位置に配置された試料212の周囲に配置され、複数の視点から、横方向の画像を撮像するように構成されている。視点は、互いにほぼ等間隔で放射状に離れて配置されている。図示するように、3台のカメラ440A,440B,440Cが使用されているとき、その間隔は互いから120度前後である。図示する実施形態において、カメラ440A,440B,440Cはトラック121の側方周囲に配置されている。複数のカメラ440A,440B,440Cのその他の配置も適用可能である。このように、試料容器102がトラック121上の搬送機器122に存在して保持されている間に、試料容器102、容器キャップ214及び試料212の画像が撮像位置で撮像される。
1つ以上の実施形態において、各カメラ440A,440B,440Cの法線ベクトルが交差する点など、品質チェックモジュール130における所定の撮像位置に搬送機器122が停止する。いくつかの実施形態において、搬送機器122を停止させるためにゲートが設けられ、それによって高品質の画像が撮像可能となる。一連の画像を撮像した後、ゲートは搬送機器122を解放する。他の実施形態において、搬送機器122は、品質チェックモジュール130の位置など、予定位置へ搬送機器122を発進させ停止させるように構成及びプログラミングされたリニアモータを含む。搬送機器122を停止させるその他の適切な手段が使用可能である。
カメラ440A,440B,440Cは、画像ウィンドウ、すなわち試料容器102及び容器キャップ214の表面の想定位置を含む領域に近接して設けられて、画像ウィンドウを捉えるように訓練され、焦点を合わせる。この場合、試料容器102と容器キャップ214のどちらか又は両方が画像ウィンドウのほぼ中心に配置されるのがよい。この構成によりカメラ440A,440B,440Cは、血清又は血漿部212SPの一部、沈殿血液部212SBの一部、及び容器キャップ214の全部を含む画像を撮像可能である。撮像された画像内には、1つ以上の基準データが存在する。基準データは、試料212、試料容器102、容器キャップ214の1つ以上のさらなる定量化を助けることが可能である。基準データは、TC又は試料容器102の最下部表面、又はその両方でもよい。場合によっては、試料容器102自体はあらゆる視点から見える位置に設けられたマーク又はその他の位置特定表示を含んでいてもよい。
作動中に品質チェックモジュール130によってキャプチャされる画像のそれぞれは、トリガ信号に応答してトリガされることで撮像される。トリガ信号はコンピュータ143によって発生可能であり、コンピュータ143に接続された通信線443A,443B,443Cで供給される。撮像画像のそれぞれは、ここに示す方法の1つ以上の実施形態にしたがって処理される。特に、複数の画像を撮像及び処理するためにHDR画像処理が使用される。
より詳細には、異なる公称波長を有する1つ以上の異なる光源で照明を行いながら、複数の異なる露光(例えば露光の長さ)で試料容器102の複数の画像が撮像される。例えば、異なる公称波長を有する1つ以上の光源を使用して異なる露光の長さ(露光時間)で、各カメラ440A,440B,440Cが4〜8枚程度以上の画像を撮影する。その他の数の複数の露光でも採用可能である。
複数の画像の撮像はいくつかの異なる方法で実現可能である。いくつかの実施形態において、複数の画像が異なる色をした光源444A〜444Cを使用して撮像される。光源444A〜444Cは、試料容器102及び容器キャップ214を背面から照明する(図4A〜図4Bに図示する通り)、例えば光パネルとして実施可能である。光源444A〜444Cは撮像位置441を囲む背面照明を実現している。光源444A〜444Cは光パネルである。各光パネルは、異なる色をした照明器具のアレイを含み、あるいは、異なる色の光を発する手段を含む。いくつかの実施形態において、光源444A〜444Cとともに光拡散器を使用してもよい。パネルは、目的のスペクトル色又は波長範囲の均一照明を供給する。本実施形態において、カメラ440A〜440Cはデジタルモノクロカメラでもよい。光源444A〜444Cにより、+/−35nm程度のかなり狭い帯域幅を有する様々なスペクトルで画像を撮像可能である。いくつかの実施形態において、光源444A〜444Cは、例えば約634nm(赤)、537nm(緑)、及び455nm(青)に公称発光ピークを有する。ただし、その他の公称波長を使用してもよく、3台よりも多い又は少ない光源を使用することも可能である。異なる視点からカメラ440A〜440Cのそれぞれによって多重波長、多重露光長さの画像を撮像可能である。カラー画像のそれぞれ(かなり狭い波長帯域を有する公称波長によって表わされる)が様々な露光の長さで次々と撮像される(例えば、4〜8以上の露光で、各露光の長さは前の露光の長さよりも8ms〜64ms程度長くてもよい)。その他の露光の長さも使用可能である。この画像は、複数の露光の長さで赤、複数の露光の長さで緑、複数の露光の長さで青など、いかなる順番でも撮像され得る。検出方法として、透過画像を算出してもよい。この場合、それぞれの透過画像(R、G、B照明毎)は最適露光画像及び参照画像から算出される。詳細を以下に説明する。最適露光画像は、それぞれの画素毎輝度によって正規化される。
一実施形態において、図4C及び図4Dに図示するように、試料容器102は、例えばカメラ440A,440B,440Cに隣接して、すなわち、上方に、下方に、側部に、又はこれらの組み合わせで配置され、試料容器102に対するカメラ440A〜440Cと同じ側に配置された光源444D,444E,444Fを含むことによって、品質チェックモジュール130Aを前面照明する。本実施形態において、カメラ440A〜440Cはそれぞれ634nm、537nm、及び455nm前後のRGBピークを有するデジタルカラーカメラでもよいが、RGBカラーのそれぞれは、モノクロカメラを使用した上記実施形態で使用した分離光源と比較すると、相対的に広い波長範囲を有する。本実施形態において、光源444D,444E,444Fはそれぞれ白色光源でもよい。例えば、光源444D〜444Fは400nm〜700nmほどの波長範囲を射出し、試料212を照明するために使用される。各カメラ440A〜440Cによって、異なる露光の長さの画像を複数撮像可能である。撮像された各白色光画像は、約400nmと約700nmとの間の少なくとも2つの公称波長からなる倍数nの公称波長の2つ以上のカラースペクトル成分に分離可能である。例えば、多重スペクトル、多重時間の露光画像を生成するために、RGBスペクトル成分は、コンピュータ143によって画像から分離することが可能である。画像は、矢印線443A〜443Cに示すように、コンピュータ143からの信号によって撮像可能である。
いくつかの実施形態において、前面照明及び背面照明の画像の両方が撮像可能なように、品質チェックモジュールは、容器キャップ214を含む試料容器102の前面及び背面照明を含むことが可能である。例えば、いくつかの実施形態において、白色光を使用して前面照明画像が撮像可能であり、それぞれ白色光を使用して異なる露光の長さで一連の背面照明の画像が撮像可能であり、赤色光を使用して前面照明画像が撮像可能であり、それぞれ赤色光を使用して異なる露光の長さで一連の背面照明の画像が撮像可能であり、緑色光を使用して前面照明画像が撮像可能であり、それぞれ緑色光を使用して異なる露光の長さで一連の背面照明の画像が撮像可能であり、青色光を使用して前面照明画像が撮像可能であり、それぞれ青色光を使用して異なる露光の長さで一連の背面照明の画像が撮像可能である。
第1の実施形態により、第1の波長で画像を撮像するために、3つの赤色光源(+/−35nm前後のスペクトル帯域幅で634nm前後の公称波長ピーク)を使用して、試料212を同時に照明する。異なる露光の長さの複数画像(例えば4〜8枚以上の画像)を各カメラ440A〜440Cによって例えば同時に撮像する間、光源444A〜444Cによる赤色照明を継続する。いくつかの実施形態において、露光時間は0.1msと256msとの間程度である。その他の露光時間も使用可能である。例えば、露光時間は8ms、別の露光時間は32ms、別の露光時間は64ms、そして別の露光時間は128msである。その他の数の露光及び時間間隔を使用して多重露光時間画像を撮像してもよい。赤色光源444A〜444Cは、複数の赤色背面照明画像を撮像するのに十分なだけ長時間ON状態としてもよく、その後OFFに切り換えてもよい。
赤色光源444A〜444Cを使用して画像を撮像後、それらをOFFに切り換えて、別の色の光、例えば2つ以上の緑色光源444A〜444CをON状態にし(+/−35nm前後のスペクトル帯域幅で537nm前後の公称波長ピーク)、異なる露光の長さの複数の画像(例えば、4〜8枚以上の画像)を、異なる視点に配置された各カメラ440A〜440Cによってそのスペクトルで撮像可能である。これは、各カメラ440A〜440Cに対し2つ以上の青色光源444A〜444C(+/−35nm前後のスペクトル帯域幅を有する455nm前後の公称波長ピーク)で繰り返され得る。これによって、結果として、異なる露光の長さ、異なるスペクトル、異なる視点で撮像された複数の画像が得られる。その他のスペクトル、露光時間の数、又は視点が代替的に又は追加して使用可能である。異なる波長の光源444A〜444Cは、例えば選択的にON及びOFFできる異なる狭帯域のカラーRGB光源の例えば交換可能なカラーフィルタ又はバンクを使用することによって実現可能である。効果的な背面照明のための他の手段も使用可能である。同様に、RGB以外の色も使用可能である。
第2の実施形態による画像の撮像のために、容器キャップ214を同時に照明する3つの白色光源444D〜444Fを使用可能である。光源444D〜444Fによって照明している間に、各カメラ440A〜440Cによって例えば同時に異なる露光時間で複数の画像(例えば、4〜8枚以上の画像)を撮像する。いくつかの実施形態において、露光時間は、例えば0.1msと256msとの間程度である。その他の露光時間を使用してもよい。例えば、1つの露光時間が8ms、別の露光時間が32ms、さらに別の露光時間が64ms、さらに別の露光時間が128msでもよい。複数の露光時間で画像を撮像するために、その他の数の露光及び時間間隔を使用してもよい。これら複数の露光画像は、個々のRGB画像(例えば低画素密度)を露光時間及び視点のそれぞれで抽出するためにコンピュータ143によってさらに処理できる。それによって、結果として、異なる露光の長さで異なる公称波長を有する異なる光源によって照明されて撮像されたカメラ毎の複数の画像が得られる。
各実施形態に関し、それぞれの波長又は波長範囲(例えば白色光)において複数の露光の長さで撮像したすべての多重スペクトル画像を高速に連続して得て、例えば2秒未満で複数の視点からの容器キャップ214(及び試料212)の画像の集合全体が得られるようにしてもよい。
各試料212について撮像する画像の数の例を説明するために、以下の例を挙げる。第1の実施形態によれば、RGB光源と各波長に対して4つの異なる露光時間の画像を使用し、3つの視点にモノクロカメラを設けた結果、4露光×3色×3視点=36枚の画像が得られる。第2の実施形態によれば、白色光源と4つの異なる露光の長さの画像を使用し、3つの視点にカラーカメラを設けた結果、4露光×3視点=12枚の画像が得られる。ただし、その後、これら12枚の画像をコンピュータ143によってRGB画像に分離することによって、最終的に36枚の画像が得られるが、これらの画像の画素密度は、第1の実施形態の方法の約1/3となる。それぞれの場合において、多重露光の画像はコンピュータ143のメモリに格納され、その後にコンピュータ143によって処理される。第3の実施形態によれば、まず第1の露光の前面照明のために白色光源を使用し、そして3つの異なる露光の長さにおける背面照明のために白色光源を使用して画像を撮像し、3つの視点にカメラを設け、R、G及びB光源のそれぞれに対して繰り返すと、結果として4露光×4波長(又は波長スペクトラム(例えば白色光))×3視点=48枚の画像が得られることになる。
1つ以上の実施形態において、品質チェックモジュール130は、トラック121を少なくとも部分的に囲む又はカバーするハウジング446を含み、画像撮像のために閉鎖又は半閉鎖環境を提供する。試料容器102は、各画像撮像の間ハウジング446の内側に配置される。ハウジング446は、搬送機器122がハウジング446に進入し、そこから退出できるように、1つ以上の扉446Dを含む。いくつかの実施形態において、天井部は、品質チェックモジュール130が積載領域105に配置されている場合など、上述した通り移動可能なロボットフィンガを含むロボット(例えばロボット124)によって、ハウジング446の内側に止められた搬送機器122に試料容器102を積載可能とする開口部446Oを含む。前面照明が使用される場合(図4C〜4D)、画像コントラストを改善させるために、品質チェックモジュール130はバックストップ壁447を含んでもよい。バックストップ壁447は、容器キャップ214の色の予想される範囲以外の色など、あらゆる適切な色を適用する。いくつかの実施形態において、黒色をした材料が使用可能である。
一実施形態において、多重波長、多重露光長さの画像のデータ処理は、まず試料212のセグメンテーションを決定することに向けられ、管212T及び容器キャップ214が識別される。このセグメンテーションは、液体部分(例えば血清又は血漿部212SP)を識別することも可能である。この処理は、例えば、各カメラ440A〜440Cの各波長に関し最適露光の画像データセットを生成するために、カメラ毎に異なる露光時間及び各波長で撮像された複数の撮像画像のそれぞれから、最適露光の画素を選択することを含む。ここでは、これを「画像強化」と呼ぶ。画像強化の際に、スペクトル色毎に、異なる露光時間画像のそれぞれの対応する場所の画素が比較され、異なる露光時間画像のそれぞれから最適画像輝度を示す画素のみが選択される。一実施形態において、最適画像輝度の画素は、例えば所定の輝度範囲内(例えば、0〜255の尺度において180〜254の間など)の画素である。別の実施形態において、最適画像輝度は、例えば0〜255の尺度において16〜254の間でもよい。その他の非最適画素は、露光不足又は過露光として廃棄される。その他の尺度及び最適範囲でも使用可能である。2つの画像の対応する位置の複数の画素が最適に露光されている場合、2つのうちの輝度が高い方の画素が選択される。その後、最適露光画素輝度のそれぞれは、露光時間毎に正規化される。その結果として、各カメラ440A〜440C毎に画素のすべてが最適に露光している複数の正規化及び強化されたスペクトル(例えば赤、緑、青)画像データセットが得られる(例えばスペクトル(例えば赤、緑、青)毎に1つの画像データセット)。
品質チェックモジュール130の校正処理の一部として、試料容器102がない基準画像が撮像される。この基準画像は、試料容器102及び搬送機器122が品質チェックモジュールに入る前の時点のもので、後に画像撮像の際に使用されるはずの露光時間及び照明条件のすべてにおいて、各カメラ440A〜440Cによって撮像される。このように、各画像データセットから場合によって背景(すなわち試料容器102の外側の領域)を差し引いて前景画像のみを残すことによって、コンピュータ143の計算負荷が最小限に抑えられる。これを、ここでは「背景除去」と呼ぶ。
正規化及び最適露光画素を含むスペクトル画像データセット毎に、画像データセット内の画素のそれぞれを分類するためにセグメンテーション処理が実行される。試料容器102、容器キャップ214、及び試料212の様々なセグメントが特徴付けられ、すなわちその様々なクラスと境界がそれぞれ決定される。これは、管212T、すなわち透明又は半透明領域と、容器キャップ214とを識別するために使用可能である。これは、液体部(例えば血清又は血漿部212SP)、ゲルセパレーター313(存在する場合)、沈殿血液部212SB、及びそれら成分の境界線(例えば、LA、SB、SG、BG)を識別するために使用され得る。背景と搬送機器122も同様にセグメント化可能である。このセグメンテーションは、最適露光画像データ中の画素を分類器モデル(図5)に基づくクラスに属するとして分類することに基づく。この分類器モデルは、複数の訓練セットから生成されたマルチクラス分類器515に基づく。マルチクラス分類器515は、例えば、サポートベクターマシン(SVM)又はランダム決定木を含む。その他の種類のマルチクラス分類器も使用可能である。
この分類を実行するために、まず、異なる波長における(例えば、赤、緑、青)最適露光画素のそれぞれについて、そして、各カメラ440A〜440Cについて、統計データが算出される。この統計データは、第2のオーダーまでの平均値及び分散を含む。生成されると、統計データはマルチクラス分類器515に供給されて演算され、分類器515が画像中の画素を、1−血清又は血漿部、2−沈殿血液部、3−容器キャップ、4−ラベル、5−試料容器、6−空気、7−ゲルセパレーター(使用されている場合)、8−管(例えば透明な領域)などの複数の一意のクラスラベルの1つに属するとして分類する。搬送機器122も同様に分類可能である。このセグメンテーションから、管212T及び容器キャップ214を構成する画素が識別可能である。
マルチクラス分類器515の演算の結果は、クラス3−容器キャップ及びクラス8−管であるすべての画素を識別することである。試料容器特徴づけ方法の単純なフローチャートを図5に示す。まずステップ502において、搬送機器122によって搬送されている試料212を含む試料容器102が品質チェックモジュール130に供給される。ステップ504で複数の露光の画像が撮像され、この場合の複数の露光の画像は、上述したように、複数の異なる露光時間及び複数の異なるスペクトル(又は波長範囲かこれらの組み合わせ)で撮像された多重スペクトル画像である。その後、当該複数画像はコンピュータ143のメモリに記憶される。計算負荷を低減するために、場合によっては、背景除去のステップ508でこれらの画像から背景を差し引いてもよい。背景除去はステップ510において撮像された基準画像を差し引くことによって実現される。この場合の基準画像は、搬送機器122及び試料容器102が撮像場所441に供給される前に、校正の一部として、又は当該方法の一部として撮像される。
画像撮像後、及び場合によっては背景除去後、ステップ511に示すように、カメラ440A〜440Cのそれぞれにおける複数の露光及び複数の波長のデータセットに対してセグメンテーション処理が実行される。セグメンテーション処理511は、画像強化のステップ512の実行を含む。ステップ512で画像強化するときに、最適露光の画素を判断するために、各色(例えば公称波長)の様々な画像を画素毎に調べる。対応する画素位置ごとに、最良の最適露光画素が選択され、最適露光画像データセットに含まれる。各画素輝度値は、露光時間によって正規化される。これによって、ステップ512における画像強化の後、各公称波長又は波長範囲(例えば色)に対して1つの正規化及び最適露光の画像データセットが得られる。
ステップ512での画像強化後、又は場合によってはそれと同時に、統計生成処理のステップ514が実行される。この統計生成処理では、平均と共分散行列のどちらか又は両方などの統計が画素毎に生成される。その後、この正規化された最適露光のデータセットからの統計データ及び輝度情報がマルチクラス分類器515によって演算されて、ステップ516において画像データセット中の全画素における画素クラスの識別が実現する。この分類処理のステップ516から、カメラ440A〜440Cごとの強化画像の各画素には、上記リストした複数のクラスタイプの1つとして分類が与えられる。分類時、画像はスキャンされ、画素位置ごとに、マルチクラス分類器を使用することによってクラスラベルが導出される。いくつかの実施形態において、カメラ440A〜440Cのノイズレベルに対して統計的既述をより強固にするために、画素位置周囲に小さい超画素(スーパーピクセル)パッチが使用される(例えば11×11画素)。
これから、管212T及び容器キャップ214である画素が識別される。容器キャップ214として分類される全画素がともに収集される。これから、容器キャップ214の形状(例えば、容器キャップ214の内部及び外部構造の両方の形状)は、例えば、識別された形状をコンピュータ143のメモリに記憶されている基準キャップ内部及び外部形状のデータベース、例えばルックアップテーブル531L又は他のデータベースに対して照合することにより、ステプ531においてブラブ又はその他の適切形状分析技術によって識別される。ステップ531において容器キャップ214の内部及び外部形状により容器キャップタイプを識別する。容器キャップ214の内部及び外部形状は、尿、糞便、さらには容器が真空下であるかなど、試料容器中に存在する材料の種類を示す。容器キャップ214の内部及び外部形状は、さらに、試料容器が真空にされたかを示し得る。いくつかの実施形態において、形状分析に加えて、又はその代替案として、容器キャップ214の寸法(例えば、高さ、幅、直径、厚さなど)が、容器キャップを表わすとして識別された画素から判断可能である。
容器キャップ214を表わすと識別された画素の1つの集合は、平均R・G・Bを求めるため、又は複数の色を有する容器キャップの場合はクラスタリング法のために、定量化され、このRGBデータから、ステップ533においてルックアップテーブル533Lに記憶されている既知の容器キャップ色とのRGB値の個々の範囲の照合に基づいて容器キャップ214の色が識別される。識別された容器キャップ領域に対して、実際の色値が抽出される。検査前の好適な時間に色校正が行われる。それぞれの実際の色値又は複数の色値は、すべての容器キャップ色が表わされたデータベースのエントリ(例えばルックアップテーブル又は他の関連情報)と照合される。
管212Tは、ステップ516においてガラス管と識別された様々な画素を収集することによって定量化される。その後、ステップ518において幅(W)を計算及び抽出するために、ほぼ垂直に整列している管212Tの画素の最も外側の各線間の画素空間における位置が減算される。幅(W)は、対応する高さの対応する画素間の距離の平均として計算され得る。ステップ518で計測される画素は、管−キャップ界面TCよりも下にある画素である。ここで、試料容器102下部の曲線部にある画素は無視する。
その後、ステップ520において高さ(HT)が抽出される。高さ(HT)は、管212Tとして分類された最下部の画素と管−キャップ界面TCとの間で計測される。この高さ(HT)の値は、ステップ529において例えばルックアップテーブル529Lに記憶されているあり得るサイズのリスト(例えば、10.25×47、10.25×64、10.25×84、13×75、16×100、13×100、すべてmm×mm)から、試料容器102のサイズを識別及び特徴付けするために、幅(W)とともに採用される。その他の標準的なサイズがリストされ得る。
これらの値から、ステップ535において推定内部幅(Wi)が決定される。この内部幅(Wi)は、血清又は血漿部212SPの量と沈殿血液部212SBの量のどちらか又は両方を計算するために使用される。内部幅(Wi)は、各サイズの試料容器102ごとに実測又は推定の壁厚(Tw)に基づいて推定される。これら内部幅(Wi)の値は、ルックアップテーブル535Lなどでメモリに記憶されて、管のサイズが識別されたら量(容量)計測のために使用可能である。
図6は上位の特徴付け方法600のフローチャートを示す。この場合、試料212を含む試料容器102(容器キャップ214を含む)の特徴付けは、品質チェックモジュール130を使用して上位の方法600によって特徴付け又は分類され得る多くの項目のうちの1つである。方法600の1つ以上の実施形態によれば、画像は複数のカメラ(カメラ540Aを図示)などによって撮像される。ただし、その他のカメラ540B,540Cをその他の視点からの画像を撮像するために使用してもよい。カメラ540Aにおいて撮像された画像に関して説明される処理は、その他の視点における他のカメラ540B,540Cでも同じであり、線605におけるそれら(他のカメラ)の入力は、試料212の三次元モデルを発展させるために使用される。カメラ540A及びその他のカメラ540B,540Cによって撮像された画像は、上述した通り、多重スペクトル及び多重露光の画像である。特に、ステップ604Aにおいて、複数の露光(例えば4〜8以上の露光)を、使用される光の各波長に対して使用する。各カメラ540A〜540C毎の各露光におけるそれぞれの画像は、図4A及び図4Bで説明したように、モノクロカメラと背面照明光源544A〜544Cを使用して同時に得られる。場合に応じて、白色光源544D〜544Fを用いて前面照明された多重露光画像が、ステップ604Bにおいてカラーカメラを使用して得られる。
その後、場合によってはステップ508において、それらの画像は、背景除去方法において上述したように基準画像510を用いて背景除去をするために処理される。その後、当該画像は、上述したようにしてステップ511においてセグメンテーションを決定するためにさらに処理される。いくつかの実施形態において、ステップ604Bによる前面照明カメラ540A〜540C(図4C〜4D参照)からの画像をステップ511におけるセグメンテーションに使用するのが適している。同様に、ステップ604Aにおいて撮像された画像は、ステップ621におけるHILNの特徴付けのために使用するのが適している。ただし、ステップ604Bで撮像された画像もステップ511におけるセグメンテーションのために使用可能であるのはもちろんである。
ステップ511におけるセグメンテーション後に、ステップ623において液体の識別及び定量化が実行されてもよい。ステップ623における液体の定量化は、LA、SB、SG、BGのいずれか1つ以上の物理的位置など、試料212の所定の物理的寸法特徴付けの決定、HSP、HSB、HTOTのいずれか1つ以上の決定、そして、血清又は血漿部(VSP)の量と沈殿血液部(VSB)の量のどちらか又は両方、のうちの1つ以上を含む。上述したように、試料容器特徴付けのステップ627から内部幅(Wi)が得られる。上記の識別は、それらの境界領域における画素の選択、及びLA、SB又はSPGに対する値を得るための画素空間におけるそれらの位置値を平均化することによって実現可能である。この情報から、血清又は血漿部212SPの量が決定可能である。画素空間から機械的計測への相関性は、画素をmmに変換する適切な校正を使用することによって実現可能である。
血清又は血漿部212SPの実際の量のより近い計測値を利用可能にするために、ステップ622においてアーチファクト検出方法を用いて、塊、気泡又は泡の存在を識別する。より良好な量推定を実現するためには、存在する1つ以上のアーチファクトのそれぞれの推定量を、上記決定された血清又は血漿部212SPの推定量から差し引いてもよい。その後、当該画像は、アーチファクト分類器を使用してステップ622において血清又は血漿部212SPにおけるアーチファクトの存否を決定するために処理される。ステップ622におけるアーチファクト検出において識別されたアーチファクトを含む画素は、ステップ621におけるHILN分類では無視されてよい。いくつかの実施形態において、アーチファクトの検出が治療の開始にもつながる。
ステップ511におけるセグメンテーションの結果を使用して、バーコードなどの識別情報215を含んだラベルを識別できる。バーコードはステップ625で読み取ってもよい。ラベル218がステップ511におけるセグメンテーションによって識別されたら、従来のバーコード読取ソフトウェアを使用することもできる。当画像が十分に読み取ることのできるバーコードを含んでいない場合、外部カメラから得られたその他の画像からバーコードを読み取ることができる。
上位の方法600により、試料容器102のさらなる特徴付けも実現可能である。ステップ529における管タイプ、ステップ531における容器キャップタイプ、及びステップ533における容器キャップ色の特徴付けはステップ635における三次元推論に供給されて、各カメラからの画像に対する処理に基づいて同一の特徴付けが実現したことを検証してもよい。わずかに異なる値が得られた場合、それらの値は平均化される。ステップ621におけるHILN分類、ステップ623における液体定量化、ステップ622におけるアーチファクトの検出、及びステップ627における試料容器検出からの出力のすべてはステップ635における三次元推論に供給されて、三次元モデルを生成するために使用される。
図7は、1つ以上の実施形態による、容器キャップ214を含む試料容器102の特徴付けを決定する方法のフローチャートを示す。方法700は、ステップ702において試料容器(例えば容器キャップをした血液採取管などの試料容器102)を供給することを含む。次に、方法700は、ステップ704において、異なる露光の長さ及び異なる波長で試料容器及び容器キャップの画像を撮像する。例えば、いくつかの実施形態において、4〜8以上の異なる露光が存在する。いくつかの画像は、前面照明用に白色光を使用して撮像され、またいくつかの画像は、背面照明光源544A〜544Cとして、赤、青、及び緑などの単一波長ピークかつ狭帯域の複数の光源を用いて撮像される。白色光画像は、上述したように、コンピュータ143によってキャプチャされる際にR、G、及びBの画像に分解される。各例において、複数の視点から複数のカメラ540A〜540Cによって画像が撮像される。
方法700は、計算負荷を低減するために、場合に応じて、ステップ706において背景を差し引く背景除去を行う。背景除去は、校正処理の一部として得られる基準画像を撮像試料画像から差し引くことによって実現可能である。基準画像は、試料容器102の試料画像と同一の露光時間、スペクトル、照明条件で撮像され得るが、試料容器102又は搬送機器122なしで撮像する。
方法700は、ステップ710において、各波長における最適露光画像データを生成するために、各波長で異なる露光時間による画像から最適露光画素を選択することを含む。特定のスペクトルにおける各画像の対応する画素ごとに、良好な露光の画素(露光不足又は過露光ではない)が選択される。最適露光範囲は上述した通りでもよい。この最適露光画素の選択は、画像強化ステップ(例えばステップ512における画像強化)において行われる。これにより、RGBのスペクトルごとに、最適露光画素のデータセットが生成される。
次に、方法700は、ステップ712において最適露光画素を管212T、ラベル218、又は容器キャップ214として分類することを含む。分類は、異なる波長における最適露光画素の統計データを演算して統計データを生成した後、最適露光画素の統計データに対して演算を行って管212T、ラベル218、又は容器キャップ214の少なくとも1つを識別することによって実現可能である。その他のクラス(例えば血清又は血漿部212SP、沈殿血液部212SB、ゲルセパレーター313、空気212Aのいずれか1つ以上)はセグメンテーションによって識別される。
1つ以上の実施形態において、マルチクラス分類器は、線形又はカーネルベースのいずれかのサポートベクターマシン(SVM)である。場合に応じて、マルチクラス分類器は、適応型ブースティング分類器(例えばAdaBoost、LogitBoost)などのブースティング分類器、人工ニューラルネットワーク、木ベースの分類器(例えば、決定木、ランダム決定フォレスト)、分類器としてのロジスティック回帰などでもよい。SVMは、液体(例えば血清又は血漿部212SP)と、容器キャップ、管、又はラベルなどの非液体との分類に対して特に効果的である。SVMは、データを分析してパターンを認識する関連学習アルゴリズムを有する教師つき学習モデルである。SVMは、分類及び回帰分析のために使用される。
訓練例の複数のセットを使用してマルチクラス分類器を訓練した後、そのマルチクラス分類器によって画素が演算され、上述したような複数のクラスのうちの1つに属するとして印付けが行われる。訓練アルゴリズムはマルチクラス分類器を構築し、新しい例をクラスのうちの1つに割り当てる。したがって、いくつかの実施形態において、このマルチクラス分類器は非統計論的線形分類器でもよい。このSVMモデルは、マッピングされた空間における点として例を表わすことによって別々のクラスの例ができるだけ幅広い明確な間隙によって分割される。最適露光画像データセットからの画素は、同一の特徴空間にマッピングされ、それらが区分される場所に基づいて特定のクラスに属すると予想される。いくつかの実施形態において、SVMはいわゆるカーネルトリック(例えばカーネルベースのSVM分類器)を用いて非線形分類を効率的に実行し、それらの入力を高次元特徴空間に暗示的にマッピングする。SVM及びブースティングも使用してよい。その他のタイプのマルチクラス分類器も使用してよい。
このマルチクラス分類器は、様々な管サイズを有する試料容器102と容器キャップのタイプ及び色のいずれか又は両方、及びラベル218の多数の例における様々な領域(例えば管212T、容器キャップ214、空気212A、及びラベル218)の輪郭を図上で描くことによって訓練することも可能である。マルチクラス分類器を訓練するために、500以上もの多くの画像が使用され得る。どの領域が各クラスに属するかを識別してマルチクラス分類器に教示するために、各訓練画像は手作業で輪郭が描かれる。その他の訓練方法も使用可能である。
最後に、方法700は、ステップ714において、各波長の最適露光画像データに基づいて試料容器の幅、高さ、又は幅及び高さを識別することを含む。
いくつかの実施形態において、試料容器102に対し例えば試料212の高さ及び幅、量に基づいてサイズの特徴付けを与えると、試料容器102の内部幅(Wi)が得られる。この内部幅(Wi)は、試料容器102のサイズに基づいたルックアップテーブルを使用することによってなどしてステップ716において決定される。内部幅(Wi)を使用することによって、血清又は血漿部212SPの量と沈殿血液部212SBの量のどちらか又は両方を正確に計算可能である。
したがって、以上のことにより、品質チェックモジュール130によって実行されたモデルベースの試料容器特徴付け方法700の結果として、管サイズ、容器キャップタイプ及び容器キャップ色など、試料容器102の物理的属性の高速な特徴付けが実現することが明らかである。この情報に基づいて、正確な量が決定され、オーダーされた検査と使用された試料容器との間の照合、及び存在する添加剤がオーダーされた検査と一致しているかの検証が実現する。
品質チェックモジュール130は、遠心分離機125での遠心分離後すぐに前スクリーニングが実行されるように配置されるとして図1に示したが、いくつかの実施形態又は他の場合において、品質チェックモジュール130を分析器(例えば分析器106,108,110のいずれか1つ以上)に直接含むことが有効な場合がある。例えば、自動試料容器取り扱いシステムに接続されていないスタンドアロン型分析器は、分析の前に、品質チェックモジュール130を使用して試料212を検証してもよい。さらに、いくつかの実施形態において、ラック104を積載領域105に投入する前に遠心分離を実行してもよく、それによって、いくつかの実施形態において、品質チェックモジュール130は積載領域105に配置され、品質チェックは、ロボット124が試料容器102を搬送機器122に積載するとすぐに実行可能である。品質チェックモジュール130のその他の位置も可能である。
図8〜図11及び図12〜図15において、画像の例示セットを2つ示す。図8〜図11の第1の例示セットの画像の第1のグループ800に示すように、白色光(例えば、390nm〜700nm前後の範囲の可視光スペクトル)を使用して、第1の前面照明画像802と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像804,806,808を撮像した。図からわかるように、背面照明画像の露光の長さが長いほど容器キャップの様々な異なる濃度を透過する光透過度が高くなり、それによって容器キャップの相対的に濃度の高い内部構造ほど可視性が高くなる一方、濃度が相対的に低い部分は色がさめている。同様に、図8〜図11の第1の例示セットの画像の第2のグループ900に示すように、赤色光(例えば634nm前後の公称波長を有する)を使用して、第1の前面照明画像902と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像904,906,908を撮像した。同様に、図8〜図11の第1の例示セットの画像の第3のグループ1000に示すように、緑色光(例えば537nm前後の公称波長を有する)を使用して、第1の前面照明画像1002と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1004,1006,1008を撮像した。同様に、図8〜図11の第1の例示セットの画像の第4のグループ1100に示すように、青色光(例えば455nm前後の公称波長を有する)を使用して、第1の前面照明画像1102と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1104,1106,1108を撮像した。
異なる容器キャップの例を図12〜図15における画像の第2の例示セットで示す。図12〜図15は、異なる露光の長さにおいて異なる波長光を用いて容器キャップを照明する利点をさらに示す。図12〜図15の第2の例示セットの画像の第1のグループ1200に示すように、白色光(例えば、390nm〜700nm前後の範囲の可視光スペクトル)を使用して、第1の前面照明画像1202と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1204,1206,1208を撮像した。図からわかるように、背面照明画像の露光の長さが長いほど容器キャップの様々な異なる濃度を透過する光透過度が高くなり、それによって容器キャップの相対的に濃度の高い内部構造ほど可視性が高くなる一方、濃度が相対的に低い部分は色がさめている。同様に、図12〜図15の第2の例示セットの画像の第2のグループ1300に示すように、赤色光(例えば634nm前後の公称波長を有する)を使用して、第1の前面照明画像1302と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1304,1306,1308を撮像した。同様に、図12〜図15の第2の例示セットの画像の第3のグループ1400に示すように、緑色光(例えば537nm前後の公称波長を有する)を使用して、第1の前面照明画像1402と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1404,1406,1408を撮像した。同様に、図12〜図15の第2の例示セットの画像の第4のグループ1500に示すように、青色光(例えば455nm前後の公称波長を有する)を使用して、第1の前面照明画像1502と、異なる露光の長さ(例えば8ms、16ms、及び32ms)をそれぞれ適用した一連の背面照明画像1504,1506,1508を撮像した。
画像の2つの例示セット(図8〜図11に示す管1及び図12〜図15に示す管2)は、容器キャップにおいて、本発明の方法及び装置がどの程度明確に差異を示すかを示す。管1は、赤色容器キャップを有し、構造のほぼすべての部分が赤色光に対して吸収される。赤色光(例えば450nmの公称波長)と16msの露光時間で撮像された背面照明画像904は、管1の容器キャップの内部構造を最も明確に示す。管2は緑色をした容器キャップを有し、図からもわかるように緑色のスペクトル部分が透明になっている。緑色光(例えば560nmの公称波長)と64msの露光時間で撮像された背面照明画像1408は、管2の容器キャップの内部構造を最も明確に示す。2つの容器キャップの画像間の違いは、容器キャップを作製するために使用された材料が異なることを明確に示す。特に、管2の緑色の容器キャップは管1の赤色の容器キャップよりも濃度が高い。
いくつかの実施形態において、容器キャップを背面照明するのに使用した照明は、公称波長の少なくとも1つで撮像された画像のうちの少なくともいくつかにおいて容器キャップの内部構造及び形状を示すのに十分な輝度を有する。すなわち、いくつかの実施形態において、この背面照明の輝度は、識別対象の既知の容器キャップタイプに少なくとも一部の光が透過するように選択される。いくつかの実施形態において、2W/m〜4W/m前後の範囲の輝度を有する背面光源が使用可能であり、いくつかの実施形態において、3W/m前後の光源が使用可能である。その他の輝度レベルの背面照明も使用可能である。異なる色の容器キャップは異なる公称波長を様々に吸収するため、複数の公称波長(例えば少なくとも3つの異なる公称波長)を使用することによって、白色光が使用された場合又は単一の公称波長が使用された場合に必要とされるよりも低い全体的な輝度を有する光を使用して、容器キャップの内部構造を明らかにする画像を撮像できる。なお、使用電力が低い(例えば低輝度)照明が望ましい実施形態において、より長い露光の長さが使用可能である。さらに、高速での撮像が所望される実施形態において、高電力(例えば高輝度)照明を使用すると、露光の長さを短縮できる。
本発明は様々な修正及び代替形態を許容可能であるが、装置の具体例とその方法が図面において例として図示され、本明細書で詳細に説明されている。しかしながら、開示した特定の装置又は方法に本発明を限定する意図はなく、逆に、本発明の範囲に属する全ての修正、同等物及び代替案が包含されることは当然である。
100 試料検査装置
102 試料容器
104 ラック
106,108,110 分析器
121 トラック
122 搬送機器
130 品質チェックモジュール
212T 管
214 容器キャップ
218 ラベル
440 カメラ
515 マルチクラス分類器

Claims (20)

  1. 管、容器キャップ、及びラベルを少なくとも含む試料容器の前記容器キャップを識別する方法であって、
    前記試料容器撮像位置へ供給し、
    複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さを適用して前記容器キャップの背面照明画像を撮像し、
    前記公称波長のそれぞれにおいて前記異なる露光の長さで撮像された複数の画像から、前記公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して前記公称波長毎に最適露光の画像データセットを生成し、
    該生成した画像データセットの前記最適露光画素を、少なくとも前記管、容器キャップ、及びラベルのうちの1つであるとして分類し、
    該分類により前記容器キャップとして分類した最適露光画素と前記公称波長毎の画像データセットとに基づいて前記容器キャップの形状を識別する、ことを含む方法。
  2. 前記識別した容器キャップの形状に基づいて前記試料容器の容器キャップタイプを識別することをさらに含む、請求項1に記載の方法。
  3. 前記容器キャップの背面照明画像を撮像するときに、複数の異なる視点から複数の画像を撮ることを含む、請求項1又は2に記載の方法。
  4. 前記複数の異なる視点として3つ以上の異なる視点を含む、請求項3に記載の方法。
  5. 前記最適露光画素を分類するときに、複数の訓練セットから生成されたマルチクラス分類器に基づいて分類する、請求項1〜4のいずれか1項に記載の方法。
  6. 前記マルチクラス分類器がサポートベクターマシンを含む、請求項5に記載の方法。
  7. 前記複数の異なる公称波長として3つ以上の異なる公称波長を含む、請求項1〜6のいずれか1項に記載の方法。
  8. 前記複数の異なる公称波長に、赤色、緑色、青色の光スペクトルにおける公称波長を含む、請求項7に記載の方法。
  9. 前記異なる露光の長さの少なくともいくつかを設定する光の輝度及び持続時間は、背面照明光が前記容器キャップの少なくとも一部を透過するように選択する、請求項1〜8のいずれか1項に記載の方法。
  10. 管、容器キャップ、及びラベルを少なくとも含む試料容器の前記容器キャップを識別するように構成される品質チェックモジュールであって、
    前記試料容器を受け入れるように構成された撮像位置の周辺の複数の視点に配置され、複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さを適用して前記複数の視点から前記容器キャップの複数の画像を撮像するように構成された、複数のカメラと、
    該複数のカメラに接続されたコンピュータとを含み、
    前記コンピュータは、
    前記公称波長のそれぞれにおいて前記異なる露光の長さで撮像された複数の画像から、前記公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して前記公称波長毎に最適露光の画像データセットを生成し、
    該生成した画像データセットの前記最適露光画素を、少なくとも前記管、容器キャップ、及びラベルのうちの1つであるとして分類し、
    該分類により前記容器キャップとして分類した最適露光画素と前記公称波長毎の画像データセットとに基づいて前記容器キャップの形状を識別するように構成され動作可能である、品質チェックモジュール。
  11. 前記撮像位置を囲むハウジングを含む、請求項10に記載の品質チェックモジュール。
  12. 前記撮像位置を囲む背面照明用光源を含む、請求項10又は11に記載の品質チェックモジュール。
  13. 前記撮像位置を囲む前面照明用光源を含む、請求項10〜12のいずれか1項に記載の品質チェックモジュール。
  14. 前記撮像位置がトラック上にあり、前記試料容器は、前記トラックを移動可能な搬送機器の置き場で受け入れられるように構成されている、請求項10〜13のいずれか1項に記載の品質チェックモジュール。
  15. 前記コンピュータは、前記識別した容器キャップの形状に基づいて前記試料容器の容器キャップタイプを識別するようにさらに動作可能である、請求項10〜14のいずれか1項に記載の品質チェックモジュール。
  16. 前記コンピュータは、前記最適露光画素を分類するときに、複数の訓練セットから生成されたマルチクラス分類器に基づいて分類するように構成される、請求項10〜15のいずれか1項に記載の品質チェックモジュール。
  17. 前記マルチクラス分類器がサポートベクターマシンを含む、請求項16に記載の品質チェックモジュール。
  18. 前記複数の異なる公称波長として3つ以上の異なる公称波長を含み、該公称波長として、赤色、緑色、及び青色の光スペクトルにおける公称波長を含む、請求項10〜17のいずれか1項に記載の品質チェックモジュール。
  19. 前記異なる露光の長さの少なくともいくつかを設定する光の輝度及び持続時間は、前記背面照明用光源による背面照明光が前記容器キャップの少なくとも一部を透過するように選択する請求項12に記載の品質チェックモジュール。
  20. トラックと、
    該トラックを移動可能であり、管、容器キャップ、及びラベルを少なくとも含む試料容器を搬送するように構成された試料搬送機器と、
    前記トラックに配置され、前記容器キャップを識別するように構成された品質チェックモジュールとを含む試料検査装置であって、
    前記品質チェックモジュールは、
    前記試料容器を受け入れるように構成された撮像位置の周辺の複数の視点に配置され、複数の異なる公称波長を使用すると共に該公称波長のそれぞれで異なる露光の長さを適用して前記複数の視点から前記容器キャップの複数の画像を撮像するように構成された、複数のカメラと、
    該複数のカメラに接続されたコンピュータとを含み、
    前記コンピュータは、
    前記公称波長のそれぞれにおいて前記異なる露光の長さで撮像された複数の画像から、前記公称波長毎に最適露光画素を選択し、該選択した最適露光画素を利用して前記公称波長毎に最適露光の画像データセットを生成し、
    該生成した画像データセットの前記最適露光画素を、少なくとも前記管、容器キャップ、及びラベルのうちの1つであるとして分類し、
    該分類により前記容器キャップとして分類した最適露光画素と前記公称波長毎の画像データセットとに基づいて前記容器キャップの形状を識別するように構成され動作可能である、試料検査装置。
JP2019504121A 2016-07-25 2017-07-07 試料容器の容器キャップを識別するためのシステム、方法及び装置 Active JP6858243B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662366350P 2016-07-25 2016-07-25
US62/366,350 2016-07-25
USPCT/US2017/014773 2017-01-24
PCT/US2017/014773 WO2017132167A1 (en) 2016-01-28 2017-01-24 Methods and apparatus adapted to identify a specimen container from multiple lateral views
PCT/US2017/041226 WO2018022280A1 (en) 2016-07-25 2017-07-07 Systems, methods and apparatus for identifying a specimen container cap

Publications (2)

Publication Number Publication Date
JP2019531463A JP2019531463A (ja) 2019-10-31
JP6858243B2 true JP6858243B2 (ja) 2021-04-14

Family

ID=61017188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019504121A Active JP6858243B2 (ja) 2016-07-25 2017-07-07 試料容器の容器キャップを識別するためのシステム、方法及び装置

Country Status (5)

Country Link
US (1) US11035870B2 (ja)
EP (1) EP3488249B1 (ja)
JP (1) JP6858243B2 (ja)
CN (1) CN109477848B (ja)
WO (1) WO2018022280A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016133900A1 (en) * 2015-02-17 2016-08-25 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
CN108603817B (zh) * 2016-01-28 2022-04-19 西门子医疗保健诊断公司 适于从多个侧视图标识样本容器的方法和装置
CN110023950B (zh) 2016-10-28 2023-08-08 拜克门寇尔特公司 物质准备评估系统
EP3538839B1 (en) * 2016-11-14 2021-09-29 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
IT201700032261A1 (it) * 2017-03-23 2018-09-23 Antares Vision S R L Macchina ispezionatrice
JP6896971B2 (ja) * 2017-04-13 2021-06-30 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の特性評価中にラベル数を決定するための方法および装置
CN110573859B (zh) 2017-04-13 2022-07-26 美国西门子医学诊断股份有限公司 用于使用卷积神经网络的hiln表征的方法和装置
US11538159B2 (en) 2017-04-13 2022-12-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for label compensation during specimen characterization
US11037032B2 (en) * 2017-10-06 2021-06-15 Wisconsin Alumni Research Foundation Methods, systems, and media for detecting the presence of an analyte
JP7324757B2 (ja) 2018-01-10 2023-08-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
DE102018104640A1 (de) * 2018-02-28 2019-08-29 Als Automated Lab Solutions Gmbh Kalibriervorrichtung und Verfahren zur Ermittlung der räumlichen Ausrichtung einer an einer Halterung gehaltenen Kapillare
ES2939386T3 (es) * 2018-05-21 2023-04-21 Automatizacion Y Sist De Inspeccion En Linea Global S L Dispositivo y método para la clasificación de contenedores
WO2019241134A1 (en) * 2018-06-15 2019-12-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion
CN112424334B (zh) * 2018-06-15 2024-08-20 美国西门子医学诊断股份有限公司 利用高级语义分割和对抗训练进行细粒度hil指数确定的方法和设备
WO2020061370A1 (en) * 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Hypothesizing and verification networks and methods for specimen classification
EP3853583A4 (en) * 2018-09-20 2021-11-24 Siemens Healthcare Diagnostics, Inc. VISUALIZATION ANALYSIS AND VISUAL LEARNING PROCESSES
WO2020061369A1 (en) * 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples
JP7273542B2 (ja) * 2019-03-01 2023-05-15 富士レビオ株式会社 分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法
JP7474396B2 (ja) * 2019-04-23 2024-04-25 株式会社テクノメデイカ 自動採血管判別装置、該自動採血管判別装置を用いた採血管照合装置、該自動採血管判別装置用の教師データ取得装置を備えた自動採血管準備装置、及び該採血管照合装置を備えた自動採血管準備装置
CN110427861A (zh) * 2019-07-26 2019-11-08 上海秒针网络科技有限公司 容器状态的确定方法及装置
JP7462039B2 (ja) * 2019-10-31 2024-04-04 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 試料容器を特性評価するための前景照明の較正を提供する方法および装置
EP4052046A4 (en) * 2019-10-31 2022-12-21 Siemens Healthcare Diagnostics, Inc. DEVICE AND METHOD FOR IDENTIFYING A PIPE MOUNT TYPE
EP4051434A4 (en) * 2019-10-31 2022-12-28 Siemens Healthcare Diagnostics, Inc. DEVICE AND METHOD FOR TRAINING MODELS OF DIAGNOSTIC ANALYZERS
CN111582014A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 容器识别方法、设备及计算机可读存储介质
EP3882849A1 (en) * 2020-03-16 2021-09-22 F. Hoffmann-La Roche AG Method for determining characteristics of a sample vessel in an in-vitro diagnostics system, analyzing device, and in-vitro diagnostics system
EP3979131A1 (en) 2020-10-02 2022-04-06 Roche Diagnostics GmbH A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes
JP2023018822A (ja) * 2021-07-28 2023-02-09 パナソニックIpマネジメント株式会社 検査方法および検査装置
LU102902B1 (en) * 2022-01-19 2023-07-19 Stratec Se Instrument parameter determination based on sample tube identification
EP4216170A1 (en) 2022-01-19 2023-07-26 Stratec SE Instrument parameter determination based on sample tube identification
TWI804204B (zh) * 2022-02-21 2023-06-01 財團法人國家實驗研究院 用以提供機器學習判讀一生物樣品的取樣方法與裝置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09169392A (ja) 1995-12-20 1997-06-30 Mitsubishi Heavy Ind Ltd 画像式打栓状態検査装置
KR20080108145A (ko) * 2005-01-24 2008-12-11 올림푸스 가부시키가이샤 생화학 검사 장치 및 생화학 검사 방법
EP1846869B1 (en) * 2005-01-27 2011-10-05 Cambridge Research & Instrumentation, Inc. Classifying image features
US8170271B2 (en) * 2008-06-25 2012-05-01 Jadak Llc System and method for test tube and cap identification
JP2010107400A (ja) * 2008-10-30 2010-05-13 Sysmex Corp 検体処理システム及び検体容器仕分け装置
JP5208868B2 (ja) * 2008-10-31 2013-06-12 シスメックス株式会社 検体処理装置
CA2771219C (en) 2009-08-13 2018-12-18 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer
EP2473102B1 (en) * 2009-09-04 2018-05-23 The Johns Hopkins University Multimodal laser speckle imaging
CA2776527C (en) * 2009-10-19 2014-08-05 Ventana Medical Systems, Inc. Imaging system and techniques
EP2776848B1 (en) * 2011-11-07 2019-12-25 Beckman Coulter, Inc. System and method for transporting sample containers
KR20140091033A (ko) * 2011-11-07 2014-07-18 베크만 컬터, 인코포레이티드 검체 컨테이너 검출
EP2798153B1 (en) * 2012-01-19 2017-12-06 Halliburton Energy Services, Inc. Fossil recognition apparatus, systems, and methods
KR101700022B1 (ko) * 2012-06-22 2017-02-13 에프. 호프만-라 로슈 아게 체액에서 분석물질을 검출하는 방법 및 디바이스
US9952241B2 (en) 2012-08-20 2018-04-24 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
CN104718457B (zh) * 2012-10-16 2017-06-20 贝克曼考尔特公司 具有剥离结构的滑槽装置
WO2014152329A1 (en) 2013-03-14 2014-09-25 Siemens Healthcare Diagnostics Inc. Tube tray vision system
JP2015026910A (ja) * 2013-07-24 2015-02-05 キヤノン株式会社 撮像装置及びその制御方法
CN103413286B (zh) * 2013-08-02 2017-05-03 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN103413285A (zh) * 2013-08-02 2013-11-27 北京工业大学 基于样本预测的hdr和hr图像重建方法
JP2015144339A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP6890373B2 (ja) * 2014-07-10 2021-06-18 アイエムエス ナノファブリケーション ゲーエムベーハー 畳み込みカーネルを使用する粒子ビーム描画機における結像偏向の補償
WO2016014429A1 (en) 2014-07-21 2016-01-28 Beckman Coulter, Inc. Methods and systems for tube inspection and liquid level detection
WO2017132169A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
EP3408646B1 (en) 2016-01-28 2024-05-29 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and a specimen
CN108603817B (zh) * 2016-01-28 2022-04-19 西门子医疗保健诊断公司 适于从多个侧视图标识样本容器的方法和装置
JP6888770B2 (ja) 2016-01-28 2021-06-16 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料内のアーチファクトを分類する方法と装置
EP3408641B1 (en) 2016-01-28 2021-05-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
CN108770364A (zh) 2016-01-28 2018-11-06 西门子医疗保健诊断公司 用于使用多个曝光来对样品容器和/或样品进行成像的方法和装置
EP3408653B1 (en) 2016-01-28 2024-01-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
JP6896971B2 (ja) * 2017-04-13 2021-06-30 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の特性評価中にラベル数を決定するための方法および装置

Also Published As

Publication number Publication date
US11035870B2 (en) 2021-06-15
CN109477848A (zh) 2019-03-15
EP3488249B1 (en) 2024-08-28
JP2019531463A (ja) 2019-10-31
EP3488249A1 (en) 2019-05-29
US20190271714A1 (en) 2019-09-05
WO2018022280A1 (en) 2018-02-01
EP3488249A4 (en) 2019-08-07
CN109477848B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
JP6858243B2 (ja) 試料容器の容器キャップを識別するためのシステム、方法及び装置
EP3408640B1 (en) Methods and apparatus adapted to identify a specimen container from multiple lateral views
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
EP3408641B1 (en) Methods and apparatus for multi-view characterization
US11313869B2 (en) Methods and apparatus for determining label count during specimen characterization
EP3408652B1 (en) Methods and apparatus for classifying an artifact in a specimen
JP6791972B2 (ja) 試料中のインターフェレントを検出するための方法と装置
JP6870826B2 (ja) 側方多視点から試料を定量化するように構成された方法及び装置
EP3610270B1 (en) Methods and apparatus for label compensation during specimen characterization
US11927736B2 (en) Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training
US20210164965A1 (en) Specimen container characterization using a single deep neural network in an end-to-end training fashion
US20210334972A1 (en) Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210323

R150 Certificate of patent or registration of utility model

Ref document number: 6858243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250