JP5828210B2 - 画像処理装置および方法、並びに、プログラム - Google Patents

Description

本開示は、画像処理装置および方法、並びに、プログラムに関し、特に、評価対象の動きの協同性を非侵襲で定量的に評価することができるようにした画像処理装置および方法、並びに、プログラムに関する。

再生医療の分野においては、細胞を培養して製造した培養細胞を利用し、事故や病気などにより失われた体の細胞、組織、器官などの再生、また機能の回復を図るということが行われている。このような培養細胞として製造できる細胞組織は多岐にわたるが、その中の１つに心筋細胞があり、心臓の治療に用いられる。この培養心筋細胞はそれ自体が拍動に相当する動きをする。そこで、培養心筋細胞の製造段階においては、例えば上記の動きが良好かどうかについての品質評価を行うことが必要になってくる。

このような培養心筋細胞の品質評価を行うにあたり、例えば現状においては、目視による観察が行われている。また、培養心筋細胞に電極を刺して電位を測定するということも行われている。しかし、目視による観察では、観察者の主観によるところが大きく、客観的で的確な評価結果を得ることが難しい。また、電位を測定する場合においては培養心筋細胞に電極が接触するために非侵襲ではないという問題がある。また、この電位による測定に基づいて定量化できる情報は例えば拍動時間程度に限られる。さらに、測定対象が電極上に制限される。

そこで、従来技術として、心筋細胞を撮影して得られる撮像画面中に測定点を設定し、この測定点の輝度を自動計測して、その計測値から心筋細胞の変形周期を測定しようとする構成が知られている（例えば、特許文献１参照）。

特開昭６３−２３３３９２号公報（図１）

しかしながら、特許文献１に記載の方法の場合、輝度の周期的変化を測定対象としているために、測定が可能であるのは拍動周期の時間間隔に限定される恐れがあった。すなわち、非侵襲ではあるが、定量化できる情報が拍動の周期にとどまるという点では、電位を測定する場合と同じ問題を抱えたままとなっており、的確な評価結果を得ることが困難である恐れがあった。

例えば、再生医療等において培養した心筋細胞を評価する場合、心筋細胞の培養細胞の各部分の動きが協同しているか否かを評価することが望まれるが、特許文献１に記載の方法では、このような評価対象とする物体の動きの協同性を非侵襲で定量的に評価することが困難である恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、運動を行う評価対象の動きについて、その協同性を非侵襲で定量的に評価することができるようにすることを目的とする。

本開示の一側面は、評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出する動き検出部と、前記動き検出部により前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出する相関算出部と、前記相関算出部により算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示する評価値算出部とを備える画像処理装置である。

前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、前記動き検出部は、前記撮像部により得られた前記評価対象の画像の各部分領域について、前記評価対象の動きを検出することができる。

前記相関算出部は、前記部分領域間の動き量の時間的変化の相関の算出を、複数回繰り返すことができる。

前記評価対象は、自発的に動く細胞であるようにすることができる。

前記評価対象は、生体より採取した細胞を培養して生成した培養細胞であるようにすることができる。

前記相関算出部は、各部分領域対の前記相関の強さを色の違いで表示することができる。

前記評価対象は、心筋細胞であるようにすることができる。

本開示の一側面は、また、画像処理装置の動き検出部が、評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出し、前記画像処理装置の相関算出部が、前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出し、前記画像処理装置の評価値算出部が、算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示する画像処理方法である。

前記画像処理装置の撮像部が、前記評価対象を撮像し、前記評価対象の画像を得て、前記動き検出部が、得られた前記評価対象の画像の各部分領域について、前記評価対象の動きを検出することができる。

前記相関算出部が、前記部分領域間の動き量の時間的変化の相関の算出を、複数回繰り返すことができる。

前記評価対象は、自発的に動く細胞であるようにすることができる。

前記評価対象は、生体より採取した細胞を培養して生成した培養細胞であるようにすることができる。

前記相関算出部が、各部分領域対の前記相関の強さを色の違いで表示することができる。

前記評価対象は、心筋細胞であるようにすることができる。

本開示の一側面は、さらに、コンピュータを、評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出する動き検出部、前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出する相関算出部、算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示するプログラムである。

本開示の一側面においては、評価対象の画像が複数の部分領域に分割され、各部分領域について、評価対象の動きが検出され、部分領域毎に求められた評価対象の動きを示す動きベクトルが用いられて、部分領域間の動き量の時間的変化の相関が一部若しくは全部の部分領域対について算出され、算出された各部分領域対の相関の強さが、評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化され、表示される。

本開示によれば、画像を処理することができる。特に、評価対象の動きの協同性を非侵襲で定量的に評価することができる。

動きの協同性を説明する図である。 動きの協同性を説明する図である。 培養心筋細胞評価装置の主な構成例を示すブロック図である。 評価指標データ生成部の主な構成例を示すブロック図である。 評価対象画像データの構成例を説明する図である。 動き検出部の主な構成例を示すブロック図である。 フレーム画像データのブロック分割の例を説明する図である。 動き検出データの構成例を説明する図である。 相関算出部の主な構成例を示すブロック図である。 動き量の相関性を説明する図である。 動き相関データ履歴の構成例を説明する図である。 評価部の主な構成例を示すブロック図である。 正規化の関数の例を説明する図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 相関評価処理の流れの例を説明するフローチャートである。 評価部の他の構成例を示すブロック図である。 相関の評価の他の例を説明する図である。 相関評価処理の流れの他の例を説明するフローチャートである。 薬剤評価装置の主な構成例を示すブロック図である。 ブロックの例を説明する図である。 薬剤投与によるブロック間の相関性への影響の例を説明する図である。 評価指標データ生成部の主な構成例を示すブロック図である。 評価部の主な構成例を示すブロック図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 影響評価処理の流れの例を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（培養心筋細胞評価装置）
２．第２の実施の形態（培養心筋細胞評価装置）
３．第３の実施の形態（薬剤評価装置）
４．第４の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［動きの協同性］
まず、評価対象の動きの協同性について説明する。例えば再生医療においては、培養細胞を利用して各種の人体の組織、器官などを治療することが行われる。培養細胞は、細胞を培養して製造される細胞組織である。図１Ａに示される培養細胞１は、培養を栽培し、成育させたものである。例えば、心筋細胞を培養した培養細胞である培養心筋細胞は、心臓の治療等に利用される。

現在、このような培養細胞１を量産し、十分な量を低コストで医療現場に供給可能とするための技術開発が行われている状況にある。このようにして培養細胞が量産される状況となった場合、製造された細胞を効率よく、的確に評価できるようにすることが求められる。

培養細胞１は、生体より採取された心筋細胞を培養して生成される。培養細胞１が心筋細胞を培養したものである（培養心筋細胞である）とすると、心筋細胞は、常時収縮と弛緩を繰り返しながら拍動する。そこで、この場合、培養細胞１の出来栄えを評価するために、その培養細胞１の心筋細胞の動きを評価する。培養心筋細胞である培養細胞１は、その全体が収縮と弛緩を繰り返すように、例えば図１Ｂに示される動きベクトル２のように、各部分の細胞が所定の方向に運動する。

そこで、培養細胞１の観察領域を、図１Ｃに示されるように複数の部分領域（ブロック）に分割し、ブロック毎に動き量（動きベクトル）を検出し、その時間的推移を観察する。

例えば、図１Ｃのグラフ４−１は、ブロック３−１の動き量の時間的推移を示すものであり、グラフ４−２は、ブロック３−２の動き量の時間的推移を示すものである。これらの各ブロックの細胞の動きの相関性（協同性）を評価する。

図２Ａのグラフ５−１乃至グラフ５―３は、グラフ４−１に示されるブロック３−１の細胞の動き量と、グラフ４−２に示されるブロック３−２の細胞の動き量との関係の時間的推移を示すものである。

生体から採取された当初、ブロック３−１に存在する細胞の動き量と、ブロック３−２に存在する細胞の動き量は、グラフ５−１に示されるように、互いの相関性は低いものである。しかしながら、時間が経過し、培養が進むと、グラフ５−２に示されるように徐々に両者の相関性が強くなり、さらに時間が経過すると、グラフ５―３に示されるように、両者の相関性がとても強くなる。

つまり、図２Ｂに示されるグラフのように、培養細胞１の複数の位置の間の動き量の相関係数は、徐々に大きいな値に安定するようになる。つまり、各領域の細胞の動きの協同性が強くなる。理想的には、各細胞の動作が互いに関連するようになり、培養細胞１全体が１つの生体組織として拍動するようになる。

これに対して、培養が上手く行かず、培養細胞１の出来栄えが不完全である場合、各部分の細胞の協同性が上がらず、拍動が弱かったり、各部分がバラバラに動いたり、動かなかったりする。

つまり、培養細胞１の各部分の動きの協同性の評価が、培養細胞１の出来栄えの評価方法の１つとして成立する。そしてその協同性の強弱を評価値として算出することにより、定量的に正しく評価することができるようになる。

［培養心筋細胞評価装置］
図３は、培養心筋細胞評価装置の主な構成例を示すブロック図である。

図３に示される培養心筋細胞評価装置１００は、培養心筋細胞１１０の動きの協同性を評価する装置である。図３に示されるように、培養心筋細胞評価装置１００は、撮像部１０１、評価対象画像データ生成記録部１０２、評価指標データ生成部１０３、および評価部１０４を有する。

撮像部１０１は、評価対象である培養心筋細胞１１０を撮像する。撮像部１０１は、培養心筋細胞１１０を直接（他の部材を介さずに）撮像してもよいし、例えば顕微鏡等のような他の部材を介して培養心筋細胞１１０を撮像してもよい。

また、培養心筋細胞１１０は、撮像部１０１に対して固定されていてもよいし、固定されていなくてもよい。培養心筋細胞評価装置１００は、動き（位置の時間的変化）を検出するため、一般的には、培養心筋細胞１１０が撮像部１０１に対して固定されている方が望ましい。

撮像部１０１は、撮像により得られた培養心筋細胞１１０の画像の画像信号を評価対象画像データ生成記録部１０２に供給する。

評価対象画像データ生成記録部１０２は、撮像部１０１から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。ここで生成される評価対象画像データは、例えば培養心筋細胞１１０を撮像した画像信号から生成される動画像データとなる。

例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される複数のフレーム画像の中から一部の期間のフレーム画像のみを抽出し、それを評価対象画像データとするようにしてもよい。また、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像の一部の領域を小フレーム画像として抽出し、その小フレーム画像からなる動画像を評価対象画像データとするようにしてもよい。さらに、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像に対して任意の画像処理を施し、その画像処理結果を評価対象画像データとするようにしてもよい。画像処理としては、例えば、画像の拡大、縮小、回転、変形、輝度や色度の補正、シャープネス、ノイズ除去、中間フレーム画像生成等が考えられる。もちろん、これら以外のどのような画像処理であってもよい。

評価対象画像データ生成記録部１０２は、記憶している評価対象画像データを所定のタイミングで評価指標データ生成部１０３に供給する。

評価指標データ生成部１０３は、供給された評価対象画像データの各フレーム画像間において、評価対象（培養心筋細胞１１０）の画像の全領域を複数に分割した部分領域であるブロック毎に、評価対象（培養心筋細胞１１０）の動き検出を行う。

評価指標データ生成部１０３は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルから、評価対象（培養心筋細胞１１０）の各ブロックの動きの相関性を求める。また、評価指標データ生成部１０３は、その動きの相関性に基づいて、各ブロックの動きの協同性を評価するための指標である評価指標データを生成する。

評価指標データ生成部１０３は、以上のように生成した評価指標データを評価部１０４に供給する。

評価部１０４は、供給された評価指標データを評価して、培養心筋細胞１１０の動きについての協同性の評価値１１４を算出し、出力する。

なお、培養心筋細胞評価装置１００の評価対象は、培養心筋細胞１１０以外であってもよい。例えば、心筋細胞以外の細胞の細胞シートを評価対象としてもよい。もちろん、評価対象は、細胞以外であってもよい。ただし、評価対象は、自身が動き、その動きの協同性の評価によって評価可能なものであることが望ましい。なお、この動きは、心筋細胞のように自律的（自発的）なものであってもよいし、外部から供給される電気信号等によるものであってもよい。

［評価指標データ生成部］
図４は、図１の評価指標データ生成部１０３の主な構成例を示すブロック図である。図４に示されるように、評価指標データ生成部１０３は、動き検出部１２１、動き検出データ格納部１２２、相関算出部１２３、および、相関データ履歴格納メモリ１２４を有する。

動き検出部１２１は、評価対象画像データ生成記録部１０２から記録された評価対象画像データ１１２を入力してブロック毎に動き検出を行い、その検出結果（動きベクトル）を動き検出データとして、動き検出データ格納部１２２に供給し、記憶させる。

相関算出部１２３は、動き検出データ格納部１２２に格納されている動き検出データを利用して、ブロック間の動きの相関係数を算出し、それを相関データとして、相関データ履歴格納メモリ１２４に供給し、記憶させる。

相関データ履歴格納メモリ１２４は、所定回数繰り返し行われる相関係数の算出の間、算出された相関係数を相関データとして保持する。相関データ履歴格納メモリ１２４は、例えば所定のタイミングにおいて、保持している相関データを評価指標データ１１３として評価部１０４に供給する。

［評価対象画像データの構造］
図５は、評価指標データ生成部１０３に供給される評価対象画像データ１１２の構造例を示している。動きの協同性の評価は、所定の長さの評価区間（例えばＴ＋１フレーム（Ｔは任意の自然数））毎に行われる。したがって、評価指標データ生成部１０３に供給される評価対象画像データ１１２は、その評価区間に対応する１番目から（Ｔ＋１）番目までのフレーム画像データ１３２−１乃至１３２−（Ｔ＋１）から成る。

［動き検出部の構成例］
図６は、動き検出部１２１の主な構成例を示すブロック図である。図６に示されるように、動き検出部１２１は、フレームメモリ１４１および動きベクトル算出部１４２を有する。フレームメモリ１４１は、評価対象画像データ１１２として１フレーム期間ごとに順次入力されてくるフレーム画像データ１３２を保持する。

動きベクトル算出部１４２は、現時刻の評価対象画像データ１１２として入力されるフレーム画像データと、フレームメモリ１４１に保持されている１つ先の（時間的に前の）時刻のフレーム画像データとを入力する。そして、これらの２つフレーム画像データ間の動きを示す動きベクトルを、ブロック毎に算出する。算出された動きベクトルは、動き検出データ１５１として動き検出データ格納部１２２にて保持される。

図６の動き検出部１２１が実行する処理についてより詳細に説明する。動きベクトル算出部１４２は、現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）時刻のフレーム画像データ１３２を入力する。動きベクトル算出部１４２は、これらの入力したフレーム画像データ１３２を、図７に示されるように、Ｍ×Ｎ個（Ｍ、Ｎは任意の自然数）のブロック１６１に分割し、各ブロック１６１について、例えばフレーム画像間のブロックマッチングなどの手法により動き検出を行い、動きベクトルを生成する。ブロック１６１の各々は、例えば（１６×１６）による画素から成る。

動きベクトル算出部１４２は、この動き検出処理を１番目から（Ｔ＋１）番目までのフレーム画像データ１３２を順次利用して実行していく。つまり、動きベクトル算出部１４２は、（Ｔ＋１）個のフレーム画像を用いて、（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）を生成する。動きベクトル算出部１４２は、このように算出した動きベクトルを動き検出データとして、動き検出データ格納部１２２に供給し、記憶させる。

Ｔ番目と（Ｔ＋１）番目のフレーム画像データ１３２を利用した最後の動き検出処理が完了すると、動き検出データ格納部１２２には、図８に示されるように、Ｔ個のフレーム単位動き検出データ１７１−１乃至１７１−Ｔから成る動き検出データが格納される。

フレーム単位動き検出データ１７１−１乃至１７１−Ｔのそれぞれは、フレーム期間ごとに得られる現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）フレーム画像データ１３２とを対象に動き検出処理を行って得られたものとなる。

例えば、３番目のフレーム単位動き検出データ１７１−３は、４番目のフレーム画像データ１３２−４と３番目のフレーム画像データ１３２−３を、それぞれ現時刻と１つ先の時刻のフレーム画像データとして入力して動き検出を行うことで得られる。

また、フレーム対応動き検出データ１７１−１乃至１７１−Ｔの各々は、（Ｍ×Ｎ）個のブロック単位動き検出データ１８１により形成される。ブロック単位動き検出データ１８１は、それぞれが１つのブロック１６１に対応し、対応するブロック１６１について検出された動きベクトルを示すデータとなる。

このように、本実施の形態の動き検出データ１５１は、フレーム対応動き検出データ１７１ごとに（Ｍ×Ｎ）個のブロック単位動き検出データ１８１を有する構造となっている。

［相関算出部］
図９は、図４の相関算出部１２３の主な構成例を示すブロック図である。図９に示されるように、相関算出部１２３は、ブロック間相関係数算出部２０１、相関係数記憶部２０２、および、平均値算出部２０３を有する。

ブロック間相関係数算出部２０１は、動き検出データ格納部１２２から読み出した１評価区間分の動き検出データ１５１を用いて、ブロック間の動きの相関係数Ｃを算出する。例えば、ブロック間相関係数算出部２０１は、ブロックＡとブロックＢとの間の相関係数Ｃ_ａ，ｂを以下の式（１）のように算出する。

・・・（１）

式（１）において、Ｖａ（ｋ）は、時刻ｋのフレームのブロックＡの動き量を示す。また、上線付きのＶａ（ｋ）は、ブロックＡの動き量の、当該評価区間内の時系列方向の平均値を示す。さらに、Ｖｂ（ｋ）は、時刻ｋのフレームのブロックＢの動き量を示す。また、上線付きのＶｂ（ｋ）は、ブロックＢの動き量の、当該評価区間内の時系列方向の平均値を示す。

つまり、ブロック間相関係数算出部２０１は、図１０に示されるように、２つのブロック間における、評価区間内の動き量の変化の様子の相関の度合いを求める。

ブロック間相関係数算出部２０１は、このような相関係数Ｃを全ブロック間（全てのブロックの組み合わせ）について算出する。例えば、ブロック間相関係数算出部２０１が、Ｌ個の相関係数Ｃ_ａ，ｂを算出すると、Ｌは、以下の式（２）のように算出される。

・・・（２）

相関係数記憶部２０２は、ブロック間相関係数算出部２０１が算出するＬ個の相関係数Ｃ_ａ，ｂを記憶する。

平均値算出部２０３は、このように算出された各ブロック間の相関係数の平均値である平均相関係数Ｃａｖｅを以下の式（３）のように算出する。

・・・（３）

平均値算出部２０３は、ブロック間相関係数算出部２０１が算出した各相関係数Ｃ_ａ，ｂと、自身が算出した平均相関係数Ｃａｖｅを相関データ２１１として、相関データ履歴格納メモリ１２４に供給し、記憶させる。つまり、図１１に示されるように、１評価区間につき、（Ｌ＋１）個の相関データ２１１が相関データ履歴格納メモリ１２４に格納される。

評価指標データ生成部１０３は、以上のような評価指標データの生成を所定回数（例えばＳ回）繰り返す（Ｓは任意の自然数）。つまり、撮像部１０１は、撮像を継続し、少なくとも（評価区間（Ｔ＋１フレーム）×Ｓ回）の時間分のフレーム画像を生成し、評価対象画像データ生成記録部１０２は、少なくとも（評価区間×Ｓ回）分の評価対象画像データを生成する。なお、評価対象画像データにおいて各評価区間が時間的に連続していなくてもよい。

例えば、培養開始から培養終了までの期間を１０日間とし、２時間毎にＴ＝６００フレームずつ撮像し、評価を行うとする。この場合、各評価区間が６００フレームとなり、その評価区間がＳ＝１２０回繰り返される。

相関算出部１２３は、各評価区間について上述したように相関データ２１１を生成する。これにより、相関データ履歴格納メモリ１２４には、図１１に示されるように、（Ｌ＋１）×Ｓ個の相関データ２１１が格納される。

［評価部］
以上のように、相関データ履歴格納メモリ１２４に格納された評価区間Ｓ回分の相関データ２１１は、評価指標データ１１３として、評価部１０４に供給される。

図１２は、評価部１０４の主な構成例を示すブロック図である。図１２に示されるように、評価部１０４は、相関係数正規化部２２１、分散算出部２２２、分散正規化部２２３、および評価値算出部２２４を有する。

相関係数正規化部２２１は、以下の式（４）のように、評価指標データ１１３である各相関係数Ｃａ，ｂを、図１３Ａに示されるグラフの曲線２３１のような関数ｆｃを用いて正規化する（関数ｆｃにより正規化した相関係数Ｃ’を求める）。

・・・（４）

例えば、Ｌ個の相関係数Ｃ_ａ，ｂが算出されたとすると、相関係数正規化部２２１は、そのＬ個の相関係数Ｃ_ａ，ｂのそれぞれを、関数ｆａを用いて正規化する。

この関数ｆｃは、相関係数Ｃ_ａ，ｂの値を、その値が大きいほどより大きくし、その値が小さいほどより小さくするような関数であればどのような関数であってもよい。つまり、正規化した相関係数Ｃ’は、ブロック間の動き量の相関が大きいほど大きな値をとり、ブロック間の動き量の相関が小さいほど小さな値をとる。

相関係数正規化部２２１は、その正規化した相関係数Ｃ’と相関係数Ｃ_ａ，ｂを分散算出部２２２に供給する。

分散算出部２２２は、各相関係数Ｃ_ａ，ｂについて、過去Ｎ回の分散Ｖｃを以下の式（５）のように算出する。

・・・（５）

式（５）において、上線付きＣは、相関係数Ｃ_ａ，ｂの評価区間内の時間軸方向の平均値である。また、上述したように相関係数Ｃ_ａ，ｂの算出がＳ回繰り返される場合、Ｎ＝Ｓである。つまり、分散算出部２２２は、フレーム画像全体において、相関係数の分散ＶｃをＬ個算出する。分散算出部２２２は、このように算出した相関係数の分散Ｖｃと正規化した相関係数Ｃ’とを分散正規化部２２３に供給する。

分散正規化部２２３は、各相関係数の分散Ｖｃを、以下の式（６）のように、図１３Ｂに示されるグラフの曲線２３２のような関数ｇｃを用いて正規化する（関数ｇｃにより正規化した相関係数の分散Ｖｃ’を求める）。

・・・（６）

この関数ｇｃは、相関係数の分散Ｖｃの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した相関係数の分散Ｖｃ’は、バラつきが小さいほど大きな値をとり、バラつきが大きいほど小さな値をとる。

分散正規化部２２３は、正規化した相関係数の分散Ｖｃ’と正規化した相関係数Ｃ’とを評価値算出部２２４に供給する。

評価値算出部２２４は、以下の式（７）のように、正規化した相関係数Ｃ’と、正規化した相関係数の分散Ｖｃ’との積の画面全体の平均値（Ｌ個の平均値）を、評価値Ｅｃとして算出する。

・・・（７）

この場合、評価値Ｅｃは、フレーム画像全体において正規化した相関係数および正規化した相関係数の分散が大きい程、その値が大きくなる。つまり、各ブロック間の相関係数が、より大きくより安定している（相関がより大きく、かつ、その時間方向のバラつきがより少ない）場合程、高く評価される。

なお、評価値算出部２２４が、以下の式（８）のように、正規化した相関係数Ｃ’と、正規化した相関係数の分散Ｖｃ’との積の値が所定の閾値Ｔｃ１以上の値となる相関係数の数Ｎｃ１の、フレーム画像全体（Ｌ個）に占める割合を、評価値Ｅｃとして算出するようにしてもよい。

・・・（８）

閾値Ｔａ１は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅｃの値は小さくなる。この場合、評価値Ｅｃは、フレーム画像全体において、正規化された相関係数とその時間方向の分散の積が所定の基準より大きく安定している相関係数が多いほど、その値が大きくなる。

つまり、この場合、上述したように平均値を用いて評価値Ｅｃを算出する場合よりも、各相関係数のバラつきが少ないほど好ましい。例えば、平均値を評価する場合、各相関係数のバラつきが大きくても評価が高くなる場合がある。これに対して、閾値を用いて評価を行う場合、一部の相関係数の値が極端に大きくても、Ｎｃ１が多くなければ、評価は高くならない。

なお、以上においては、２ブロック間の相関係数Ｃａ，ｂのみを評価するように説明したが、これに限らず、評価部１０４が、平均値算出部２０３において算出される平均相関係数Ｃａｖｅも評価するようにしてもよい。その場合、評価部１０４は、上述した相関係数Ｃａ，ｂの場合と同様に、平均相関係数Ｃａｖｅを評価する。

つまり、この場合、評価値算出部２２４は、（Ｌ＋１）個の、正規化された相関係数Ｃ’と、正規化された相関係数の分散Ｖ’との積の平均を評価値Ｅｃとして算出する。若しくは、評価値算出部２２４は、正規化した相関係数Ｃ’と、正規化した相関係数の分散Ｖｃ’との積の値が所定の閾値Ｔｃ１以上の値となる相関係数の数Ｎｃ１の、フレーム画像全体（（Ｌ＋１）個）に占める割合を、評価値Ｅｃとして算出する。

以上のように、評価部１０４は、培養心筋細胞１１０の各部分の拍動（動き）の協同性が高いほど値が大きくなるように評価値Ｅｃを算出し、その協同性が低いほど値が小さくなるように評価値Ｅｃを算出する。これにより、培養心筋細胞評価装置１００（評価部１０４）は、培養心筋細胞１１０の各部分の拍動（動き）の協同性を定量的に評価することができる。また、培養心筋細胞評価装置１００は、このような評価値を算出するための指標を、培養心筋細胞１１０を撮像して得られた画像データを用いて検出した、培養心筋細胞１１０の各部分の動きベクトルを用いるので、容易かつ非侵襲に評価を行うことができる。

［評価処理の流れ］
次に、図１４のフローチャートを参照して、培養心筋細胞評価装置１００により実行される評価処理の流れの例を説明する。

評価処理が開始されると、培養心筋細胞評価装置１００の撮像部１０１は、ステップＳ１０１において、評価対象を撮像する。ステップＳ１０２において、評価対象画像データ生成記録部１０２は、ステップＳ１０１の撮像により得られた画像信号から評価対象画像データを生成する。

ステップＳ１０３において、評価指標データ生成部１０３は、ステップＳ１０２において生成された評価対象画像データから、評価対象の動きの協同性を評価するための指標のデータである評価指標データを生成する。ステップＳ１０４において、評価部１０４は、ステップＳ１０３において生成された評価指標データを用いて、評価対象の動きのブロック間の相関、すなわち協同性を評価し、評価値を算出する。

ステップＳ１０５において、評価部１０４は、ステップＳ１０４において算出された評価値を出力し、評価処理を終了する。

［評価指標データ生成処理の流れ］
次に、図１４のステップＳ１０３において実行される評価指標データ生成処理の流れの例を、図１５のフローチャートを参照して説明する。

評価指標データ生成処理が開始されると、評価指標データ生成部１０３の動き検出部１２１は、ステップＳ１２１において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップＳ１２２において、動き検出データ格納部１２２は、ステップＳ１２１において生成された各ブロックの動きベクトルを記憶する。

ステップＳ１２３において、動き検出部１２１は、予め定められた所定の期間（評価区間）、動き検出を行ったか否かを判定する。所定の評価区間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部１２１は、処理をステップＳ１２１に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。

また、ステップＳ１２３において、所定の評価区間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部１２１は、処理をステップＳ１２４に進める。

ステップＳ１２４において、相関算出部１２３のブロック間相関係数算出部２０１は、ステップＳ１２２において記憶された動きベクトル（動き検出データ）から各ブロック間の相関係数を算出する。ステップＳ１２５において、相関算出部１２３の相関係数記憶部２０２は、ステップＳ１２４において算出された各ブロック間の相関係数を記憶する。

ステップＳ１２６においてブロック間相関係数算出部２０１は、全てのブロック間の相関係数を生成したか否かを判定し、全てのブロック間の相関係数を生成したと判定するまで、処理をステップＳ１２４に戻し、ステップＳ１２４乃至ステップＳ１２６の処理を繰り返す。ステップＳ１２６において、全てのブロック間の相関係数を生成したと判定されると、ブロック間相関係数算出部２０１は、処理をステップＳ１２７に進める。

ステップＳ１２７において、平均値算出部２０３は、ステップＳ１２４において算出されたブロック間の相関係数の平均値である平均相関係数を算出する。ステップＳ１２８において、相関データ履歴格納メモリ１２４は、ステップＳ１２４において算出された各ブロック間の相関係数と、ステップＳ１２７において算出された平均相関係数とを、相関データとして記憶する。

ステップＳ１２９において、相関算出部１２３は、相関係数や平均相関係数の算出を所定回数繰り返したか否かを判定し、繰り返していないと判定された場合、処理をステップＳ１２１に戻し、それ以降の処理を繰り返す。

また、ステップＳ１２９において、相関係数や平均相関係数の算出を所定回数繰り返したと判定された場合、相関算出部１２３は、処理をステップＳ１３０に進める。

ステップＳ１３０において、相関データ履歴格納メモリ１２４は、保持している相関データを評価指標データとして出力する。ステップＳ１３０の処理を終了すると、評価指標データ生成部１０３は、評価指標データ生成処理を終了し、処理を図１４のステップＳ１０３に戻し、ステップＳ１０４以降の処理を実行させる。

［相関評価処理の流れ］
次に、図１６のフローチャートを参照して、図１４のステップＳ１０４において実行される相関評価処理の流れの例を説明する。

相関評価処理が開始されると、評価部１０４の相関係数正規化部２２１は、ステップＳ１５１において、各ブロック間の相関係数を正規化する。ステップＳ１５２において、分散算出部２２２は、各ブロック間の相関係数の時間方向の分散を算出する。

ステップＳ１５３において、分散正規化部２２３は、ステップＳ１５２において算出された各相関係数の分散を正規化する。ステップＳ１５４において、評価値算出部２２４は、ステップＳ１５１において算出された正規化された相関係数と、ステップＳ１５３において算出された正規化された相関係数の分散とを用いて評価値を算出する。

評価値を算出すると、評価値算出部２２４は、相関評価処理を終了し、処理を図１４のステップＳ１０４に戻し、ステップＳ１０５以降の処理を実行させる。

以上のように、各種処理を行うことにより、培養心筋細胞評価装置１００は、評価対象（例えば細胞の動き）の協同性を定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より容易かつ非侵襲に評価することができる。

＜２．第２の実施の形態＞
［評価部の他の例］
なお、協同性の評価方法は、上述した例に限らない。例えば、培養した心筋細胞の拍動を、理想的な正常培養時の場合と比較し、その比較結果を評価するようにしてもよい。この場合、理想的な正常培養時の拍動の推移パターン（理想推移パターン）が予め定められている。

図１７は、この場合の評価部１０４の主な構成を示すブロック図である。図１７に示されるように、この場合、評価部１０４は、距離算出部２４１、距離正規化部２４２、および評価値算出部２４３を有する。

距離算出部２４１は、図１８Ａのグラフに示されるように、培養した心筋細胞の拍動の推移パターン（測定推移パターン）を、この理想推移パターンと比較し、その類似度を評価する。図１８Ａにおいて、実線２５１は、細胞の動きのブロック間の相関の理想推移パターンを示し、点線２５２は、細胞の動きのブロック間の測定推移パターンを示す。両者の差が少ないほど、評価値が大きくなる。

距離算出部２４１は、各経過時間における両者の推移パターン間の距離の和Ｄｃを、各ブロックについて、以下の式（９）のように算出する。

・・・（９）

式（９）において、Ｃ（ｋ）は、時刻ｋのフレーム画像の、測定推移パターンにおけるブロック間の相関係数であり、Ｃ_Ｉ（ｋ）は、時刻ｋのフレーム画像の、理想推移パターンにおけるブロック間の相関係数である。ｋは何回目の測定値であるか（経過時間）を示す（Ｓ回測定を繰り返した場合、０≦ｋ≦Ｓ−１）。また、Ｗ_ｃ（ｋ）は、重み係数であり、その値は任意である。例えば、測定開始直後は両者の推移パターンの違いを重要視しないが、経過時間が長くなるほど、両者の推移パターンが近似する事が求められる場合、重み係数Ｗ_ｃの値は、ｋの値が大きくなるほど、大きくなるように設定される。

以上のように、各経過時間における両者の推移パターン間の距離の和Ｄｃが求められると、距離算出部２４１は、その距離の和Ｄｃを距離正規化部２４２に供給する。

距離正規化部２４２は、距離の和Ｄｃを以下の式（１０）のように、図１８Ｂに示されるグラフの実線２５３のような関数ｈｃを用いて正規化する（正規化した距離の和Ｄｃ’を算出する）。

・・・（１０）

この関数ｈｃは、距離の和Ｄｃの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した距離の和Ｄｃ'は、理想推移パターンと測定推移パターンとの差が小さいほど大きな値をとり、理想推移パターンと測定推移パターンとの差が大きいほど小さな値をとる。

距離正規化部２４２は、正規化した距離の和Ｄｃ’を評価値算出部２４３に供給する。

評価値算出部２４３は、以下の式（１１）のように、正規化した距離の和Ｄｃ’の画面全体の平均値（Ｍ×Ｎ個の平均値）を、評価値Ｅｃとして算出する。

・・・（１１）

この場合、評価値Ｅｃは、フレーム画像全体において測定推移と理想推移との差が少ない程、その値が大きくなる。

なお、評価値算出部２４３が、以下の式（１２）のように、正規化した距離の和Ｄｃ’が所定の閾値Ｔｃ２以上の値となる相関係数の数Ｎｃ２の、フレーム画像全体に占める割合を、評価値Ｅｃとして算出するようにしてもよい。

・・・（１２）

式（１２）において、閾値Ｔｃ２は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅｃの値は小さくなる。この場合、評価値Ｅｃは、フレーム画像全体において測定推移と理想推移との差が所定の基準より小さく安定しているブロックが多いほど、その値が大きくなる。

以上のように、評価部１０４は、心筋細胞の拍動の動き量についての指標データに基づいて、その動き量のブロック間の相関（すなわち協同性）を評価した評価値Ｅｃを算出する。より具体的には、評価部１０４は、培養心筋細胞１１０の各部分の拍動（動き）の協同性が高いほど値が大きくなるように評価値Ｅｃを算出し、その協同性が低いほど値が小さくなるように評価値Ｅｃを算出する。つまり、評価部１０４は、心筋細胞の動きの協同性について定量的に評価を行うことができる。

［相関評価処理の流れ］
この場合の相関評価処理の流れの例を、図１９のフローチャートを参照して説明する。

相関評価処理が開始されると、評価部１０４の距離算出部２４１は、ステップＳ１７１において、推移パターン間の距離の和を算出する。ステップＳ１７２において、距離正規化部２４２は、ステップＳ１７１において算出された距離の和を正規化する。

ステップＳ１７３において、評価値算出部２４３は、ステップＳ１７２において正規化された距離の和を用いて評価値を算出する。評価値を算出すると、評価値算出部２４３は、相関評価処理を終了し、処理を図１４のステップＳ１０４に戻し、ステップＳ１０５以降の処理を実行させる。

以上のように、各種処理を行うことにより、培養心筋細胞評価装置１００は、評価対象（例えば細胞の動き）の協同性を定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より容易かつ非侵襲に評価することができる。

＜３．第３の実施の形態＞
［他の評価への応用］
なお、評価対象の動きの協同性の評価することにより、その評価対象の動きに影響を及ぼす他の物体（例えば、気体、液体、固体の投与等）や任意の環境条件（例えば、温度、湿度、気圧、明度、振動、磁場等）等の評価を行うようにしてもよい。

培養心筋細胞の位相差観察動画の解析によって求めた様々な領域の拍動は、培養日数依存的に協同的な拍動を示すが、様々な薬剤の投与によって変動を示す。このような変動を何らかの方法によって検出することで、創薬の際の薬剤毒性や効果等を事前に評価することが可能となり、近年注目されている。

従来では、例えば、培養皿の底に配置した電極によって細胞の外場電位を検出し細胞の膜電位変化によって細胞の拍動挙動を捉える方法があった。また、細胞内にカルシウムに結合して発光する蛍光色素を入れ込み、細胞の興奮（活動電位）によって変動するカルシウム濃度を検出することで、細胞の拍動リズムを検出し、また、細胞の情報伝搬パターンを評価する方法もあった。

これらの手法は、特定の培養皿が必要であったり、また蛍光色素は高価で、蛍光色素を入れ込むのも煩雑で時間がかかったりする等、細胞の簡便・非侵襲なモニタリングに対しては問題点が多かった。

そこで、上述したように、細胞の動きを検出し、その相関性（協同性）を評価する方法を利用して、薬剤毒性等を評価するようにする。心筋細胞の拍動は収縮と弛緩よりなるが、例えば細胞のカリウムチャネルのイオンの出入りが阻害されると、弛緩の時間が延長する（収縮した状態から戻り難くなる）。各細胞の弛緩の延長により、細胞間の動きの相関性が低減する。また、細胞は、ギャップジャンクションを介して他の細胞と信号を授受するが、このギャップジャンクションの信号の伝達が阻害されると、細胞間の動きの相関性が低減する。

つまり、細胞間の動きの相関性を評価することにより、投与された薬剤が心筋細胞に及ぼす影響を評価することができる。この細胞間の動きの相関性の評価を、上述したように画像解析によって行うことにより、細胞に何ら蛍光色素などの試薬を加えることなく、また特殊な培養皿を使用することなく、細胞拍動挙動の変化を捉えることができるので、薬剤毒性等を容易かつ正確に評価することができる。

［薬剤評価装置］
図２０は、薬剤評価装置の主な構成例を示すブロック図である。図２０に示される薬剤評価装置３００は、薬剤による影響（効能や副作用等）を、その薬剤が投与された培養心筋細胞１１０の動きの協同性によって評価する装置である。

図２０に示されるように、薬剤評価装置３００は、図３の培養心筋細胞評価装置１００と同様の撮像部１０１および評価対象画像データ生成記録部１０２を有する。撮像部１０１は、薬剤投与前と薬剤投与後に、培養心筋細胞１１０を撮像する。

評価対象画像データ生成記録部１０２は、撮像部１０１から供給される画像信号１１１を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。つまり、薬剤投与前後の培養心筋細胞１１０の各動画像について評価対象画像データが生成される。

また、薬剤評価装置３００は、培養心筋細胞評価装置１００の評価指標データ生成部１０３の代わりに、評価指標データ生成部３０３を有し、さらに、評価部１０４の代わりに評価部３０４を有する。

評価指標データ生成部３０３は、評価対象画像データ生成記録部１０２から、評価対象画像データ１１２を取得する。評価指標データ生成部３０３は、取得した評価対象画像データ１１２を用いて評価指標データ１１３を生成し、それを評価部３０４に供給する。

より具体的には、評価指標データ生成部３０３は、例えば培養心筋細胞１１０の動画像である評価対象画像データ１１２の各フレーム画像間において、そのフレーム画像の全領域を複数に分割した部分領域であるブロック毎に、評価対象（培養心筋細胞１１０）の動き検出を行う。評価指標データ生成部３０３は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルを評価指標データ１１３として評価部３０４に供給する。

評価部３０４は、供給された評価指標データ１１３を評価して、培養心筋細胞１１０の動きについての協同性の評価値１１４を算出し、出力する。

より具体的には、評価部３０４は、例えば図２１Ａに示されるように、フレーム画像（観察領域）全体を複数に分割した部分領域を設定し、その領域間で動きベクトルの相関性を評価する。

図２１Ａの例では、フレーム画像を４×４の部分領域に分割している（１６分割）。この部分領域の大きさ（すなわち分割数）は任意であるが、動きベクトルを検出する際のブロックの整数倍であると演算処理が容易になる。

ただし、極端に狭い領域内での相関関係は、観察領域（フレーム画像）全体における動きベクトルの相関性評価結果に大きな影響を与えない場合が多い。したがって、不要に演算量を増大させないように、部分領域の大きさ（分割数）は、フレーム画像の大きさ（解像度）、評価対象の動き方、評価基準（どの程度の精度が必要か）等の各種条件に応じて適切な大きさに設定するのが望ましい。

一般的には、例えば図２１Ａに示されるような４×４分割程度が望ましい。また、一般的には、動きベクトルは、これより小さな単位で求められるので、評価部３０４は、各領域に含まれる動きベクトルの平均を求め、その平均をその領域の動きベクトルとする。

評価部３０４は、図２１Ｂに示されるように、各領域の動きベクトル（その領域内の動きベクトルの平均）の時間的変化（若しくは動き量の時間的変化）を求める。評価対象画像データ１１２は、動画像であるので、動きベクトルは、フレーム毎（サンプリング時間毎）に求められる。つまり、評価部３０４は、各領域の動きベクトルをフレーム毎（サンプリング時間毎）に求める。図２１Ｂは、評価部３０４が算出した各領域の動きベクトル（の絶対値）の時間的変化をグラフで表したもの（つまり、拍動パターン）である。

評価部３０４は、各領域間における相関を全ての領域間で評価し、図２２に示されるような３Ｄプロットを得る。図２２の各３Ｄプロットは、各領域間における特徴量の相関の強さを３次元空間に描画したものである。図２２の３Ｄプロットにおいて、ｘ、ｙ軸は各領域（２領域の組み合わせ）を示し、ｚ軸は領域間での動きベクトル（若しくはその動き量）の時間的変化の相関の強さを示す。相関係数Ｃは、完全相関を１とする以下の式（１３）によって求められる。

・・・（１３）

ただし、（ｘ，ｙ）＝｛（ｘ_ｉ、ｙ_ｉ）｝ （ｉ＝１，２，…，ｎ）であり、ｘとｙはそれぞれｘ軸方向の動き量とｙ軸方向の動き量を示し、ｉはサンプル番号（時刻）を示す。上線付きｘと上線付きｙは、それぞれ、データｘ＝｛ｘ_ｉ｝とｙ＝｛ｙ_ｉ｝の相加平均を示す。これは、各データの平均からのずれを表す、以下の式（１４）および式（１５）で示されるベクトルのなす角の余弦である。

・・・（１４）

・・・（１５）

図２２において、左側の３Ｄプロットは、薬剤投与前の相関性を示しており、右側の３Ｄプロットは、薬剤投与後２時間経過後の相関性を示している。もちろん、どの時点の相関性を評価する（例えば３Ｄプロット化する）かは任意である。

図２２の例の場合、一番上の３Ｄプロットは、有機溶媒として使用されるジメチルスルホキシド（dimethyl sulfoxide））の投与前後の相関性を示している。また、上から２番目の３Ｄプロットは、アスピリン（aspirin（アセチルサリチル酸（acetylsalicylic acid）））の投与前後の相関性を示している。さらに、上から３番目の３Ｄプロットは、ＤＬ−ソタロール（dl-sotalol）の投与前後の相関性を示している。また、一番下の３Ｄプロットは、１８−β−グリチルレチン酸（18-β-Glycyrrhetinic acid）の投与前後の相関性を示している。

図２２の３Ｄプロットに示されるように、ジメチルスルホキシドやアスピリンは、心筋細胞の拍動の協同性に大きな影響を与えない。これに対して、ＤＬ−ソタロールは、カリウムチャネルを阻害することが知られている。つまり、培養心筋細胞５００にＤＬ−ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化する。各拍動の波形がばらつくことにより、図２２に示されるように、投与後、各領域の動きベクトルの相関性が低減する。また、１８−β−グリチルレチン酸は、ギャップジャンクションを阻害することが知られており、図２２に示されるように、投与後、各領域の動きベクトルの相関性が低減する。

このように、薬剤投与前後で、各領域の動きベクトルの相関性を評価することにより、評価部３０４は、その薬剤による心筋細胞の拍動への影響を容易に検出することができる。なお、以上のように、培養心筋細胞５００の観察領域内において、部分領域間の動きベクトルの相関性、すなわち、細胞間の拍動の相関性を観察することにより、特定の細胞（特定の部分領域）の拍動の様子を観察するだけでは得られない情報を得ることができる。例えば、１８−β−グリチルレチン酸を投与した場合、特定の細胞の拍動において弛緩の波形の大きな延長は発生しないが、上述したように細胞間（部分領域間）の相関性は、大きく変化する。したがって、特定の細胞の拍動の様子を観察する場合とは異なる指標で薬剤評価を行うことができる。なお、評価部３０４は、図２２に示される３Ｄプロットのように画像化したものを、評価値１１４としてユーザに提供するようにしてもよいし、相関性を数値化し、定量的に行った評価結果を評価値１１４としてもよい。

なお、もちろん、図２２に示される３Ｄプロットは画像化の一例であり、例えば、折れ線グラフ、棒グラフ、分布図、模式図等、任意の画像により各領域の動きベクトルの相関性を表現するようにしてもよい。また、評価する薬剤は、任意であり、上述した４種類の薬剤以外であってもよい。

以下に各部の詳細について説明する。

［評価指標データ生成部］
図２３は、評価指標データ生成部３０３の主な構成例を示すブロック図である。図２３に示されるように、評価指標データ生成部３０３は、動き検出部１２１および動き検出データ格納部１２２を有する。つまり、評価指標データ生成部３０３は、動き検出データ（動きベクトル）を評価指標データ１１３として評価部３０４に供給する。

［評価部］
図２４は、評価部３０４の主な構成例を示すブロック図である。図２４に示されるように、評価部３０４は、動きベクトル取得部３４１、領域特徴量算出部３４２、相関係数算出部３４３、相関評価部３４４、表示部３４５、および出力部３４６を有する。

動きベクトル取得部３４１は、評価指標データ生成部３０３（動き検出データ格納部１２２）から、所望の動きベクトル（例えばユーザが相関性を評価すると指示した動画像に対応する動きベクトル）を評価指標データ１１３として取得する。動きベクトル取得部３４１は、取得した動きベクトルを領域特徴量算出部３４２に供給する。

領域特徴量算出部３４２は、上述した動きベクトルの相関性を評価するための部分領域の動きベクトル（その領域内の動きベクトルの平均値）を算出し、その動きベクトルの平均値（若しくはその動き量）の時間的変化を、その領域の特徴量とする。領域特徴量算出部３４２は、各領域についてこのような特徴量を算出する。なお、各領域の特徴量は、各領域の動き（若しくはその動き量）の時間的変化を示すパラメータであればよく、上述した領域内の動きベクトルの平均値以外であってもよい。例えば、領域内の代表位置の動きベクトル（若しくはその動き量）の時間的変化を、その領域の特徴量としてもよいし、領域内で最大値をとる動きベクトル（若しくはその動き量）の時間的変化を、その領域の特徴量としてもよい。もちろん、領域内で中間値をとる動きベクトル（若しくはその動き量）の時間的変化を、その領域の特徴量としてもよい。もちろんこれら以外のパラメータであってもよい。領域特徴量算出部３４２は、算出した各部分領域の特徴量を相関係数算出部３４３に供給する。

相関係数算出部３４３は、部分領域間の特徴量の相関係数Ｃを、例えば上述した式（１３）を用いて算出する。相関係数算出部３４３は、２つの部分領域の全ての組み合わせについて（全ての部分領域対について）、特徴量の相関係数を求める。もちろん、一部の部分領域対についてのみ、特徴量の相関係数を求めるようにしてもよい。また、この特徴量の相関係数の算出方法は任意であり、相関係数算出部３４３が、上述した式（１３）以外の演算により相関係数を求めるようにしてもよい。

相関係数算出部３４３は、算出した相関係数を、表示部３４５に供給して表示させたり、出力部３４６に供給して他の装置に供給させたりする。また、相関係数算出部３４３は、算出した相関係数を、相関評価部３４４に供給する。

相関評価部３４４は、供給された相関係数の値を定量的に評価する。例えば、相関評価部３４４は、閾値を用いて相関係数が低減したか否かを判定する。相関評価部３４４は、その評価結果を、表示部３４５に供給して表示させたり、出力部３４６に供給して他の装置に供給させたりする。

表示部３４５は、例えばモニタ等の表示デバイスを有し、相関係数算出部３４３若しくは相関評価部３４４から供給されるデータを画像化し、その画像を表示デバイスに表示する。例えば、表示部３４５は、相関係数算出部３４３により算出された各領域間の相関の強さを、３次元空間に描画する３Ｄプロットとして画像化し、表示する。また、例えば、表示部３４５は、相関評価部３４４から供給される評価結果を画像化し、表示する。

出力部３４６は、例えば外部端子等のインタフェースを有し、相関係数算出部３４３若しくは相関評価部３４４から供給されるデータを外部の装置やネットワーク等に出力する。

以上のように、評価部３０４が部分領域間で動きベクトル（若しくはその動き量）の時間的変化の相関係数を求めることにより、薬剤評価装置３００は、薬剤投与による心筋細胞の拍動への影響を、容易かつ非侵襲に評価することができる。

［評価処理の流れ］
次に、図２５のフローチャートを参照して、薬剤評価装置３００により実行される評価処理の流れの例を説明する。

評価処理が開始されると、薬剤評価装置３００の撮像部１０１は、ステップＳ３０１において、評価対象を撮像する。ステップＳ３０２において、評価対象画像データ生成記録部１０２は、ステップＳ３０１の撮像により得られた画像信号から評価対象画像データを生成する。

ステップＳ３０３において、評価指標データ生成部３０３は、ステップＳ３０２において生成された評価対象画像データを用いて評価指標データを生成する。ステップＳ３０４において、評価部３０４は、ステップＳ３０３において生成された評価指標データを用いて、薬剤投与前後の培養心筋細胞１１０の拍動の部分領域間の相関性（協同性）を観察することにより、薬剤の影響を評価する。

ステップＳ３０５において、評価部３０４の出力部３４６は、ステップＳ３０４において算出された評価値を薬剤評価装置３００の外部に出力し、評価処理を終了する。なお、ステップＳ３０５において、出力部３４６の出力の代わりに、上述したように、表示部３４５が評価値を画像化し、その画像を表示デバイスに表示するようにしてもよい。また、上述したように、表示部３４５が、ステップＳ３０４の処理において算出される相関係数群を画像化し、表示デバイスに表示するようにしてもよいし、出力部３４６が、その相関係数群を薬剤評価装置３００の外部に出力するようにしてもよい。

［評価指標データ生成処理の流れ］
次に、図２５のステップＳ３０３において実行される評価指標データ生成処理の流れの例を、図２６のフローチャートを参照して説明する。

評価指標データ生成処理が開始されると、評価指標データ生成部３０３の動き検出部１２１は、ステップＳ３２１において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップＳ３２２において、動き検出データ格納部１２２は、ステップＳ３２１において生成された各ブロックの動きベクトルを記憶する。

ステップＳ３２３において、動き検出部１２１は、予め定められた所定の期間（評価区間）、動き検出を行ったか否かを判定する。所定の評価区間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部１２１は、処理をステップＳ３２１に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。

また、ステップＳ３２３において、所定の評価区間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部１２１は、評価指標データ生成処理を終了し、処理を図２５に戻し、ステップＳ３０４以降の処理を実行させる。

［影響評価処理の流れ］
次に、図２７のフローチャートを参照して、図２５のステップＳ３０４において実行される影響評価処理の流れの例を説明する。

影響評価処理が開始されると、評価部３０４の動きベクトル取得部３４１は、ステップＳ３４１において、動き検出データ格納部１２２から所望の動きベクトルを取得する。

ステップＳ３４２において、領域特徴量算出部３４２は、ステップＳ３４１において取得した動きベクトルを用いて、領域毎の特徴量を算出する。ステップＳ３４３において、相関係数算出部３４３は、ステップＳ３４２において算出された特徴量についての領域間の相関係数を算出する。

ステップＳ３４４において、相関評価部３４４は、ステップＳ３４３において算出された相関係数を評価することにより、領域間の協同性（拍動の相関性）を評価する。ステップＳ３４４の処理が終了すると、相関評価部３４４は、影響評価処理を終了し、処理を図２５に戻し、ステップＳ３０５の処理を実行させる。

以上のように、評価部３０４が部分領域間で動きベクトル（若しくはその動き量）の時間的変化の相関係数を求めることにより、薬剤評価装置３００は、薬剤投与による心筋細胞の拍動への影響を、容易に評価することができる。この方法は、特殊な培養皿や蛍光試薬を使わないため、簡便、非侵襲、安価に評価が可能であり、また自動化にも好適である。また、この方法の場合、観察領域は、例えば０．６mm平方程度と比較的狭い範囲でよく、少ない細胞数と少ない試薬で試験が可能である。また、一般的に市販されている高密度の培養プレート（１５３６穴プレート（１．７ｍｍ直径/1well）や３８４穴プレート（３．６ｍｍ直径/1well）によっても十分に評価可能であり、創薬における最初のスクリーニングにも好適である。本技術は、さらに、培養心筋細胞１１０を観察することにより評価可能なものであればどのようなものを評価する場合にも適用することができる。

＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２８において、パーソナルコンピュータ１５００のCPU（Central Processing Unit）１５０１は、ROM（Read Only Memory）１５０２に記憶されているプログラム、または記憶部１５１３からRAM（Random Access Memory）１５０３にロードされたプログラムに従って各種の処理を実行する。RAM１５０３にはまた、CPU１５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１５０１、ROM１５０２、およびRAM１５０３は、バス１５０４を介して相互に接続されている。このバス１５０４にはまた、入出力インタフェース１５１０も接続されている。

入出力インタフェース１５１０には、キーボード、マウスなどよりなる入力部１５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１５１２、ハードディスクなどより構成される記憶部１５１３、モデムなどより構成される通信部１５１４が接続されている。通信部１５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース１５１０にはまた、必要に応じてドライブ１５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１５０２や、記憶部１５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１） 評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、
前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の複数個所における動き量の時間的変化の相関を算出する相関算出部と、
前記相関算出部により算出された前記相関を用いて、前記評価対象の動きの協同性を評価する評価値を算出する評価値算出部と
を備える画像処理装置。
（２） 前記動き検出部は、前記評価対象の画像の全領域を複数の部分領域に分割し、各部分領域について、前記動きを検出し、
前記相関算出部は、前記動き検出部により前記部分領域毎に求められた前記動きベクトルを用いて、前記部分領域間の前記相関を算出し、
前記評価値算出部は、前記相関算出部により算出された前記部分領域間の前記相関を用いて前記評価値を算出する
前記（１）に記載の画像処理装置。
（３） 前記評価値算出部は、
前記相関算出部により算出された前記部分領域間の前記相関を所定の関数で正規化する相関正規化部と、
前記相関算出部により算出された各部分領域間の前記相関の時間方向の分散を算出する分散算出部と、
前記分散算出部により算出された前記分散を所定の関数で正規化する分散正規化部と、
前記相関正規化部により正規化された前記部分領域間の前記相関と、前記分散正規化部により正規化された前記分散との積の、前記評価対象の画像全体の平均値を前記評価値として算出する平均値評価値算出部と
をさらに備える前記（２）に記載の画像処理装置。
（４） 前記評価値算出部は、
前記相関算出部により算出された前記部分領域間の前記相関を所定の関数で正規化する相関正規化部と、
前記相関算出部により算出された各部分領域間の前記相関の時間方向の分散を算出する分散算出部と、
前記分散算出部により算出された前記分散を所定の関数で正規化する分散正規化部と、
前記相関正規化部により正規化された前記部分領域間の前記相関と、前記分散正規化部により正規化された前記分散との積の総数に対する、予め定められた所定の閾値より大きい値をもつ前記積の数の割合を前記評価値として算出する平均値評価値算出部と
をさらに備える前記（２）または（３）に記載の画像処理装置。
（５） 前記評価値算出部は、
前記相関算出部により算出された前記部分領域間の前記相関の、予め定められた理想的な時間的推移である理想推移と、前記動き検出部により検出された時間的推移である測定推移との差分を求める距離算出部と、
前記距離算出部により算出された前記差分を所定の関数で正規化する正規化部と、
前記正規化部により正規化された前記差分の平均値を前記評価値として算出する差分平均値算出部と
をさらに備える前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記評価値算出部は、
前記相関算出部により算出された前記部分領域間の前記相関の、予め定められた理想的な時間的推移である理想推移と、前記動き検出部により検出された時間的推移である測定推移との差分を求める距離算出部と、
前記距離算出部により算出された前記差分を所定の関数で正規化する正規化部と、
前記正規化部により正規化された前記差分の平均値の総数に対する、予め定められた所定の閾値より大きい値をもつ前記平均値の数の割合を前記評価値として算出する平均値評価値算出部と
をさらに備える前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記相関算出部は、前記部分領域間の前記相関を、一部若しくは全部の部分領域対について算出し、
前記評価値算出部は、前記相関算出部により算出された各部分領域対の前記相関の強さを、３次元空間に描画する３Ｄプロットとして画像化し、表示する
前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記評価値算出部は、前記協同性が高いほど値が大きくなるように、前記評価値を算出する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記評価値算出部は、前記協同性が低いほど値が小さくなるように、前記評価値を算出する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記相関算出部は、前記評価対象の複数個所における動き量の時間的変化の相関の算出を、複数回繰り返す
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記評価対象は、自発的に動く細胞である
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、
前記画像処理装置の相関算出部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の複数個所における動き量の時間的変化の相関を算出し、
前記画像処理装置の評価値算出部が、算出された前記相関を用いて、前記評価対象の動きの協同性を評価する評価値を算出する
画像処理方法。
（１５） コンピュータを、
評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、
検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の複数個所における動き量の時間的変化の相関を算出する相関算出部、
算出された前記相関を用いて、前記評価対象の動きの協同性を評価する評価値を算出する評価値算出部
として機能させるためのプログラム。

１００ 培養心筋細胞評価装置， １０１ 撮像部， １０２ 評価対象画像データ生成記録部， １０３ 評価指標データ生成部， １０４ 評価部， １２１ 動き算出部， １２２ 動き検出データ格納部， １２３ 相関算出部， １２４ 相関データ履歴格納メモリ， １４１ フレームメモリ， １４２ 動きベクトル算出部， ２０１ ブロック間相関係数算出部， ２０２ 相関係数記憶部， ２０３ 平均値算出部， ２２１ 相関係数正規化部， ２２２ 分散算出部， ２２３ 分散正規化部， ２２４ 評価値算出部， ２４１ 距離算出部， ２４２ 距離正規化部， ２４３ 評価値算出部， ３００ 薬剤評価装置， ３０３ 評価指標データ生成部， ３０４ 評価部， ３４１ 動きベクトル取得部， ３４２ 領域特徴量算出部， ３４３ 相関係数算出部３４３， ３４４ 相関評価部， ３４５ 表示部， ３４６ 出力部

Claims (15)

1. 評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出する動き検出部と、
   前記動き検出部により前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出する相関算出部と、
   前記相関算出部により算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示する評価値算出部と
   を備える画像処理装置。
2. 前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
   前記動き検出部は、前記撮像部により得られた前記評価対象の画像の各部分領域について、前記評価対象の動きを検出する
   請求項１に記載の画像処理装置。
3. 前記相関算出部は、前記部分領域間の動き量の時間的変化の相関の算出を、複数回繰り返す
   請求項１または請求項２に記載の画像処理装置。
4. 前記評価対象は、自発的に動く細胞である
   請求項１乃至請求項３のいずれか記載の画像処理装置。
5. 前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
   請求項１乃至請求項４のいずれかに記載の画像処理装置。
6. 前記相関算出部は、各部分領域対の前記相関の強さを色の違いで表示する
   請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記評価対象は、心筋細胞である
   請求項１乃至請求項６のいずれかに記載の画像処理装置。
8. 画像処理装置の動き検出部が、評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出し、
   前記画像処理装置の相関算出部が、前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出し、
   前記画像処理装置の評価値算出部が、算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示する
   画像処理方法。
9. 前記画像処理装置の撮像部が、前記評価対象を撮像し、前記評価対象の画像を得て、
   前記動き検出部が、得られた前記評価対象の画像の各部分領域について、前記評価対象の動きを検出する
   請求項８に記載の画像処理方法。
10. 前記相関算出部が、前記部分領域間の動き量の時間的変化の相関の算出を、複数回繰り返す
    請求項８または請求項９に記載の画像処理方法。
11. 前記評価対象は、自発的に動く細胞である
    請求項８乃至請求項１０のいずれか記載の画像処理方法。
12. 前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
    請求項８乃至請求項１１のいずれかに記載の画像処理方法。
13. 前記相関算出部が、各部分領域対の前記相関の強さを色の違いで表示する
    請求項８乃至請求項１２のいずれかに記載の画像処理方法。
14. 前記評価対象は、心筋細胞である
    請求項８乃至請求項１３のいずれかに記載の画像処理方法。
15. コンピュータを、
    評価対象の画像を複数の部分領域に分割し、各部分領域について、前記評価対象の動きを検出する動き検出部、
    前記部分領域毎に求められた前記評価対象の動きを示す動きベクトルを用いて、前記部分領域間の動き量の時間的変化の相関を一部若しくは全部の部分領域対について算出する相関算出部、
    算出された各部分領域対の前記相関の強さを、前記評価対象の動きの協同性を評価するため、３次元空間に描画する３Ｄプロットとして画像化し、表示する評価値算出部
    として機能させるためのプログラム。

Images