pooneilの脳科学論文コメント

■ 脳科学辞典「サリエンシー」の項目書いた

脳科学辞典の「サリエンシー」の項目を書いた。著作権に関しては「各用語解説の著作権はそれぞれの執筆者に帰属します。執筆者は編集委員会へ無償で非独占的に使用する権利を与えています」となっている。そういうわけで、査読されるまえの原稿をブログ用の記事として活用してみる。

---

サリエンシー

英：saliency

類語・同義語：顕著性。サリエンス(salience)。

サリエンシーとは

もし夜空に月が光っていれば月にすぐに目が向くだろう。これは月が目立つ(salient)からだ。このように感覚刺激がボトムアップ性注意を誘引する特性を「サリエンシー」と呼ぶ。 夜の月がsalientであるのは周りの空と比べて明るいからであって、昼の月はsalientではない。つまり、サリエンシーは刺激の時間的または空間的配置によって決定づけられるものであって、その刺激自体の特性ではない。明るいスクリーンに暗い部分があればそこはsalientになる。つまり刺激強度が高いこと(たとえば輝度が高いこと)とサリエンシーが高いことは等価ではない。

しかし、一般名詞としてsalience / saliencyという言葉を(物理的な強度と対比させて)心理的な強度自体を表していることもあり、かならずしも上記の用法で統一されているとは言えない。

視覚探索

サリエンシーは、心理学的研究においては、視覚探索におけるpop-outという概念と関連している。

図1の三つの刺激でそれぞれ仲間はずれの要素を見つけなさい、と問われたとしたら、左と真ん中の二つの図ではひとめで見つかるのに対して、右の図ではなかなか難しい。これは左の図では色特徴でpop-outするから、真ん中の図では傾きの特徴でpop-outするから、と表現される。

このような知見を元にしてAnn Triesmanは注意の「特徴統合理論」(feature integration theory)を作り上げた^[1]。特徴統合理論では、視野像は各特徴(輝度、色、傾きなど)ごとに平行して処理され、それらの特徴が最終的に統合される。よって、図1左の色のpop-out刺激では、色特徴の処理の段階で仲間はずれを検出することが出来るので処理が速いのだが、図1右のconjunction searchでは統合された情報を探索しなければならないために処理が遅くなる、と説明される。

同様な現象は他のモダリティー、たとえば音刺激でも見られる。たとえば聴覚でのoddball taskでは、ピ、ピ、ピと連続する純音刺激に違う周波数の純音が混ざったり、または音が鳴らなかった場合にはその時に注意が誘引される。この場合は空間ではなくて、時間的配列がボトムアップ性注意を誘引する例と言える。

サリエンシー・マップ(saliency map)

特徴統合理論はあくまで心理学的な理論であったが、計算論的立場からどのようにボトムアップ性注意が計算されているかを説明するモデルとして「サリエンシー・マップ」が提唱された^[2]。

サリエンシー・マップとは、特徴に依存しない視覚刺激のサリエンシーをスカラー量として計算して、二次元マップとして表現したもののことを指す。

サリエンシー・マップの機能的な特徴としては以下の二つがあげられる。

• 平行処理：特徴統合理論からの影響を受けているため、サリエンシーはまず各特徴ごとに計算されて、特徴マップを作る。
• Winner-take-allルール：これら複数の特徴マップが足しあわされて計算されたサリエンシー・マップの中からいちばんサリエンシーの高い部分が選択される。

Koch and Ulman 1985^[2]においてはあくまで計算の原理のモデルであったのだが、それを実際の画像から計算できるようなモデルとして実現したのがItti, Koch and Neiburによるサリエンシー計算論モデルだった^[3]。

このモデルのアルゴリズムレベルでの特色としては、

• 各特徴ごとのサリエンシーを計算するため、center-surround抑制を用いる。
• さまざまな解像度(pyramids)でこの作業を平行して行う(画像処理の分野でのmulti-scale representationに対応) 。
• 以上の操作を繰り返して正規化する(iterative normalization)。

がある 。

この計算論モデルはC++ソフトウェアとして、南カリフォルニア大学Ittiラボより、ソースがGNU General Public Licenseに基づいて入手できるようになっている。

このソフトウェアを使って図1の画像のサリエンシーを計算したのが図2となる。

ほかにもMatlabでのサリエンシー・マップを計算するプログラムとして以下のものがwebから入手可能である。

• SaliencyToolbox
• Graph-Based Visual SaliencyおよびItti, Koch, Nieburのサリエンシー・マップ
• Matlab codes for measuring image saliency

Itti, Koch and Neibur^[3]以降、サリエンシー・マップはさまざまな実装が報告されており、たとえば三次元への拡張、トップダウン注意への拡張などcomputational visionにおいて重要な分野の一つとなっている。

サリエンシーの脳内表象

サリエンシー・マップはあくまで計算論的概念であるので、脳にサリエンシー・マップが表現されている保証はない。オリジナルの定義からすればサリエンシー・マップは単一のものであるはずだが、複数の処理レベルのサリエンシー・マップが脳内で分散して表現されていると主張しているものもある (たとえば^[4])。

サリエンシーが表象されている部分としてこれまでに、V1^[5]、上丘^[6]、視床枕^[7]、LIP^[8]、FEF^[9]、V4^[10]などがその候補として挙げられている。

サリエンシー・マップの応用

画像や映像を見ているときの視覚探索をサリエンシー・マップによって予測するという一連の研究がある。そのなかではたとえば視覚探索時の眼球運動のデータからADHD患者やパーキンソン病患者を分類することに成功したもの^[11]やマカクザルの視覚探索時の眼球運動のデータから第一次視覚野損傷の影響を解明したもの^[12]などがある。

参考文献

1. A M Treisman, G Gelade

   A feature-integration theory of attention.
   Cogn Psychol: 1980, 12(1);97-136 [PubMed:7351125]/a> [WorldCat.org]
   

2. C Koch, S Ullman

   Shifts in selective visual attention: towards the underlying neural circuitry.
   Hum Neurobiol: 1985, 4(4);219-27 [PubMed:3836989] [WorldCat.org]
   

3. L. Itti, C. Koch, & E. Niebur
   A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.
   IEEE Transactions on Pattern Analysis and Machine Intelligence: 1998, 20(11):1254-1259.
4. ↑ Vidhya Navalpakkam, Laurent Itti

   Modeling the influence of task on attention.
   Vision Res.: 2005, 45(2);205-31 [PubMed:15581921] [WorldCat.org] [DOI]
   

5. Zhaoping Li

   A saliency map in primary visual cortex.
   Trends Cogn. Sci. (Regul. Ed.): 2002, 6(1);9-16 [PubMed:11849610] [WorldCat.org]
   

6. Wolf Kienzle, Matthias O Franz, Bernhard Schölkopf, Felix A Wichmann

   Center-surround patterns emerge as optimal predictors for human saccade targets.
   J Vis: 2009, 9(5);7.1-15 [PubMed:19757885] [WorldCat.org] [DOI]
   

7. D L Robinson, S E Petersen

   The pulvinar and visual salience.
   Trends Neurosci.: 1992, 15(4);127-32 [PubMed:1374970] [WorldCat.org]
   

8. J P Gottlieb, M Kusunoki, M E Goldberg

   The representation of visual salience in monkey parietal cortex.
   Nature: 1998, 391(6666);481-4 [PubMed:9461214] [WorldCat.org] [DOI]
   

9. Kirk G Thompson, Narcisse P Bichot

   A visual salience map in the primate frontal eye field.
   Prog. Brain Res.: 2005, 147();251-62 [PubMed:15581711] [WorldCat.org] [DOI]
   

10. John H Reynolds, Robert Desimone

    Interacting roles of attention and visual salience in V4.
    Neuron: 2003, 37(5);853-63 [PubMed:12628175] [WorldCat.org]
    

11. Po-He Tseng, Ian G M Cameron, Giovanna Pari, James N Reynolds, Douglas P Munoz, Laurent Itti

    High-throughput classification of clinical populations from natural viewing eye movements.
    J. Neurol.: 2012; [PubMed:22926163] [WorldCat.org] [DOI]
    

12. Masatoshi Yoshida, Laurent Itti, David J Berg, Takuro Ikeda, Rikako Kato, Kana Takaura, Brian J White, Douglas P Munoz, Tadashi Isa

    Residual attention guidance in blindsight monkeys watching complex natural scenes.
    Curr. Biol.: 2012, 22(15);1429-34 [PubMed:22748317] [WorldCat.org] [DOI]