AttFisher: A Computation of Visual Attention with Fisher Information Matrix

はじめに

近年，機械学習分野では人の注意機構をヒントとしたAttentionと呼ばれるモデルアーキテクチャが注目されている． また，神経科学・生理学の分野では，特に視覚型注意に関する研究が盛んで， top-down attentionとbottom-up attentionが知られている．

• Bottom-up attention: 目的に対して偏りに対する注意．
• Top-down attention: 周りとの違いが顕著な刺激に対する注意．

Fisher情報量とKL-divergence

Fisher情報量

未知母数 に依存する 上の確率変数 の 対数尤度関数 に対して，Score関数

が定義される． ここで， の1次モーメントは となることが知られており， 2次モーメント をFisher情報量行列と呼び， これは， の対数尤度関数 に対するHessian行列の期待値として以下のように定義される．

KL-divergence

確率分布間の擬距離であるKL-divergence

について，2次までのMaclaurin展開をすると，

となる．

確率モデルとの関係．

...

Experiments

VAE on MNIST