Matter Mind Meaning

思ったことを忘れてしまわないように書き留める

論文紹介: A Bayesian Approach to Unsupervised Semantic Role Induction

概要

紹介論文[Titov and Klementiev 2012] では、教師なし学習により意味役割を付与する。これは述語項同定と項のクラスタリングからなる２ステップで行われる。述語項同定は依存構造木からヒューリスティック手法を用いて判別する[Lang and Lapata 2011]。項のクラスタリングは、ディリクレ過程のひとつであるDistance Dependent CRPsをクラスタの事前分布として行う。各クラスタが意味役割に対応する。

 

背景

意味役割とは、述語と項の関係を分類したものである。意味役割としては、動作主、経験者、主題、目標、起点などがある。例えば、以下の例において<A0>は動作主、<A1>は主題を表す。

 

(a) [<A0> Mary ] opend [<A1> the door ]

(b) [<A0> Mary ] is expected to open [<A1> the door] .

(c) [<A1> The door ] opend.

(d) [<A1> The door ] was oopend by [<A0> Mary ].

 

意味役割付与は質問応答、アラインメント、機械翻訳などで役立ってきた。統語的な表現は意味役割を予測するのに有用だが、単純なルールにより一方からもう一方を決定することは出来ない。これは、統計的な手法を採用する動機になる。

 

CRFなどの統計的な手法を用いた意味役割付与は大きな成功を収めてきたが、大量の教師データを必要とする。これは、特殊なドメインやアノテートされたデータが十分に存在しないドメインにおいて問題となる。このことは教師なしの手法を使う動機となる。

 

手法 

まず、述語に対する項の同定が行われる。このステップは紹介論文では[Lang and Lapata 2011]で提案された言語学的な知識に基づく手法が使われている。紹介論文の主要な貢献は、同定した項を素性に基いてクラスタリングする新手法を提案したことである。以下では、データ（述語と項）の生成過程のモデルを説明する。データを用いたモデルパラメタの推定は最尤法に基づくが、論文中では詳しく説明されていない。

 

項の素性は統語的な特徴により構成される。統語的な特徴としては態（能動態か受容体か）、述語に関する相対的位置（右か左か）、述語に対する依存関係、前置詞がある。上記の例(a)であれば、素性はACT:RIGHT:SBJとなる。

 

紹介論文では項の素性をクラスタリングする。クラスタの数に関して仮定を起きたくないので、クラスタ数可変のディリクレ過程をクラスタの事前分布とする。ディリクレ過程とは有限個のデータ系列であり、系列の全体がディリクレ分布に従う。ディリクレ過程に従う系列を実際に生成するのが中華料理店過程(CRPs)である。さらに、CRPsを一般化した距離依存CRPsも使われている。クラスタの生成からデータの生成までを箇条書きすると以下のようになる。ただし、一部簡単化した。

 

  1. 各述語に対して項の素性の全体集合がCRPsによりクラスタリングされる。各クラスタは意味役割を表す
  2. 各述語の各クラスタに対して、述語の項となる単語が従う多項分布のパラメタがディリクレ分布からサンプルされる
  3. 述語のクラスタが幾何分布からサンプルされる
  4. 各述語の各クラスタに対して、項の素性がクラスタに属する素性の集合の一様分布からサンプルされる
  5. 項に当てはめる具体的な単語が2で生成した多項分布からサンプルされる

パラメタの推定は教師なしで行うが、詳細な方法は論文からは読み取れなかった。

 

実験

実験では意味役割付与のベンチマークであるCoNNL2008 Shared task により評価を行った。評価手法は、ひとつのクラスタに属する、ひとつの主要な意味役割の項の他の項に対する割合（純度PU）と、ひとつの意味役割の項が、ひとつの主要クラスタに含まれる割合（集積度CO）が求められ、両者の平均をF値とする。述語項の同定のゴールドデータが与えられた場合の最良の結果は、PU=88.7、CO=78.1、F=83.0であった。

 

参考文献

[Titov and Klementiev 2012] Titov, I. and Klementiev, A.  A bayesian approach to semantic role induction. In Proc. EACL, Avignon, France.
[Lang and Lapata 2011] Lang, J. and Lapata, M. (2011a). Unsupervised semantic role induction via split-merge clus- tering. In ACL.