語幹（stem）とは単語を構成する形態素のうち、主な意味を担うものである。nltkでは語幹を取り出す関数が用意されている。 >>> from nltk.stem.porter import PorterStemmer >>> st = PorterStemmer() >>> st.stem("unbelievable") u'unbeliev' >>> st.stem(…

単語数をカウントすれば、ストップワードやレアワードの辞書を簡単に作ることが出来る。nltkではこれを行う関数が用意されている。 >>> from nltk import FreqDist >>> text = "a a a b b a a c c d d e e w w a a z z d s q a f a a s w q f x a z a a a w …

概要 フィードフォワードニューラルネットワークを用いて品詞タグ付け、チャンキング、固有表現抽出、意味役割付与のタスクに取り組む。意味役割付与以外は同じモデルを用いる。入力素性を作るための工学的負担は最小限にする。ラベル付けされていないデータ…