はじめての自然言語解析~トピックモデルを使って文章を分類~

@Seiyan1です。好きな文章を自然言語解析でトピック分類できるようになるステップから結果の解釈まで解説しています。

橋下徹さんのメルマガをデータセットとして使っており、どのようなトピックに分類出来たかを解説しているので、政治に興味がある方にも手にとって頂けると嬉しいです。

【目次】

はじめに

1.この本で使用している技術について

1.1自然言語解析のステップ

1.2トピックモデルとは？

1.3自分の好きな文章をトピックモデルに適用してみよう(今回使用するデータセットは橋下徹さんのメルマガ)

2.分かち書き

2.1形態素解析ツールMeCabとは

2.2分かち書きを行うClassモジュールを解説

3.数値ベクトルへ変換

3.1分かち書きされたデータを数値ベクトルに変換する方法

3.2単語の頻度表現に落とすCountVectrizer

3.3重要な単語に重みを付けるTF-IDF

3.4ニューラルネットワークによる単語表現を可能にするWord2Vec

4.トピックモデルに適用

4.1LDAとは

4.2最適なトピック数を探索するClassモジュールを解説

5.結果解釈

5.1最適なトピック数を確定する

5.2トピックに分類して成功したもの、失敗したものを解説

おわりに