WordCloudで英文の解析に成功したので日本語の文章に挑戦しました。

つくるもの

python スクリプトと同じフォルダに入れた日本語の文章をWordCloudで解析し文章中に頻出する単語を可視化します。

日本語解析の難しさ

直感的ですが、英文は単語が必ずスペースで区切られているため、文中の単語を抽出するのは比較的簡単に思えます。一方、日本語は単語が連続しているので、文章を意味のある最小単位に分解し解析する（形態素解析）が必要だそうです。日本語の形態素解析はWordCloudの守備範囲外なので、Janomeというpythonライブラリを活用します。

Janomeのインストール

自宅のMac環境ではpipコマンドで一発でインストールできました。

# pip install janome

WordCloudとは異なり、会社のWindows環境でも同コマンドで問題なくインストールできました。

コード全体

# Import packages and modules
import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS
from janome.tokenizer import Tokenizer
import sys, os


# Read text
os.chdir(sys.path[0])
text = open('jp.txt', mode='r', encoding='utf-8').read()

# Tokenize text
tk = Tokenizer()
tokens = tk.tokenize(text)

words = []

for token in tokens:
    token_list = token.part_of_speech.split(",")
    if token_list[0] == "名詞" or token_list[0] == "動詞" or token_list[0] == "形容詞":
        words.append(token.surface)

words = " ".join(words)

# Generate WordCloud object
stopwords = {'田中','太郎'}
stopwords |= STOPWORDS

wc = WordCloud(
    background_color='black',
    stopwords=stopwords,
    font_path=r"/System/Library/Fonts/ヒラギノ角ゴシック W6.ttc",
    height = 600,
    width=600
)

wc.generate(words)

# Write to image file
wc.to_file('result_jpn.png')

コード解説

英文の解析と異なる部分だけ紹介します。

公式ドキュメント

Janomeの公式ドキュメント(日本語)はこちら

パッケージとモジュールのインポート

# Import packages and modules
import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS
from janome.tokenizer import Tokenizer
import sys, os

Tokenizerは文字列をトークン(意味を持つ最小単位)に分解するクラスそれ以外については,WordCloudによる英文の解析と同じです。

トークンの抽出

# Tokenize text
tk = Tokenizer()
tokens = tk.tokenize(text)

words = []

for token in tokens:
    token_list = token.part_of_speech.split(",")
    if token_list[0] == "名詞" or token_list[0] == "動詞" or token_list[0] == "形容詞":
        words.append(token.surface)

words = " ".join(words)

tk = Tokenizer()
tokens = tk.tokenize(text)

Tokenizer()オブジェクトを生成して、文字列textをトークンのリストにする

tokensはジェネレータなので print(next(tokens))で中身を見ます。

属性	例
surface (表層形)	田中
part_of_speech[0] (品詞)	名詞
part_of_speech[1] (品詞細分類1)	固有名詞
part_of_speech[2] (品詞細分類2)	人名
part_of_speech[3] (品詞細分類3)	姓
infl_type (活用型)	*
infl_form (活用形)	*
base_form (基本形)	田中
reading (読み)	タナカ
phonetic(発音)	タナカ

属性を使ってWordCloudで表示したい品詞などを絞り込むことができます。

for token in tokens:
    token_list = token.part_of_speech.split(",")
    if token_list[0] == "名詞" or token_list[0] == "動詞" or token_list[0] == "形容詞":
        words.append(token.surface)

words = " ".join(words)

tokensから条件にあったトークンのみをリストwordsに追加します。

最後に、words = " ".join(words)でwordsの区切りを,からスペースに変換します。

結果

文字列抽出の条件はイケていないですが、日本語のWordCloudができました。

f:id:applepolish503:20211204173739p:plain — WordCloudの出力(日本語)

applepolish503の日記

WordCloudで日本語解析