- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2020-07-20T12:22:54+00:00","default:f-lab","f-lab")
[[個人ページ>seminar-personal/chin2017]]
&br;
[[N班ゼミ>http://f-lab.mydns.jp/index.php?seminar-N-2020]]
|~目次|
|#contents|
&br;
*おさらい [#r0fbd05b]
ゼミより抜粋
次元を落としてやってみる。
50次元は視覚的に表示できない。
2次元でやってみよう。
↑
X-means法 †
やってみたが、プログラムがエラーで動かない。
もう少しやってみる。
↑
辞書の再作成 †
l-teacher-20180206-3.txtから作成する
50次元
Cbow
WindowSizeは以前使っていた値
*1)辞書の再作成 [#h048809d]
-gensim_fasttext
# -*- codeing:utf-8 -*-
from gensim.models import FastText
import sys
import logging
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
#model = FastText(corpus_file=sys.argv[1],sg=1,size=200,window=8,hs=0,min_count=5,seed=6)
#fname=sys.argv[2]
#model.save(fname)
#model = FastText.load(fname)
#model.wv.save_word2vec_format(fname+".vec", binary=False)
#model.wv.save_word2vec_format(fname + ".bin", binary=True)
f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt"
model = FastText(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5)
f_output="/home/f-lab/semi/N/chin/gensim/fasttext/model/gf_20180206-3_cbow_100.model"
model.save(f_output)
print(model)
if __name__ == '__main__':
print("Finish!!!")
-gensim_word2vec
# -*- coding: utf-8 -*-
from gensim.models import Word2Vec
import logging
import sys
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt"
model = Word2Vec(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5)
f_output="/home/f-lab/semi/N/chin/gensim/word2vec/model/gw_20180206-3_cbow_100.model"
if __name__ == '__main__':
print("Finish!!!")
model.save(f_output)
print(model)
*2)次元を落として実現 [#m7600593]
*3)X-means法のpythonで [#h90c1ab2]