ゼミより抜粋
次元を落としてやってみる。 50次元は視覚的に表示できない。 2次元でやってみよう。 ↑ X-means法 † やってみたが、プログラムがエラーで動かない。 もう少しやってみる。 ↑ 辞書の再作成 † l-teacher-20180206-3.txtから作成する 50次元 Cbow WindowSizeは以前使っていた値
# -*- codeing:utf-8 -*-
from gensim.models import FastText
import sys
import logging
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
#model = FastText(corpus_file=sys.argv[1],sg=1,size=200,window=8,hs=0,min_count=5,seed=6)
#fname=sys.argv[2]
#model.save(fname)
#model = FastText.load(fname)
#model.wv.save_word2vec_format(fname+".vec", binary=False)
#model.wv.save_word2vec_format(fname + ".bin", binary=True)
f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt"
model = FastText(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5)
f_output="/home/f-lab/semi/N/chin/gensim/fasttext/model/gf_20180206-3_cbow_100.model"
model.save(f_output)
print(model)
if __name__ == '__main__':
print("Finish!!!")# -*- coding: utf-8 -*-
from gensim.models import Word2Vec
import logging
import sys
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt"
model = Word2Vec(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5)
f_output="/home/f-lab/semi/N/chin/gensim/word2vec/model/gw_20180206-3_cbow_100.model"
if __name__ == '__main__':
print("Finish!!!")
model.save(f_output)
print(model)