ゼミより抜粋
次元を落としてやってみる。 50次元は視覚的に表示できない。 2次元でやってみよう。 ↑ X-means法 † やってみたが、プログラムがエラーで動かない。 もう少しやってみる。 ↑ 辞書の再作成 † l-teacher-20180206-3.txtから作成する 50次元 Cbow WindowSizeは以前使っていた値
# -*- codeing:utf-8 -*- from gensim.models import FastText import sys import logging logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO) #model = FastText(corpus_file=sys.argv[1],sg=1,size=200,window=8,hs=0,min_count=5,seed=6) #fname=sys.argv[2] #model.save(fname) #model = FastText.load(fname) #model.wv.save_word2vec_format(fname+".vec", binary=False) #model.wv.save_word2vec_format(fname + ".bin", binary=True) f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt" model = FastText(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5) f_output="/home/f-lab/semi/N/chin/gensim/fasttext/model/gf_20180206-3_cbow_100.model" model.save(f_output) print(model) if __name__ == '__main__': print("Finish!!!")
# -*- coding: utf-8 -*- from gensim.models import Word2Vec import logging import sys logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO) f_input="/home/f-lab/semi/N/corpus/l-teacher-20180206-3.txt" model = Word2Vec(corpus_file=f_input,sg=0,size=100,window=8,hs=0,min_count=5) f_output="/home/f-lab/semi/N/chin/gensim/word2vec/model/gw_20180206-3_cbow_100.model" if __name__ == '__main__': print("Finish!!!") model.save(f_output) print(model)