seminar-personal/chin2017

調査

  • 使えるデータが、地自体がどこか?
  • 調べてみる。
  • fileken_list.txt
    • 14286個CSV
      リンク都道府県件数
      odp-pref-tottori.tori-info.co.jp鳥取県108件
      opendata.pref.miyazaki.lg.jp宮崎県829件
      www.city.adachi.tokyo.jp東京都足立区6件
      www.city-yuzawa.jp秋田県湯沢市28件
      ouropendata.jp/徳島県オープンデータ132
      www.city.chiba.jp/千葉市18
      www.city.atsugi.kanagawa.jp/神奈川県厚木市4
      www.city.chiryu.aichi.jp/愛知県知立市98
      www.city.bunkyo.lg.jp/東京都文京区36
      www.city.asahikawa.hokkaido.jp/北海道旭川市124
      www.city.ayase.kanagawa.jp/神奈川県綾瀬市24
      www.city.ashiya.lg.jp/兵庫県芦屋市8
      www.city.chigasaki.kanagawa.jp/神奈川県茅ヶ崎市223
      www.city.anjo.aichi.jp愛知県安城市10
      www.city.edogawa.tokyo.jp東京都江戸川区18
      www.city.chiyoda.lg.jp東京都千代田区1
      www.city.fujisawa.kanagawa.jp/藤沢市1
      www.city.fukui-sakai.lg.jp/福井県坂井市12
      www.city.chofu.tokyo.jp東京都調布市1
      www.city.chita.lg.jp/愛知県知多市49
      www.city.fuchu.tokyo.jp/東京都府中市114
      /www.city.higashikurume.lg.jp/東京都東久留米市409
      www.city.hashimoto.lg.jp/和歌山県橋本市30
      www.city.hadano.kanagawa.jp/神奈川県秦野市30
      www.city.hadano.kanagawa.jp/神奈川県秦野市12
      www.city.fussa.tokyo.jp東京都福生市7
      www.city.hachioji.tokyo.jp東京都八王子市67
      www.city.handa.lg.jp/愛知県半田市182
      www.city.hakusan.ishikawa.jp石川県白山市1
      www.city.hakodate.hokkaido.jp北海道函館市581
      www.city.higashimurayama.tokyo.jp/東京都東村山市64
      www.city.hofu.yamaguchi.jp/山口県防府市40
      www.city.hiroshima.lg.jp/広島市443
      www.city.ichinomiya.aichi.jp/愛知県一宮市31
      www.city.inagi.tokyo.jp/東京都稲城市2
      www.city.inzai.lg.jp/千葉県印西市6
      www.city.hiratsuka.kanagawa.jp神奈川県平塚市20
      www.city.imabari.ehime.jp/愛媛県今治市2
      www.city.itabashi.tokyo.jp/東京都板橋区23
      www.city.kagoshima.lg.jp/鹿児島市29
      www.city.joetsu.niigata.jp/新潟県上越市9
      www.city.kainan.lg.jp/和歌山県海南市32
      www.city.kamakura.kanagawa.jp/鎌倉市59
      www.city.iwaki.lg.jp/福島県いわき市128
      www.city.kasama.lg.jp/茨城県笠間市5
      www.city.iwakura.aichi.jp/愛知県岩倉市9
      www.city.machida.tokyo.jp/東京都町田市29
      www.city.kobe.lg.jp/神戸市65
      www.city.kumagaya.lg.jp/埼玉県熊谷市49
      www.city.kitakata.fukushima.jp/福島県喜多方市1
      www.city.koka.lg.jp/甲賀市4
      www.city.kawasaki.jp/川崎市102
      www.city.kitamoto.saitama.jp/埼玉県北本市1
      www.city.maebashi.gunma.jp/群馬県前橋市27
      www.city.mito.lg.jp/茨城県水戸市79
      www.city.nagahama.lg.jp/滋賀県長浜市12
      www.city.muroran.lg.jp/北海道室蘭市9
      www.city.matsuyama.ehime.jp/愛媛県松山市193
      www.city.marugame.lg.jp/香川県丸亀市90
      www.city.musashimurayama.lg.jp東京都武蔵村山市32
      www.city.minato.tokyo.jp/東京都港区140
      www.city.matsudo.chiba.jp/千葉県松戸市3
      www.city.nagakute.lg.jp/愛知県長久手市10
      www.city.nagoya.jp/名古屋市5
      www.city.nisshin.lg.jp/愛知県日進市76
      www.city.nerima.tokyo.jp/練馬区244
      www.city.niigata.lg.jp/新潟市1645
      www.city.nara.lg.jp/奈良市24
      www.city.niihama.lg.jp愛媛県新居浜市10
      www.city.nagaoka.niigata.jp/新潟県長岡市458
      www.city.noda.chiba.jp/千葉県野田市83
      www.city.okayama.jp岡山市1
      www.city.sakai.lg.jp/堺市48
      www.city.otaru.lg.jp/小樽市126
      www.city.nomi.ishikawa.jp/石川県能美市8
      /www.city.owariasahi.lg.jp/愛知県尾張旭市235
      www.city.nonoichi.lg.jp/石川県野々市市66
      www.city.saitama.jp/さいたま市100
      www.city.sanda.lg.jp/兵庫県三田市1
      www.city.shima.mie.jp/三重県志摩市7
      www.city.sumida.lg.jp/東京都墨田区286
      www.city.sanjo.niigata.jp/新潟県三条市24
      /www.city.shinagawa.tokyo.jp/品川区28
      www.city.soka.saitama.jp/埼玉県草加市1
      www.city.shinjuku.lg.jp/東京都新宿区1
      www.city.setagaya.lg.jp/東京都世田谷区252
      www.city.tosu.lg.jp/鳥栖市30
      www.city.tokai.aichi.jp/愛知県東海市54
      www.city.takaoka.toyama.jp/富山県高岡市3
      www.city.toshima.lg.jp/豊島区44
      www.city.takarazuka.hyogo.jp/兵庫県宝塚市7
      www.city.tokushima.tokushima.jp/徳島県徳島市29
      www.city.toda.saitama.jp/埼玉県戸田市9
      www.city.toyohashi.lg.jp/愛知県豊橋市289
      www.city.tsuruga.lg.jp/福井県敦賀市1
      www.city.toyokawa.lg.jp/愛知県豊川市4
      www.city.toyoake.lg.jp/愛知県豊明市4
      www.city.toyota.aichi.jp愛知県豊田市30
      www.city.uda.nara.jp/奈良県宇陀市7
      www.city.urasoe.lg.jp/沖縄県浦添市4
      www.city.ube.yamaguchi.jp/宇部市175
      www.city.zama.kanagawa.jp神奈川県座間市27
      www.city.utsunomiya.tochigi.jp/栃木県宇都宮市64
      www.city.zushi.kanagawa.jp/神奈川県逗子市13
      www.city.yokohama.lg.jp/横浜市1976
      www.city.yamagata-yamagata.lg.jp/山形県山形市101
      www.info.city.tsu.mie.jp/三重県津市126
      www.miyoshi.i-tokushima.jp/徳島県三好市31
      www.city.yamato.lg.jp/神奈川県大和市44
      www.pref.chiba.lg.jp/千葉県346
      www.pref.fukushima.lg.jp/福島県庁67
      www.opendata.city.kuwana.lg.jp/桑名市11
      /www.pref.fukui.lg.jp/福井県庁418
      www.pref.gunma.jp/群馬県庁46
      www.pref.ibaraki.jp/茨城県庁809
      www.pref.aichi.jp/愛知県10
      /www.pref.ehime.jp/愛媛県庁1
      www.pref.shiga.lg.jp/滋賀県庁31
      www.pref.miyagi.jp/宮城県5
      www.pref.niigata.lg.jp/新潟県庁217
      www.pref.nagano.lg.jp/長野県庁119
      www.pref.mie.lg.jp/三重県19
      www.pref.osaka.lg.jp/大阪府1
      www.pref.ishikawa.lg.jp/石川県16
      www.pref.kanagawa.jp/神奈川県6
      www.city.kanazawa.lg.jp/金沢市役所48
      www.town.hokkaido-mori.lg.jp/北海道森町1
      www.city.yokkaichi.mie.jp/四日市市役所223
      www.town.aichi-togo.lg.jp/東郷町役場35
      www.town.saitama-miyoshi.lg.jp三芳町役場1
      www.town.eiheiji.lg.jp/永平寺町役場8
      www.town.aikawa.kanagawa.jp/愛川町役場4
      www.pref.yamagata.jp/山形県庁13
      zzWORDzz/?148
      zzTESTzz/?5

学習モデル

  • gemsimのword2vecのオプション一覧 Python で「老人と海」を word2vec する make_model.py
    # -*- coding: utf-8 -*-
    from gensim.models import word2vec
    import logging
    import sys
    logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
    sentences = word2vec.LineSentence(sys.argv[1])
    model = word2vec.Word2Vec(sentences,
                              sg=0,
                              size=50,
                              min_count=1,
                              window=10,
                              hs=1,
                              negative=0)
    model.save(sys.argv[2])

similar.py

# -*- coding: utf-8 -*-

from gensim.models import word2vec
import sys

model   = word2vec.Word2Vec.load(sys.argv[1])
results = model.most_similar(positive=sys.argv[2], topn=10)

for result in results:
    print(result[0], '\t', result[1])
  • cbow_result.JPG

添付ファイル: filecbow_result.JPG 266件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-03-28 (土) 08:56:21