chin2017-20200710 のバックアップ(No.11) - PukiWiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ | ログイン ]

個人ページ
 N班ゼミ

目次

支部大会
ゼミより抜粋
進捗報告
参考文献

支部大会 †

題目：オープンデータの述語サジェストのための項目名のクラスタリングの研究
英語：A study on the clustering of item names for predicate suggestion of Open Data
概要：近年，新型コロナウイルスにより，台湾のオープンデータを活用したマスク在庫管理マップアプリが話題となったりと，世界的にオープンデータへの関心が高まりつつある．日本でもオープンデータの活用が推進され，国や地方自治体をはじめ多くの団体がオープンデータの公開，活用に取り組んでいる．地方自治体のオープンデータは，データ形式・フォーマットの違いにより開示されても積極的な活用まで至っていないのが現状である．本研究では，RDFに焦点を当てて，適切な述語をサジェストするために，オープンデータの項目名を抽出し，Word2Vecで得られた単語ベクトルを使用し，クラスタリングを行い，その実験結果を示す．
電気・情報関係学会九州支部第73回連合大会
発表希望グループ1: 21 計算機応用
発表希望グループ2: 22 人工知能
発表希望グループ3: 15 情報通信著者1: 陳博　チン／ハク電子メールアドレス: chinhaku204@gmail.com 所属名: 鹿児島大
著者2: 泊大貴　トマリ／ダイキ電子メールアドレス: sc115092@ibe.kagoshima-u.ac.jp 所属名: 鹿児島大
著者3: 程　芳　テイ／ホウ電子メールアドレス: mc120040@ibe.kagoshima-u.ac.jp 所属名: 鹿児島大
著者4: 渕田孝康　フチダ／タカヤス電子メールアドレス: fuchida@ibe.kagoshima-u.ac.jp 所属名: 鹿児島大

ゼミより抜粋 †

k-means法でやると違いがあるか？
k-means++法は？
他のクラスタも同様な傾向なのか？
異なるクラスタ間の類似度の分布はどうなっているか？

進捗報告 †

階層的クラスタリング †

他のクラスタも同様な傾向なのか？ †

以下は3個以上の自治体に存在する項目名に対して:label_average_cosine_50_cluter_2times.csv †

クラスタ48(131個)を確認する
- 抽出:label_average_cosine_50_cluter_2times_48only.csv
- 計算するソースコード:cos_sim_for_48.py.txt
- 結果：cos_sim_all_for_48.csv
- 結果分析：cos_sim_all_for_48.xlsx
- 131*131=17161ペア(重複の場合を考慮せず：実際ペア数8515ペア)
- 分布図
クラスタ46(65個)を確認する
- 抽出:label_average_cosine_50_cluter_2times_46only.csv
- 計算するソースコード:cos_sim_for_46.py.txt
- 結果：cos_sim_all_for_46.csv
- 結果分析：cos_sim_all_for_46.xlsx
- 65*65=4225ペア(重複の場合を考慮せず：実際ペア数2080ペア)
- 分布図
クラスタ25(38個)を確認する
- 抽出:label_average_cosine_50_cluter_2times_25only.csv
- 計算するソースコード:cos_sim_for_25.py.txt
- 結果：cos_sim_all_for_25.csv
- 結果分析：cos_sim_all_for_25.xlsx
- 38*38=1444ペア-38=1406(重複の場合を考慮せず：実際ペア数703ペア)
- 分布図

以下は4個以上の自治体に存在する項目名に対して:label_average_cosine_50_cluter_3times.csv †

クラスタ23(68個)を確認する
- 抽出:label_average_cosine_50_cluter_3times_23only.csv
- 結果：cos_sim_all_for_23.csv
- 結果分析：cos_sim_all_for_23.xlsx
- 68*68=4624ペア-64 /2(重複の場合を考慮せず：実際ペア数2278ペア)
- 分布図
クラスタ44(68個)を確認する
- 抽出:label_average_cosine_50_cluter_3times_44only.csv
- 結果：cos_sim_all_for_44.csv
- 結果分析：cos_sim_all_for_44.xlsx
- 68*68=4624ペア-64 /2(重複の場合を考慮せず：実際ペア数2278ペア)
- 分布図

異なるクラスタ間の類似度の分布はどうなっているか？ †

以下は4個以上の自治体に存在する項目名に対して

クラスタ23(68個)と44(68個)を確認する
- 抽出したデータ:label_average_cosine_50_cluter_3times_44only.csv とlabel_average_cosine_50_cluter_3times_23only.csv
- 結果：cos_sim_all_for_23_44.csv
- 結果分析：cos_sim_all_for_23_44.xlsx
- 68*68=4624
- 分布図

k-means法(k点平均法:非階層型クラスタリング)について †

教師なし学習の中でもとても有名なアルゴリズムの一つ
概要：クラスタの平均を用い、与えられたクラスタ数k個に分類することから、MacQueen がこのように命名した。k-平均法（k-means）、c-平均法（c-means）とも呼ばれる。

流れ：

1.各点にランダムにクラスタを割り当てる
2.クラスタの重心を計算する。
3.点のクラスタを、一番近い重心のクラスタに変更する
4.変化がなければ終了。変化がある限りは 2. に戻る。

問題点：中心の初期値がランダムに選ばれてしまうということである。例えば、こんな少し偏ったところが中心に選ばれたとしましょう。

k-means++について †

k-means++:k-meansの初期値問題を解消するため
- k-means++では中心の初期値を決める際に、すべての中心点どうしが遠いところに配置されるような確率が高くなるようにする
評価方法:最適なクラスタ数の評価方法はシルエット分析法とエルボー法
- エルボー法:クラスター数を変えてクラスタリングしたときの各SSE(クラスター内誤差の平方和)をプロットしたエルボー図で、ひじのように曲がっているところのクラスター数が最適というもの。
- シルエット分析法:各点のシルエット値を計算する。シルエット値とは「他のクラスターの点と比べて、その点が自身のクラスター内の他の点にどれくらい相似しているかを示す尺度」
  - 1から1の範囲の値
  - シルエット値が1に近く、かつシルエット値をプロットしたシルエット図でクラスター間の幅の差が最も少ないクラスター数が最適となる。
X-means法もある
- クラスタ数を自動推定するX-means法について
- Pelleg and Moore (2000)が提案したK-meansの拡張アルゴリズム。
  - クラスター数Kを自動決定する
  - k-meansをデータ数が多くても高速に動くようなアルゴリズムに工夫するという点が、従来のk-meansとの差分。

参考文献 †