import pandas as pd
 import shutil
 import os
 FNAME="items_name_all_vec_150_191212.csv"
 print(" CSV of item data reading...")
 df=pd.read_csv(FNAME,sep=",",encoding="utf-8-sig",header =None) #項目データ　項目名ペアを読み込み
 print(df)
 len_df=len(df)
 dict ={}
 #回数を統計
 dict ={}
 for m in range(df.shape[0]):#行数クラスタリングの分布
     name = df.iat[m,0]#項目名
     label=df.iat[m,51]#クラスタのラベル
     if label in dict.keys():
         dict[label].append(name)
     else:
         dict[label]=[name]
 print(dict)
 print(len(dict))
 extract_dict ={}
 for i in range(1,151):
     if len(dict[i]) <= 5:
         #print(i,dict[i])
         for item in dict[i]:
             print(item)
             extract_dict[item]=i  
 fname="pre2_csv_items_all_20200220.csv"
 df=pd.read_csv(fname,sep=",",header=0) #項目データ　項目名ペアを読み込み
 list_tmp=[]
 for i in range(len(df)):
     if df.iat[i,1] in extract_dict.keys():#全データ(dataset)の分布
         f_name = df.iat[i,2]
         if (f_name not in list_tmp and os.path.exists(f_name)):
             print(f_name)
             list_tmp.append(f_name)
             # 第二引数がディレクトリの場合、同じファイル名でコピーされます
             shutil.copy(df.iat[i,2], './tmp')