背景
当前很多文章尝试过最优分箱,python上也有cut等方法进行等宽分箱。为了方便日后输出结果以及分箱要求。做一个简单的轮子以供大家日后使用。很多能用其他轮子的地方也没有多余出力,也不托大会比别人写的好。空间复杂度尽我所能。
方法展示
话不多说上代码。
以下为等深分箱以及encoding方法
# -*- coding: utf-8 -*- """ Created on Tue Jan 29 17:26:38 2019 @author: DamomWCG """ class Equal_depth_Box: def equal_Box(list,bin_num): ''' param: list:you need bin Box list bin_num: you want bin num ''' bin_num = 10 list.sort() #need sort can replace by others list_2 = list.copy() all_num = len(list_2) bin_sep = all_num/bin_num bin_sep = int(bin_sep) bin_list = [] for i in range(1,bin_num): bin_dict = {} bin_dict = i*bin_sep bin_list.append(bin_dict) bin_real_list = [] for i in bin_list: #print(i) bin_real_dict = {} bin_real_dict = list[i] bin_real_list.append(bin_real_dict) return bin_real_list def replace_Box(list_1,replace_list): ''' param: list_1:you need bin list replace_list: from equal Box,replace the original list ''' import pandas as pd list_max = max(list_1) list_min = min(list_1) replace_list.insert(0,list_min -1) #insert start replace_list.append(list_max + 1) #insert end list_2 = pd.cut(list_1,bins = replace_list,labels = range(len(replace_list) - 1)).tolist() return list_2 if __name__ == '__main__': import random list_1 = random.sample(range(1000),134) print(list_1.sort()) print('real_list: {}'.format(list_1[0:50])) replace_list = bin_class.equal_Box(list_1,10) list_2 = bin_class.replace_Box(list_1,replace_list) print('encode_list: {}'.format(list_2[0:50]))
原始git地址
https://github.com/DamonWCG/Equal_depth_box/blob/master/Equal_depth_box
使用案例
本案例数据为,我进行过一步的最优分箱,来做一步等深分箱来进行横向对比。
原始数据形式
具体案例
# -*- coding: utf-8 -*- """ Created on Wed Jan 30 16:17:19 2019 @author: DamonWCG """ from Equal_depth_Box import * import pandas as pd df = pd.read_csv('test.csv',encoding = 'gbk') df.columns ####需要分箱的列 list_1 = df['deal_city_encoding'].tolist() #本方法是针对于list,所以对于series需要进行变换 ####需要分箱的个数 replace_list = Equal_depth_Box.equal_Box(list_1,5) ####替代的名称 ##因为列表排序所以需要重新排序对齐,这里我有空再想想其他办法 df.sort_values(by="deal_city_encoding",inplace = True) list_2 = Equal_depth_Box.replace_Box(list_1,replace_list) df['deal_city_bin_encoding'] = list_2 df.to_csv('df.csv',encoding = 'gbk',index = False)
本方法现阶段encoding形式为数字型。
分箱最终结果形式
需要注意,我得列表形式重新decode时候需要按照当前排序数组重新编码,这个问题我年后会解决。