Python中应用Winsorize缩尾处理的操作经验_python_

from scipy.stats.mstats import winsorize import pandas as pd df = pd.read_excel('Excel.xlsx', engine='openpyxl', header=0) df_list=["a","b","c"]#需要进行缩尾的列名 

for i in df_list(): df[i]=winsorize(df[i],limits=[0.01, 0.01])#对指定列中的连续数据进行1%和99%的缩尾（Winsorize）处理 

for i in df_list(): df[i]=np.where(df[i].isnull(), np.nan, winsorize(np.ma.masked_invalid(df[i]),limits=(0.01,0.01))) #np.where(condition, x, y),满足condition是x，否则y #此处判断是否空值，是的话为空，否的话进行屏蔽空值和无效值的1%和99%缩尾处理 

for i in df_list(): df[i]=winsorize(df[i],limits=[0.01, 0.01], nan_policy='omit') 

for i in df_list(): mask = df[i].notna() df.loc[mask,i] = winsorize(df[i].loc[mask],limits=[0.01, 0.01]) #这个mask就是一个bool index,指示哪些位置上是nan #比如一列数据是[1, NaN, 2],如果用df['A'].isnan()得到的就是一个[False, True, False]的数组 #这个数组就是所谓的mask，它可以把dataframe中的特定数据挑出来 

#如果需要将无穷值换为空值 df=df.replace(-np.Inf,np.NaN)