python数据清洗有什么技巧

在Python中，数据清洗可以通过使用Pandas库来完成，下面是一些基本步骤和示例代码：

步骤：

导入必要的库

 import pandas as pd 

读取数据

 data = pd.read_csv（'data.csv'） 

查看数据的前几行

 print（data.head（）） 

检查数据中是否有缺失值

 print（data.isnull（）.sum（）） 

处理缺失值

删除缺失值

 data.dropna（inplace=True） 

填充缺失值

 data.fillna（data.mean（）, inplace=True） 

检查重复值并删除

 data.drop_duplicates（inplace=True） 

数据类型转换

 data['column'] = data['column'].astype（int） 

清除数据中的异常值

 data = data[（data['column'] >= min_value） & （data['column'] <= max_value）] 

保存清洗后的数据

 data.to_csv（'cleaned_data.csv', index=False） 

示例代码：

 import pandas as pd import numpy as np 创建空的DataFrame，保存测试数据 test_df = pd.DataFrame（{'K1': ['C1', 'C1', 'C2', 'C3', 'C4', 'C2', 'C1'], 'K2': ['A', 'A', 'B', 'C', 'D', np.NaN, np.NaN]}） 按K1列进行分组，组内进行unique操作（去除重复元素，返回元组或列表） test_df_unique = pd.DataFrame（test_df.groupby（['K1']）['K2'].agg（'unique'）） 自定义函数判断元组中是否含有nan def has_nan（list）: flag = False for x in list: if x is np.NaN: flag = True break return flag 自定义函数判断元组中是否不含有nan def no_nan（list）: flag = True for x in list: if x is np.NaN: flag = False break return flag 获取K2列含有nan的数据 test_df_unique_has_nan = test_df_unique[test_df_unique['K2'].apply（has_nan）] 获取K2列不含有nan的数据 test_df_unique_no_nan = test_df_unique[test_df_unique['K2'].apply（no_nan）] 

以上步骤和代码可以帮助你进行基本的数据清洗工作。根据你的具体需求，你可能需要进一步定制这些步骤和代码。