正文

数据清洗python如何去重

小六 /28 浏览量
0320

在Python中，使用Pandas库进行数据清洗时，去重可以通过以下方法实现：

1. 使用`duplicated（）`方法检测重复行。

2. 使用`drop_duplicates（）`方法删除重复行。

3. 可以指定`subset`参数来指定哪些列用于去重。

4. 可以指定`keep`参数来指定是保留第一个、最后一个重复项，还是全部删除。

5. 可以指定`inplace`参数来决定是否在原数据框上进行操作。

 import pandas as pd 创建一个包含重复数据的DataFrame data = { 'A': [1, 2, 2, 3, 4, 4], 'B': ['a', 'b', 'b', 'c', 'd', 'd'] } df = pd.DataFrame（data） 找出重复行 duplicates = df[df.duplicated（）] print（"重复数据："） print（duplicates） 删除重复行 df_cleaned = df.drop_duplicates（） print（"\n清洗后的数据："） print（df_cleaned）
-- 展开阅读全文 --