正文

怎么用python去除重复的数据

小六 /41 浏览量
0129

在Python中去除重复数据，您可以使用以下几种方法：

1. 使用集合（set）：

 data = [1, 2, 3, 3, 4, 5, 5] unique_data = list（set（data）） print（unique_data） 输出：[1, 2, 3, 4, 5]

2. 使用列表推导式：

 data = [1, 2, 3, 3, 4, 5, 5] unique_data = [x for i, x in enumerate（data） if x not in data[:i]] print（unique_data） 输出：[1, 2, 3, 4, 5]

3. 使用字典（dict）或`collections.Counter`：

 from collections import Counter data = [1, 2, 3, 3, 4, 4, 5] counter = Counter（data） unique_data = [x for x in counter if counter[x] == 1] print（unique_data） 输出：[1, 2, 5]

4. 使用`pandas`库：

 import pandas as pd data = [1, 2, 3, 3, 4, 5, 5] df = pd.DataFrame（data） unique_data = df.drop_duplicates（）.values.tolist（） print（unique_data） 输出：[1, 2, 3, 4, 5]

以上方法各有优缺点，例如使用集合去重会打乱原始数据的顺序，而使用`pandas`库的`drop_duplicates`方法则不会改变原始顺序。您可以根据具体需求选择合适的方法

-- 展开阅读全文 --