在Python中,去重函数主要有以下几种方法:
1. 使用`set()`函数:
my_list = [1, 2, 3, 4, 4, 5, 6, 6, 7]
unique_list = list(set(my_list))
print("去除重复数据后的列表:", unique_list)
2. 使用`unique()`函数:
nums = [1, 2, 3, 4, 5, 1, 2, 3]
unique_nums = unique(nums)
print("去除重复数据后的列表:", unique_nums)
3. 使用列表推导式:
lst = [1, 2, 2, 3, 4, 4, 5]
lst = list({i for i in lst})
print("去除重复数据后的列表:", lst)
4. 使用`filter()`函数:
lst = [1, 2, 2, 3, 4, 4, 5]
new_lst = list(filter(lambda x: lst.count(x) == 1, lst))
print("去除重复数据后的列表:", new_lst)
5. 使用`dict.fromkeys()`方法:
lst = [1, 2, 3, 4, 1]
lst = list(dict.fromkeys(lst))
print("去除重复数据后的列表:", lst)
6. 使用`duplicated()`和`drop_duplicates()`方法(针对Pandas数据框):
import pandas as pd
df = pd.DataFrame({'Seqno': [0, 1, 2, 3, 4]})
print("原始数据:", df)
print("去重后的数据:", df.drop_duplicates())
以上方法可以帮助你去除列表、元组或Pandas数据框中的重复元素。选择哪种方法取决于你的具体需求,例如是否需要保留原始顺序、是否处理大型数据集等