python怎么删除数据重复行

在Python中删除重复行可以通过以下几种方法实现：

1. 使用集合（Set）方法：

 def remove_duplicate_lines（code）: lines = code.split（'\n'） unique_lines = list（set（lines）） return '\n'.join（unique_lines） 

2. 使用列表推导式方法：

 def remove_duplicate_lines（code）: lines = code.split（'\n'） unique_lines = [line for i, line in enumerate（lines） if line not in lines[:i]] return '\n'.join（unique_lines） 

3. 使用字典的键唯一性方法：

 def remove_duplicate_lines（code）: lines = code.split（'\n'） unique_lines = list（dict.fromkeys（lines）） return '\n'.join（unique_lines） 

4. 读取文件并删除重复行：

 def remove_duplicate_lines（filename）: lines = [] with open（filename, 'r'） as file: for line in file: lines.append（line.strip（）） lines = list（set（lines）） with open（'output.txt', 'w'） as file: for line in lines: file.write（line + '\n'） 

5. 使用临时文件方法：

 import tempfile import shutil def remove_line_safe（filename, target_line）: temp_file = tempfile.NamedTemporaryFile（mode='w', delete=False） with open（filename, 'r', encoding='utf-8'） as file: for line in file: if target_line not in line: temp_file.write（line） shutil.move（temp_file.name, filename） 

以上方法均可根据具体需求选择使用。如果需要处理文件，请确保文件路径正确，并且文件编码与读取时一致。