在Python爬虫中避免重复爬取可以通过以下几种方法实现：
使用集合（Set）
将已经爬取过的URL存储在集合中，集合中的元素是唯一的，因此可以快速检查新URL是否已经存在。
使用字典（Dictionary）
将URL作为字典的键，值可以是任意值（例如`None`），这样可以利用字典的键的唯一性来去重。
使用Bloom过滤器
Bloom过滤器是一种概率型数据结构，它可以以较低的概率误判一个元素是否存在于集合中。
使用外部数据库
将已经爬取过的URL存储在数据库中，每次请求新的URL之前，先查询数据库确认是否已经存在。
设置缓冲区
使用异常处理方法，例如`try-except`，来处理连接失败的情况，并将无法连接的数据记录在另一个文件中。
基于信息摘要算法的去重
使用MD5或SHA1等哈希算法对URL进行哈希，将不固定长度的URL转换为固定长度的哈希值，然后存储在集合中进行去重。
使用代理IP
通过代理池或手动收集代理IP来隐藏真实IP，减少被目标网站识别为爬虫的风险。
模拟浏览器行为
发送真实的用户代理，设置合适的请求头，并模拟页面交互，降低被网站识别为爬虫的可能性。
使用反爬中间件
利用像Scrapy这样的爬虫框架中的中间件来处理反爬措施。
选择哪种方法取决于具体的需求和数据量。例如，如果内存资源有限，可以考虑使用数据库或Bloom过滤器；如果需要快速访问，集合可能是更好的选择。