为了防止Python爬虫被网站封闭，可以采取以下措施：
遵守robots.txt文件
尊重网站提供的`robots.txt`文件，该文件指定了爬虫可以访问的网站部分。
轮换User-Agent
在HTTP请求头中设置不同的`User-Agent`，模拟不同的浏览器访问，减少被识别为爬虫的风险。
限制爬取频率
控制爬虫的请求速度，避免过于频繁的访问触发网站的反爬机制。
使用代理
解析JavaScript
对于使用JavaScript动态加载内容的网站，使用如Selenium或PyQuery等库来解析页面内容。
处理验证码
对于需要验证码的网站，可以采用机器学习服务或手动输入验证码来通过验证。
设置等待时间
显性等待（强制暂停几秒）和隐性等待（根据页面元素加载情况等待），模拟人类浏览行为。
修改请求头
除了User-Agent，还可以修改其他请求头信息，如Cookies，以进一步模拟人类用户。
使用动态IP或IP池
通过动态IP服务或建立IP池，不断更换IP地址，避免单一IP因访问频繁而被封锁。
发送礼貌请求
在请求之间设置随机的时间间隔，避免连续快速请求给服务器带来负担。
使用反反爬虫库
利用一些专门的库，如Scrapy-Redis，来更好地管理和控制爬虫的行为。