Python爬虫常用的技术包括：
HTTP请求与响应
使用`requests`库发送HTTP请求，支持GET和POST方法。
`requests.get（url, headers=headers）` 发送GET请求。
`requests.post（url, data=data）` 发送POST请求。
页面解析
使用`BeautifulSoup`库解析HTML内容。
`BeautifulSoup（response.text, 'html.parser'）` 创建解析对象。
`find_all` 方法查找特定元素。
异步爬虫
使用`asyncio`和`aiohttp`库实现异步爬取，提高效率。
数据解析与存储
使用XPath、CSS选择器和正则表达式进行数据提取。
使用`pandas`、`SQLite`等库存储数据。
代理IP
使用`urllib`库中的`ProxyHandler`类设置代理IP，绕过IP封锁。
遵守法律和道德规范
遵守网站的`robots.txt`文件，合理控制访问频率。
其他库
`Scrapy`框架提供高度定制性和异步处理能力。
`lxml`和`PyQuery`也是常用的HTML解析库。
这些技术可以帮助开发者高效地抓取、解析和存储网络数据。需要注意的是，在编写爬虫时，应当尊重目标网站的使用条款，避免对服务器造成过大负担