Python爬虫通常包含以下部分和组件：
调度器（Scheduler）
负责协调URL管理器、下载器、解析器之间的调度工作。
URL管理器（URL Manager）
管理待爬取的URL地址和已爬取的URL地址。
防止重复抓取和循环抓取。
可以通过内存、数据库、缓存数据库实现。
网页下载器（Web Crawler）
通过URL下载网页内容。
可以使用Python标准库中的`urllib2`或第三方库`requests`。
网页解析器（Web Parser）
解析下载的网页内容，提取有价值的信息。
可以使用正则表达式、`html.parser`（Python自带）、`BeautifulSoup`（第三方插件）或`lxml`（第三方插件）。
应用程序（Application）
提取的有价值数据组成的一个应用。
请求头（Request Headers）
包含请求的基本信息，如`User-Agent`、`Referer`等。
`User-Agent`用于模拟浏览器身份。
文本处理（Text Processing）
包括文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持、二进制数据处理等。
网络爬虫策略
包括通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等。
其他功能
如普通内容爬取、保存图片/视频和文件、模拟登录、处理验证码登录、爬取JavaScript网站、全网爬虫、站内所有目录爬虫、多线程等。
爬虫框架
如`Scrapy`，提供更为高级的爬虫功能。
这些组件和策略共同工作，使Python爬虫能够高效地抓取、解析和存储网络上的数据