Python内置的HTTP请求库是`urllib`。这个库包含了几个模块,用于发送HTTP请求和处理相关的异常:
1. `urllib.request`:这个模块提供了发送HTTP请求的功能,可以模拟浏览器发送请求,处理授权验证、重定向、Cookies等。
2. `urllib.error`:这个模块包含了`urllib.request`模块可能发生的错误或异常。
3. `urllib.parse`:这个模块提供了URL处理工具,如拆分、解析和合并URL。
4. `urllib.robotparser`:这个模块用于解析网站的`robots.txt`文件,以确定爬虫是否可以访问某些页面。
`urllib`库在Python 2.x版本中由`urllib`和`urllib2`两个库组成,但在Python 3.x版本中,这两个库合并为一个`urllib`库