Python3 爬虫功能可以通过以下步骤使用:
安装必要的库
`requests`:用于发送 HTTP 请求。
`BeautifulSoup` 或 `lxml`:用于解析 HTML/XML。
发送 HTTP 请求
使用 `requests.get(url)` 方法获取网页内容。
解析 HTML/XML
使用 `BeautifulSoup` 或 `lxml` 解析获取的 HTML/XML 内容,提取所需数据。
处理异常
在爬取过程中可能会遇到各种错误,需要适当处理。
保存数据
将提取的数据保存到文件或数据库中。
下面是一个简单的示例,使用 `requests` 和 `BeautifulSoup` 爬取网页内容:
导入所需库
import requests
from bs4 import BeautifulSoup
发送 HTTP 请求
url = 'http://example.com' 替换为你想爬取的网址
response = requests.get(url)
检查请求是否成功
if response.status_code == 200:
解析 HTML 内容
soup = BeautifulSoup(response.text, 'html.parser')
提取所需数据,这里以提取所有段落为例
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())
else:
print(f'请求失败,状态码:{response.status_code}')
请根据实际需要修改上述代码中的网址和提取逻辑。