要使用Python爬虫爬取两个网页,你可以按照以下步骤操作:
1. 安装所需的库:`requests` 和 `BeautifulSoup`。
2. 导入这些库到你的Python脚本中。
3. 定义要爬取的两个网页的URL。
4. 使用`requests.get`方法向每个URL发送HTTP GET请求。
5. 使用`BeautifulSoup`解析每个网页的HTML内容。
6. 提取并处理所需的数据。
7. 保存或处理提取的数据。
下面是一个简单的示例代码,展示了如何爬取两个网页的标题和正文内容:
import requests
from bs4 import BeautifulSoup
定义要爬取的两个网页URL列表
urls = [
'http://www.example.com/page1',
'http://www.example.com/page2'
]
for url in urls:
发送HTTP GET请求获取网页内容
response = requests.get(url)
使用BeautifulSoup解析HTML页面
soup = BeautifulSoup(response.content, 'html.parser')
获取网页标题
title = soup.title.string
获取网页正文内容
content = soup.find('body').get_text()
打印网页标题和正文内容
print('标题:', title)
print('正文内容:', content)
print('---'*20) 用于分隔不同网页的内容
请根据实际需要修改URL,并且确保遵循目标网站的爬虫政策,避免在不允许的情况下爬取数据。