编写Python爬虫的基本步骤如下:
导入所需库
`requests`:用于发送HTTP请求。
`BeautifulSoup`:用于解析HTML文档。
`lxml`:提供更快速的HTML解析能力(可选)。
发送请求获取网页内容
使用`requests.get(url)`方法发送GET请求,获取网页的HTML内容。
解析网页内容
使用`BeautifulSoup`解析获取到的HTML内容,提取所需信息。
数据存储
将提取的数据保存到本地文件、数据库或云存储等。
下面是一个简单的Python爬虫示例,用于爬取指定网站的标题、描述和页面链接信息,并将它们存储到一个CSV文件中:
import requests
from bs4 import BeautifulSoup
import csv
目标网站的URL
url = 'https://example.com'
发送请求
response = requests.get(url)
解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
提取所需信息
titles = [link.get_text() for link in soup.find_all('a', href=True)]
descriptions = [p.get_text() for p in soup.find_all('p')]
保存到CSV文件
with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Title', 'Description'])
for title, description in zip(titles, descriptions):
writer.writerow([title, description])
请注意,在编写爬虫时,应遵守目标网站的`robots.txt`协议,尊重网站的爬取规则,并注意不要给网站服务器造成过大压力。