爬取图片通常涉及以下步骤:
导入库
`requests`:用于发送网络请求。
`BeautifulSoup`:用于解析HTML内容。
发送网络请求
使用`requests.get`获取网页内容。
解析网页内容
使用`BeautifulSoup`解析HTML,找到包含图片URL的元素。
下载图片
遍历找到的图片URL,使用`requests.get`下载图片数据。
保存图片
将下载的图片数据保存到本地文件。
import requests
from bs4 import BeautifulSoup
发送网络请求获取网页内容
url = 'https://mywebsite.com/images/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
找到包含图片URL的元素
image_urls = [img['src'] for img in soup.find_all('img')]
下载图片
for image_url in image_urls:
response = requests.get(image_url)
with open('image.jpg', 'wb') as f:
f.write(response.content)
请注意,实际应用中可能需要处理反爬虫机制,比如设置合适的`User-Agent`、使用代理IP、处理重定向和异常等。此外,确保遵循目标网站的爬虫政策,避免违反法律法规和网站的使用条款。