爬取图片通常需要以下Python库和步骤:
库:
`requests`:用于发送HTTP请求。
`BeautifulSoup`:用于解析HTML内容。
`Pillow`(PIL库的更新分支):用于处理图片。
步骤:
获取网页内容。
使用BeautifulSoup解析HTML,找到包含图片URL的元素。
遍历找到的图片URL,使用requests下载图片。
可选:使用Pillow对图片进行处理。
示例代码:
from bs4 import BeautifulSoup
import requests
from PIL import Image
import os
获取网页内容
url = 'http://example.com' 替换为实际网址
response = requests.get(url)
html = response.text
使用BeautifulSoup解析HTML
soup = BeautifulSoup(html, 'html.parser')
找到包含图片URL的元素
image_urls = [img['src'] for img in soup.find_all('img') if 'src' in img.attrs]
下载图片
for image_url in image_urls:
response = requests.get(image_url, stream=True)
filename = os.path.join('images', image_url.split('/')[-1]) 替换为实际保存路径
with open(filename, 'wb') as f:
for chunk in response.iter_content(chunk_size=8192):
f.write(chunk)
请确保在爬取图片时遵守网站的`robots.txt`规则,并尊重版权和隐私法律。如果需要,可以添加请求头伪装成浏览器,以避免被网站识别为爬虫。