python爬虫怎么找url

在Python中，爬虫可以通过多种方法找到URL。以下是一些常用的方法：

1. 使用BeautifulSoup库：

 from bs4 import BeautifulSoup import requests url = 'https://example.com/' response = requests.get（url） soup = BeautifulSoup（response.text, 'html.parser'） for link in soup.find_all（'a', href=True）: print（link['href']） 输出每个链接的URL 

2. 使用lxml库：

 from lxml import html import requests url = 'https://example.com/' response = requests.get（url） tree = html.fromstring（response.content） links = tree.xpath（'//a/@href'） for link in links: print（link） 输出每个链接的URL 

3. 使用requests库的`response.url`属性：

 import requests  url = 'https://example.com/' response = requests.get（url） print（response.url） 输出获取的URL 

4. 使用urllib库的`urlopen（）.geturl（）`方法：

 from urllib.request import urlopen url = 'https://example.com/' response = urlopen（url） print（response.geturl（）） 输出获取的URL 

5. 使用Selenium库的`current_url`属性：

 from selenium import webdriver driver = webdriver.Chrome（） driver.get（'https://example.com/'） print（driver.current_url） 输出当前URL 

以上方法可以帮助你在Python爬虫中找到URL。选择哪种方法取决于你的具体需求和偏好。需要注意的是，在爬取网站时，请确保遵守网站的robots.txt规则，并尊重网站的版权和使用条款