python爬虫url怎么获得_1

在Python中，获取网页上的URL通常有以下几种方法：

1. 使用`requests`库：

 import requests url = "https://example.com/" response = requests.get（url） print（response.url） 输出当前请求的URL 

2. 使用`BeautifulSoup`库解析HTML内容：

 from bs4 import BeautifulSoup url = "https://example.com/" response = requests.get（url） soup = BeautifulSoup（response.text, "html.parser"） for link in soup.find_all（"a"）: print（link.get（"href"）） 输出所有超链接的URL 

3. 使用`urllib`库：

 import urllib.request url = "https://example.com/" response = urllib.request.urlopen（url） html_content = response.read（） soup = BeautifulSoup（html_content, "html.parser"） for link in soup.find_all（"a"）: print（link.get（"href"）） 输出所有超链接的URL 

4. 使用`lxml`库通过XPath表达式获取URL：

 from lxml import html url = "https://example.com/" response = requests.get（url） tree = html.fromstring（response.text） links = tree.xpath（"//a/@href"） 获取所有超链接的URL for link in links: print（link） 

5. 通过分析网站的`robots.txt`文件或`sitemap.xml`文件获取URL列表：

`robots.txt`文件通常位于网站根目录下，提供了爬虫访问网站的规则。

`sitemap.xml`文件提供了网站所有URL的列表，可以定期下载以获取最新的URL列表。

以上方法可以帮助你在Python中编写爬虫来获取URL。请根据你的具体需求选择合适的方法