python爬虫如何构建url

在Python中构建URL通常有以下几种方法：

1. 使用`urllib.parse`库中的`urlencode`函数：

 from urllib.parse import urlencode params = { 'param1': 'value1', 'param2': 'value2' } url = 'http://www.example.com/？' + urlencode（params） 

2. 使用`urllib.request`库中的`Request`对象：

 from urllib.request import Request, urlopen url = 'http://www.example.com/' params = { 'param1': 'value1', 'param2': 'value2' } data = urlencode（params）.encode（'utf-8'） req = Request（url, data=data） response = urlopen（req） html = response.read（）.decode（'utf-8'） 

3. 使用第三方库如`requests`：

 import requests url = 'http://www.example.com/' params = { 'param1': 'value1', 'param2': 'value2' } response = requests.get（url, params=params） html = response.text 

4. 使用`urljoin`函数拼接URL：

 from urllib.parse import urljoin base_url = 'http://www.example.com/' relative_url = '/path/to/page' full_url = urljoin（base_url, relative_url） 

5. 使用正则表达式提取URL：

 import re text = 'Visit our website at http://www.example.com/' url_pattern = re.compile（r'http[s]？://（？:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\\（\\）,]|（？:%[0-9a-fA-F][0-9a-fA-F]））+'） url = url_pattern.search（text）.group（） 

请根据你的具体需求选择合适的方法来构建URL。