正文

python如何抓取网页li的文字

小六 /54 浏览量
0308

要使用Python抓取网页中的`

  • `标签文本，你可以使用`requests`库来获取网页内容，然后使用`BeautifulSoup`库来解析HTML并提取`
  • `标签的文本。以下是一个简单的示例代码：

    import requestsfrom bs4 import BeautifulSoup发起GET请求获取网页内容url = 'https://example.com' 替换为你想要抓取的网页URLresponse = requests.get（url）检查请求是否成功if response.status_code == 200:使用BeautifulSoup解析HTML内容soup = BeautifulSoup（response.text, 'html.parser'）查找所有的
  • 标签并打印它们的文本内容

    list_items = soup.find_all（'li'）

    for li in list_items:

    print（li.text）

    else:

    print（'请求失败，状态码：', response.status_code）

    在这段代码中，我们首先使用`requests.get（）`函数发起GET请求来获取网页内容。然后，我们使用`BeautifulSoup`来解析返回的HTML内容，并通过`find_all`方法查找所有的`

  • `标签。最后，我们遍历这些标签并打印出它们的文本内容。

    请确保在运行代码之前已经安装了`requests`和`BeautifulSoup`库。如果尚未安装，可以使用以下命令进行安装：

    pip install requests beautifulsoup4
    • -- 展开阅读全文 --