爬取网站目录通常指的是使用Python爬取网站上的文件列表，这可以通过`os.walk（）`函数实现，该函数可以遍历指定目录及其子目录中的所有文件。以下是一个简单的示例，展示了如何使用`os.walk（）`来遍历目录：
import os遍历当前目录及其子目录for root, dirs, files in os.walk（os.curdir）:print（"当前目录：", root）for file in files:print（"文件：", os.path.join（root, file））for dir in dirs:print（"子目录：", os.path.join（root, dir））print（"\n"）按下回车键退出input（"按回车键退出...\n"）
如果你需要爬取特定网站上的目录，你可能需要使用网络爬虫库，如`requests`和`BeautifulSoup`。以下是一个使用`requests`和`BeautifulSoup`爬取网站目录的示例：
import requestsfrom bs4 import BeautifulSoup发送HTTP请求获取网页内容response = requests.get（'http://example.com'）使用BeautifulSoup解析网页内容soup = BeautifulSoup（response.text, 'html.parser'）找到所有的标签links = soup.find_all（'a'）遍历所有的链接for link in links:href = link.get（'href'）打印出链接的URLprint（href）
请注意，这个示例仅适用于静态网页。对于动态网页，你可能需要使用像Selenium这样的工具来模拟浏览器行为。
如果你需要更复杂的爬虫功能，比如登录、处理JavaScript渲染的页面等，你可能需要使用更高级的库，如`requests-html`。