爬取学校教务网站上的个人课表通常需要以下步骤:
模拟登录
使用`requests`库发送POST请求,携带登录数据,如用户名和密码。
示例代码:
import requestsurl = '登录页面的URL'data = {'username': '你的用户名','password': '你的密码'}headers = {'User-Agent': '你的浏览器User-Agent'}response = requests.post(url, data=data, headers=headers)print(response.status_code) 打印响应状态码
获取课表信息
访问课表页面,观察URL和请求头数据。
使用`requests`库发送GET请求,获取课表页面源码。
示例代码:
url = '课表页面的URL'response = requests.get(url, headers=headers)print(response.status_code) 打印响应状态码
解析数据
使用`BeautifulSoup`库解析HTML源码,提取课表信息。
示例代码:

from bs4 import BeautifulSoupsoup = BeautifulSoup(response.text, 'html.parser')根据网页结构提取课表信息schedule_data = soup.find_all('div', class_='schedule-item')for item in schedule_data:course_name = item.find('span', class_='course-name').textcourse_time = item.find('span', class_='course-time').textprint(f'课程名称:{course_name},时间:{course_time}')
保存数据
将解析出的课表信息保存到文件或数据库中。
示例代码(保存到CSV文件):
import csvwith open('schedule.csv', 'w', newline='', encoding='utf-8') as csvfile:writer = csv.writer(csvfile)writer.writerow(['课程名称', '时间'])for item in schedule_data:course_name = item.find('span', class_='course-name').textcourse_time = item.find('span', class_='course-time').textwriter.writerow([course_name, course_time])
注意事项
确保遵循网站的`robots.txt`规则,尊重网站的爬取策略。
处理可能出现的验证码或其他验证机制。
考虑使用代理IP防止IP被封禁。
遵守相关法律法规和学校规定,不要滥用爬虫技术。
请根据具体的教务网站结构调整代码中的URL、参数和解析逻辑。
