Python中便捷获取和处理数据的方法有很多,下面是一些常用的方法:
1. 本地数据获取
读取CSV文件
import pandas as pd
读取CSV文件
df = pd.read_csv('c/test/test.csv')
获取帮助信息
help(pd.read_csv)
写入CSV文件
df.to_csv('c/test/scores.csv')
读取Excel文件
读取Excel文件
df = pd.read_excel('c/test/test.xlsx', sheet_name='scores')
计算列的和
df['sum'] = df['Python'] + df['Math']
写入Excel文件
df.to_excel('c/test/scores.xlsx', sheet_name='scores')
2. 网络数据获取
使用`requests`库获取网页数据
import requests
获取网页数据
r = requests.get('https://money.cnn.com/data/markets/nasdaq/')
使用正则表达式提取数据
search_pattern = re.compile(r'
(\d+\.\d+)<.*?/td>') dji_list_in_text = r.text
dji_list = search_pattern.findall(dji_list_in_text)
使用`matplotlib.finance`模块获取雅虎财经数据
from matplotlib.finance import quotes_historical_yahoo_ochl
from datetime import datetime
获取数据
quotes = quotes_historical_yahoo_ochl('AAPL', start='2020-01-01', end='2020-12-31')
将日期放入列表中
list1 = [datetime.strftime(q, '%Y-%m-%d') for q in quotes]
创建DataFrame
quotesdf = pd.DataFrame(quotes, index=list1, columns=['Open', 'High', 'Low', 'Close', 'Volume'])
3. 数据处理
使用`pandas`进行数据处理
示例:计算每列的平均值
df.mean()
示例:筛选特定条件的数据
df[df['Python'] > 80]
以上是使用Python便捷获取和处理数据的一些基本方法。根据你的具体需求,你可能需要使用更多的库和工具,例如`numpy`、`scipy`、`scikit-learn`等。