Python中读取数据集的方法取决于数据集的类型和格式。以下是一些常见的数据集读取方法:
文本文件读取
使用内置的`open()`函数读取文本文件。
with open('dataset.txt', 'r') as file:data = file.read()
CSV文件读取
使用`csv`模块读取CSV文件。
import csvwith open('dataset.csv', 'r') as file:reader = csv.reader(file)data = list(reader)
使用`pandas`库读取CSV文件。
import pandas as pddata = pd.read_csv('dataset.csv')
Excel文件读取
使用`pandas`库读取Excel文件。
import pandas as pddata = pd.read_excel('dataset.xlsx')
二进制文件读取
使用`numpy`库读取二进制文件。

import numpy as npdata = np.fromfile('dataset.bin', dtype=np.float32)
HDF5文件读取
使用`h5py`库读取HDF5文件。
import h5pywith h5py.File('dataset.hdf5', 'r') as file:data = file['dataset_name'][:]
SAS数据集读取
使用`pandas`库读取SAS数据集。
import pandas as pddata = pd.read_sas('path_to_sas_file.sas7bdat')
MS-SQL数据库读取
使用`pymssql`库读取MS-SQL数据库中的数据。
import pymssqlconn = pymssql.connect(server='127.0.0.1', user='sa', password='password', database='master')cursor = conn.cursor()cursor.execute('select name from sys.databases')row = cursor.fetchone()while row:print(row)row = cursor.fetchone()conn.close()
自定义数据集读取
可以通过继承`torch.utils.data.Dataset`类来自定义数据集读取。
from torch.utils.data import Datasetclass MyDataset(Dataset):def __getitem__(self, index):实现获取数据的逻辑passdef __len__(self):实现返回数据集长度的逻辑pass
以上方法涵盖了大部分常见的数据集格式,具体使用时可以根据数据集的特点选择合适的方法。需要注意的是,读取数据后通常还需要进行数据清洗、预处理等操作,以便于后续的数据分析和建模
