正文

如何用python读取数据集

小六 /2 浏览量
0610

Python中读取数据集的方法取决于数据集的类型和格式。以下是一些常见的数据集读取方法：

文本文件读取

使用内置的`open（）`函数读取文本文件。

```python

with open（'dataset.txt', 'r'） as file:

data = file.read（）

CSV文件读取
使用`csv`模块读取CSV文件。```python
import csv
with open（'dataset.csv', 'r'） as file:
 reader = csv.reader（file）
 data = list（reader）

使用`pandas`库读取CSV文件。

```python

import pandas as pd

data = pd.read_csv（'dataset.csv'）

Excel文件读取
使用`pandas`库读取Excel文件。```python
import pandas as pd
data = pd.read_excel（'dataset.xlsx'）

二进制文件读取

使用`numpy`库读取二进制文件。

```python

import numpy as np

data = np.fromfile（'dataset.bin', dtype=np.float32）

HDF5文件读取
使用`h5py`库读取HDF5文件。```python
import h5py
with h5py.File（'dataset.hdf5', 'r'） as file:
 data = file['dataset_name'][:]

SAS数据集读取

使用`pandas`库读取SAS数据集。

```python

import pandas as pd

data = pd.read_sas（'path_to_sas_file.sas7bdat'）

MS-SQL数据库读取
使用`pymssql`库读取MS-SQL数据库中的数据。```python
import pymssql
conn = pymssql.connect（server='127.0.0.1', user='sa', password='password', database='master'）
cursor = conn.cursor（）
cursor.execute（'select name from sys.databases'）
row = cursor.fetchone（）
while row:
 print（row）
 row = cursor.fetchone（）
conn.close（）

自定义数据集读取

可以通过继承`torch.utils.data.Dataset`类来自定义数据集读取。

```python

from torch.utils.data import Dataset

class MyDataset（Dataset）:

def __getitem__（self, index）:

实现获取数据的逻辑

pass

def __len__（self）:

实现返回数据集长度的逻辑

pass

以上方法涵盖了大部分常见的数据集格式，具体使用时可以根据数据集的特点选择合适的方法。需要注意的是，读取数据后通常还需要进行数据清洗、预处理等操作，以便于后续的数据分析和建模

-- 展开阅读全文 --