在Python中进行数据预处理通常涉及以下步骤:
导入必要的库
import numpy as np
import pandas as pd
from sklearn import preprocessing
加载数据
dataset = pd.read_csv('data.csv') 读取CSV文件
清洗数据
处理缺失值:
from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values=np.nan, strategy='mean') 使用均值填充缺失值
dataset.iloc[:, :-1] = imputer.fit_transform(dataset.iloc[:, :-1])
dataset = dataset.drop_duplicates()
转换数据类型 (如果需要):
dataset['column_name'] = dataset['column_name'].astype('new_type')
标准化或归一化数据
scaler = preprocessing.StandardScaler()
dataset.iloc[:, :-1] = scaler.fit_transform(dataset.iloc[:, :-1])
分割数据集为训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(dataset.iloc[:, :-1], dataset.iloc[:, -1], test_size=0.2)
以上步骤涵盖了数据预处理的基本流程。根据具体的数据集和需求,可能还需要进行其他预处理步骤,如处理分类特征、特征缩放等。