利用sklearn实现多分类实验demo

常见的文本分类中,二分类问题居多,多分类问题其实也挺常见的,这里简单给出一个多分类的实验demo。

1 引入相应的库

1
2
3
4
5
6
7
8
9
10
11
12
# 引入必要的库
import numpy as np
import matplotlib.pyplot as plt
from itertools import cycle
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import label_binarize
from sklearn.multiclass import OneVsRestClassifier
from scipy import interp

% matplotlib inline

2 加载数据及数据格式转化

实验数据直接使用sklearn中的鸢尾花(iris)数据

(1) 加载数据
1
2
3
iris = datasets.load_iris()
X = iris.data
y = iris.target

(2) 标签二值化

1
2
3
4
5
6
# 查看原来标签数据格式
print(y.shape)
print(y)
# 标签转化
y = label_binarize(y, classes=[0, 1, 2])
print(y[:3])
(150,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
[[1 0 0]
 [1 0 0]
 [1 0 0]]

转化示意图
标签转化

(3)划分训练集和测试集

1
2
3
4
5
6
7
8
# 设置种类
n_classes = y.shape[1]

# 训练模型并预测
random_state = np.random.RandomState(0)
n_samples, n_features = X.shape
# 随机化数据,并划分训练数据和测试数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.5,random_state=0)

3 训练模型

1
2
3
# Learn to predict each class against the other
model = OneVsRestClassifier(svm.SVC(kernel='linear', probability=True,random_state=random_state))
clt = model.fit(X_train, y_train)

4 性能评估

(1)分别在训练集和测试集上查看得分

在训练集上查看分类得分

1
clt.score(X_train, y_train)
0.8133333333333334

在测试集上查看得分

1
clt.score(X_test,y_test)
0.6533333333333333

(2)查看预测的各类别情况

①利用SVM的方法decision_function给每个样本中的每个类一个评分

1
2
y_preds_scores=clt.decision_function(X_test)
y_preds_scores[:5]
array([[-3.58459897, -0.3117717 ,  1.78242707],
       [-2.15411929,  1.11394949, -2.393737  ],
       [ 1.89199335, -3.89592195, -6.29685764],
       [-4.52609987, -0.63396965,  1.96065819],
       [ 1.39684192, -1.77722963, -6.26300472]])

根据评分将其转化为原始标签格式

1
np.argmax(clt.decision_function(X_test), axis=1)[:5]
array([2, 1, 0, 2, 0])

②利用predict_proba查看每一类的预测概率

1
clt.predict_proba(X_test)[:4]
array([[3.80289117e-03, 4.01872348e-01, 9.31103883e-01],
       [4.57780355e-02, 7.88455913e-01, 3.39207219e-02],
       [9.81843900e-01, 8.97766449e-03, 1.27447369e-04],
       [7.34898836e-04, 3.12667406e-01, 9.45766977e-01]])
1
np.argmax(clt.predict_proba(X_test),axis=1)[:5]
array([2, 1, 0, 2, 0])

参考

【1】sklearn通过OneVsRestClassifier实现svm.SVC的多分类
【2】sklearn学习笔记(3)svm多分类