Python的scikit-learn（简称sklearn）模块可以非常好地支持决策树分类，尽管它使用的是更加复杂的决策树算法，但依然是在上一节讲述的原理基础上的优化算法。本节将使用scikit-learn的决策树分类来识别“蘑菇数据”中的毒蘑菇。

首先介绍本案例使用的数据。原始数据来源于加州大学欧文分校用于机器学习的数据库（UCI数据库），本书使用的是经过必要处理的数据，此数据可从教材资源平台下载。

接下来在命令行界面安装scikit-learn。

pip install -u scikit-learn

安装scikit-learn之前需要确保模块numpy和scipy已经安装，否则可以使用pip install安装。

pip install -u numpy

pip install -u scipy

进入Python之后，使用如下命令调用scikit-learn的决策树方法。

from sklearn import tree

模块scikit-learn的决策树是基于DecisionTreeClassifier对象，它能够解决二分类问题（如蘑菇是否可食用），也可以解决多分类问题。在使用中，对输入训练数据的维度要求如下。

输入X：样本数量×特征属性数量；

输入Y：样本类别标签，与X要一一对应。

下面先用一个简单的例子来熟悉使用方法。对四个点X=[[0，0]，[0，1]，[1，0]，[1，1]]使用决策树进行分类，四个点分别属于两个类别0和1，它们对应的类别标签是Y=[0，0，1，1]。这可以通过如下简单代码实现。

In[1]：from sklearn import tree

X=[[0，0]，[0，1]，[1，0]，[1，1]]

Y=[0，0，1，1]

clf=tree.DecisionTreeClassifier（）

clf=clf.fit（X，Y）

clf命令用来构造决策树，通过clf.fit（X，Y）实现了决策树的构建，此时clf已经是能够进行分类的决策树了，可以用它来进行新数据的分类。例如，输出[[0.3，0]，[0.8，1]，[1.2，1]]的类别，代码如下。

In[2]：test=[[0.3，0]，[0.8，1]，[1.2，1]]

In[3]：clf.predict（test）

Out[3]：array（[0，1，1]）

通过上述输出可以看到决策树给出的分类结果是[0.3，0]类别为0；[0.8，1]类别为1；[1.2，1]类别为1。读者可以在平面直角坐标系上画出这些点，看看分类是否合理。

读者还可以尝试下列与决策树相关的函数，看看它们具有什么功能。

In[4]：dir（clf）

Out[4]：

[……

'apply'，

'class_weight'，

'classes_'，

'criterion'，

'decision_path'，

'feature_importances_'，

'fit'，

'fit_transform'，

'get_params'，

'max_depth'，

'max_features'，

'max_features_；，

'max_leaf_nodes'，

'min_impurity_split'，

'min_samples_leaf'，

'min_samples_split'，

'min_weight_fraction_leaf'，

'n_classes_'，

'n_features_'，

'n_outputs_'，

'predict'，

'predict_log_proba'，

'predict_proba'，

'presort'，

'random_state'，

'score'，

'set_params'，

'splitter'，

'transform'，

'tree_']

下面开始进行蘑菇分类。本书提供的蘑菇数据如表3-5所示，包含样本编号和特征属性，其中第一行是类别标记及属性名称，第一列为样本编号。

表3-5

该表共包含8 123条数据，特征属性共有22个，这些属性及其对应的取值含义如下所示。

类别标记：

毒蘑菇，poisonous，p

可食用，edible，e

特征属性及取值

1.cap-shape：bell=b，conical=c，convex=x，flat=f，knobbed=k，sunken=s

2.cap-surface：fibrous=f，grooves=g，scaly=y，smooth=s

3.cap-color：brown=n，buff=b，cinnamon=c，gray=g，green=r，pink=p，purple=u，red=e，white=w，yellow=y

4.bruises：bruises=t，no=f

5.odor：almond=a，anise=l，creosote=c，fishy=y，foul=f，musty=m，none=n，pungent=p，spicy=s

6.gill-attachment：attached=a，descending=d，free=f，notched=n

7.gill-spacing：close=c，crowded=w，distant=d

8.gill-size：broad=b，narrow=n

9.gill-color：black=k，brown=n，buff=b，chocolate=h，gray=g，green=r，orange=o，pink=p，purple=u，red=e，white=w，yellow=y

10.stalk-shape：enlarging=e，tapering=t

11.stalk-root：bulbous=b，club=c，cup=u，equal=e，rhizomorphs=z，rooted=r，missing=？

12.stalk-surface-above-ring：fibrous=f，scaly=y，silky=k，smooth=s

13.stalk-surface-below-ring：fibrous=f，scaly=y，silky=k，smooth=s

14.stalk-color-above-ring：brown=n，buff=b，cinnamon=c，gray=g，orange=o，pink=p，red=e，white=w，yellow=y

15.stalk-color-below-ring：brown=n，buff=b，cinnamon=c，gray=g，orange=o，pink=p，red=e，white=w，yellow=y

16.veil-type：partial=p，universal=u

17.veil-color：brown=n，orange=o，white=w，yellow=y

18.ring-number：none=n，one=o，two=t

19.ring-type：cobwebby=c，evanescent=e，flaring=f，large=l，none=n，pendant=p，sheathing=s，zone=z

20.spore-print-color：black=k，brown=n，buff=b，chocolate=h，green=r，orange=o，purple=u，white=w，yellow=y

21.population：abundant=a，clustered=c，numerous=n，scattered=s，several=v，solitary=y

22.habitat：grasses=g，leaves=l，meadows=m，paths=p，urban=u，waste=w，woods=d

首先使用pandas读取数据，这是一个强大的数据处理工具。通过显示数据形状可以看到共有8 124行、24列。

In[5]：import pandas as pd

import numpy as np

In[6]：data=pd.read_excel（'mushroom.xlsx'，header=0）

In[7]：data.shape

Out[7]：（8124，24）

使用如下命令观察前5行数据。

In[8]：data.head（5）

Out[8]：

样本编号标记属性1 属性2 属性3 属性4 属性5 属性6 属性7 属性8 ...

属性13 属性14 属性15 属性16 属性17 属性18\

0 1.0 p x s n t p f c n ...s w w p w o

1 2.0 e x s y t a f c b ...s w w p w o

2 3.0 e b s w t l f c b ...s w w p w o

3 4.0 p x y w t p f c n ...s w w p w o

4 5.0 e x s g f n f w b ...s w w p w o

属性19 属性20 属性21 属性22

0 p k s u

1 p n n g

2 p n n m

3 p k s u

4 e n a g

[5 rows x 24 columns]

进行数据拆分，获得输入数据X和对应的类别标记Y，这个过程是为了准备训练数据。用以下代码获取类别标记。

In[9]：label=data['标记']

#读取标记列

In[10]：label=np.array（label）

#转化成数组，这是Python最常使用的数据格式

In[11]：label.shape

Out[11]：（8124，）

#获得标记的个数。实际标记是8123个，需要剔除最后一个' '标记

In[12]：label=label[0：-1]

#获得8123个标记

因为用来表示类别的“e”和“p”是英文字母，所以需要转化成1和0以便计算机使用，其中1表示可食用，0表示有毒。使用以下代码完成转化，这是一个循环程序。

In[13]：for i in range（0，8123）：

if label[i]=='e'：

label[i]=1

else：

label[i]=0

接下来就可以设置Y数据了。

In[14]：Y=label

In[15]：Y=Y.astype（Y）

接下来处理训练样本。

In[16]：data=data.drop（['样本编号'，'标记']，axis=1）

#训练样本需要将两列去掉（样本编号和标记）

In[17]：data.shape

Out[17]：（8124，22）

#训练样本的行列数量

In[18]：newdata=np.array（data）

In[19]：newdata=newdata[0：-1，：]

#去掉最后一行

In[20]：newdata.shape

Out[20]：（8123，22）

#新的数据

特征属性的值同样是用字符表示的，而Python的决策树需要对数值进行处理。所以接下来使用下面的编码将字符直接转化成ASCII编码的整数。表3-6中的最后一列是通常的字符，前两列分别是这个字符的十进制编码和十六进制编码。

表3-6

使用下面的代码将字符转化成它对应的整数。如g转化为103，O转化为79等。这是一个循环程序，其中的ord（ ）函数负责转化功能。

In[21]：for i in range（0，8123）：

for j in range（0，22）：

newdata[i，j]=ord（newdata[i，j]）

新的训练数据为

In[22]：X=newdata

接下来就可以构造决策树并用于分类了，输出的是描述所生成的决策树的参数。

In[23]：clf=tree.DecisionTreeClassifier（）

In[24]：clf.fit（X，Y）

Out[24]：

DecisionTreeClassifier（class_weight=None，criterion='gini'，

max_depth=None，

max_features=None，max_leaf_nodes=None，

min_impurity_split=1e-07，min_samples_leaf=1，

min_samples_split=2，min_weight_fraction_leaf=0.0，

presort=False，random_state=None，splitter='best'）

使用决策树用于新数据的分类，可以看到对下列4个新的蘑菇数据进行分类后，输出结果表明其中有3种是可食用的，1种是有毒的。

In[25]：test=np.anay（[[…]，[…]，[…]，[…]]）

np.anay（[[120，115，121，...，110，110，103]，

[98，115，119，...，110，110，109]，

[120，121，119，...，107，115，117]，

[120，115，103，...，110，97，103]]）

In[26]：clf.predict（test）

Out[26]：array（[1，1，0，1]）

这个决策树的准确率如何呢？一种简单的方法是使用训练数据中的X，用决策树获得对应的类别标记，也就是预测分类结果（这里用Y_predict表示），然后把它和实际的类别标记Y进行比较。scikit-learn支持这样的比较，使用的方法是accuracy_score。

In[27]：from sklearn.metrics import accuracy_score

In[28]：Y_predict=clf.predict（X）

#这里使用前面训练好的决策树，输入训练样本的X，给出对应的predict

In[29]：accuracy_score（Y，Y_predict）

#这里利用accuracy_score来比较预测值和真实值。

Out[29]：1.0

可以看到这个决策树在训练数据上的准确率是100%（1.0）。这表明使用上述算法构建的决策树完全捕捉了训练数据的分类信息。这也许是因为训练出的决策树确实具有很好的分类效果，但也有可能并不是真正的分类准确率，而是发生了过拟合现象。

为了更好地评估分类准确率，需要使用与训练数据不同的测试数据。可以抽取全部数据中的一部分作为训练数据，另一部分作为测试数据，使用抽取出的训练数据来构建决策树，然后使用测试数据评估准确率。这可以通过如下方式来实现。

In[30] from sklearn.model_selection import train_test_split

In[31]：X_train，X_test，Y_train，Y_test=train_test_split

（X，Y，test_size=0.2）

#这里将全部样本分成两部分，其中训练样本占80%，测试样本占20%，这

#里采用了随机分割样本的方法，所以读者的输出可能与下面的结果不同

In[32]：newclf=tree.DecisionTreeClassifier（）

In[33]：newclf.fit（X_train，Y_train）

#利用训练数据来构建决策树

Out[33]：

DecisionTreeClassifier（class_weight=None，criterion='gini'，

max_depth=None，

max_features=None，max_leaf_nodes=None，

min_impurity_split=1e-07，min_samples_leaf=1，

min_samples_split=2，min_weight_fraction_leaf=0.0，

presort=False，random_state=None，splitter='best'）

#返回新的决策树的参数

In[34]：Y_predict=newclf.predict（X_test）

#注意，这里是将新训练的决策树用在测试样本的X上，并预测出对应Y

In[35]：accuracy_score（Y_test，Y_predict）

Out[35]：1.0

可以看到在测试集上的准确率仍然是100%，这说明这个分类器确实具有很高的准确率。因为测试数据和训练数据是采用随机划分的方式获得的，读者最后获得的输出结果可能会与此不同。

从上述内容可以看出，决策树实现起来简单并且效果很好。本书采用最简单的形式实现这个算法，scikit-learn的决策树有很多参数可以调整，读者可以尝试调整决策树的参数，观察分类性能会发生什么改变。