浙江龙网

  1. 首页 > 生活百科 > >

决策树算法测试代码 决策树代码实现

生活百科

多条告白如次剧本只需引入一次
本教程引见了用来分门别类的计划树，即分门别类树，囊括分门别类树的构造，分门别类树怎样举行猜测，运用scikit-learn结构分门别类树，以及超参数的安排 。
本教程精细引见了计划树的处事道理
因为百般因为，计划树一种时髦的监视进修本领 。计划树的便宜囊括，它既不妨用来回归，也可用来分门别类，容易证明而且不须要特性缩放 。它也有少许缺陷，比方简单过拟合 。本教程引见了用来分门别类的计划树，也被称为分门别类树 。
除此除外，本教程还将涵盖：
分门别类树的构造（树的深度，根节点，计划节点，叶节点/结尾节点）分门别类树怎样举行猜测怎样经过Python中的scikit-learn结构计划树超参数安排与平常一律，本教程顶用到的代码不妨在我的github（构造，猜测）中找到，咱们发端吧！
什么是分门别类树？
分门别类和回归树（CART）是由Leo Breiman引入的，用一种于处置分门别类或回归猜测建立模型题目的计划树算法 。正文只引见分门别类树 。
分门别类树
从实质上讲，分门别类树将分门别类变化为一系列题目 。下图是在IRIS数据集（花草品种）上演练的一个分门别类树 。根节点（棕色）和计划节点（蓝色）中包括了用来分割子节点的题目 。根节点即为最尖端的计划节点 。换句话说，它即是你遍历分门别类树的开始 。叶子节点（绿色），也叫作结尾节点，它们不复分割成更多节点 。在叶节点处，经过普遍开票确定分门别类 。
将三个花草种类（IRIS数据集）逐一举行分门别类的分门别类树
怎样运用分门别类树
运用分门别类树，要从根节点（棕色）发端，逐层遍历整棵树，直到达到叶节点（结尾节点） 。如次图所示的分门别类树，假如你有一朵花瓣长度为4.5cm的花，想对它举行分门别类 。开始从根节点发端，先回复“花瓣长度（单元：cm）≤ 2.45吗？”由于宽窄大于2.45，以是回复否 。而后加入下一个计划节点，回复“花瓣长度（单元：cm）≤ 4.95吗？” 。谜底为是，以是你不妨猜测这朵花的种类为变色鸢尾（versicolor） 。这即是一个大略的例子 。
分门别类树怎样成长（非数学版）
分门别类树从数据国学到了一系列“即使…那么…”的题目，个中每个题目都波及到一个特性和一个分隔节点 。从下图的限制树（A）可看出，题目“花瓣长度（单元：cm）≤ 2.45”将数据鉴于某个值（本例中为2.45）分红两个局部 。这个数值叫作分隔点 。对分隔点而言，一个好的值（使得消息增值更大）可将类与类之间分摆脱 。查看下图中的B局部可知，坐落分隔点左侧的一切点都被归为山鸢尾类(setosa)，右侧的一切点则被归为变色鸢尾类（versicolor） 。
从图中可看出，山鸢尾类(setosa)中一切的38个点都已被精确分门别类 。它是一个纯节点 。分门别类树在纯节点上不会分割 。它不复爆发消息增值 。然而不纯节点不妨进一步分割 。查看图B的右侧可知，很多点被缺点归类到了变色鸢尾类（versicolor） 。换而言之，它包括了分属于两个各别类（setosa和versicolor）的点 。分门别类树是个贪心算法，这表示着它会默许从来分割直到获得纯节点 。并且，该算法会为不纯节点采用更好分隔点（咱们会鄙人节引见数学本领） 。
在上海图书馆中，树的更大深度为2 。树的深度是对一棵树在举行猜测之前可分割度数的襟怀 。树可举行屡次分割，直到树的纯度越来越高 。屡次反复此进程，会引导树的深度越来越大，节点越来越多 。这会惹起对演练数据的过拟合 。倒霉的是，大普遍分门别类树的实行都承诺遏制树的更大深度，进而缩小过拟合 。换而言之，不妨经过树立计划树的更大深度进而遏止树的成长胜过某个一定深度 。可经过下图直觉地领会更大深度 。
采用规则
本节回答了消息增值、基尼指数和熵是怎样计划出来的 。
在本节，你不妨领会到什么是分门别类树中根节点/计划节点的更好分隔点 。计划树在某个特性和对立应的分隔点长进行分割，进而按照给定的规则（本例中为基尼指数或熵）爆发更大的消息增值（IG） 。不妨将消息增值大略设置为：
IG = 分割前的消息（父） – 分割后的消息（子）
经过下图的计划树，咱们不妨更明显的领会父与子 。
下图为更精确的消息增值公式 。
由于分门别类树是二元分割，上述公式不妨简化为以次公式 。
基尼指数和熵是两个用来测量节点不纯度的常用规则 。

推荐阅读


上一篇：绵阳教师资格证认定流程一览 绵阳市教师资格证认定时间

下一篇：梦见自己抓小偷是什么意思 梦见自己抓小偷