决策树统计学习方法概述(PPT 66页)
所属分类:决策管理
文件大小:2802 KB
下载要求:10 学币或VIP
点击下载1.1决策树模型与学习
1.2特征选择
1.3决策树的生成
1.4决策树的剪枝
1.5CART算法
1.1.1决策树模型
1.1.2决策树与if-then规则
1.1.3决策树与条件概率分布
1.1.4决策树学习
决策树
决策树学习算法的特点
决策树学习的主要算法
例1.找对象
1.2特征选择1.2.1特征选择问题
1.2.2信息增益
熵-就分类而言,所有成员都属于一类,熵为零;
不同类别数目相等,则熵等于1,类别数目不等,则熵介于0,1之间。
条件熵
信息增益
信息增益的具体公式
信息增益算法
例1.3对表1.1所给的训练数据集D,根据信息增益准则选择最优特征。
1.2.3信息增益比
1.3决策树的生成1.3.1ID3算法
例1.4对表1.1的训练数据集,利用ID3算法建立决策树
这里生成的决策树只用到两个特征(两个内节点),
ID3算法容易存在过拟合问题。
补充:如何解决决策树的过拟合问题
补充:如何解决决策树的过拟合问题——概念
二.产生过度拟合数据问题的原因有哪些?
三.如何解决过度拟合数据问题?
1.3.2C4.5的生成算法
算法1.4树的剪枝算法
关于剪枝的补充——先剪枝
补充:关于剪枝——先剪枝
关于剪枝的补充——后剪枝
补充:关于剪枝的准则
REP——错误率降低剪枝
PEP——悲观错误剪枝
PEP——小例题
例子
CCP续
1.5CART(分类与回归树)算法
1.5.1CART生成
GINI指数
1.5.2CART剪枝
实验结果
解决决策树过拟合的另一种方法——随机森林
回归问题
投票机制
贝叶斯投票机制
投票机制举例
一种可能的方案
..............................
精品资料网 m.cnshu.cn
Copyright © 2004- 粤ICP备10098620号-1
风险管理 应急预案 研发管理 运营管理 内部管理 商业模式 执行力 连锁经营 公司治理 工厂管理 创新管理 家族企业 效率管理 名企案例 企业理念 价值管理 特许经营 瓶颈管理 调查问卷 策划方案 领导力 团队建设 企业变革 企业文化 战略管理 竞争策略 管理知识 危机管理 成本管理 项目管理 发展战略 年度计划 决策管理 企业上市 供应商 组织设计 产品管理 采购管理 品牌管理 企业诊断 企业咨询 商务谈判 物流管理 运作管理 管理制度 行业报告 经营管理 企划方案 MBA 流程管理 目标管理 招标投标 商务礼仪 管理表格 管理技能 管理案例 管理工具 管理手册 职业经理人 商业计划书 董事与股东 可行性报告