【分析式AI】-带你秒弄懂决策树与随机森林

决策树（Decision Tree）

• 定义：一种基于树形结构的监督学习算法，通过递归分割数据集（基于特征测试）构建决策路径，最终在叶节点输出分类或回归结果。
  
• 核心原理：
  用信息增益（ID3）、信息增益比（C4.5）或基尼指数（CART）选择最优特征分割，目标是最小化预测不确定性。
  
• 常见算法：
  | 算法 | 特点 | 适用场景 |
  |------|------|----------|
  | ID3 | 用信息增益分割，只能处理分类特征（如“颜色=红/蓝”），不支持连续值 | 早期简单分类任务（如“天气是否适合打球”） |
  | C4.5 | 改进ID3，用信息增益比避免偏向高基数特征，支持连续特征（如“温度=25℃”）和缺失值 | 通用分类（如“客户是否会购买”） |
  | CART | 用基尼指数分割，支持分类和回归（输出类别或数值），生成二叉树 | 通用性强（如“房价预测”“疾病诊断”） |
  

随机森林（Random Forest）

• 定义：一种集成学习算法，由多棵决策树组成，通过有放回抽样（Bootstrap） 和随机特征选择构建森林，最终用多数投票（分类）或平均值（回归） 输出结果。
  
• 核心原理：
  
  
  
  • 样本随机性：每棵树用原始数据的随机子集（约63%样本）训练。
    
  • 特征随机性：每棵树分裂时随机选部分特征（如总特征数的√n）。
    
  • 集成优势：降低过拟合，提升泛化能力。
    
  
  
• 常见算法实现：
  
  
  
  • 基于CART的随机森林：最常用（如Python的scikit-learn库），用CART树作为基模型。
    
  • 其他变体：如RandomForestClassifier（分类）、RandomForestRegressor（回归），但底层仍是CART树。
    
  
  

大白话及生活案例（附算法解释）

决策树：像“猜猜看”游戏，一步步缩小范围

<ul>大白话：决策树就是“问问题，找答案”，从大问题开始，每次问一个关键问题，直到得出结论。
生活案例：<blockquote>你和朋友玩“猜猜看”：

• “是男生还是女生？”（问第一个问题，类似ID3用信息增益选特征）
  
• “喜欢喝奶茶吗？”（根据上一答案继续问，类似C4.5处理连续问题）
  
• “奶茶加珍珠吗？”（CART会问“加不加珍珠”这个二分问题）
  最后猜出“是小红，女生，爱喝珍珠奶茶”——决策树就是这个过程。
  算法对应：
  

<ul>ID3：只问“性别”“奶茶类型”这类分类问题（不处理“年龄”这种数字）。
CART：把“年龄”拆成“