- 博客(10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 统计学习方法(李航) 第六章(2) 最大熵模型(一)
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻统计学习方法（李航） 第四章 贝叶斯统计学习方法(李航) 第五章 决策树我们先从基础概念“熵”开始。在信息论中，熵（Entropy）是衡量一个随机变量不确定性的度量。对于一个离散随机变量 XXX，其可能取值为 {x1,x2,...,xk}\{x_1, x_2, ..., x_k\}{x1,x2,...,xk}，对应的概率分布为 P(X=xi)=piP(X=x_i) = p_iP(
2025-05-03 21:08:21
985
原创 统计学习方法(李航) 第六章(2) 最大熵模型(二)
本节我们详细探讨了最大熵原理及其在建模条件概率分布PY∣XP(Y|X)PY∣X中的应用——最大熵模型在满足已知约束（特征期望匹配经验期望）的前提下，选择熵最大的模型度量不确定性。均匀分布熵最大（无约束），正态分布熵最大（给定均值方差）推导得出Pwy∣x1Zwxexp∑i1nwifixyPwy∣xZwx1exp∑i1nwifixy，其中ZwxZ_w(x)Zwx。
2025-05-03 21:08:05
563
原创 统计学习方法(李航) 第六章(1) 逻辑回归
核心假设: 给定特征XX1XpXX1Xp，我们想建模的是Y1Y=1Y1的条件概率πXPY1∣XπXPY1∣X。逻辑回归假设这个概率可以通过 Sigmoid 函数作用于XXX的线性组合β0β1X1⋯βpXpβ0β1X1⋯βpXpπXPY1∣X11e−β0β1X1⋯βpXpeβ0β1X1⋯βpXp1eβ0β。
2025-05-03 21:03:49
727
原创 统计学习方法（李航） 第五章 决策树
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻统计学习方法（李航） 第四章 贝叶斯统计学习方法（李航） 第五章 决策树决策树是一种树形结构的分类或回归模型，通过一系列 if-then 规则对数据进行决策示例：对于数据集 {(x1,y1),(x2,y2),…,(xn,yn)}\{ (x_1, y_1), (x_2, y_2), \dots, (x_n, y_n) \}{(x1,y1),(x2,y2),…,(xn,yn)}
2025-04-30 21:49:09
1263
原创 统计学习方法（李航） 第四章 贝叶斯
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻贝叶斯定理:已知: 存在 KKK 类 c1,c2,...,cKc_1,c_2,...,c_Kc1,c2,...,cK, 给定一个新的实例x=(x(1),x(2),...,x(n))x=(x^{(1)},x^{(2)},...,x^{(n)})x=(x(1),x(2),...,x(n))问: 该实例属于cic_ici类的概率是多少?P(Y=ci∣X=x)=P(X=x∣Y=ci)∗P(Y
2025-04-29 21:26:33
1147
原创 统计学习方法（李航） 第三章 k近邻算法
k近邻法是一种基本的分类与回归方法, 其主要思想是: 假定给定一个训练集, 其中的实例标签已定, 当输入新的实例时, 可以根据其最近的k个训练实例的标签, 预测新实例对应的标注信息分类问题: 对新的实例, 通过与之相邻的k个训练实例的类别, 通过多数表决等方式进行预测回归问题: 对新的实例, 根据与之相邻的k个训练实例的标签, 通过均值计算进行预测输入: 训练集T{(x1y1x2y2...xnyn)}xi∈X⊆Rny∈Yc。
2025-04-28 19:25:50
693
原创 统计学习方法（李航）第二章 感知机笔记
X⊆Rn;输入:xx1x2...xnT∈X输出空间:Y1−1;输出:y=∈Yfxsignw∗xb1w∗xb≥0−1w∗xb0其中,wx1x2...xnT∈Rn称为权值, $b \in R $ 称为偏置,w∗x表示内积假设空间:Ff∣fxw∗xb。
2025-04-28 19:20:00
990
原创 吴恩达Transformer2025版最新讲解（课程详细笔记）
在前面我们讨论了transformer如何进行模块的堆叠，在语言模型处理的最后阶段，会被转换为某种评分或标记概率的计算。所以语言模型头的结果是这种标记概率评分，表明在所有已知的token中每个token各自都多少概率会被输出，这些概率之和也就是百分之一百。贪婪解码（如选择最高概率的token）生成确定性结果，但可能陷入局部最优；Top-p（核采样）从累积概率阈值内的候选集中随机抽取，平衡多样性与合理性，因此相同提示会产生不同输出。这是解码策略差异导致的生成结果波动。
2025-03-11 23:27:06
1499
1
空空如也
类不存在默认构造函数
2022-04-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人