斯坦福大学机器学习公开课

### 斯坦福大学机器学习公开课知识点概览 #### 1. 机器学习介绍 - **1.1 什么是机器学习？** - 机器学习是人工智能的一个分支，旨在使计算机能够通过数据学习并改进其执行任务的能力，而无需进行明确编程。 - 它依赖于模式识别和计算统计学等技术，使计算机可以自动“学习”从数据中得出结论的方法。 - **1.2 监督学习（Supervised Learning）** - 在监督学习中，算法从带有标记的数据集中学习，即输入数据与对应的正确输出一起给出。 - 目的是推导出一个函数，该函数可以根据训练数据预测新实例的输出值。 - 常见的应用包括分类和回归问题，例如垃圾邮件过滤、房价预测等。 - **1.3 非监督学习（Unsupervised Learning）** - 非监督学习处理未标记的数据，目的是揭示数据中的结构或模式。 - 主要任务包括聚类、关联规则学习等，例如客户细分、异常检测等场景。 #### 2. 单变量线性回归 - **2.1 模型表达（Model Representation）** - 单变量线性回归模型通常表示为 \(h_\theta(x) = \theta_0 + \theta_1 x\)，其中 \(x\) 是输入变量，\(\theta_0\) 和 \(\theta_1\) 是参数。 - 目标是最小化预测值与实际值之间的差距。 - **2.2 代价函数（Cost Function）** - 代价函数用于衡量模型的准确性。对于线性回归，常用的代价函数是均方误差（Mean Squared Error, MSE），定义为： \[J(\theta_0, \theta_1) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2\] - 其中 \(m\) 是训练样本的数量，\(y^{(i)}\) 是第 \(i\) 个样本的实际输出。 - **2.3 梯度下降（Gradient Descent）** - 梯度下降是一种求解最小化问题的有效方法，可用于找到代价函数的最小值。 - 更新规则为： \[\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta_0, \theta_1)\] - 其中 \(\alpha\) 是学习率，决定了每次迭代中更新步长的大小。 - **2.4 对线性回归运用梯度下降法** - 使用梯度下降来调整 \(\theta_0\) 和 \(\theta_1\) 的值，以使 \(J(\theta_0, \theta_1)\) 达到最小。 - 这种方法适用于解决线性回归问题，尤其是当特征数量不是特别大的情况下。 #### 3. 多变量线性回归 - **3.1 多维特征（Multiple Features）** - 当模型涉及多个输入特征时，线性回归模型可以扩展为： \[h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_n x_n\] - **3.2 多变量梯度下降（Gradient descent for multiple variables）** - 多变量情况下的梯度下降算法与单变量相似，只是需要同时更新所有的 \(\theta_j\)。 - **3.3 特征缩放（Feature Scaling）** - 为了加快梯度下降的收敛速度，可以通过特征缩放（将所有特征缩放到大致相同的尺度上）来改善。 - 常用方法包括平均值归一化（将每个特征减去平均值，并除以其标准差）。 - **3.4 学习率(Learning rate)** - 学习率的选择非常重要，过大可能导致算法不收敛，过小则可能需要更多的迭代次数才能达到最优解。 #### 4. 多项式回归和正规方程 - **4.1 多项式回归（Polynomial Regression）** - 当线性模型无法很好地拟合数据时，可以通过引入高次项来增强模型的灵活性。 - 例如，二次回归模型为 \(h_\theta(x) = \theta_0 + \theta_1 x + \theta_2 x^2\)。 - **4.2 正规方程（Normal Equation）** - 正规方程是一种解析解方法，可以直接计算得到最优的参数值，而无需迭代。 - 其形式为 \(\theta = (X^T X)^{-1}X^T y\)，其中 \(X\) 是特征矩阵，\(y\) 是输出向量。 - 优点是不需要选择学习率，也不必担心收敛问题；缺点是在特征数量非常大时计算成本较高。 以上仅是课程前几周内容的简要概述，后续章节还包括逻辑回归、神经网络、支持向量机、聚类等更深入的主题。这些知识点构成了现代机器学习的基础，是理解和应用各种高级算法和技术的关键。