凸优化学习笔记 0：绪论

机器学习的分支。深度学习问题也是指从有限样例中总结出一般的规律，应用在新的未知数据上的方法。

点击蓝字关注我！写在前面这个系列为我在自学【机器学习】时的个人笔记。因为本人为医学相关专业，故学习过程中可能会有较多的纰漏，希望各位读者不吝赐教。本系列以吴恩达老师的【“机器学习”课程】为...

邱锡鹏《神经网络与深度学习》学习笔记

包括了机器学习各类课程、讲义、手推笔记，经典demo的机器学习新手笔记，旨在利用现有大量资源快速入门机器学习。

什么是机器学习?“机器学习是对能通过经验自动改进的计算机算法的研究”。为什么研究机器学习？设计更好的计算系统认知科学（Cognitive Science）时机已成熟机器学习三要素-大数据、算法、计算资源机器学习的分类监督学习（Supervised Learning）: 在这种类型的机器学习中，算法从标记的训练数据中学习，然后用学到的知识来预测新的、未标记的数据。例如，可以通过已知的房价数据来训练一个模型，然后用这个模型来预测新房子的价格。

今天开始学习邱锡鹏老师的《机器学习与深度学习》 材料：电子版PDF+课件 主要当做学习笔记记录一下。 第一部分 机器学习基础 Chapter 1 绪论 1、为了学习一种好的标识，需要构建具有一定深度的模型，并通过学习算法让模型自动学习初更好的特征表示。 深度：指的是原始数据进行非线性特征转换的次数。 2、贡献度分配问题：即一个系统中不同的组件或参数读最终系统输出结果的贡献或影响。->强化学习...

《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器

个人博客Glooow，欢迎各位老师来踩踩 文章目录1. 二阶锥1.1 二阶锥定义1.2 二阶锥约束2. 优化问题建模3. 类似问题转化3.1 二次规划3.2 随机线性规划4. 问题求解 1. 二阶锥 1.1 二阶锥定义 在此之前，先给出二阶锥的定义。 在 kkk 维空间中二阶锥 (Second-order cone) 的定义为 Ck={[ut]∣u∈Rk−1,t∈R,∥u∥≤t} \mathc...

前面讲了梯度下降法，分析了其收敛速度，对于存在不可导的函数介绍了次梯度的计算方法以及次梯度下降法，这一节要介绍的内容叫做近似点算子(Proximal mapping)，也是为了处理非光滑问题。 文章目录1. 闭函数2. 共轭函数3. 近似点算子4. 投影5. 支撑函数、范数与距离 1. 闭函数 在引入闭函数(closed function)的概念之前，我们先回顾一下闭集的概念：集合 C\mathc...

个人博客地址 Glooow，欢迎光临~~~ 文章目录1. 拟凸函数定义2. 拟凸函数的判定/等价定义2.1 Jensen 不等式2.1 “降维打击”2.2 一阶条件2.3 二阶条件3. 拟凸函数的保凸变换3.1 与仿射变换复合3.2 最大值/上确界3.3 复合函数3.4 下确界 1. 拟凸函数定义 拟凸函数(quasiconvex function) 的定义为：若 domf\text{dom}...

个人博客地址 Glooow，欢迎光临~~~ 文章目录1. 共轭函数1.1 定义1.2 性质1.3 例子 1. 共轭函数 1.1 定义 一个函数 fff 的共轭函数(conjugate function) 定义为 f∗(y)=sup⁡x∈domf(yTx−f(x)) f^*(y)=\sup_{x\in\text{dom}f}(y^Tx-f(x)) f∗(y)=x∈domfsup​(yTx−f(x...

前面的章节基本上讲完了凸优化相关的理论部分，在对偶原理以及 KKT 条件那里我们已经体会到了理论之美！接下来我们就要进入求解算法的部分，这也是需要浓墨重彩的一部分，毕竟我们学习凸优化就是为了解决实际当中的优化问题。我们今天首先要接触的就是大名鼎鼎的梯度方法。现在人工智能和人工神经网络很火，经常可以听到反向传播，这实际上就是梯度下降方法的应用，他的思想其实很简单，就是沿着函数梯度的反方向走就会使函数...

个人博客地址 Glooow，欢迎光临~~~ 文章目录1. 超平面分离定理2. 支撑超平面定理 1. 超平面分离定理 超平面分离定理(Separating hyperplane theorem)：若 C,DC,DC,D 为非空凸集，且 C∩D=∅C\cap D=\varnothingC∩D=∅，则存在 a≠0,ba\ne 0,ba​=0,b，使得 aTx≤bforx∈C,aTx≥bforx∈D...

文章目录1. 定义2. 性质 对数凹函数，顾名思义即取完对数以后 log⁡f(x)\log f(x)logf(x) 是凹函数，其应用比如在求最大后验 MAP 时，往往会对联合概率密度函数取对数。 1. 定义 函数 fff 被称为对数凹函数(log-concave)，如果 log⁡f\log flogf 是凹的，也即 f(θx+(1−θ)y)≥f(x)θf(y)1−θ f(\theta x+(1-...

在进入具体的优化算法后，我们首先讲了基于梯度的，比如梯度下降(GD)、次梯度下降(SD)；然后又讲了近似点算子，之后讲了基于近似点算子的方法，比如近似点梯度下降(PG)、对偶问题的近似点梯度下降(DPG)、加速近似点梯度下降(APG)。而这一节讲的，还是基于近似点的！他叫近似点方法(Proximal Point Algorithm, PPA)，除此之外还会介绍增广拉格朗日方法(Augmentted Larangian Method, ALM)。我们就开始吧！ 1. 近似点方法 近似点方法跟近似点梯度下降很像

前面讲了凸优化问题的定义，以及一些常见的凸优化问题类型，这一章就要引入著名的拉格朗日函数和对偶问题了。通过对偶问题，我们可以将一些非凸问题转化为凸优化问题，还可以求出原问题的非平凡下界，这对复杂优化问题是很有用的。 1. 拉格朗日函数 考虑凸优化问题  minimize f0(x) subject to fi(x)≤0,i=1,…,mhi(x)=...

对于光滑函数，我们可以用梯度下降法，并且证明了取不同的步长，可以得到次线性收敛，如果加上强凸性质，还可以得到线性收敛速度。那如果现在对于不可导的函数，我们就只能沿着次梯度下降，同样会面临步长的选择、方向的选择、收敛性分析等问题。 1. 收敛性分析 次梯度下降的一般形式为 x(k)=x(k−1)−tkg(k−1),k=1,2,…g∈∂f(x(k−1)) x^{(k)}=x^{(k-1)}-t_{k...