热情、奔放、快乐编程！

我们希望网络在训练时有“合理的初始化权值”，即通过适合的参数初始化方法，让张量在网络中可以达到最佳的非线性映射效果。但是在居多网络的层中，例如sigmoidrelubatchnorm等层都对输入数据的值比较敏感，过大 / 过小的值都可能让输出落入饱和区间，进而失去梯度，如sigmoid图像：yxw1​x1​w2​x2​...wn​xn​b使用标准正态分布初始化分布w∼N01，那么所有标准正态分布的和分布会变成∑w∼N0n。

SGD 实际上就是在一个 epoch 中每个 batch 做一次梯度更新，因为数据集每个 epoch 会被打乱，于是就相当于是随机样本子集对模型进行权值更新。

字面上说，RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。

最大方差理论:方差越大，信息量就越大。协方差矩阵的每一个特征向量就是一个投影面，每一个特征向量所对应的特征值就是原始特征投影到这个投影面之后的方差。由于投影过去之后，我们要尽可能保证信息不丢失，所以要选择具有较大方差的投影面对原始特征进行投影，也就是选择具有较大特征值的特征向量。然后将原始特征投影在这些特征向量上，投影后的值就是新的特征值。每一个投影面生成一个新的特征，k个投影面就生成k个新特征。

LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。目前大语言模型在针对特定任务时一般采用预训练-微调方式，但对多数 LLM 来说，如 GPT-3 有数十亿参数，它能微调，但成本太高太麻烦了。LoRA的做法是，冻结预训练好的模型权重参数，然后在每个Transformer 块里注入可训练的层，就好比是大模型的一个小模型或者说是一个插件。

步里变化的过程，返回每一步学习率的数值组成列表。

假设我们的模型有一堆参数x0​x1​x2​...xn​和对应的损失函数lossfx0​...xn​，我们可以通过∇f0⎩⎨⎧​g1​x0​...xn​0g2​x0​...xn​0g3​x0​...xn​0​这时直接计算∇f0就不可行了，根据高数的内容应该使用拉格朗日乘数法，令hx0​...xn​f∑∀m​λm​gm​⎩⎨⎧​∂。

深度学习里面的梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或消失的技术，它可以限制梯度的范数或值在一个合理的范围内，从而保证模型的稳定训练。

Focal loss 可以。这就是 Focal Loss 的基本思路，让模型更加注重困难样本所贡献的 loss ，另外 Focal loss 用于分类任务，实际上也是一种扩展的 cross entropy loss （γ0时两者一致）。

在生物医学图像上做数据增强有显著作用，例如 UNet 使用了这种方法来提高实例分割性能。

训练神经网络时有一种直观的理念：使用不同的神经网络来训练，最后通过投票得出结果，这样可以防止某一个模型出现过拟合的影响，这种方法叫。但是训练多个网络花费的时间代价和空间代价是很高的，因此另一种解决的思路是在一个完整的神经网络里面通过某种方法划分出各种子网，对子网进行训练，完成后再使用子网投票得到最终输出。完全划分为互补相关的子网显然与第一种方法没什么不同，因此采用随机划分的方式更加高效、且能够在最终训练完成的统一模型上存在各个子网的交流，这就是 Dropout 的基本理念，使用一个参数p让神经元以概率。

在信息世界中我们所有的信息都可以抽象为“情况”，用二进制bit来表达，正因为每个bit都有01两种“情况”，所以n个bit可以编码2n种“情况”。但是现实中，假如我们要从英语单词中随机中取出一个字符，x262nlog2​x这样我们对任何多种“情况”都可以用比特量来表示它了。如今我们还面临一个问题，就是多数情况下各种“情况”并不是均匀分布的，这会造成信息熵差异，例如英语单词虽然都是由26个字母组成，但是每种字母出现的频率也有很大区别，像aet这样的字母非常常见，而zvi∑n。

即相似样本的损失值等于两个特征值在欧氏空间的距离值。可以更加关注相对距离的学习，常用于对比学习。定下上界，同时也是为了防止训练时走捷径导致。直接将结果与目标数值比较的做法，使用。（不然这种情况下无论样本如何都必然让。此时欧氏距离越小反而损失值越大，

二分图匹配与匈牙利算法，出现在的目标检测匹配上。二分图又称作二部图，是图论中的一种特殊模型。设GVE是一个无向图。如顶点集V可分割为两个互不相交的子集，并且图中每条边依附的两个顶点都分属两个不同的子集。则称图G为二分图。我们将上边顶点集合称为VX​集合，下边顶点结合称为VY​给定一个二分图G，在G的一个子图M中，M的边集E中的任意两条边都不依附于同一个顶点，则称M是一个匹配。如下，在子图中两条边都不依附同一个顶点，因此它是G。

这里是一个的Beam Search示意图，每个节点都会扩展5个下级节点，在 Beam Search 每次都会从所有扩展节点里面挑选出2个累计启发值最大的节点，直到达到结束标准。

这样改是可以，可是这样改是改变了函数的功能结构的，本身这个函数定义的时候就是打印某个员工的信息和提示打卡成功，现在增加打印日期的代码，可能会造成很多代码重复的问题。有的，就是本文要介绍的装饰器，因为装饰器的写法其实跟闭包是差不多的，不过没有了自由变量，那么这里直接给出上面那段代码的装饰器写法，来对比一下，装饰器的写法和函数式编程有啥不同。那么这就很方便了，方便在我们的调用上，比如例子中的，使用了装饰器后，直接在原本的函数上加上装饰器的语法糖就可以了，本函数也无虚任何改变，调用的地方也不需修改。

闭包的过程其实好比类（父函数）生成实例（闭包），不同的是父函数只在调用时执行，执行完毕后其环境就会释放，而类则在文件执行时创建，一般程序执行完毕后作用域才释放，因此对一些需要重用的功能且不足以定义为类的行为，使用闭包会比使用类占用更少的资源，且更轻巧灵活。那是因为，在 Python 中，如果一个函数使用了和全局变量相同的名字且改变了该变量的值，那么该变量就会变成局部变量，那么就会造成在函数中我们没有进行定义就引用了，所以会报该错误。属性，如果函数是闭包的话，那么它返回的是一个由 cell 组成的元组对象。

【代码】Python学习笔记--常用的正则表达式。

最后，正则表达式是非常厉害的工具，通常可以用来解决字符串内置函数无法解决的问题，而且正则表达式大部分语言都是有的。最后，附送一些常用的正则表达式和正则表达式和 Python 支持的正则表达式元字符和语法文档。而 re.search 匹配整个字符串，直到找到一个匹配。看下下面的实例，可以对比下 re.search 和 re.findall 的区别，还有多分组的使用。re.match 和 re.search 在网上有很多详细的介绍了，可是再个人的使用中，还是喜欢使用 re.findall。

贪婪模式：它的特性是一次性地读入整个字符串，如果不匹配就吐掉最右边的一个字符再匹配，直到找到匹配的字符串或字符串的长度为 0 为止。数量词的词法是：{min,max}。懒惰模式：它的特性是从字符串的左边开始，试图不读入字符串中的字符进行匹配，失败，则多读一个字符，再匹配，如此循环，当找到一个匹配时会返回该匹配的字符串，然后再次进行匹配直到字符串结束。来，继续加深对正则表达式的理解，这部分理解一下数量词，为什么要用数量词，想想都知道，如果你要匹配几十上百的字符时，难道你要一个一个的写，所以就出现了数量词。

而且上面例子中的正则表达式设置成为了一个常量，并不是一个正则表达式的规则，正则表达式的灵魂在于规则，所以这样做意义不大。从输出结果可以看到，可以实现和内置函数一样的功能，可是在这里也要强调一点，上面这个例子只是方便我们理解正则表达式，这个正则表达式的写法是毫无意义的。正则表达式是一个特殊的字符序列，用于判断一个字符串是否与我们所设定的字符序列是否匹配，也就是说检查一个字符串是否与某种模式匹配。先不急，我们一步一步来，先来一个简单的，找出字符串中的所有小写字母。函数中第一个参数写正则表达式的规则，其中。

Python 中的多线程其实并不是真正的多线程，如果想要充分地使用多核 CPU 的资源，在 Python 中大部分情况需要使用多进程。Python 提供了非常好用的多进程包 multiprocessing，只需要定义一个函数，Python 会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing 支持子进程、通信和共享数据、执行不同形式的同步，提供了 Process、Queue、Pipe、Lock 等组件。

线程有着不同的状态，也有不同的类型。简单了解完这些之后，我们开始看看具体的代码使用了。

这可能是为了和 str 保持一致性，str 是用来创建字符串对象的类，而 int 是用来创建整数对象的类。通过上面的介绍，终于模模糊糊的带到元类这里来了。可以看到，上面的所有东西，也就是所有对象都是通过类来创建的，那么我们可能会好奇，也可以说是他们类的类打印结果。Python 中所有的东西，注意喔，这里是说所有的东西，他们都是对象。我们创建类的时候，大多数是为了创建类的实例对象。你也可以理解为，元类就是负责生成类的。也就是元类就是负责创建类的一种东西。一开始也提到了，元类就是类的类。

当程序运行这段代码的时候，就会在内存中创建一个对象，名字就是ObjectCreator。这个对象（类）自身拥有创建对象（类实例）的能力，而这就是为什么它是一个类的原因。在了解元类之前，我们先进一步理解 Python 中的类，在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。但是，Python 中的类有一点跟大多数的编程语言不同，在 Python 中，可以把类理解成也是一种对象。对的，这里没有写错，就是对象。，Python 解释器在执行的时候就会创建一个对象。

这个公号可能很少更新，但是一更新，就是把整理的一系列文章更新上去。

经过之前编章的介绍，我们知道在 Python 中，常见的容器类型有: dict, tuple, list, string。其中也提到过可容器和不可变容器的概念。其中 tuple, string 是不可变容器，dict, list 是可变容器。可变容器和不可变容器的区别在于，不可变容器一旦赋值后，不可对其中的某个元素进行修改。当然具体的介绍，可以看回之前的文章，有图文介绍。不够的时候，或者说有些特殊的需求不能单单只使用这些基本的容器解决的时候，该怎么办呢？这个时候就需要自定义容器了，那么具体我们该怎么做呢？

因为迭代器和生成器基本是互通的，因此有些知识点需要综合在一起。

Python 条件语句跟其他语言基本一致的，都是通过一条或多条语句的执行结果（ True 或者 False ）来决定执行的代码块。Python 程序语言指定任何非 0 和非空（null）值为 True，0 或者 null 为 False。

一般编程语言都有循环语句，为什么呢？那就问一下自己，我们弄程序是为了干什么？那肯定是为了方便我们工作，优化我们的工作效率啊。而计算机和人类不同，计算机不怕苦也不怕累，也不需要休息，可以一直做。你要知道，计算机最擅长就是做重复的事情。所以这时候需要用到循环语句，循环语句允许我们执行一个语句或语句组多次。循环语句的一般形式如下：在 Python 提供了 for 循环和 while 循环。这里又有一个问题了，如果我想让他运行了一百次之后停止，那该怎么做呢？

python 的 set 和其他语言类似, 是一个无序不重复元素集, 基本功能包括关系测试和消除重复元素。set 和 dict 类似，但是 set 不存储 value 值的。

上一章节，我们学习了列表（List） 和 元组（tuple） 来表示有序集合。而我们在讲列表（list）的时候，我们用了列表（list） 来存储用户的姓名。那么如果我们为了方便联系这些童鞋，要把电话号码也添加进去，该怎么做呢？但是这样很不方便，我们把电话号码记录下来，就是为了有什么事能及时联系上这些童鞋。如果用列表来存储这些，列表越长，我们查找起来耗时就越长。

上一节刚说了一个有序列表 List ，现在说另一种有序列表叫元组：tuple。tuple 和 List 非常类似，但是 tuple 一旦初始化就不能修改。也就是说元组（tuple）是不可变的，那么不可变是指什么意思呢？元组（tuple） 不可变是指当你创建了 tuple 时候，它就不能改变了，也就是说它也没有 append()，insert() 这样的方法，但它也有获取某个索引值的方法，但是不能赋值。那么为什么要有 tuple 呢？那是因为 tuple 是不可变的，所以代码更安全。

List （列表）是 Python 内置的一种数据类型。它是一种有序的集合，可以随时添加和删除其中的元素。那为什么要有 List （列表）呢？我们用一个例子来说明。现在有一个团队要出去玩，要先报名。如果用我们之前学过的知识，那么就是用一个字符串变量把他们都记录起来。但是这样太麻烦了，而且也不美观。在编程中，一定要学会偷懒，避免「重复性工作」。如果有一百个成员，那么你及时是复制粘贴，也会把你写烦。这时候就可以使用列表了。就这样，一行代码就可以存放 N 多个名字了。

a = 88这里的a就是一个变量，代表一个整数，注意一点是 Python 是不用声明数据类型的。在 Python 中是赋值语句，跟其他的编程语言也是一样的，因为 Python 定义变量时不需要声明数据类型，因此可以把任意的数据类型赋值给变量，且同一个变量可以反复赋值，而且可以是不同的数据类型。这种变量本身类型不固定的语言称之为动态语言，与之对应的是静态语言。静态语言在定义变量时必须指定变量类型，如果赋值的时候类型不匹配，就会报错。例如 Java 是静态语言。

字符串英文 string ，是 python 中随处可见的数据类型，字符串的识别也非常的简单，就是用「引号」括起来的。引号包括单引号' '，双引号" "和 三引号''' '''，比如'abc'"123"等等。这里请注意，单引号''或双引号""本身只是一种表示方式，不是字符串的一部分，因此，字符串'abc'只有 a，b，c 这 3 个字符。如果善于思考的你，一定会问？为什么要有单引号' '，双引号" "和 三引号''' '''啊，直接定死一个不就好了，搞那么麻烦，那么多规则表达同一个东西干嘛？

其余的方法就不一一列举了，只要多用，多试，这些方法都会慢慢熟悉的。还有如果是初学者，完全可以每个方法都玩一下，写一下，随便写，然后运行看结果，反正你的电脑又不会因为这样而玩坏的。注：在 Python 3 里，只有一种整数类型 int，表示为长整型，没有 python2 中的 Long。但这并不是意味着浮点数不能转化为整数，而是小数形式的字符串不能强转为字符串。注意这里是符合规则的字符串类型，如果是文字形式等字符串是不可以被。但是你会发现，结果是 88 ，后面小数点的 0.88 被去掉了。

基于机器视觉的旋转编码器缺陷检测。

根据实验结果可知，对于隐形眼镜镜片的边缘缺陷检测这一问题，本文使用的程序能在一定情况下做到精准的识别以及对缺陷的标识，但在部分情况下无法正确识别，不能完全应对所有可能的情况，具有一定的改进提升空间。与此同时，本文也针对程序无法完成识别检测的情况提出了对应的优化改进策略，并且在后续的研究中进行实践，进一步提升该程序在镜片边缘检测上的准确性以及鲁棒性。

如果您已经手动将校正分割后的图片分配到perfect和damaged，可以运行将您的分配结果编写为Excel表格生成的自定义标签表在。