白炎灵的博客

本篇博文主要介绍meta learning

本篇博文主要介绍神经网络压缩（network compression）文章目录network pruningknowledge distillationparameter quantizationarchitecture designdynamic computationnetwork pruning把network里面的一些参数剪掉，一次先剪掉一点参数，修剪的单位可以用参数，也可以用神经元。两种单位的区别如下：以参数为单位的pruning以神经元为单位的pruning大的networ

介绍long life learning

本篇博文主要介绍强化学习reforcement learning

本篇博文主要介绍机器学习模型的可解释性（Explainable ML）和领域自适应（domain adaptation）

介绍attack

本篇博文主要介绍AUTO-ENCODER。文章目录self-supervised learning FrameworkBasic Idea of Auto-encoderWhy Auto-encoder?Feature DisentanglementDiscrete Latent Representationself-supervised learning FrameworkBasic Idea of Auto-encoderold feature通过NN Encoder高维变为低维，new f

本篇博客主要是讲自监督学习的（Self-Supervised Learning）

这篇博文主要是介绍GAN（Generative Adversarial Network）。

本篇文章对应的是自注意力机制（上和下）文章目录self-attentionoutputsequence labelingprocess in detailmulti-head self-attentionpositional encodingSelf-attention v.s. CNNSelf-attention v.s. RNNself-attentionVector Set as Input.声音讯号、Graph等都可以看作是一组向量。output上面的输出与输入是一样的：词性标注PO

文章目录Classification & RegressionLoss of ClassificationBatch NormalizationBatch normalization -TestingCNN for imageplaying goClassification & Regression分类和回归是数据分析问题中特别常见的两类问题。softmax函数当有两个class时，直接用sigmoid函数就可。其数学形式：f(x)=11+e−xf(x) = \frac{1}{1

文章目录critical pointbatchGradient Descent + Momentumadaptive learning ratelearning rate schedulingsummary of optimizationcritical pointgradient是0的点可以称为critical point如何区分local minima和saddle point根据红色框来区分三类点：local minima、local maxima、saddle point这一块涉及

李宏毅老师《深度学习》课程开始前两节课就是介绍机器学习的一些基本概念

在注意力机制的背景下，自主性提示称为查询。给定任何查询，注意力机制通过注意力汇聚将选择引导至感官输入。在注意力机制中，这些感官输入被称为值。每个值都与一个键配对，这可以想象为感官输入的非自主提示。注意力机制与全连接层或者汇聚层的区别源于增加的自主提示由于包含了自主性提示，注意力机制与全连接的层或汇聚层不同查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚，注意力汇聚有选择地聚合了值（感官输入）以生成最终的输入注意力汇聚可以分为非参数和带参数型将注意力汇聚的输出计算可以作为值的加权平均

文章目录优化学习率调度器优化损失函数通常被称为优化问题的目标函数，优化关注的是最小化目标函数，深度学习关注的是在有限数据量的情况下寻找合适的模型，在此过程中，不仅要使用优化算法来减少训练误差，还要注意过拟合。最小化训练误差并不能保证我们找到最佳的参数集来最小化泛化误差。优化问题可能有许多局部最小值梯度消失可能会导致优化停滞，重参数化通常有所帮助，对参数进行良好的初始化也可能是有益的。凸函数中，局部极小值是全局极小值。添加惩罚是确保近似满足约束的一种好方法根据詹森不等式，“一个多变量凸函数的

真的不要轻易同时安装两个版本的包，看到网上说已经有了cpu版本的pytorch，还是可以直接安装下载gpu版本的，结果导入torch就报错了（Key already registered with the same priority: GroupSpatialSoftmax），没办法，只能两次uninstall，再重新安装。安装pytorch的过程就是不断踩坑不断踩坑的过程，真的是，不知道自己想的，本来好好的pytorch不用，非要去尝试使用gpu。1.首先在命令行输入nvidia-smi，来查看驱动

概述 shortcut(或shortpath，中文“直连”或“捷径”)是CNN模型发展中出现的一种非常有效的结构，本文将从Highway networks到ResNet再到DenseNet概述shortcut的发展。 前言 自2012年Alex Krizhevsky利用深度卷积神经网络（CNN）（AlexNet ）取得ImageNet比赛冠军起，CNN在计算机视觉方面的应用引起了大家广泛地讨...

文章目录多层感知机的简洁实现多项式拟合多层感知机的简洁实现# -*- coding: utf-8 -*-import torchfrom torch import nnfrom d2l import torch as d2lnet = nn.Sequential(nn.Flatten(), nn.Linear(784, 256), nn.ReLU(), nn.Linear(

文章目录线性回归的简洁实现线性回归的具体实现不同优化算法的比较代码总结数据集模型定义优化迭代训练线性回归的简洁实现# -*- coding: utf-8 -*-import numpy as npimport torchfrom torch.utils import datafrom d2l import torch as d2lfrom torch import nntrue_w = torch.tensor([2, -3.4])true_b = 4.2features, label

文章目录数据操作创建数据数据运算降维求和非降维求和点积矩阵-向量积矩阵-矩阵乘法索引和切片转换数据类型微分自动求导无论哪个深度学习框架，它的张量类（PyTorch中为Tensor）都和Numpy的ndarray类似，接下来介绍的很多函数名和Numpy中的都一样，不过会比Numpy的ndarray多一些重要功能，比如张量类支持自动微分。数据操作创建数据import torch#默认创建为浮点数x = torch.arange(12)#访问张量的形状（沿每个轴的长度）x.shape#改变形状

requires_grad是Pytorch中通用数据结构Tensor的一个属性，用于说明当前量是否需要在计算中保留对应的梯度信息，以线性回归为例，容易知道权重w和偏差b为需要训练的对象，为了得到最合适的参数值，我们需要设置一个相关的损失函数，根据梯度回传的思路进行训练。 官方文档中的说明如下 If there’s a singl...