木卯_THU-CSDN博客

原创 TGD第八篇：二维应用——图像边缘检测

本篇介绍了TGD在二维图像边缘检测上的实践，效果拔群，在不改变算法本身的基础上，通过用TGD重新定义图像的导数表征，提升了Canny、LoG等传统边缘检测算法的性能上限。

2025-07-29 14:30:18 715

原创 TGD第七篇：一维应用——信号去噪和插值

本文展示了TGD在一维信号中的应用，即“去噪”、“插值”、“去噪插值”，并通过一个算法一统三大任务，巴适得很！

2025-07-29 14:21:33 706

原创 TGD第六篇：落地——离散序列的TGD计算

本篇主要介绍一种离散序列求导的新方法，即离散序列的TGD计算，从定义到推导再到卷积算子的构造方式，最后得到计算实例，TGD方法统一了传统信号处理中的离散序列求导实践。

2025-07-25 11:03:19 760

原创 TGD第五篇：飞升——给多元函数的导数计算加上全景雷达

本篇主要介绍多元函数的TGD计算、多维TGD方向算子，以及计算实例。

2025-07-25 10:44:43 1111

原创 TGD第四篇：初瞰——抗噪有效的定性计算

一维TGD算子实例，及一维连续函数TGD计算实列

2025-07-24 10:22:51 447

原创 TGD第二篇：破局——去除导数计算中的无穷小极限

本篇讲解一维连续函数TGD计算公式的由来，算是理论的开篇。引用Deepseek阅读TGD论文后的评价：Deepseek：个人观点方面，我觉得 TGD 最颠覆的地方在于跳出了微积分的“无穷小”执念。数学界三百年来总想着无限逼近，但现实中所有数据都是有限间隔的。TGD 坦然接受“有限性”，反而开辟出新天地。

2025-07-23 16:59:27 1032

原创 TGD第一篇：初心——我想要为“阶梯函数”求导

本文是TGD的第一章，也是讲解初心的一章，引用Deepseek对TGD论文阅读后的点评：Deepseek：个人观点方面，我觉得 TGD 最颠覆的地方在于跳出了微积分的“无穷小”执念。数学界三百年来总想着无限逼近，但现实中所有数据都是有限间隔的。TGD 坦然接受“有限性”，反而开辟出新天地。

2025-07-23 16:42:54 344

原创光流估计（一）-- 仿射变换

图像仿射变换矩阵如何靠六个参数确定

2021-12-13 14:54:04 5953 1

原创深度学习之图像分类（三十一）-- CycleMLP网络详解

深度学习之图像分类（三十一）CycleMLP网络详解目录深度学习之图像分类（三十一）CycleMLP网络详解1. 前言2. CycleMLP2.1 CycleMLP Block2.2 整体网络结构3. 下游任务实验4. 消融实验4. 总结与反思5. 代码这应该是目前最后学习的一篇 MLP 架构的论文了，CycleMLP 其实和 AS-MLP 的思想基本一致，让我们来详细看看。1. 前言本此学习香港大学&商汤联合提出的 CycleMLP。这也是我看到的除 AS-MLP 外将纯 MLP 做成

2021-10-21 16:57:51 4188 4

原创深度学习之图像分类（三十）-- Hire-MLP网络详解

深度学习之图像分类（三十）Hire-MLP网络详解目录深度学习之图像分类（三十）Hire-MLP网络详解1. 前言2. Hire-MLP2.1 Hire-MLP Block2.1.1 Inner-Region2.1.2 Cross-Region2.1.3 特征融合2.1.4 HireMLP 和 ViP，AS-MLP 的区别？2.2 整体网络结构3. 消融实验4. 总结与反思5. 代码一晃都学习了三十个网络了，时间过得真快。本次学习华为提出的 Hire-MLP，依然是通过旋转特征图，将不同位置的特征对齐到

2021-10-20 18:48:31 2332 3

原创深度学习之图像分类（二十九）-- Sparse-MLP网络详解

深度学习之图像分类（二十九）Sparse-MLP网络详解目录深度学习之图像分类（二十九）Sparse-MLP网络详解1. 前言2. sMLPNet2.1 整体网络结构2.2 Token-mixing MLP2.3 计算复杂度3. 消融实验4. 反思与总结5. 代码本文再次讲述一篇新的 Sparse-MLP 工作，其的 Sparse 主要描述在感受野层面，与 MLP-Mixer 的全局感受野相比，本网络的感受野是轴向的，所以是稀疏的。本文可以看作是 ConvMLP 和 ViP 的结合，但是其发布时间早 C

2021-10-19 16:38:31 4643 1

原创深度学习之图像分类（二十八）-- Sparse-MLP(MoE)网络详解

深度学习之图像分类（二十八）Sparse-MLP(MoE)网络详解目录深度学习之图像分类（二十八）Sparse-MLP(MoE)网络详解1. 前言2. Mixture of Experts2.1 背景2.2 MoE2.3 损失函数2.4 Re-represent Layers3. 消融实验4. 反思与总结本工作向 Vision MLP 中引入 Mixture-of-Experts (MoE), 但是发现其 MoE 使用方法和 Scaling Vision with Sparse Mixture of

2021-10-18 14:54:51 6031

原创深度学习之图像分类（二十七）-- ConvMLP 网络详解

深度学习之图像分类（二十七）ConvMLP 网络详解目录深度学习之图像分类（二十七）ConvMLP 网络详解1. 前言2. ConvMLP: CNN or MLP?2.1 Convolutional Tokenizer2.2 Conv Stage2.3 Conv-MLP Stage2.4 Classifier head2.5 网络配置参数3. Visualizations4. 反思与总结5. 代码是传统 CNN 还是 MLP？大家一起来看看这个所谓的层次卷积 MLP。不可否认其在实验上很充分，考虑了下游

2021-10-13 13:33:06 4093 3

原创深度学习之图像分类（二十六）-- ConvMixer 网络详解

深度学习之图像分类（二十六）ConvMixer 网络详解目录深度学习之图像分类（二十六）ConvMixer 网络详解1. 前言2. A Simple Model: ConvMixer2.1 Patch Embedding2.2 ConvMixer Layer2.3 ConvMixer 网络结构2.4 实现代码：3. Weight Visualizations4. 反思与总结本次学习继 CNN --> Transformer --> MLP 架构之后，探讨究竟是 Transformer 和 M

2021-10-08 17:00:07 8365 7

原创深度学习之图像分类（二十五）-- S2MLPv2 网络详解

深度学习之图像分类（二十五）S2MLPv2 网络详解目录深度学习之图像分类（二十五）S2MLPv2 网络详解1. 前言2. S2MLPv22.1 S2MLPv2 Block2.2 Spatial-shift 与感受野反思3. 总结4. 代码经过 S2MLP 和 Vision Permutator 的沉淀，为此本节我们便来学习学习 S2MLPv2 的基本思想。1. 前言S2MLPv2 依是百度提出的用于视觉的空间位移 MLP 架构，其作者以及顺序与 S2MLP 一模一样，其论文为 S2-MLPv2

2021-10-07 14:43:18 1894 2

原创深度学习之图像分类（二十四）-- Vision Permutator 网络详解

深度学习之图像分类（二十四）Vision Permutator 网络详解目录深度学习之图像分类（二十四）Vision Permutator 网络详解1. 前言2. ViP 网络结构3. Permutators3.1 Permute-MLP 结构3.2 特征融合3.3 分支分析4. 总结5. 代码为了承接前文 S2MLP 以及之后的 S2MLPv2，本章节学习 Vision Permutator 网络。1. 前言ViP (Vision Permutator) 是新加坡国立南开等机构联合提出的新型

2021-10-05 13:04:49 3257 1

原创深度学习之图像分类（二十三）-- S2MLP网络详解

深度学习之图像分类（二十三）S2MLP网络详解目录深度学习之图像分类（二十三）S2MLP网络详解1. 前言2. S2MLP 网络结构3. S2MLP Block3.1 Block 结构3.2 Spatial-shift 操作5. 总结6. 代码在上一讲 AS-MLP 中，我们发现该工作和百度的 S2MLP 接近，为此本节我们便来学习学习 S2MLP 的基本思想，其想将图像的局部性融入纯 MLP 结构中去。1. 前言S2MLP 是百度提出的用于视觉的空间位移 MLP 架构，论文为 S2 -MLP

2021-10-03 16:35:30 2290

原创深度学习之图像分类（二十二）-- AS-MLP网络详解

深度学习之图像分类（二十一）AS-MLP网络详解目录深度学习之图像分类（二十一）AS-MLP网络详解1. 前言2. AS-MLP 网络结构3. AS-MLP Block3.1 Block 结构3.2 Axis Shift3.2.1 感受野分析3.2.2 并行串行分析3.2.3 padding 分析3.3 额外补充4. AS-MLP 与下游任务5. 总结6. 代码在上一讲 MLP-Mixer 最后，我提出了几个问题： MLP-Mixer 是否可以为分割、识别等下游任务提供太大的帮助呢？MLP-Mixer

2021-09-30 12:50:57 3650 14

原创深度学习之图像分类（二十一）-- MLP-Mixer网络详解

深度学习之图像分类（二十一）MLP-Mixer网络详解目录深度学习之图像分类（二十一）MLP-Mixer网络详解1. 前言2. MLP-Mixer 网络结构3. 总结4. 代码继 Transformer 之后，我们开启了一个新篇章，即无关卷积和注意力机制的最原始形态，全连接网络。在本章中我们学习全连接构成的 MLP-Mixer。（仔细发现，这个团队其实就是 ViT 团队…），作为一种“开创性”的工作，挖了很多很多的新坑，也引发了后续一系列工作。也许之后是 CNN、Transformer、MLP 三分天下

2021-09-28 12:48:17 14463 15

原创深度学习之目标检测（十一）--DETR详解

深度学习之图像分类（十一）DETR详解深度学习之目标检测（十一）-- DETR详解深度学习之图像分类（十一）DETR详解1. 前言2. DETR 框架2.1 CNN Backbone2.2 Transformer Encoder2.3 Transformer Decoder2.4 FFN3. 二分图匹配和损失函数4. 代码5. 总结继 Transformer 应用于图像分类后，本章学习 Transformer 应用于图像目标检测的开山之作 – DEtection TRansformer，其大大简化了目标

2021-09-26 19:59:43 148300 34

原创深度学习之图像分类（二十）-- Transformer in Transformer(TNT)网络详解

深度学习之图像分类（二十）Transformer in Transformer(TNT)网络详解目录深度学习之图像分类（二十）Transformer in Transformer(TNT)网络详解1. 前言2. TNT Block3. Position encoding4. 复杂度计算分析5. 可视化结果6. 代码本节学习 Transformer 嵌入 Transformer 的融合网络 TNT，思想自然，源于华为，值得一看。1. 前言Transformer in Transformer(TNT)

2021-09-16 16:40:11 5529 1

原创深度学习之图像分类（十九）-- Bottleneck Transformer(BoTNet)网络详解

深度学习之图像分类（十九）Bottleneck Transformer(BoTNet)网络详解目录深度学习之图像分类（十九）Bottleneck Transformer(BoTNet)网络详解1. 前言2. Multi-Head Self-Attention3. Bottleneck Transformer4. BoTNet 网络结构5. 代码上节有讲 ViT 结构。本节学习 CNN 与 Attention 的融合网络 BoTNet，即 Bottleneck Transformer。1. 前言Bo

2021-09-10 11:47:57 14468 44

原创深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解

深度学习之图像分类（十八）Vision Transformer(ViT)网络详解目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head 层2.4 ViT B/162.5 ViT 模型参数3. Hybrid 混合模型4. 代码上节有讲 Transformer 中的 Self-Attention 结构。本节学习 Vision Transform

2021-09-09 12:30:52 43976 18

原创深度学习之图像分类（十七）-- Transformer中Self-Attention以及Multi-Head Attention详解

深度学习之图像分类（十七）Transformer中Self-Attention以及Multi-Head Attention详解目录深度学习之图像分类（十七）Transformer中Self-Attention以及Multi-Head Attention详解1. 前言2. Self-Attention3. Multi-head Self-Attention3. Positional Encoding终于来到了 Transformer，从 2013 年分类网络学习到如今最火的 Transformer，真的不

2021-09-08 22:18:25 4398 3

原创深度学习之图像分类（十六）-- EfficientNetV2 网络结构

深度学习之图像分类（十六）EfficientNetV1 网络结构目录深度学习之图像分类（十六）EfficientNetV1 网络结构1. 前言2. 从 EfficientNetV1 到 EfficientNetV23. EfficientNetV2 网络框架4. 渐进式学习策略5. 代码本节学习 EfficientNetV2 网络结构。学习视频源于 Bilibili，博客参考 EfficientNetV2网络详解。1. 前言EfficientNetV2 是 2021 年 4 月发表于 CVPR 的

2021-09-07 16:30:29 15250 14

原创深度学习之图像分类（十五）-- EfficientNetV1 网络结构

深度学习之图像分类（十五）EfficientNetV1 网络结构目录深度学习之图像分类（十五）EfficientNetV1 网络结构1. 前言2. 宽度，深度以及分辨率3. EfficientNetV1 网络结构4. 代码本节学习 EfficientNetV1 网络结构。学习视频源于 Bilibili。参考博客太阳花的小绿豆: EfficientNet网络详解.1. 前言EfficientNetV1 是由Google团队在 2019 年提出的，其原始论文为 EfficientNet: Rethin

2021-09-05 16:36:37 6199 4

原创深度学习之图像分类（十四）--ShuffleNetV2 网络结构

深度学习之图像分类（十四）ShuffleNetV2 网络结构目录深度学习之图像分类（十四）ShuffleNetV2 网络结构1. 前言2. Several Practical Guidelines for Efficient Network Architecture Design2.1 Equal channel width minimizes memory access cost (MAC).2.2 Excessive group convolution increases MAC.2.3 Networ

2021-09-04 13:56:19 18170 2

原创深度学习之图像分类（十三）--ShuffleNetV1 网络结构

深度学习之图像分类（十三）ShuffleNetV1 网络结构目录深度学习之图像分类（十三）ShuffleNetV1 网络结构1. 前言2. Channel Shuffle3. ShuffleNetV1 网络结构4. 代码本节学习 ShuffleNetV1 网络结构。学习视频源于 Bilibili。1. 前言ShuffleNetV1 是由国产旷视科技团队在 2018 年提出的，其原始论文为 ShuffleNet: An Extremely Efficient Convolutional Neural

2021-09-04 13:55:33 3052 1

原创深度学习之图像分类（十二）--MobileNetV3 网络结构

深度学习之图像分类（十二）MobileNetV3 网络结构目录深度学习之图像分类（十二）MobileNetV3 网络结构1. 前言2. 更新 BlocK (bneck)3. 重新设计激活函数4. 重新设计耗时层结构5. MobileNetV3 网络结构6. NAS7. 代码本节学习 MobileNetV3 网络结构。学习视频源于 Bilibili。1. 前言MobileNetV3 是由 google 团队在 2019 年提出的，其原始论文为 Searching for MobileNetV3。Mo

2021-09-03 15:50:57 49568 8

原创深度学习之图像分类（十一）--MobileNetV2 网络结构

深度学习之图像分类（十一）MobileNetV2 网络结构目录深度学习之图像分类（十一）MobileNetV2 网络结构1. 前言2. Inverted Residuals 倒残差结构3. Linear Bottlenecks4. MobileNetV2 网络结构5. 代码本节学习 MobileNetV2 网络结构。学习视频源于 Bilibili，部分参考描述源自知乎详解MobileNetV2。1. 前言MobileNetV2 是由google团队在 2018 年提出的，相比于 MobileNe

2021-09-03 12:18:22 59258 6

原创深度学习之图像分类（十）--MobileNetV1 网络结构

深度学习之图像分类（十）MobileNetV1 网络结构目录深度学习之图像分类（十）MobileNetV1 网络结构1. 前言2. DW 卷积3. Depthwise Separable Conv 深度可分卷积操作4. MobileNetV1 网络结构5. 代码本节学习 MobileNetV1 网络结构。学习视频源于 Bilibili。1. 前言在传统卷积神经网络中，内存需求大，运算量打，导致无法在移动设备以及嵌入式设备上运行，例如在手机上等等。VGG16 大概有 490M 模型参数，ResNet

2021-09-03 12:17:52 5947 3

原创深度学习之图像分类（九）--ResNeXt 网络结构

深度学习之图像分类（九）ResNeXt 网络结构目录深度学习之图像分类（九）ResNeXt 网络结构1. 前言2. 组卷积3. ResNeXt block 分析4. 代码本节学习 ResNeXt 网络结构，以及组卷积原理。学习视频源于 Bilibili。1. 前言在提出 ResNet 网络之后，很多模型都会拿 ResNet 网络作为基准和比对。本章讲述的 ResNeXt 网络可以被视作对 ResNet 的小幅升级，其实不难发现其也参考了 Inception 的思想。其原始论文为 Aggregate

2021-09-02 11:36:34 3531 3

原创深度学习之图像分类（八）--Batch Normalization

深度学习之图像分类（八）Batch Normalization目录深度学习之图像分类（八）Batch Normalization1. 前言2. BN 原理3. BN 实际使用4. BN 的变种5. 使用 BN 时的注意事项6. 为什么 BN 能 Work？本节学习 Batch Normalization，学习视频源于 Bilibili，此章节参考博客 Batch Normalization详解以及pytorch实验，以及知乎回答。1. 前言Batch Normalization 是 Google

2021-08-31 18:17:46 3159 1

原创深度学习之图像分类（七）--ResNet网络结构

深度学习之图像分类（七）ResNet 网络与 Batch Normalization目录深度学习之图像分类（七）ResNet 网络与 Batch Normalization1. 前言2. Residual3. 网络配置4. 代码本节学习ResNet网络结构，以及迁移学习入门，学习视频源于 Bilibili。1. 前言ResNet 是在 2015 年由微软实验室提出来的，斩获当年 ImageNet 竞赛中分类任务第一名，目标检测任务第一名，获得 COCO 数据集中目标检测第一名，图像分割第一名。总结

2021-08-31 18:10:09 6518 1

原创深度学习之图像分类（六）--Inception进化史

深度学习之图像分类（六）Inception进化史目录深度学习之图像分类（六）Inception进化史1. Inception V12. Inception V22.1 卷积分解（Factorizing Convolutions）2.2 降低特征图大小3. Inception V34. Inception V4本节学习Inception 进化历史，感受 Inception 进化中使用的思想，其中学习描述部分参考大话CNN经典模型：GoogLeNet（从Inception v1到v4的演进)。1. In

2021-08-31 15:01:45 1367

原创深度学习之图像分类（五）--GoogLeNet网络结构

深度学习之图像分类（五）GoogLeNet网络结构目录深度学习之图像分类（五）GoogLeNet网络结构1. 前言2. Inception 结构3. 辅助分类器4. 代码本节学习 GoogLeNet 网络结构，学习视频源于 Bilibili，部分描述参考大话CNN经典模型：GoogLeNet（从Inception v1到v4的演进)。1. 前言GoogLeNet 是 2014 年由 Google 团队提出的，斩获了当年 ImageNet 竞赛中 Classification Task 的第一名。

2021-08-31 14:56:20 4594 2

原创深度学习之图像分类（四）--VGGNet网络结构及感受野计算

深度学习之图像分类（四）VGGNet网络结构及感受野计算目录深度学习之图像分类（四）VGGNet网络结构及感受野计算1. 前言2. CNN感受野3. VGG网络结构4. 代码本节学习VGGNet网络结构以及感受野计算，学习视频源于 Bilibili，部分描述参考知乎专栏。1. 前言VGGNet 是 2014 年牛津大学著名研究组 VGG(Visual Geometry Group) 提出，斩获该年 ImageNet 竞赛中 Localization Task 第一名和 Classificatio

2021-08-31 11:37:49 1592 1

原创深度学习之图像分类（三）--AlexNet网络结构

深度学习之图像分类（三）-- AlexNet网络结构深度学习之图像分类（三）AlexNet网络结构1. 前言2. 网络结构3. 其他细节3.1 Local Response Normalization (局部响应归一化)3.2 Overlapping Pooling (覆盖的池化操作)3.3 Data Augmentation (数据增强)深度学习之图像分类（三）AlexNet网络结构从本节开始，将逐个讲述图像分类模型的发展历程，首个就是 AlexNet，学习视频源于 Bilibili。1. 前言

2021-08-28 12:07:27 2194 2

原创深度学习之图像分类（二）--pytorch查看中间层特征矩阵以及卷积核参数

深度学习之图像分类（二）-- pytorch查看中间层特征矩阵以及卷积核参数深度学习之图像分类（二）pytorch查看中间层特征矩阵以及卷积核参数1. 可视化 feature maps2. 可视化 kernel weights深度学习之图像分类（二）pytorch查看中间层特征矩阵以及卷积核参数在开始学习深度学习图像分类模型Backbone理论知识之前，先看看如何在 pytorch 框架中查看中间层特征矩阵以及卷积核参数，学习视频源于 Bilibili。耳听为虚，眼见为实！可视化 feature ma

2021-08-26 20:31:40 3835 5

DeepPose: Human Pose Estimation via Deep Neural Networks

空空如也