- 博客(282)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 数字图像分析(第一部分)
遍历图像中的每个像素, 检查该像素在其梯度方向上是否是局部最大值(即该像素的梯度幅度是否大于沿该梯度方向的两侧像素的梯度幅值), 如果是, 该像素被保留为边缘像素, 如果不是, 该像素的梯度幅值设置为0.频谱图中的每个值代表了图像在特定频率下的复数幅度, 其中包含了幅度和相位信息. 幅度反映了图象在该频率成分的强度或能量. 幅度值越大, 该频率成分在图像中更为显著., 图像的暗部区域被亮化, 从而增加暗部细节. 反之, 亮部区域被压暗, 减少亮部的过曝效果.
2024-06-25 13:32:45
1125
原创 数据网络理论基础 第六章 流量和拥塞控制
当现有令牌和时间内流入令牌以及时间内流入数据相等时. 剩下的数据按照2MB/s的速度发送. 1MB的数据在节点中等待发送, 没有丢失.可以发送W个分组. 如果一个分组的往返时延没超过总时长, 则可以全速发送. 反之会降低速度发送.从节点出去的部分是平稳的.
2024-05-29 22:35:44
800
原创 数据网络理论基础 第五章 路由算法
和st方向相同, 是正向边, 反之为反向边. 对于正向边, 流小于流容量. 对于反向边,可行流是一个全局的概念. 要求每条边上的流量不超过容量且流入流出之差满足特殊条件.相比于迪杰斯特拉算法, BF算法属于是四个点一起更新.注意, 只有方向对的割集称为割集, 另一个是反向割集.开始, 列出S和S_补的割集, 找到割集中的最小边.出发, 到各点的最小路. 一开始路径长度为。. 顺着增广路走是可以增加流量的., 依据该点更新路径长度, 直到。取出最小路径点, 更新标点集合。
2024-05-29 16:39:09
790
原创 数据网络理论基础 第四章 多址协议性能分析
[请添加图片描述](https://img-blog.csdnimg.cn/direct/89d0c636325e43928e99d59fd953bcde.png#pic_center =400x#pic_center =400x)
2024-05-27 23:32:21
1280
原创 信息网络协议基础_绪论
NDN的核心思想是以数据（或内容）本身而不是数据所在位置（即IP地址）为中心，这代表了一种从基于主机的网络模型（如当前的IP网络）向基于内容的网络模型的根本转变。特点: 支持高移动性：能够有效处理高速移动中的设备和用户，以及频繁的网络切换。更好地适应移动性和服务可靠性的需求。
2024-01-01 11:28:34
1256
原创 信息网络协议基础_IP网络服务质量
感觉流量调节的意思是, 如果低级别的流量僭越了, 那么给他调整一下, 避免潜在影响优先级高的流量.网络拥塞时会导致优先级高的流量的质量降低, 因此会把低优先级的流量丢弃. 延迟也是同理.
2023-12-30 17:21:27
757
原创 信息网络协议基础_IP移动网络管理
主机A已经跑到别的网络去了, 家乡代理把家乡网络中对A的邻居请求信息截获并把自己的MAC地址作为邻居公告返回.可以看到, 随着距离的增加, 路由公告, 绑定等流程占据了主要的时间, 因此, 代理移动IP让和一部分内容在网络层面上完成.
2023-12-30 15:26:31
556
原创 信息网络协议基础-IPv6协议
A,B,C,D类地址的开头都是固定的.MAC地址，全称为媒体访问控制地址，是网络设备用于通信的唯一标识符。一个标准的MAC地址由48位或64位组成，在48位MAC地址中，最初的24位通常是由IEEE指定的组织唯一标识符（OUI），用于标识设备制造商。后24位是由制造商分配的唯一值，确保每个设备的MAC地址是独一无二的。U/L位（Universal/Local）：这是MAC地址的第七位（从左数第一个字节的第二个最低位）。U/L位用来指示该地址是全球唯一的（Universal）还是局部分配的（Local）
2023-12-27 16:15:58
1498
原创 信息网络协议基础-接入网技术
接入网: 把用户网络或者设备接入到Internet的网络.基于ATM架构: 传统电信网络(点对点), DSL(电话线);基于IEEE 802参考模型的局域网架构: 新兴IP网(共享), 以太网/无线局域网/无线城域网;光纤接入: 基于ATM(APON, GPON), 基于以太网(EPON).与DSL有所区别, 这里额外将信道的传输能力划分为了时隙, 并决定时隙的使用权.
2023-12-25 21:05:42
1545
原创 2-多媒体数据压缩国际标准
在好的信道条件下，它可以使用更多的编码符号，减少每个符号的振幅(位数)，从而实现高速传输，而在较差的条件下可以通过增加振幅来提高可靠性。Enhanced Full Rate (EFR) 编码：增强全速率编码是一种高质量的语音编码方法，采用更高的编码率（12.2 kbit/s）来提供更好的音质。总之，ACELP的思想是通过代数码激励、LPC分析和自适应性来高效地表示和编码语音信号，以实现高质量的语音传输和存储。编码器根据输入信号的特性来选择最佳的模型参数，以更好地匹配信号，从而提高编码效率和音频质量。
2023-10-28 22:04:11
751
原创 1-多媒体通信概述
3GPP: 第三代合作伙伴计划，是领先的3G技术规范机构，由欧洲的ETSI，日本的ARIB和TTC，韩国的TTA以及美国的T1在1998年底发起成立，其主要目标是实现由2G网络到3G网络的平滑过渡。AR：Augmented Reality，增强现实技术，运用多媒体、计算机视觉等技术，将计算机生成的问题、图像、3D模型、音乐等虚拟信息仿真后，应用到真实世界中，实现对真实世界的“增强”。感知媒体, 表示媒体, 显示媒体, 存储媒体, 传输媒体.处理对象的多样性: 视觉, 听觉, 触觉, 味觉, 嗅觉;
2023-10-27 22:00:55
620
原创 LLaMa
LLAMA2 : 新的训练数据组织形式, 更大的预训练语料库, 更长的上下文, grouped-query attention.人类从模型的两个输出中选择喜欢的一个. 该反馈随后用于训练一个奖励模型. 该模型学习人类的偏好模式.提取高质量的部分数据, 模型的效果仍然得到提升. Quality is All You Need.通过在更多的token上训练, 使得在不同推理开销下, 达到最佳的性能.发现人类写的注释和模型生成+人工检查的注释效果差不多.对于示例一, prompt中提供了需要补全的文本.
2023-09-22 17:10:55
536
1
原创 多模态论文串讲(bryanyzhu老师)记录
第一个贡献为: Align before Fuse目标检测器得到的视觉特征和文本特征难以对齐(ViLT也抵制, 但是出发点是加快推理速度), 因为目标检测器提前训练好, 没有进行End2End的训练.那么如何在MultiModal之前, 让图文特征对齐?即提前用CLIPLoss对齐图文编码.第二个贡献为: Momentum Distillation.
2023-08-29 14:46:24
479
原创 CLIP改进工作串讲(bryanyzhu)内容记录
把图像和文本通过CLIP得到特征, 和原来的特征做拼接或点乘(L-Seg, ViLD);把CLIP作为Teacher来蒸馏预训练好的知识(CLIPasso);借鉴对比学习的思想, 定义自己的正负样本对并计算Loss(GroupViT).
2023-08-28 21:09:06
513
原创 Diffusion Model
原始分布通过生成模型得到目标分布, 目标分布应该与真实分布类似.目前的生成模型往往要求文字的影响:加上文字的condition本质上没有改变什么, 所以后续的推导不包括文本.
2023-08-27 11:41:08
379
原创 Training Technology Two : Torch.cuda.amp and Save
是PyTorch中的一种自动混合精度训练工具。它可以帮助开发者在保持模型训练精度的同时，提高训练速度和减少内存占用。在上述示例中，autocast()用于自动将前向传播、损失计算和反向传播的计算转换为半精度（FP16）运算。然后，GradScaler被用于缩放和反缩放梯度，以防止梯度下溢或溢出，并根据模型权重的尺度进行优化器步骤。本文根据, 节选部分知识.
2023-08-24 11:25:06
235
原创 Training Technology One : Distribution
本节内容以BLIP的分布式训练代码为蓝本介绍分布式训练的过程.本文采用DDP作为分布式框架, 库为torch.distributed.
2023-08-24 10:21:04
156
原创 在本地创建repository及上传至github
如果是仅针对某一repository的账户,那么可以删除。此时我们需要创建Pernal Access Token.添加当前文件夹下全部的修改内容, 此时, 我们需要在。目录,用于存储repository的所有信息.在github中创建repository.用户名为账号名称,密码为PAT的key.文件中将不需要关注的文件/文件夹写入.在repository文件夹下使用。将暂存区的内容提交至仓库.将修改内容添加至暂存区..也可参照官方文档.
2023-08-21 16:21:37
814
原创 视觉溯因推理
给定包含一系列事件的视频序列，对其中存在因果性的事件进行遮蔽操作，模型需要给出其余事件描述的同时，给出遮蔽事件的描述。对于视觉Token的编码器（Transformer结构），设计了上下文的、方向的位置编码策略；解码器（Transformer结构），设计了级联的策略，一阶段用于生成基本的语言Token，后续不断进行优化。关于优化，本文采用句子的置信度分数来引导句子之间的信息传递。
2023-07-19 14:42:57
546
1
原创 CLIP概述
目前的视觉模型通过一些预定义好的标签集合作为监督信号进行训练。这类做法局限于当前数据集，因此泛化性能差。出于这一理由，从文本当中获取监督信号，在四亿个图像文本对上进行无监督学习。零样本学习，在超过30个数据集上取得了不错的性能（迁移能力强）。CLIP的魅力在于不需要预定的标签，可以知道语句中是否存在图像内的物体。下游任务包含分类、检测、分割、风格迁移、视频检索…
2023-07-18 21:42:51
1505
原创 蒸馏_2022
在目标检测当中，老师的特征和学生的特征在不同的区域有很大的变化，尤其是在前景和背景中。因此，如果我们平等地蒸馏，特征图之间的差异会恶化结果。（PS：目标检测中的蒸馏会比对教师模型和原模型的特征图）翻译：前景不好学，背景很好学，如果这两部分内容进行一样地教授，效果不大好。因此，我们提出了聚焦且全局蒸馏。聚焦蒸馏分割前景和背景，强迫学生关注教师的关键像素及通道；全局蒸馏则重建不同像素之间的关系，并将这一知识传递给学生。
2023-04-04 22:43:35
675
原创 计算机组成原理题目汇总
MIP CPI Tc Fc相关的各种运算。计算机系统硬件组成有：运算器、控制器、存储器、输入设备、输出设备。包含…五个部分；以二进制代码表示程序和数据；采用存储程序的工作方式：程序和数据事先放在同一存储器中，由指令组成的程序可以修改；指令在存储器中按执行顺序存放，由指令计数器指明要执行的指令所在的单元地址，一般按顺序递增；机器以运算器为中心，数据传送都经过运算器。主频，即CPU内核工作的时钟频率，影响实际的运算速度，但并不起决定作用。CPU主频记为FcF_cFc；
2023-01-04 19:15:06
559
原创 细粒度图像分类论文研读-2019
目前的工作以一种弱监督的方式解决细粒度图像分类问题：首先检测对象部分，然后提取相应的部分特定特征以进行细粒度分类。然而，这些方法通常孤立地处理每个图像的部分特定特征，而忽略他们之间的关系。本文提出了Cross-X学习，这是一种简单而有效，它利用不同图像之间的关系以及不同网络层之间的关系来实现鲁棒的多尺度特征学习。一个跨类别的跨语义正则化器，它引导提取的特征来表示语义部分；一个通过匹配多个层的预测分布来提高多尺度特征鲁棒性的跨层正则化器；本文的目的是将细粒度认知的问题空间划分为一些特定区域。
2022-12-15 23:24:55
1477
原创 细粒度图像分类论文研读-2018
依赖于对象或者局部注释，这需要很大的工作量；忽略对象与其各部分之间的相互关系以及各部分之间的相互关系。第二个问题是目前新出现的。Object-part attention model集成了两级注意：对象级注意定位图像中的对象，部分级注意选择对象的判别部分。两者共同用于学习多视图和多尺度特征，以增强他们的相互促进。Object-part spatial constraint model结合了两个空间约束：对象空间约束确保所选部分具有高度代表性，部分空间约束消除冗余并增强对所选部分的判别。
2022-12-15 21:38:10
1159
原创 细粒度图像分类论文研读-2022
目前的工作主要通过关注如何定位最具识别度的区域并依靠它们来提高网络捕捉细微变化的能力来完成FGVC。这些工作中的大部分是通过RPN模块来提出绑定框并重新使用主干网络来提取所选框的特征。近年来，ViT在传统分类任务重大放异彩，其自我关注机制将每个patch的token连接到分类token。注意力连接的强度可以被直观地视为表征重要性的指标。本文中，提出了一个新的、基于transformer的结构TransFG。本文将所有原始注意力权重聚合为一个注意力图来指导网络有效且准确地选择有区分度的图像块并且计算他们之间的
2022-12-08 04:16:45
4017
2
原创 细粒度图像分类论文研读-2020
大部分现存的注意力模型在FGVC任务当中表现不佳，原因有以下几点：为了解决上述问题，本文提出了一种新的“过滤和蒸馏学习”（FDL）模型，以提高FGVC细分部分的区域关注度。首先，基于提议和预测之间的匹配性，本文针对有区分度的区域提议提出了一种过滤学习的方法。特别地，本文用了提议与预测的匹配性作为RPN的性能度量，从而实现了RPN的直接优化，以过滤得到最具有区分度的区域。具体来说，基于对象的特征学习和基于区域的特征学习被定义为“教师”和“学生”，这可以为基于区域的学习提供更好的监督。FDL可以有效地提升区域关
2022-12-07 19:30:45
1538
原创 细粒度图像分类论文研读-2017
细粒度视觉分类任务的成功依赖于各种语义部分的外观建模和相互联系。这一特性使得FGVC任务非常具有挑战性，原因有三点：为了解决上述问题，本文提出了一个基于分层卷积激活的高阶积分的端到端框架。通过将卷积激活作为局部描述，分层卷积激活能够作为来自不同尺度的局部表示。（卷积激活是什么？为什么可以作为局部描述？）本文提出了一个基于多项式核的预测器，目的是为了捕捉高阶统计量，用于建模零件之间的相互作用。为了模拟层间零件之间的相互作用，本文扩展了多项式预测器，通过核的融合来集成层次激活。全连接网络并不适合FGVC，而CN
2022-12-04 22:15:02
1170
1
原创 细粒度图像分类论文研读-2016
双线性模型很成功，但是双线性特征是高维的。因此，本文提出了两种紧双线性表示，具有与双线性表示相同的辨别能力，但只有几千维。本文提出的紧凑的表示允许分类错误的反向传播。
2022-11-28 18:02:13
1061
原创 核函数简介
把数据送到另一个空间（通常具有高的维度）；在新的空间找到一个线性关系（可以将数据分开）。如果映射选择合适，复杂的关系能够被简化。映射空间的几何性质可以通过内积来表示；内积的计算是简单的。k:X×X→Rk:X×X→R满足有限正半定当且仅当对于有限个样本xxx，它的内积矩阵是一个正半定矩阵。另外，思考4和5对应定理：Characterization of Kernels。
2022-11-27 16:52:02
2491
原创 细粒度图像分类论文研读-2015
本文提出了双线性模型，由两个特征提取器组成。其输出在图像的每个位置使用外积相乘并合并来获得图像的描述。这样一种结构可以建模局部的、成对的特征交互（以一种平移不变的方式），这对于细粒度分类尤其有用。这样一种结构还会产生各种无序纹理描述，比如Fisher向量、VLAD和O2P。双线性形式简化了梯度计算并允许仅使用图像标签对两个网络进行训练。
2022-11-24 23:10:59
766
原创 细粒度图像分类论文研读-2014
语义部件定位能够有助于细粒度分类。姿态归一化表征的方法已经提出，但是由于目标检测的困难性，在测试阶段需要假定一些目标框。本文通过利用自下而上的区域建议方法计算得到的深度卷积特征来克服这一限制（大概意思是解决对目标框的依赖）。本文提出的方法学习了对整体和局部的检测器，加强了他们之间的几何约束，并且从一个姿态归一化的表征中预测细粒度类别。（什么是姿态归一化表征？为什么要采用姿态归一化表征？）
2022-11-08 15:52:19
882
2
原创 细粒度图像分类论文研读-2013
将人类纳入循环，帮助计算机选择有区分的特征。本文介绍了一款名为“Bubbles”的游戏，揭示了人类使用的判别性特征。玩家的目标是识别严重模糊的图像类别。在游戏中，玩家可以选择暴露圆形区域的细节并受到一定的惩罚。在适当的设置下，游戏能够生成具有质量保证的、有区分度的气泡。之后，本文提出了”Bubble Bank“算法，利用人类选择的气泡来提高机器识别性能。提出了功能强大的流程图，称之为分层部件匹配模块来处理细粒度分类任务。
2022-11-08 13:25:05
1156
原创 细粒度图像分类论文研读-2012
目前大部分对一般目标的分类方法在细粒度图像分类上都不好使。这主要归咎于codebook-based image representation。这导致了对细粒度分类至关重要的细节图像信息丢失。解决这个问题的一个方法是引入人工标注的对象属性或者关键点。本文提出了一种无codebook以及无注释的细粒度图像分类方法。不使用失量化的codewords，而是通过一个高吞吐量的模板匹配过程来获得图像表示。相关属性是局部的，但如何选择这些局部属性的问题在很大程度上没有得到探索。
2022-11-07 18:25:37
1137
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人