qq_40206371的博客

原创 论文笔记：AnImitation Learning Approach for Cache Replacement

ICML 2020。

原创 论文笔记：GRUMA:AnewapproachforCacheReplacement Using Gated Recurrent Unit and Multi-Head Attention Mech

将缓存替换问题形式化为一个序列预测任务给定一个缓存访问序列：其中表示在时间 t 被访问的内存地址，表示发出该访问请求的指令的程序计数器（Program Counter, PC）目标是学习一个策略，其中是驱逐决策。该策略基于当前状态，预测每个缓存行的驱逐概率在训练过程中，可以利用 Belady 算法计算时间 t 时每个缓存行的真实未来复用距离，作为训练序列模型的监督信号模型预测的复用距离与真实复用距离 d 之间的差异通过均方误差损失进行最小化。

原创 论文略读：Agile Cache Replacement in Edge Computing via Offline-Online Deep Reinforcement Learning

2024 ITPDS核心思想。

原创 论文略读：AnEnd-to-End Automatic Cache Replacement Policy Using Deep Reinforcement Learning

ICAPS 2022。

原创 阅读笔记：Cache Replacement Policies

缓存替换策略的主要目标是提升缓存命中率（hit rate），而多种设计因素会影响这一目标的实现。混合替换策略的核心理念是：不同的工作负载，甚至同一程序中的不同阶段，适合采用不同的替换策略。通过实时观察缓存行为，在多种粗粒度策略之间动态切换，以选择当前时间段最优的替换策略。总结了我们的完整分类体系，并展示了不同类型的替换策略是如何应对这些设计因素的。：当程序的工作集足够小，可以完全装入缓存，此时大部分访问的重用距离小于缓存大小；：当其他竞争缓存行被插入或被提升时，如何更新当前行的替换状态？

原创 计组笔记： Belady’s MIN 替换策略

也就是说，在所有当前缓存中的数据块中，选择**“下一次访问距离现在最远”的那个块**，将它替换掉。但是，Belady's MIN 无法直接实现。，才能判断哪个块是“未来最久不被访问的”。的地址访问模式，因此 MIN 只能作为。因为它要求在每次缓存替换时，在操作系统或硬件中，

原创 huggingface 笔记： Trainer

模型始终返回元组（tuple）或的子类若传入了labels参数，你的模型能够计算损失，并将损失作为返回元组的第一个元素可以通过继承Trainer或重写其方法，来添加所需功能，而无需从零开始编写训练循环创建训练数据加载器创建评估数据加载器创建测试数据加载器log()记录训练过程中的信息创建优化器和学习率调度器计算训练批次的损失执行训练步骤执行预测步骤evaluate()评估模型并返回指标predict()进行预测并返回指标（如果有标签）

原创 huggingface笔记：文本生成Text generation

控制生成随机性（>0.8 适合创意任务，<0.4 更“严谨”）

原创 transformers 笔记：自定义模型（配置+模型+注册为AutoCLass+本地保存加载）

自定义配置类的要点：必须继承自，以继承等功能；构造函数__init__()必须接收任意**kwargs并传给父类；添加model_type属性，以支持 AutoClass；可以加入参数校验逻辑。

原创 论文略读：UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning

ACL2021研究对比了LoRA、Prefix Tuning、Adapter等高效微调方法，通过门控机制控制参数训练。这些方法仅在预训练模型基础上微调少量参数（蓝色标注），显著降低计算成本。实验表明，门控机制能有效平衡模型性能与效率，为大规模语言模型轻量化微调提供了新思路。

原创 论文略读：MOELoRA- An MOE-based Parameter Efficient Fine-Tuning Method for Multi-task Medical Application

对每个task，学习一个task embedding，然后通过线性变换+softmax的方式得到各个expert lora的权重。

原创 论文略读：AdapterDrop: On the Efficiency of Adapters in Transformers

将前五个Transformer层中的Adapter丢弃，在对 8 个任务进行推理时，速度提高了 39%。即使有多个丢弃层，AdapterDrop 也能保持良好的结果。

原创 论文略读； AdapterFusion:Non-Destructive Task Composition for Transfer Learning

第一阶段采用MT-A+第二阶段AdapterFusion没有取得最佳的效果，在于第一阶段其实已经联合了多个任务的信息了，所以AdapterFusion的作用没有那么明显。实验说明，第一阶段采用ST-A+第二阶段AdapterFusion是最有效的方法。N个任务通过多任务学习的方式，进行联合优化。

原创 论文略读：Parameter-efficient transfer learning for NLP

摘要：ICML2019提出在预训练模型中插入两个Adapter结构，分别位于多头注意力投影后和前馈层后。该方法固定预训练参数，仅微调Adapter和LayerNorm层，实现高效训练。通过为每个下游任务添加独立Adapter模块，避免了全量微调带来的计算负担和灾难性遗忘问题，使模型更具扩展性。该方法在保持模型性能的同时显著提升了训练效率。

原创 论文略读：Prefix-Tuning: Optimizing Continuous Prompts for Generation

2021 ACL。

原创 论文略读：BitFit: Simple Parameter-efficient Fine-tuning or Transformer-based Masked Language-models

ACL 2021。

原创 论文略读：Graph based embeddinglearning of trajectory data for transportation mode recognition by fusing

IJCAI 2023。

原创 李宏毅genai笔记：模型合并

θB-θ：任务B上额外获得的能力，直接加到θA上即可但参数是加加减减的东西吗？LLM时代好像是的新模型同时有A和B能力的模型了，前提是A和B是从一个foundation mode里来的反向相减，就能失去B的能力，也即unlearning假设有ABC，而且知道D相对于C就是B相对于A的关系那么即使没有D的资料，也可以获得D的能力比如我们有一个基本的语音辨识系统ASR，和一个一般人听不懂的、有文字资料的会议一种想法是让语义合成系统TTS把这些文字念出来，然后对原来ASR进行微调。

原创 李宏毅genai笔记：模型编辑

0 和post training的区别。

原创 李宏毅genai笔记：推理

后面是post training 的源模型，前面是蒸馏的部分（也即从谁哪里拿到的训练数据）强化正确答案的几率的前提是能够产生正确答案，如果模型本身就不够强，那就无法激发他的能力。以为每一步推理都是对的，不知道从自己的推论过程中找有可能犯错的推理，并改正之。根据一整个回答的一部分来验证，就可以验证这一步是不是对的，对的继续。如果每一步都是对的，那么他自始至终都只看过对的，没看过错的步骤。用树状搜寻的方法一步一步验证，对的步骤继续，直到得到答案。第三类的方法可以是RL——鼓励对的步骤，惩罚错的步骤。

原创 李宏毅genai笔记： post training 和遗忘

llama 在pretrain的时候使用英文的，所以回答也是用英文我现在想要让她用中文回答，于是我找了一堆中文资料用pretrain style的方式后训练我期待的可能是，模型不仅要保持alignment的能力（比如安全），还需要会中文回答但实际上，可能昨晚post train后，可以说中文了，但是原版alignment的能力就没有了Toxicity有多少比例讲出不该说的话可以看到base model这个值是很高的，然后align之后就很低。

原创 李宏毅genai 笔记：预训练-对齐

在这里pretrain后面的两个阶段都是alignment。

原创 李宏毅genai笔记：LLM内部机制

本文探讨了Transformer/LLM模型中神经元运作机制与功能解析。研究表明，单个神经元通常具有多任务特性，难以独立承担特定功能，而是一组神经元通过组合形成"功能向量"来实现特定任务（如拒绝请求、说真话等）。研究者通过对比激活差异、线性函数拟合等方法识别这些功能向量，发现语言模型通过线性变换存储关系知识。模型剪枝和残差网络分析显示，中间层表征经unembedding可输出有意义内容，但单一神经元移除通常不影响最终输出。研究揭示了LLM以分布式表征和组合式功能向量实现复杂语言处理的机制

原创 李宏毅LLM笔记： AI Agent

摘要：文章探讨了LLM作为智能代理的应用与挑战。在RL时代需人工设定奖励函数，而LLM代理直接利用文本交互实现任务，包括观察环境、生成动作（需文本到实际动作的转换），并可通过调用工具扩展能力。研究案例显示，LLM能模拟人类行为（GenerativeAgents）和自动数据科学（AutoKaggle）。行为调整方面，通过修改输入（如报错信息）而非训练模型参数来优化输出，并引入记忆管理与反思机制（如RAG）处理长序列信息。工具使用上，LLM能调用语音处理等专用工具（Speech-Copilot），甚至自创工具（

原创 论文笔记：Diff-RNTraj: A Structure-aware Diffusion Model for Road Network-constrained Trajectory Generati

TKDE 2024。

原创 论文略读：Next track point predictionusing a flexible strategy of subgraph learning on road networks

摘要：针对nextlocation预测任务，现有轨迹表示方法存在局限：基于坐标点或网格单元忽略路网约束，而基于道路匹配又面临精度问题。本文提出一种创新的子图学习策略，通过提取轨迹点周边多条潜在道路，利用其子图的拓扑上下文信息来更准确地表达轨迹特征。该方法避免了严格道路匹配带来的误差，同时有效捕捉了路网约束关系，为轨迹预测提供了更灵活可靠的空间表征。

原创 计算机组成笔记：缓存替换算法

比如有数据 A，A，A，B，B，C。

原创 论文笔记：Can Slow-thinking LLMs Reason Over Time? Empirical Studies in Time Series Forecasting

《TimeReasoner：基于大语言模型的时间序列推理预测方法》探索了将"慢思考"范式应用于时间序列预测的可能性。研究选用DeepSeek-R1大模型，系统分析了预测窗口、回溯窗口、时间戳、上下文信息和数据归一化等因素对预测性能的影响。实验发现：1）预测误差随窗口延长而增加；2）回溯窗口存在最优长度；3）时间信息至关重要；4）上下文效果具有领域特异性；5）原始数据表现优于归一化数据。模型推理过程呈现三阶段特征（模式识别、策略评估、反思优化），且推理深度（Token数量）与预测精度正相关

原创 论文笔记：UniTraj: Learning a Universal Trajectory Foundation Model from Billion-Scale Worldwide Traces

评估 UniTraj 在不同轨迹相关任务（如轨迹恢复、预测、分类、生成）中的适配与泛化能力。将原始 GPS 点与道路网络进行对齐，从而提高轨迹的几何准确性。增强数据多样性，使模型暴露于多种采样频率，提高鲁棒性和泛化能力。短轨迹则可能在采样不足时丢失重要信息，难以学习有效表示。长轨迹可能数据冗余、计算负担重、易过拟合；根据历史轨迹预测未来点（共 5 个点）无微调（wo/ft）：只训练分类头；仅使用编码器Eθ来提取轨迹的表征。微调（ft）：微调整个模型；降低计算开销，防止过拟合；控制轨迹长度，减少冗余；

原创 论文笔记：Human Mobility Prediction using Day of the Week probability

humob 第五。

原创 论文略读：ST-MoE-BERT: A Spatial-Temporal Mixture-of-ExpertsFramework for Long-Term Cross-City Mobility

2024 humob 第三名。

原创 Instruction-Tuning Llama-3-8B Excels in City-Scale Mobility Prediction辅助笔记：Finetune_Llama3.py

原创 Instruction-Tuning Llama-3-8B Excels in City-Scale Mobility Prediction 辅助笔记：Thread_LlamaInvoker.py

文章摘要： 该流程描述了数据处理和模型调用的五个关键步骤：1）加载特定用户数据；2）将Dataframe分割为训练集、masked测试集和真实测试集；3）转换Dataframe内容为字符串格式；4）构建结构化prompt，包含系统消息、用户数据和期望的JSON格式助理响应；5）使用llamaInvoker调用模型。整个流程实现了从数据准备到模型预测的完整闭环，强调数据格式转换和结构化prompt设计的重要性。

原创 Geollama 辅助笔记：raw_to_prompt_strings_geo.py

读取这个DataFrame。

原创 Geollama辅助笔记：fine-tuning.py

【代码】Geollama辅助笔记：fine-tuning.py。

原创 论文略读： a Comprehensive Vector Dataset of Bus Networks across China for the Year 2024

全国公交网络矢量数据集覆盖299个城市（含直辖市和特别行政区），通过高德/百度地图API获取公交站点与线路数据。数据集包含两类信息：公交站点和区分方向的公交线路，可用于分析城市交通系统的可持续性、可达性和韧性特征。三沙市因数据不完整暂未纳入。该数据集为研究不同规模城市交通规律提供了基础数据支持。（99字）

原创 论文笔记：MGeo: Multi-Modal Geographic Language Model Pre-Training

本文提出了一种新型查询-兴趣点（POI）匹配方法MGeo，通过多模态地理语言模型融合地理上下文（GC）与语义特征。针对现有研究缺乏公开数据集的问题，作者构建了GeoTES基准数据集，包含中国杭州约90,000条人工标注查询和280多万个OSM来源的POI。MGeo采用三阶段训练流程：先独立训练地理编码器学习GC表示，再进行多模态预训练，最后在排序和检索任务上微调。实验表明该方法有效提升了匹配精度，为位置服务中的查询-POI匹配问题提供了创新解决方案。

原创 论文略读：ASurvey on Intent-aware Recommender Systems

本文综述了意图感知推荐系统(IARS)的研究进展。传统推荐系统主要基于用户历史偏好，难以应对用户短期意图的变化。现代方法通过多样化推荐列表、序列感知建模和显式意图预测等方式提升推荐效果。研究表明，电商和流媒体等领域的实际应用证实IARS能显著提升关键业务指标。当前研究多采用离线评估，未来可结合更丰富的行为数据和上下文信息进一步提升意图预测准确性。文章还指出了现有研究的不足和未来发展方向。

原创 论文笔记：Answering POI-Recommendation Questions using TourismReviews

本文提出了一种新颖的POI推荐任务，将其构建为基于旅游论坛问答的非结构化QA问题。研究收集了包含47,124个问答对的大规模数据集，覆盖50个城市、216,033个实体，每个实体平均包含3,266个token的评论。针对传统检索方法在处理评论文本相似性和规模化推理时的不足，作者提出了CsrQA三阶段模型：先通过聚类压缩评论，再用神经检索筛选候选实体，最后深度推理重排序。实验表明，该方法显著优于传统QA和IR模型，解决了主观评论推理和大规模候选空间的双重挑战。该研究为结合自然语言处理和推荐系统提供了新思路。

原创 数据集笔记：中国公交路线&线路

《上海公交数据处理与可视化方法》摘要：本文介绍如何利用Python处理公交数据，包含公交路线和站点两类shp文件。路线数据含线路编号、方向、站点数等18个字段；站点数据包含坐标等信息。通过geopandas读取数据后，以819路公交为例，使用folium库实现站点标记和路线绘制：先计算中心点坐标，再标记各站点位置，最后用红线连接站点形成路线。该方法可用于公交网络的可视化分析，为城市交通规划提供参考。