- 博客(20)
- 收藏
- 关注
RSS订阅原创 AdaBoost（Adaptive Boosting，自适应提升算法）总结梳理
AdaBoost是一种自适应增强算法，通过迭代训练多个弱学习器（如决策树桩）并动态调整样本权重与模型权重，将弱学习器组合为强学习器。其核心在于：1）对误分类样本增加权重，使后续模型更关注难分样本；2）根据误差赋予模型不同权重，表现好的模型在最终投票中更具话语权。该算法简单高效，适合基础分类任务和数据质量验证，但存在对噪声敏感、无法并行训练等局限。相比XGBoost等后续算法，AdaBoost缺乏正则化机制，在高维稀疏数据上表现较弱。
2025-09-02 18:15:00
820
原创 CatBoost（Categorical Boosting，类别提升）总结梳理
CatBoost是一种改进的梯度提升决策树算法，核心优势在于原生支持类别特征处理和降低过拟合风险。其原理是通过改进的目标编码处理类别特征，结合贝叶斯平滑避免小样本过拟合，并采用排序增强技术修正梯度估计偏差。训练过程包括初始化预测结果、迭代构建决策树、计算叶子节点权重等步骤，最终通过加权求和得到预测结果。该算法特别适合类别特征丰富的场景（如电商推荐、金融风控），能显著简化数据预处理流程，同时保持较高的模型精度和泛化能力。主要参数包括学习率、树深度、L2正则系数等，通过合理调参可进一步提升性能。
2025-09-01 14:27:29
630
原创 LightGBM（Light Gradient Boosting Machine，轻量级梯度提升机）梳理总结
LightGBM是微软2017年提出的高效梯度提升树模型，相比XGBoost显著提升了训练速度和内存效率。其核心技术包括：GOSS（梯度采样保留关键样本）、EFB（互斥特征捆绑压缩维度）和直方图优化，使速度提升10-100倍，内存降低50-70%，同时保持精度接近XGBoost。采用叶子优先生长策略，用更少的树达到更高精度。特别适合处理大规模（百万级样本）、高维特征（如One-Hot编码）场景，在分类、回归、排序等任务中表现优异。需注意控制树深度防止过拟合，调参以num_leaves、learning_ra
2025-08-30 16:45:00
1002
原创 XGBoost（eXtreme Gradient Boosting，优化分布式梯度提升库）总结梳理
XGBoost是GBDT的优化升级版本，在保持强拟合能力的同时，通过二阶导数优化、显式正则化和工程优化解决了GBDT训练慢、易过拟合的问题。核心改进包括：使用二阶泰勒展开更精准地近似损失函数；引入正则化项控制模型复杂度；采用特征并行、近似算法等工程优化加速训练。XGBoost在分类、回归和排序任务中表现优异，具有精度高、训练快、鲁棒性强等优势，但需注意超参数调优和特征预处理。与GBDT的关键区别在于使用了二阶导数、显式正则化以及工程优化技术。
2025-08-28 14:14:50
1021
2
原创 GBDT（Gradient Boosting Decision Tree，梯度提升决策树）总结梳理
GBDT是一种基于决策树的Boosting集成算法，通过串行训练多棵浅层回归树来逐步优化模型。其核心思想是：每轮用新树拟合损失函数的负梯度（错误信号），以加法方式累积预测结果。相比随机森林等Bagging方法，GBDT更擅长降低模型偏差，适用于回归、分类和排序任务。优势包括强非线性拟合能力、特征重要性输出和不依赖特征归一化，但对异常值敏感且训练速度较慢。XGBoost和LightGBM是其优化版本，引入了二阶导数和并行计算等改进。实际应用中需注意调整学习率、树深度等参数防止过拟合。
2025-08-27 15:48:34
720
1
原创 GBDT、XGBoost和LightGBM学习记录
本文介绍了三种主流梯度提升算法：GBDT作为基础算法，通过迭代决策树纠正错误；XGBoost在GBDT基础上加入正则化和二阶导数优化；LightGBM进一步改进为直方图算法等提升效率。还提及了CatBoost（擅长类别特征处理）和AdaBoost（经典自适应提升算法）。这些算法各具特色，共同构成了梯度提升方法的丰富生态。
2025-08-26 15:22:05
206
原创 阿里 STAR 模型：多域 CTR 预测的星型拓扑解决方案
阿里团队提出的STAR模型创新性地解决了多域CTR预测的难题。该模型采用星型拓扑结构，通过共享网络挖掘多域共性特征，同时使用轻量级域特定网络捕捉差异特性，实现共性与差异的平衡。关键设计包括分区归一化处理数据分布偏差、辅助网络强化域信息、共享嵌入层控制参数成本。实验显示STAR在19个业务域上AUC提升显著，工业落地带来8%CTR和6%RPM增长，同时保持与单模型相当的推理成本。该模型以简洁架构实现高效多域适配，为工业推荐系统提供了实用解决方案。
2025-08-20 17:15:00
745
原创 召回计算记录
数据依据：用户最近点击的 N 条物品（不去重）分数计算逻辑：与「基于点击的类别偏好物品召回」完全一致，仅将统计维度替换为物品的「自定义偏好属性」。
2025-08-20 14:37:39
480
原创 逻辑回归（Logistic Regression）
逻辑回归是一种基于线性回归与Sigmoid函数的有监督分类算法，通过最小化交叉熵损失进行参数优化。其核心流程包括数据预处理、线性组合、概率映射、损失计算和梯度下降迭代。广泛应用于金融风控、医疗诊断、营销预测等领域，既能输出分类结果和概率估计，又能分析特征重要性。典型应用场景包括客户信用评估、疾病预测、购买行为分析等，具有结果可解释性强、计算效率高等优势。
2025-08-19 15:42:58
492
原创 协同过滤算法（Collaborative Filtering, CF）
协同过滤是推荐系统的核心算法之一，核心思想是 “物以类聚，人以群分”—— 通过分析用户与物品的交互历史（如评分、点击、购买），挖掘用户偏好或物品相似性，进而为用户推荐可能感兴趣的物品，无需依赖物品自身属性或用户画像。先总结一下：协同过滤算法是仅依赖用户与物品的交互历史，通过挖掘相似用户或相似物品，为用户推荐可能感兴趣的物品，无需领域知识且能发现潜在偏好的推荐系统核心方法。其中，：若用户A与用户B历史行为相似，则A喜欢的项目可能也适合B。。
2025-08-19 15:31:26
812
原创 RNN（循环神经网络）
RNN（循环神经网络）是专为处理时序数据设计的神经网络，通过隐藏层的循环连接保留历史信息，解决传统神经网络无法捕捉序列依赖的问题。其核心结构输入层接收时序数据，隐藏层融合当前输入和上一时刻状态，输出层基于当前状态生成结果。但原生RNN存在梯度消失/爆炸问题，改进模型LSTM和GRU通过门控机制有效缓解。RNN广泛应用于NLP、语音识别和时序预测等领域。与DNN相比，RNN专为时序数据设计，具有参数共享和记忆能力，擅长处理需结合上下文的任务，而DNN则适用于静态数据分析。
2025-08-18 17:22:37
707
原创 DNN（深度神经网络）
DNN（深度神经网络）是一种多层结构的人工神经网络，通过输入层、隐藏层和输出层实现复杂数据处理。其核心原理包括前向传播的信息传递和反向传播的参数优化，利用激活函数、损失函数、优化器等组件提升性能。DNN具有强大的非线性拟合能力，可自动提取特征，广泛应用于图像分类、文本分析等领域，但也面临数据需求大、计算成本高等挑战。典型应用包括ResNet、机器翻译等。
2025-08-18 17:14:55
779
原创 LightGCN 模型
LightGCN是一个专为协同过滤推荐设计的简化图卷积网络。它通过去除传统GCN中不必要的特征变换和非线性激活，仅保留关键的邻居聚合机制，在用户-物品二分图上进行多层线性嵌入传播。模型将各层嵌入加权求和得到最终表示，通过计算相似度完成推荐。相比传统GCN，LightGCN结构更简洁，训练更高效，在推荐任务中性能提升约16%，同时保持了良好的可解释性。
2025-08-18 16:41:15
847
原创 transformer整体流程框架
Transformer是Google提出的革命性架构，通过自注意力机制解决了传统RNN/LSTM并行性差和长距离依赖弱的问题。其核心采用编码器-解码器结构：编码器通过多头自注意力和前馈网络提取全局上下文特征，解码器结合上下文生成输出序列。关键创新包括位置编码解决序列顺序问题，以及残差连接稳定深层网络训练。该架构实现了高效并行计算和强大的长距离语义建模能力，成为BERT、GPT等大模型的基础，极大推动了NLP领域发展。
2025-08-15 16:15:50
841
原创 Long-Term Interest Clock 长期兴趣时钟
本文提出LIC方法，针对现有时间感知推荐系统在长期兴趣建模上的不足。通过Clock-GSU模块从长期行为中检索与当前时间相关的子序列，再经Clock-ESU模块的时间间隙感知多头注意力机制聚合生成细粒度兴趣嵌入。在抖音音乐数据集上的实验表明，LIC显著提升推荐效果（AUC+1.16%），并成功应用于工业场景。相比InterestClock，LIC突破短期行为限制，实现项目级细粒度建模，通过平滑时间机制更精准捕捉用户兴趣动态。
2025-08-14 16:46:10
18
原创 Interest Clock 兴趣时钟
摘要：字节跳动团队提出InterestClock方法，解决实时流推荐系统的时间感知问题。该方法通过小时级个性化特征编码提取用户24小时偏好特征，并采用高斯平滑聚合消除离散突变，有效捕捉时间动态偏好。在抖音音乐App的测试中，用户活跃天数提升0.509%，使用时长达0.758%增长，各项参与指标均改善。离线实验显示AUC提升至0.6695，验证了高斯平滑的有效性。该方案已成功部署，兼具效果提升与场景通用性优势。
2025-08-14 16:36:59
152
原创 模型特征重要性计算方法
特征重要性评估方法主要分为四类：1. 模型内置方法（如树模型的Gini重要性、线性模型系数）；2. 统计方法（方差分析、卡方检验等）；3. 扰动法（置换重要性、Drop-column法）；4. SHAP值等博弈论方法。不同方法各有特点：树模型方法计算快但不适合高基数特征，线性方法仅适用于线性关系，SHAP能捕捉特征交互但计算量大。实际应用中需根据模型类型和需求选择合适方法，并注意特征归一化、非线性关系等关键因素。这些方法有助于特征选择、业务解释和异常检测等应用场景。
2025-07-10 16:30:08
603
原创 MaskNet 排序模型
MaskNet是一种基于注意力机制的深度学习模型，专为推荐系统和点击率预测设计。其核心创新是实例引导的掩码机制，为每个输入动态生成个性化掩码，使模型能智能选择重要特征。模型支持串行和并行两种架构：串行模式逐步处理特征，并行模式多视角并行处理。相比传统模型，MaskNet具有动态结构调整能力，能更好地处理稀疏数据，提高特征选择性和模型泛化性。在训练时建议使用Adam优化器，适当设置Dropout和L2正则。该模型特别适合处理高维稀疏的用户行为数据，同时增强了模型的可解释性。
2025-07-03 14:49:45
599
原创 Fibinet排序模型
实现了“特征嵌入 → 动态加权 → 深度交互 → 概率预测”的完整流程，是工业级推荐系统中经典的 “深度特征工程 + 注意力机制” 模型，适合需要精准捕捉特征关联的场景。挖掘特征间复杂关联，最终用 MLP 输出预测结果（如用户点击概率）。，主要用于推荐系统场景。对特征重要性动态加权，结合。
2025-07-03 14:43:21
833
原创 论文阅读记录（Rocket Launching: A Universal and Efficient Framework for TrainingWell-performing Light Net）
工业应用中实时响应任务需兼顾模型精度与延迟- 传统深度模型因推理时间限制难以满足工业需求- 轻量级模型需在精度与计算成本间权衡- 师生网络方法通过知识蒸馏提升轻量模型性能。
2025-05-22 09:54:13
351
1
masknet排序模型
2025-07-03
Fibinet排序模型代码
2025-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人