qq_42933419的博客

AI Talk | 数据不均衡精细化实例分割

原作者：尹迪，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/15559951.二元逻辑回归回归是一种很容易理解的模型，就相当于y=f(x)，表明自变量x与因变量y的关系。最常见问题如医生治病时的望、闻、问、切，之后判定病人是否生病或生了什么病， 其中的望、闻、问、切就是获取的自变量x，即特征数据，判断是否生病就相当于获取...

本文原作者：尹迪，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/15525161.BaggingBagging采用自助采样法(bootstrap sampling)采样数据。给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时，样本仍可能被选中，这样，经过m次随机采样操作...

本文原作者：尹迪，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/15504401 决策树理论1.1 什么是决策树所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。 树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的...

本文原作者：黄政，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1546403本文主要是用pytorch训练resnet18模型，对cifar10进行分类，然后将cifar10的数据进行调整，加载已训练好的模型，在原有模型上FINETUNING 对调整的数据进行分类， 可参考pytorch官网教程resnet18模型...

本文原作者：甘泉，经授权后发布。一、多因子选股背景量化交易策略无非三点：择时、选股、仓控。择时为短期套利交易策略，选股为中长期交易策略，目标是在中长期跑赢指数、获取市场超额收益率alpha。多因子选股的关键是找到寻找因子与股票收益率之间的相关性，即对收益率预测能力强的因子。一般多采用如下步骤：而传统的多因子模型在构建大类因子特征时往往依赖于投资者的主观判断和逻辑推理。机器学习等量化...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1533656导语:模型是机器学习三问里面的怎么去学的环节。是确定特征与因变量之间关系最为核心的步骤。这部分涉及到模型的选择，和优化目标以及损失函数的选取。排序由第一节讲到，LTR有三个模式，分别是pointwise, pairwise,listwise。...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1532635导语:这一节将着重说明，怎样定位线上和线下指标之间的差异，对齐线下和线上指标，得到一个大致的关系。优化线下什么指标，对应的能带来线上什么指标的提升。这样可以避免模型上线的风险。因此也是指标的分析也是十分重要的一个问题。1：指标介绍在该...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1531448导语：数据决定了任务的上限，模型方法决定达到上限的能力。在这里想借助信息熵的一些概念来对数据的重要性做一些分析，将数据的分布差异度量出来，并据此得到特征对于分类的重要性度量。 对于特征的重要性的分析不适合放到特征特别多的情况下，因为往往特征之...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1528253导语：数据决定了任务的上限，模型方法决定达到上限的能力。在机器学习三要素里面，经验数据是极其重要的一环，直接决定了该机器学习任务的最终能达到的效果。尤其是在进入大数据时代，数据获取上面会比以往容易许多，选取数据集有时候带来的提升比更改模型带来的要...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1527336导语在搜索排序概述里面说到搜索排序算法的发展的第二个阶段Learning to rank (LTR) 的时候就已经提到了机器学习，还整出了哲学词：审时度势。 在这里接着对机器学习的概念以及一般化的结构做一个系统的简略的描述，并看看机器学习的结...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1525595导语：对于做算法的而言，了解一下整个流程是必要的。一来加深对整个环节的理解，二来：方便在定位badcase的知道可能是那块的问题所在。1：写在前头，不专业的地方求轻喷这部分做的时间比较短，大概半年的ES引擎维护工作，负责了两个小频道的召回...

本文原作者：彭江军，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/15238671:搜索排序的概念搜索排序：在一次会话中，用户在交互界面输入需要查询的query，系统给返回其排好序的doc例表的过程。2：搜索排序和推荐排序的区别推荐：基于用户的行为挖掘出用户的兴趣，为其推荐对应的视频，doc等。2.1从展示...

本文原作者：陈亮，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1523172导语模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料...

本文原作者：陈亮，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1522299导语机器学习模型的评估指标很多，对于分类问题常会看到AUC作为性能衡量指标，大家往往对AUC值本身感兴趣，如其具体值的物理含义等。本文希望不引入太多公式，简单讨论下AUC指标。通俗理解AUC指标AUC是二分类模型的评价指标。AUC的...

原作者：尹迪，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/15590841.BoostingBoosting是一类将弱学习器提升为强学习器的算法。这类算法的工作机制类似：先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注。 然后基于调整后的样...

本文原作者：游遵文，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1520505参考文献[1] 李航，统计学习方法 [2]An overview of gradient descent optimization algorithms[3]Optimization Methods for ...

本文原作者：游遵文，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1519684参考文献[1] 李航，统计学习方法[2]Numerical Optimization: Understanding L-BFGS[3]Orthant-Wise Limited-memory Quasi-Newton...

本文原作者：游遵文，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1513913Spark的核心概念是RDD，而RDD的关键特性之一是其不可变性，来规避分布式环境下复杂的各种并行问题。这个抽象，在数据分析的领域是没有问题的，它能最大化的解决分布式问题，简化各种算子的复杂度，并提供高性能的分布式数据处理运算能力。然而在机器...

本文原作者：蒋凯，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1509000导语 ：工业界机器学习大杀器解读。GBDT是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。这里简单介绍一下GBDT算法的原理，后续再写一个实战篇。1、决策树的分类决策树分为两大类，分类树和回归树。...

本文原作者：汪毅雄，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1503367导语：本文先介绍了凸优化的满足条件，然后用一个通用模型详细地推导出原始问题，再解释了为什么要引入对偶问题，以及原始问题和对偶问题的关系，之后推导了两者等价的条件，最后以SVM最大间隔问题的求解来说明其可行性。凸优化理论广泛用于机器学习中，也是...

本文原作者：汪毅雄，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1503365导语：本文用一些简单的例子来解释了SVM是什么，然后通过SVM中最大间隔、核函数、软间隔、SMO四个关键部分，依次进行数学推导和解释。相信了解机器学习的同学都知道，SVM的“完美强迫症”使得其在各大模型中，几乎是一个“统治性”的地位。但是也不...

本文原作者：汪毅雄，经授权后发布。原文链接：https://cloud.tencent.com/developer/article/1499259导语：本文在上篇线性回归的基础上，延伸到广义线性模型，并把广义线性模型目的、假设条件来源，指数族分布、连接函数等各个函数的关系都进行详细地解释。最后用两个常见的GLM特例Logistics回归、Softmax模型进行了推导。接上篇，我们了解了...