专注 图像处理+模式识别+机器学习+深度学习

原创 推荐-2025.6月

方向：MTL + graph公司，可信度，推荐等级：阿里，生产，推荐看看论文概述：论文提出了MGOE（Macro Graph of Experts）的方法，解决亿级推荐系统多任务预测（如点击，加如购物车）的问题。核心思路是用 宏图（Macro Graph） 把大规模用户-物品交互数据简化成更小的群体（宏节点），降低计算量，同时保留关键信息。具体方法：1）宏图构建2）宏图bottom3）宏图专家：通过注意力机制高效处理宏节点信息，替代高成本的图神经网络。级联预测多任务结果，调整推荐贴合用户偏好。

原创 偏态分布/正态分布/泊松分布在推荐系统中的应用

待补充。

原创 6.时间序列预测的模型部署

6.1.5 ComputeTarget、RunConfiguration和ScriptRunConfig。6.1.6 Image 和 Webservice。6.1实验设置和python版的Azure机器学习SDK介绍。6.3.1 训练并部署ARIMA模型。6.3.10 定义输入脚本和依赖项。6.3.7 将工作提交到远程集群。6.3 时间序列预测的解决方案体系结构部署示例。6.3.4 创建或连接计算集群。6.3.11 自动生成模式。6.3.3 创建实验。6.3.9 部署模型。6.2 机器学习模型部署。

原创 5.基于神经网络的时间序列预测

深度学习算法基于人工神经网络，是一种特定类型的机器学习算法，是因为算法的结构基于人工神经网络。d.如果模型表现良好，我们将其部署并投入生产阶段，以供组织中或企业外部的其他利益相关者使用。一旦部署了深度学习模型，这些单元就可以就将输入数据转换为一些信息，供下一层用于执行某些自动化预测任务。c.循环神经网络，特别是LSTM和门控循环单元（GRU），擅长提取跨越相对较长序列的输入数据中的模式。c.运行测试来检查模型是否从以前的观测值中进行了足够的学习并对其性能进行评估。给定的输出来学习并提取特征。

原创 4. 时间序列预测的自回归和自动方法(2)

（ARIMA）呈现出许多相似的特征：他们的元素是相同的，在某种意义上说，它们都是利用了一般自回归AR(p) 和 一般移动平均模型MA(q)。正如之前所了解的，AR(p)模型使用时间序列中的先前值进行预测，而MA(q)使用序列平均值和先前误差进行预测（Petris,Petrone 和 Campagnoli 2009）。第一个多项式用于自回归，第二个用于移动平均。，因此，他们不仅需要ARIMA所要求的p，d，q参数，还需要季节性方面的另一组p，d和q参数以及参数s，s是时间序列数据集中季节性周期的周期性。

原创 4. 时间序列预测的自回归和自动方法(1)

在自回归中，时间序列中用于预测下一个时间戳的先前输入值的数量称为顺序（我们一般用字母p表示顺序）。该顺序值决定了将使用多少个先前的数据点：通常，数据科学家通过测试不同的值并观测使用最小的赤池信息量准则（AIC）得出的模型来估计p值。自相关是自回归的相关概念，输出（即需要预测的目标变量）和特定的滞后变量（即先前时间戳用作输入的一组值）之间的相关性越强，自回归赋予该特定变量的权重越大。自回归是一种时间序列预测方法，仅依赖于时间序列的先前输出：该技术假设下一个时间戳的未来观测值与先前时间戳的观测值存在线性关系。

原创 3.时间序列数据准备

pandas提供了expanding()函数，该函数为每个时间步提供扩展的转换和先验值的集合：python 为rolling() 和 expanding()函数提供相同的接口 与 功能。pandas提供了rolling()函数来提供滚动窗口计算，并且会在每个时间步使用值窗口创建一个新的数据结构。为了创建嵌套滞后特征，数据科学家需要确定过去的固定时间段，并按该时间段对特征值进行分组，例如，前两个小时、前三天和前一周出售的商品数量。，因为他们是基于过去发生的事情会影响或包含有关未来的内在信息的假设而创建的。

原创 2.涉及一个端到端的时间序列预测解决方案

a. 时间驱动特征:一天中的时间、星期、日期、月份、周末、假日、傅里叶项。b.独立的测量特征：滞后特征，长期趋势，数据摄取有三种不同的方法：批处理、实时处理和流处理。c.差分自回归移动平均（ARIMA）模型。数据集分割：训练集、验证集和测试集。1）.固有的原始特征。a.移动平均（MA）2.1.4 数据预处理和特征工程。4）.数据预处理和特征工程缩进。2.1.1 业务理解和性能度量。7）.预测解决方案的接受程度。2.2 需求预测建模技术概述。2.1.3 数据探索与理解。

原创 1.时间序列预测概述

一个完整的时期是一个周期，但一个周期不会有特定的预定的时间长度，即使这些时间波动的持续时间通常超过一年。理解这四个时间序列组成部分以及如何识别和删除他们是构建任何时间序列预测解决方案的第一步，因为他们可以帮助理解时间序列中的另一个重要概念-平稳性，从而有助于提高机器学习算法的预测能力。换句话说，时间序列数据分布的基本属性，如均值和方差不随时间变化。弱平稳：当时间序列的均值和自协方差函数不随时间变化时，认为其具有较弱的平稳性。这些波动是不可控制的、不可预测的、不稳定的，如地震、战争、洪水和任何其他自然灾害。

原创 因果推断-初篇

因果推断方面有较为丰富的研发经验。出于好奇和对技术的追求翻阅了一些相关的技术文档，觉得很有意思。以此篇文章开始，记录一下我的学习过程。（水平有限，记录是出于热爱，如有错误之处，请批评指正）关注因果推断源于一次面试经历，职位招聘简介中任职要求一栏写着：在。

原创 大数据系列3-第一章-大数据概论

1.大数据概论移动硬盘-tb级别数据分析的场景：金融行业-信息密集；；股票市场预测；；小额贷款；；支付宝信用：给用户打标签，银行贷款；；互联网需求更大（更多的是一个媒体）：精准营销，流量运营，通过流量做营收，流量变现，ctr预测，；；电信-移动互联网；；政府行业；；用户服务-云平台1）大数据技术框架nosql指的是key-value的引擎（mygdb，hbase，单...

原创 大数据系列2-liunx基础-2基本操作

1.基本概念 2.目录和文件操作             liunx文件系统                                                                        3.liunx进程管理。。。。4.压缩和归档。。。。...

原创 大数据系列2-liunx基础-1操作系统介绍

liunx特点：                liunx的组成：            hardware（硬件）：包括cpu,内存，磁盘网卡等。liunx kernel（内核）：是指操作硬件资源的软件系统，包括内存管理子系统，进程管理子系统，文件子系统，io子系统等等。工具库：在liunx内核之上还包含了一系列的工具和库，例如：脚本以及图形化界面等应用：在工具之上...

原创 大数据系列1-规划安排

学习大数据基础准备：java，liunx，大数据学习轨迹：hadoop部分：spark部分：

转载 OpenCV-Python教程（11、轮廓检测）

原文来自http://blog.csdn.net/sunny2038/article/details/12889059相比C++而言，Python适合做原型。本系列的文章介绍如何在Python中用OpenCV图形库，以及与C++调用相应OpenCV函数的不同之处。这篇文章介绍在Python中使用OpenCV检测并绘制轮廓。提示：转载请详细注明原作者及出处，谢谢！本文介绍

转载 图像分割

终于写完数字图像分割这部分内容了，由于内容比较多，因此做一个小的内容提要，有利于更有调理的阅读，如下：1.数字图像分割方法概要2.基于边界分割 2.1边缘检测2.2边界提取（简单连接，启发式搜索，曲线拟合）3.基于区域分割3.1阀值分割（直方图双峰，迭代法，Ostu(大律）法，基于熵的二值方法）3.2区域生长3.3区域分裂与合并4.总结与实验实现（J

转载 图像矩的概念

我们很熟悉概率论中的一阶矩二阶矩高阶矩，但是很多人可能和我一样，不明白图像中矩是拿来干嘛的。在计算机视觉的书中，虽然有提到矩，但是讲的很泛泛也很笼统。自然Google百度这些东西也是靠不牢的。在阅读了相关论文之后，我终于大致对矩在图像中的应用有了了解。其实矩除了在概率论中有体现，在几何中也是学过的。比方说零阶矩是物体的质量，一阶矩和零阶矩可以算出物体的中心，而二阶矩是用来计算物体的

转载 小动作消除疲劳

办公一族跟我一起来运动一下吧  !!! ①头俯仰：头用力向胸部低垂，然后向后仰伸，停顿片刻，以颈部感到有点发酸为度。如果两手交叉抱在头后用力向前拉，而头颈用力向后仰，则效果更好。　　②头侧屈：头用力向一侧屈，感到有些酸痛时，停顿片刻，然后再向另一侧屈，同样停顿片刻。　　③头绕环：头部先沿前、右、后、左，再沿前、左、后、右用力而缓慢地旋转绕环。练习中常可听到颈椎部发出响声。这个动

原创 宝宝营养粥及如何提高宝宝睡眠

2周岁宝贝营养早餐：2岁宝宝早餐之虾仁蛋饺原料：虾仁20克、鸡蛋1个、菠菜25克、豆腐50克、猪瘦肉馅5克；蒜苗、淀粉、姜、葱适量制作方法：1）虾仁焯熟，控干后剁碎，加猪瘦肉馅、适量蒜苗、葱姜末、精盐等搅拌均匀，煨好；鸡蛋打入适量干淀粉中，加清水调成糊状；2）平底锅中加植物油，将鸡蛋糊一大匙倒入锅中，文火摊成小蛋饼；煨好的虾仁馅加少量植物油，分别

原创 什么是低信噪比图像及处理方法

信号处理领域的信噪比即SNR--Singal to Noise Ration，又称讯噪比，即放大器的输出信号的电压与同时输出的噪声电压的比，常常用分贝数表示。设备的信噪比越高表明它产生的杂音越少。一般来说，信噪比越大，说明混在信号里的噪声越小，声音回放的音质量越高，否则相反。       图像的信噪比应该等于信号与噪声的功率谱之比，但通常功率谱难以计算， 有一种方法可以近似估计图像信噪比，

原创 矩阵求导

矩阵求导问题：笔记（多元线性回归）总结求导过程

转载 卷积，DFT,FFT,图像FFT，FIR 和 IIR 的物理意义。

个人感觉很不错的一篇文章卷积： 冲击信号会对线性系统产生冲击响应。 冲击信号可分解为平移度和幅度。其对线性系统的冲击响应可以分解为点点间的经平移和缩放的各个冲击响应的累加，通过卷积的表达式表示。 所谓的冲击响应，就是线性系统对任何输入信号的响应，描述这种输入输出关系的算数方法就是卷积。 以上是从输入信号的角度看卷积，每个输入信号上的点都产生一个缩放和平移之后的冲击信号，然后对这

转载 随机过程的参考书籍

我读过的最简单的随机过程当属张波张景肖的《应用随机过程》，清华版，不过马氏过程写的不够详细，这方面最好的当属何声武的《随机过程引论》，写得相当好，简单明白易懂。至于稍微深入一点点的可以看看何书元的《随机过程》，证明除极个别外比较不错，林元烈的《应用随机过程》很是不错，看的很有味。         如果有不懂的条件期望的内容可以参见复旦的《现代概率论基础》，这个有点难度

原创 指数分布的定义形式及应用

转载请注明出处：指数分布是连续型随机变量，指数分布具有无记忆性，指数分布是特殊的gamma分布。指数分布（Exponential distribution）是一种连续概率分布。指数分布可以用来表示独立随机事件发生的时间间隔，比如旅客进机场的时间间隔、中文维基百科新条目出现的时间间隔等等。指数分布的定义形式：指数分布常用来描述“寿命”类随机变量的分布，例如家电使用寿命，动植物

原创 泊松分布的来源—公式推导—应用

转载请注明出处：一。泊松分布由二项分布引出首先必须由二项分布引出：如果做一件事情成功的概率是 p 的话，那么独立尝试做这件事情 n 次，成功次数的分布就符合二项分布。展开来说，在做的 n 次中，成功次数有可能是 0 次、1 次 …… n次。成功 i 次的概率是：( n 中选出 i 项的组合数) * p ^ i * (1-p)^ (n-i)以上公式很容易推导，用一点概率学最基本的

转载 朴素贝叶斯算法matlab实现以及EM算法

这周，继续学习了朴素贝叶斯算法的一部分知识，看了matlab的贝叶斯分类算法。采用草地潮湿原因模型的一个例子来求证贝叶斯概率以及条件概率、联合概率的分析，详见日志http://blog.sina.com.cn/s/blog_6c7b434d01013ufz.html 进而对贝叶斯分类进行研究，采用classify函数进行对训练样本的划分。详见日志http://blog.sina.com.c

原创 matlab查找指定文件夹下文件（附汉字和标点符号读取方法）

fidrrt = fopen('F:\lyn.txt');while 1 tline = fgetl(fidrrt); if ~ischar(tline), break, end tline = native2unicode(tline); disp(tline)endfclose(fidrrt);经测试正确输出：你好 你好 的 ； 你们  %第一行

原创 椭圆一般方程（ABCDEF）转椭圆参数方程（长短轴，几何中心）



转载 从最大似然到EM算法浅解

从最大似然到EM算法浅解[email protected]://blog.csdn.net/zouxy09        机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到

转载 聚类算法教程（3）：层次聚类算法Hierarchical Clustering Algorithms

基本工作原理给定要聚类的N的对象以及N*N的距离矩阵(或者是相似性矩阵),层次式聚类方法的基本步骤(参看S.C. Johnson in 1967)如下:1.     将每个对象归为一类,共得到N类,每类仅包含一个对象. 类与类之间的距离就是它们所包含的对象之间的距离.2.     找到最接近的两个类并合并成一类,于是总的类数少了一个.3.     重新计

转载 女性月经忽多忽少一定要注意(分享)

女性月经提前，延后 判断体质防病~~真的是太重要了，男生女生们都看看吧，真是不看不知道，一看吓一跳，为了下一代是该好好注意了~~      例假正常周期为28天，正负不超过一天为一个周期的时间。来的时间是4—5天。可是我们并不了解这些知识，认为来就可以了，生活中有周期不是这个时间有提前有拖后的，来的时间也有长有短，不疼不难受，你认为有病吗？生活当中，这是很常见的。

原创 iostream stdlib fstream io.h 头文件的作用

atoi atof是c语言提供的一个扩展功能，它能将一个字符串转换成对应的float或者integer。使用这些函数时，必须引入头文件#include

原创 string转Char*（ error C2440: '=' : cannot convert from 'const char *' to 'char *'）

今天遇到一个问题string转char*总是失败提示错误为 error C2440: '=' : cannot convert from 'const char *' to 'char *'源代码为：string temFile;char* filenamecpy;filenamecpy =  temFile.data(); 解决方法filenamecpy =

转载 吃完饭打嗝原因及治疗方法（分享）

俄罗斯科学家列出了引起打嗝的几种情况，并提供了一些建议，不知道是否对你有帮助呢？ 情况一，进餐时，你还会喝矿泉水、果汁或其他饮料么？如果你喝了很多饮料，把胃塞得满满的，就冲淡了消化液，消化液浓度越低，打嗝就会越重。 建议：吃饭时最好不要喝水或者其他饮料。 情况二，头痛时，你是否服用过治头痛的“冒泡”药片？有些药片，例如阿司匹林，溶解在水里会冒出碳酸气。这种碳酸气会引

转载 机器学习 --- 1. 线性回归与分类, 解决与区别

机器学习可以解决很多问题，其中最为重要的两个是 回归与分类。 这两个问题怎么解决， 它们之间又有什么区别呢？ 以下举几个简单的例子，以给大家一个概念1. 线性回归回归分析常用于分析两个变量X和Y 之间的关系。 比如 X＝房子大小 和 Y＝房价 之间的关系， X=(公园人流量，公园门票票价） 与 Y=(公园收入) 之间的关系等等。那么你的数据点在图上可以这么看现在你想

转载 机器学习入门：线性回归及梯度下降（附matlab代码）

本文会讲到：(1)线性回归的定义(2)单变量线性回归(3)cost function：评价线性回归是否拟合训练集的方法(4)梯度下降：解决线性回归的方法之一(5)feature scaling：加快梯度下降执行速度的方法(6)多变量线性回归Linear Regression  注意一句话：多变量线性回归之前必须要Feature Sca

转载 k-d tree算法

k-d树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。应用背景　　SIFT算法中做特征点匹配的时候就会利用到k-d树。而特征点匹配实际上就是一个通过距离函数在高维矢量之间进行相似性检索的问题。针对如何快速而准确地找到查询点的近邻，现在提出了很多高维空间索引结构和近似查询的算法，k-d树就是其中一种。

转载 数据结构排序算法总结

　一、插入排序　　1）直接插入排序　　2）折半插入排序　　3）希尔排序　二、交换排序　　1）冒泡排序　　　　2）快速排序　三、选择排序　　1）简单选择排序　　2）堆排序　四、归并排序　五、基数排序一、插入排序1）直接插入排序    算法演示        返回目录　　时间复杂度：平均情况—O(n2)    最坏情况—O(n2)    辅助空间：O(1

转载 对vector等STL标准容器进行排序操作

西方有句谚语：不要重复发明轮子！STL几乎封装了所有的数据结构中的算法，从链表到队列，从向量到堆栈，对hash到二叉树，从搜索到排序，从增加到删除......可以说，如果你理解了STL，你会发现你已不用拘泥于算法本身，从而站在巨人的肩膀上去考虑更高级的应用。排序是最广泛的算法之一，本文详细介绍了STL中不同排序算法的用法和区别。1 STL提供的Sort 算法

原创 work summery（5）