Auto-Correlation 的超参数 c

自动相关机制与自注意力机制在处理时间序列数据时有着显著的不同。图3展示了两者的区别。自动相关机制通过对子序列之间的关系进行建模和聚合，能够有效利用时间序列的周期性特征，提高计算效率和信息利用效率。而自注意力机制主要关注点对点的关系，适用于捕捉局部依赖性，但在处理周期性数据时效率较低。

通过自动相关机制，我们在序列级别上发现依赖关系并进行信息聚合，从而显著提高了计算效率和信息利用率。这种机制超越了传统自注意力机制，特别适用于复杂的长期时间序列预测任务。通过上述步骤，我们完成了相似子序列的识别和信息聚合。这个过程利用了子序列的相似性，并通过加权平均的方式合并了相似的子序列，从而得到了一个更具代表性的序列表示。这种方法可以提高预测的准确性和可靠性，在时间序列预测中具有广泛的应用。

整理思路主要参考了B站UP主AI破壁者二元论的视频，同时加了一些自己的理解。 1 自相关、卷积与功率谱 自相关（Auto-correlation）又叫序列相关，是一个信号与其自身在不同时间点的互相关。有一组连续时间信号：x(t)x(t)x(t)，其自相关函数为： R(τ)=∫−∞+∞x(t)x(t+τ)dt R(\tau)=\int_{-\infty}^{+\infty} x(t)x(t+\tau)dt R(τ)=∫−∞+∞​x(t)x(t+τ)dt 将信号x(t)x(t)x(t)的自相关写成卷积（Conv

数学原理 　　 在数字信号处理中，相关(correlation)可以分为互相关(cross correlation)和自相关(auto-correlation). 互相关是两个数字序列之间的运算；自相关是单个数字序列本身的运算，可以看成是两个相同数字序列的互相关运算．互相关用来度量一个数字序列移位后，与另一个数字序列的相似程度．其数学公式如下： 其中，f 和 g 为数字序列，n 为移位的位数，f...

为了检测时间序列的相关性，我们经常使用自相关，互相关或归一化互相关。 互相关（Cross-Correlation） 互相关是两个不同时间序列的比较，以检测具有相同最大值和最小值的指标之间是否存在相关性。例如：“两个音频信号同相吗？” 为了检测两个信号之间的相关程度，我们使用互相关。 只需将两个时间序列相乘和相加即可计算得出。 在以下示例中，序列A和B是互相关的，但序列C都不与此相关。 a = [...

离线强化学习的数据集、数据集的特征、采样复杂性以及算法实现在之前的博客中已经阐述了很多，此外，对算法效率还有一个非常重要的影响特性：**超参数的选择**，本文作者就该过程进行了阐述，并提出了使用3种指标衡量选择效果，最后基于FQE算法实验，通过与常见的CRR等算法进行对比。

文章信息本周阅读的论文是一篇2021年发表在第34届Advances in Neural Information Processing Systems会议上的关于长时时间序列预测的文章，题目为《Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting》。摘要延长预测时间...

批量大小设置为 32，训练过程在 10 个 epoch 内早停。所有实验重复三次，使用 PyTorch 实现，并在单个 NVIDIA TITAN RTX 24GB GPU 上进行。我们的方法采用 L2 损失函数进行训练，使用 ADAM 优化器，初始学习率为。通过这些实现细节和实验设置，确保了我们方法的有效性和结果的可靠性。

看到一篇有关于信号相关、卷积的文章，感觉写的很好，借鉴一下，记录一下信号相关性的知识。

ARIMA模型的基本思想是：一个时间点上的标签值既受过去一段时间内的标签值影响，也受过去一段时间内的偶然事件的影响。即ARIMA模型假设为标签值是围绕着时间的大趋势而波动的，其中趋势是受历史标签影响构成的，波动是受一段时间内的偶然事件影响构成的，且大趋势本身不一定是稳定的。

简单总结一下归一化自相关函数，防止遗忘掉 上图，参考论文中的Normalized Auto-correlation based Step Counting. 自相关函数是函数与函数本身的相关性，如果进行归一化，会看的更清楚。互相关函数是两个函数之间的相关性，当两个函数具有相同周期分量时，他们的极大值同样能体现这种周期性。 自相关函数，当函数中本身有周期性的分量时，自相关性的极大值能够很好...

前两天分享了一个PPT——“时间序列的自相关”。 不习惯去Share栏目看，感觉弄到博客看起来方便些，所以就搬过来了，原链接：http://share.csdn.net/slides/9035。

-- Ref [1] [2] [3] ------------------------------------------------------------------------ 1.自相关和互相关概念 互相关（Cross-correlation） 对于连续函数，有如下定义： 对于离散函数，有如下定义： 在信号处理中，用互相关来衡量两个时间序列 x(t) 和 y(

门控循环单元（GRU, Gated Recurrent Unit）是循环神经网络（RNN）的一种改进结构，由 Cho 等人在 2014 年提出。它和 LSTM 一样，旨在解决RNN 的梯度消失和梯度爆炸问题，同时能够建模长距离依赖信息。与 LSTM 相比，GRU 结构更简洁，参数更少，计算效率更高。GRU 是 LSTM 的简化版，在很多任务上能取得相似甚至更好的效果。优点：计算效率高、参数量少、适合大规模训练。缺点：缺少独立记忆单元，在极长序列任务中可能稍逊于 LSTM。在实际应用中，

本文记录了基于HuggingFace Transformers最新master分支对Qwen2模型的学习过程。主要内容包括：1) 开发环境搭建（Python 3.11、PyTorch CPU版）；2) 模型测试代码实现，通过调参创建轻量级配置；3) 核心架构分析，包括分词编码、DecoderLayer处理流程（RMSNorm归一化、自注意力机制、前馈网络）和分组查询注意力机制；4) Qwen2的三大优化点：RMSNorm计算优化、RoPE位置编码和GQA注意力机制；5) 开发中遇到的版本依赖问题及解决方法。