当“贝叶斯”遇上“LSTM”，拿下一区轻轻松松！

今天给大家推荐一个能发一区的idea：贝叶斯+LSTM！

LSTM一直都很热门，引用量都已10万+了！但其受困于计算复杂度高，超参数调优依赖人工经验（不仅耗时，还易局部最优），常使模型训练效率低，且性能不稳定。而贝叶斯自动调参的特性，则能克服这一缺陷，提高模型的效率和准确性，以及应用范围。比如模型BiLSTM-AADC，便实现了预测误差直降97％的超绝效果！

此外，其应用非常广泛，医疗、能源、金融、智能制造等都离不开它。我们结合具体的场景，便能实现微创新。且近来LSTM技术的改进，也给领域发展提供了助力！

目前好中稿的思路有：动态贝叶斯优化、xLSTM等新变体的运用、与多模态融合结合……为方便大家研究的进行，我给大家梳理了10篇必读高分论文，一起来看！

论文原文+开源代码需要的同学看文末

Advancing short-term solar irradiance forecasting accuracy through a hybrid deep learning approach with Bayesian optimization

内容：这篇文章介绍了一种用于短期太阳辐照度预测的新型混合深度学习方法，该方法结合了贝叶斯优化的注意力扩张长短期记忆网络和萨维茨基-戈拉伊滤波器。通过贝叶斯优化调整萨维茨基-戈拉伊滤波器的多项式和窗口大小，并优化深度学习模型的超参数，从而提高了预测精度。该方法在喀麦隆杜阿拉的太阳辐照度探测数据上进行了验证，结果显示其对称平均绝对百分比误差为0.6564，归一化均方根误差为0.2250，均方根误差为22.9445，优于以往研究。

Deep neural network with empirical mode decomposition and Bayesian optimisation for residential load forecasting

内容：这篇文章提出了一种结合经验模态分解（EMD）、深度神经网络（DNN）和贝叶斯优化的住宅负荷预测方法。该方法首先利用EMD将复杂的负荷数据分解为多个内在模态函数（IMF），以简化数据的动态特性。然后将这些简化后的成分嵌入到深度学习模型中，具体使用卷积神经网络（CNN）和长短期记忆网络（LSTM）进行短期住宅负荷预测。此外，该框架还整合了贝叶斯优化策略、特征分解技术、特征工程阶段以及基于百分位的偏差校正算法，以提高模型的准确性。通过在苏格兰芬特里地区的一个住宅案例中进行测试，该模型在四个不同的预测时间范围内表现良好，且与随机森林、梯度提升决策树（GBDT）和LSTM网络等其他算法相比，EMD和特征工程显著提高了预测精度。

Counterfactual explanations for remaining useful life estimation within a Bayesian framework

内容：这篇文章研究了在贝叶斯框架内使用反事实解释来同时实现两个关键目标，该方法应用于航空领域的经典案例——C-MAPSS数据集，使用贝叶斯长短期记忆模型进行实验。结果显示，CFEs有助于识别关键特征并微调纠正措施以实现特定结果，例如，某次维护操作使温度升高1°F，CFEs可以揭示这一调整使设备的使用寿命延长了30个周期。此外，数据增强方法使模型在严格α为20%时的α−λ准确性提高了5%，B-LSTM模型的均方根误差（RMSE）从9.56降低到8.47个周期。

Short-term passenger flow prediction of urban rail transit on Bayesian Optimization- Bidirectional Long Short-Term Memory with Causal Temporal Pattern Attention

内容：本文提出了一种基于贝叶斯优化的双向长短期记忆网络（BiLSTM）与因果时间模式注意力（CTPA）机制相结合的城市轨道交通短期客流预测模型。该模型通过处理自动售检票系统（AFC）数据构建客流数据集，利用BiLSTM提取时间特征，并引入增强的因果时间模式注意力机制优化高峰和非高峰时段的特征权重。通过贝叶斯优化算法优化模型的关键超参数，提高训练效率。实验结果表明，与基线模型相比，该方法在平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）等指标上表现更优，为城市轨道交通的日常运营管理提供了有力的数据支持。