weiwei935707936的博客

PyG配置

pytorch实现的时候非常需要的基础知识：（参考：）pytorch实现的时候非常需要的基础知识：（参考：）pytorch实现：（参考一下博客：）

良昊秩矩阵分解的意师兄的低思是:这里的元学习器是参数(其实就是一个矩阵) 但是要customized context representations for user-specific multi-behaviors就有点困难 是hold不住, 所以, 要先把这一个用两个transformation先变成两个小的 然后, 再把这两个小的乘回原来的形状....

参考的知乎文章, 非常好:通过pytorch深入理解图注意力网络（GAT） - 知乎自己手动过程:

模型的保存和加载:保存参数表torch.save(the_model.state_dict(), PATH)the_model = TheModelClass(*args, **kwargs)the_model.load_state_dict(torch.load(PATH))直接保存模型 (不是的, 你的pth变量会保存很多东西)torch.save(the_model, PATH)the_model = torch.load(PATH)模型的直接测试:在pre.

转自: https://blog.csdn.net/u012370185/article/details/952341251. 显存的占用当在GPU上跑一个模型时，显存的占用主要有两部分：模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度）1. 模型参数的显存占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数））2. 如果是在训练阶段，需要反向传播更新参数值，所以每个参数都需要存储梯度。所以模型参数的显存占用，与采用的优化器有关。 ...

先别急着写代码，多花一点时间进行数据预处理： 了解数据分布并找出其中规律 发现重复样本和错误标签 奇妙新颖的说法：神经网络是数据集的压缩版本 搜索，过滤，排序 可视化可以发现异常值，异常值能揭示数据的质量或预处理中的一些错误 设置端到端的训练评估框架： 在训练之前，建立一个完整的训练+评估框架 选择一个简单又不至于搞砸的模型 固定随机种子 使用固定随机种子，保证运行代码的两次结果相同，消除差异因素 简单化： .