Transformer-台大李宏毅笔记

本文超详解Transformer

由于self - attention 一般都是在big model 的一部分，所以，一般不会对模型造成决定性的影响， 只有当model 的输入较长的时候， 例如图中： 图片处理 ： 256 * 256 的输入，self-attention 就会得到一个 256 * 256 的平方的 矩阵；// todo 这是因为自注意力机制的目的是计算序列中每个元素对于序列中每个其他元素的注意力得分，所以我们需要一个 N×N 的矩阵来表示这些得分。和你做函数的代换法的时候 用 u 代表变量 x 的行为没什么两样啦。

本文主要是记录李宏毅老师机器学习课程中关于self-attention部分的记录。

机器学习（李宏毅）——transformer笔记

transformer学习笔记（李宏毅）

李宏毅学习笔记——2024春《GENERATIVE AI》篇

Transformer_P1_Encoder 变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,所以这边有一个BERT探出头来,代表说Transformer跟BERT,是很有关係的 Sequence-to-sequence (Seq2seq) Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢 我们之前在讲

----------------------------------------------------------------------------------------------------------------------------------------------------------------------注意，LayerNorm和BatchNorm在这里要知道why？这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。（2017年出现在nlp领域）

深度学习入场券？李宏毅教师的课程足矣！

Transformer 台大李宏毅教授链接 Self-Attention 传统RNN不容易平行化，比如b4就得知道a1，a2，a3，a4才能算出来 使用CNN可以实现平行化，比如图中的一个黄三角形代表一个filter，他可以并行执行的。 在更高层filter的layer可以获取到更长的信息，比如蓝三角形，它的输入时第一层的输出 Self-Attention可以替代双向RNN 可...

Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。

正文详见：7.5 使用 LangChain 实现本地 Agent。

摘要：一款基于Python开发的小红薯笔记采集工具，支持通过关键词采集笔记图片、正文及评论等内容。

可阅读：

本文介绍了如何在Python中集成Ollama模型到LangChain框架。主要内容包括：1）环境设置，包括Conda环境配置和依赖安装；2）基本使用示例，如对话模板、流式输出、工具调用和多模态处理；3）进阶用法，包括多轮对话管理、自定义提示模板设计和RAG问答系统实现。通过详细的代码示例，展示了如何利用LangChain的管道操作符"|"构建处理流程，实现模型调用、上下文管理和检索增强等功能。这些技术可应用于构建智能对话系统、信息检索工具等AI应用场景。

本文总结了Arduino基础知识和L298N电机驱动模块的使用经验。主要内容包括：1）Arduino供电方式比较（USB/DC接口/Vin引脚）及使用注意事项；2）L298N模块连接问题分析，整理了5种不同连接方案的验证结果；3）关键引脚定义说明（VM/VS/VIN等）。实验发现L298N模块需注意跳线帽设置，当使用外部5V供电时需要拔除跳线帽，且电源需满足VM≥7V的要求。文章通过多个参考资料对比，为Arduino与电机驱动模块的连接提供了实践指导。

React是用于构建用户界面的JS库。React是由Facebook（Meta）开发的，是开源的。React采用组件化模式、声明式编码，可以提高开发效率，提高代码复用率。使用React Native，可以用React语法进行移动端开发，可以使用JS编写安卓和IOS应用，而不需要使用java oc swift。React使用虚拟DOM和Diffing算法，减少与真实DOM的交互。