toolformer，教会大语言模型使用api接口

aim

此文章的意图在于：

To equip a language model 𝑀 with the ability to use different tools by means of API calls.

也就是是一个类似于chatGPT一样的模型能够获得调用API的能力。

方法概括

文章所使用的方法是有监督学习。
但是我们并没有类似下方带有标签的训练数据，这要怎么做呢？

本篇文章就采用了一个方法能够自己自足。

他直接使用Prompt的方式让语言模型自己生成带有API标签的文本数据。

上图的意思是直接对大语言模型（你就把他当做chatgpt就行了）输入命令，我让大语言模型做一个API的生成器，然后用他返回的结果当做带标签的数据。

然后根据这些已有的API标签，进行API调用接口并返回结果。然后根据返回的结果的好坏去筛选，最后再根据新生成的带有API标签的数据集对大语言模型进行最后的微调，就可以生成能够使用API调用接口的大语言模型了。

简单地说，就是想论文描述的那样：
就这么几步，就可以实现标签数据的自给自足。

你甚至还可以从最后一步再次跳到第一步，再次上述步骤，自己做自己的teacher，教会自己student进行“自我升级”。

更多的

文章所调用的API一共只有五个，但是他的方法可以泛化到更多的API。
在实验结果上可以看到。本篇文章的模型对比PPT 3。有长足的进步，尤其是在数学能力方面一直被诟病的。大约模型不能够进行数学给你算。的缺点也被大幅改进了。
像现在很多的产品估计已经早早的使用了，这样子的技术方法，比如office的copilot（可能哈，自己猜的）。

更具体

其实更具体的还是得看论文，我这有个自制的小视频，里面也稍微讲了些
详见：https://www.bilibili.com/video/BV1vN411A7pV/