2021-08-25Prompt

简介
常规NLP做文本分类时常用Transfer Learning的方式，在预训练bert上加一个分类层，哪个输出节点概率最大则划分到哪一类别。而基于Prompt的MLM文本分类是将文本分类任务转化为MLM（ Masked Language Modeling）任务，通过[MASK]位置的输出来判断类别。
例如通过文本描述判定天气好坏，类别【好、坏】：

常规方式：今天阳光明媚！ 【好】
基于Prompt的MLM： 天气[MASK]，今天阳光明媚！【天气好，今天阳光明媚！】

Prompt的设定可以有多种方式设定，手写Prompt 、自动离散Prompt、自动连续 P-Tuning，自行查找论文

实验
先手写Prompt做个实验：
就以上面👆例子中的Prompt，“ 天气[MASK]+带分类文本”

GPT2和GPT3专注于zero shot和few shot，应用到下游任务的时候，在不进行fine-tuning，设置一系列的prompt（我理解为