实战演练11：生成式对话机器人(Bloom)

对话机器人介绍

• 什么是对话机器人？
  • 对话机器人在本质上是一个用来模拟人类对话或聊天的计算机程序，接收人类的自然语言作为输入，并给出合适的回复
  • 按照任务类型划分，对话机器人简单的可以划分为闲聊机器人、问答机器人、任务型对话机器人
  • 按照答案产生的逻辑划分，对话机器人可以划分为检索式对话机器人和生成式对话机器人
  • 本次课程关注的内容为基于生成式的问答机器人

预训练模型简介

• 因果语言模型，自回归模型
  • 将完整序列输入，基于上文的token预测当前token
  • 结束位置要有特殊token,eos_token
    

解决方案

• 指令微调
  • 指令微调的方式，赋予回答问题的能力
  • 多类型的任务共同学习，能够解决不同的任务