自然语言相关（0）—— 任务介绍nlp tasks

自然语言相关（0）—— 任务介绍nlp tasks

基础

• token
  可能是字母、单词等等等

• Downstream tasks:
  Downstream tasks is what the field calls those supervised-learning tasks that utilize a pre-trained model or component.

任务

Part-of-Speech(POS) tagging 是否有必要 前处理

为句子中的每个词汇进行 词性标注
可以将这个结果输入到down stream model. 如果down stream的模型够强大并不需要pos tagging .

Word segmentation 是否有必要 前处理

分词，尤其是对中文而言，需要进行分词
这就可以是用模型来对each token进行分类，来学习词汇的边界
将结果输入到down stream model

Parsing 是否有必要 前处理

1. constituency parsing

2. dependency parsing

被当作一种额外的输入到down stream model<