Cohere 的 temperature、top-p、top-k、frequency_penalty、presence_penalty和likelihood参数
1. Temperature
Temperature(范围:0 ~ 5):从生成模型中采样包含随机性,因此每次点击“生成”时相同的提示可能会产生不同的输出。温度是用于调整随机程度的数字。
温度越低,随机性越小;温度为 0 将始终产生相同的输出。当执行具有“正确”答案的任务(例如回答问题或总结)时,较低的温度(小于 1)更合适。如果模型开始重复,则表明温度可能太低。
高温意味着更多的随机性和更少的接地性。这可以帮助模型提供更多创意输出,但如果您使用检索增强生成,它也可能意味着它没有正确使用您提供的上下文。如果模型开始偏离主题、给出无意义的输出或无法正确接地,则表明温度过高。
可以针对不同的问题调整温度,但大多数人会发现温度 1 是一个很好的起点。生成的输出中允许的随机程度。要在每次运行提示时为该提示生成相同输出,请使用 0。在具有“正确”答案的任务(例如回答问题或汇总)中,使用的值较低。如果值较高,模型将生成更具“创造性”的输出,但可能会生成幻想内容或实际上不正确的信息。
随着序列变长,模型自然对其预测变得更有信心,因此您可以将长提示的温度提高得更高,而不会偏离主题。相反,在短提示下使用高温可能会导致输出非常不稳定。
2. Top-p 和 Top-k
用于选择输出标记的方法是使用语言模型成功生成文本的重要部分。有多种方法(也称为解码策略)用于选择输出标记,其中两种主要方法是 top-k 采样和 top-p 采样。
Top-p(范围:0 ~ 1):确保在每个步骤的生成中仅考虑可能性最高且概率之和为 p 的标记。p 越高,输出中的随机性越高。设置