大语言模型中Top-K和Top-P是两种核心的文本生成策略

### Top-k 和 Top-p 采样方法概述 在自然语言处理领域，特别是生成式模型中，Top-k 和 Top-p 是两种常用的解码策略，用于控制生成文本的概率分布。 #### Top-k 采样的概念及应用 Top-k 采样是从预测的词汇概率分布中选取最高 k 个概率的词汇作为候选集合。具体来说，在每一步生成过程中，只考虑这 k 个最有可能的单词来决定下一步的选择[^1]。这种方法能够有效减少低质量样本的影响，提高输出的一致性和流畅度。 ```python import torch.nn.functional as F def top_k_sampling(logits, k=50): # 获取logits中的top k最大值及其索引 values, indices = logits.topk(k=k, dim=-1) # 将其他位置设为负无穷大 new_logits = logits.clone() new_logits.scatter_(-1, indices, float('-inf')) # 对新的logits做softmax并采样 probabilities = F.softmax(new_logits, dim=-1) next_token_id = torch.multinomial(probabilities, num_samples=1).item() return next_token_id ``` #### Top-p (核) 采样的概念及应用 不同于固定的前 k 名次选择，Top-p 采样依据累积概率阈值 p 来动态调整候选集大小。即按照降序排列后的累积概率达到或超过给定比例 p 的最小数量词汇构成候选列表[^3]。这种方式可以在保持一定随机性的前提下更好地平衡多样性和合理性之间的关系。 ```python def nucleus_sampling(logits, p=0.9): sorted_probs, sorted_indices = torch.sort(F.softmax(logits), descending=True) cumulative_probabilities = torch.cumsum(sorted_probs, dim=-1) cutoff_index = (cumulative_probabilities >= p).nonzero()[0].item() + 1 truncated_probs = sorted_probs[:cutoff_index] truncated_indices = sorted_indices[:cutoff_index] sampled_idx_in_truncated_set = torch.multinomial(truncated_probs, num_samples=1).item() chosen_word_idx = truncated_indices[sampled_idx_in_truncated_set].item() return chosen_word_idx ``` 这两种方法都可以通过调节参数 k 或 p 来改变生成内容的风格——较小的数值倾向于更保守、可预见的结果；而较大的数值则允许更多探索未知的可能性。实际应用时可根据特定任务需求灵活选用合适的配置方案[^2]。